1、隨著網絡時代的發(fā)展，人們對信息資源掌握的增多，導致需要存儲的數據量以幾何級數在增長，網絡帶寬的不足、存儲資源的緊缺以及等等諸多問題隨之而來。解決這些問題的有效手段是清除重復數據，保證數據不存在冗余。而圖片作為眾多數據中的一種，經常出現在手機、網頁這些人們日常使用的工具當中，其量級之大給存儲設備帶來極大的困擾。
　　常用的清除重復數據的方法有文件級去重技術和塊級去重技術，但是由于圖片存在不易修改的特性，若采用文件級進行去重，耗時長、

2、對系統性能損耗嚴重;又因為圖片具有任意性，若采用塊級進行去重，塊的大小無法準確的適應每種圖片，容易出現刪除錯誤等嚴重問題。所以建立一種簡單有效的圖片重復刪除技術成為科研人員的研究重點。本文提出了一種能夠高效對海量圖片進行去重的算法，該算法主要利用圖片本身固有特征判斷重復。利用圖片本身特征能夠克服塊級去重時由于塊大小無法適應所有圖片導致其刪除錯誤等問題，同時采用并行化計算及快速定位重復方法能夠克服文件級去重時耗時長等問題。
　　本論

3、文首先介紹了清除重復數據的研究背景及意義，對常用的清除重復數據的技術進行了簡介。由于這些方法對重復圖片刪除有一定的局限性，而本論文提出的方法主要利用圖片本身特征，為了準確、高效的提取圖片特征，對常用的圖片特征進行了描述。其次，根據提取的特征，建立了多特征綜合圖片離線去重算法，通過對該算法的兩次改進，使得其在單機i5處理器條件下處理500萬級圖片量時僅需要10分鐘左右。然后，根據多特征綜合離線去重算法的思路，提出了多特征綜合圖片在線去重算