1、隨著信息技術(shù)的提高和互聯(lián)網(wǎng)飛速發(fā)展，企業(yè)和個人數(shù)據(jù)出現(xiàn)爆炸式增長。研究調(diào)查預(yù)測到2020年全球數(shù)據(jù)量將達到35ZB。大數(shù)據(jù)時代已經(jīng)來臨，傳統(tǒng)數(shù)據(jù)存儲方式已經(jīng)無法滿足大數(shù)據(jù)時代的海量數(shù)據(jù)存儲需求，而以HDFS為代表的分布式文件系統(tǒng)憑借其高可靠性、高可擴展、高容錯性、低成本等特點為大數(shù)據(jù)時代的海量數(shù)據(jù)存取提供了全新的模式。然而，HDFS在處理小文件時存在存取效率低，元數(shù)據(jù)信息存儲消耗內(nèi)存大以及系統(tǒng)數(shù)據(jù)冗余度高等問題。因此海量小文件的存儲方法

2、的研究與優(yōu)化成為國內(nèi)外研究的熱門之一。
　　本文對HDFS分布式文件系統(tǒng)進行了全面分析，并介紹了重復(fù)數(shù)據(jù)刪除技術(shù)，同時分析了基于HDFS系統(tǒng)存儲海量小文件時存在的不足。針對網(wǎng)絡(luò)中的存在大量的小文件及重復(fù)數(shù)據(jù)，分別采用了相應(yīng)的的處理策略。本文的主要研究內(nèi)容和創(chuàng)新點如下：
　　(1)提出基于相似度的小文件合并算法。首先設(shè)計了提取文件關(guān)鍵字策略，對文件的關(guān)鍵字利用漢明距離進行相似度計算，將相關(guān)的小文件合并成大文件上傳到HDFS上；

3、結(jié)合小文件合并方案，對小文件的元數(shù)據(jù)結(jié)構(gòu)、存儲位置進行了分析，同時，對小文件的讀寫操作流程進行了詳細的設(shè)計,有效地減少了系統(tǒng)的I/O操作，緩解了NameNode存儲元數(shù)據(jù)的壓力，間接地增加系統(tǒng)的存儲容量。
　　(2)針對系統(tǒng)中存在數(shù)據(jù)高度冗余問題，本文在基于TTTD算法的基礎(chǔ)上提出了IOTD優(yōu)化算法，可以明顯地減小文件分塊大小的不確定性，提高數(shù)據(jù)去重率，同時為了加快數(shù)據(jù)去重中查詢索引表的速度，引入RUH表，通過MapReduce編