1、當(dāng)前,由Apache基金會所研發(fā)的Hadoop云計算平臺,已經(jīng)迅速成為了大數(shù)據(jù)處理領(lǐng)域的熱門首選。與此同時,個性化互聯(lián)網(wǎng)及移動互聯(lián)網(wǎng)技術(shù)的發(fā)展,迅速催生出大量具有重要價值的小文件。由于在現(xiàn)實的應(yīng)用中,存在較多利用Hadoop對海量小文件進行存取的需求;同時海量的小文件經(jīng)過合并處理可以方便地得到適合Hadoop平臺處理的大文件。因此,利用Hadoop平臺在處理大數(shù)據(jù)處理方面的優(yōu)勢來對海量的小文件進行處理,具有十分重要的研究價值和實用意義。

2、
　　然而,Hadoop云平臺本身是為大數(shù)據(jù)的處理而生,如果直接對海量小文件進行處理,存在耗費節(jié)點內(nèi)存等問題?，F(xiàn)有基于小文件合并思想的解決方案,很好地解決了海量小文件耗費節(jié)點內(nèi)存的問題。但是由于其索引結(jié)構(gòu)設(shè)計的缺陷,又帶來小文件檢索效率低、名字節(jié)點負(fù)擔(dān)重、實用性差等問題。本文深入研究Hadoop處理海量小文件時存在的問題,提出海量小文件處理的優(yōu)化方案。
　　論文在第三章和第四章分別提出基于多層索引的小文件讀寫策略(簡稱多層索

3、引技術(shù))以及基于緩存技術(shù)的小文件讀取策略(簡稱緩存預(yù)取技術(shù))兩種方案,并在Hadoop平臺上對兩種方案分別進行了測試驗證和結(jié)果分析。其中緩存預(yù)取技術(shù)是對多層索引技術(shù)的補充與完善,它對利用多層索引技術(shù)所檢索出的熱點小文件進行緩存處理,以進一步提高檢索效率。本文的主要工作包括兩個方面:
　　1)基于多層索引的小文件讀寫策略的研究與實現(xiàn)。本文根據(jù) Hadoop平臺現(xiàn)有小文件處理的思想,對海量小文件進行合并然后建立索引。其中索引結(jié)構(gòu)的設(shè)計

4、是本文的創(chuàng)新點及研究重點,包括索引預(yù)處理、索引分層、索引分片等。通過對小文件按類型進行合并,建立多層索引,并對Hadoop平臺源代碼進行相應(yīng)改進,海量小文件在Hadoop平臺上耗費節(jié)點內(nèi)存的問題得到解決,檢索效率得到一定程度提升、名字節(jié)點負(fù)擔(dān)得到減輕、實用性也得到提高。
　　2)基于緩存技術(shù)的小文件讀取策略的研究與實現(xiàn)。本文實現(xiàn)了基于Java語言的Adaptive Repalcement Cache緩存管理算法(ARC算法),并提