1、隨著大數(shù)據(jù)時(shí)代的到來，僅僅中國(guó)每年產(chǎn)生的數(shù)據(jù)量就已經(jīng)到達(dá) ZB級(jí)別，對(duì)于這些海量數(shù)據(jù)的存儲(chǔ)和處理，傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)和系統(tǒng)架構(gòu)已經(jīng)越來越乏力，Hadoop作為近幾年發(fā)展起來的大數(shù)據(jù)處理平臺(tái)，它是由Apache軟件基金會(huì)開發(fā)的開源分布式數(shù)據(jù)處理框架，它在處理大數(shù)據(jù)時(shí)具有可靠性、可伸縮性、高效性、可擴(kuò)展性、低成本等優(yōu)點(diǎn)。HDFS作為Hadoop的文件系統(tǒng)，它繼承了傳統(tǒng)存儲(chǔ)系統(tǒng)的優(yōu)點(diǎn)，同時(shí)采用具有開創(chuàng)性的設(shè)計(jì)思路來實(shí)現(xiàn)自己的功能，使它能夠處理大

2、規(guī)模數(shù)據(jù)，并且使它成為可擴(kuò)展的文件存儲(chǔ)與傳輸系統(tǒng)。然而采用Hadoop處理海量小文件時(shí)，卻出現(xiàn)一系列性能瓶頸，比如名稱節(jié)點(diǎn)占用率高、訪問效率低、檢索效率低等，因此，Hadoop海量小文件處理技術(shù)已然成為學(xué)術(shù)界和工業(yè)界一個(gè)重要的研究課題。
　　為了解決Hadoop處理海量小文件產(chǎn)生的一系列性能問題，本文的主要思想是采用BM25算法確定小文件相關(guān)性，對(duì)文件進(jìn)行分類合并以減少文件數(shù)量，從而緩解NameNode存儲(chǔ)海量小文件的元數(shù)據(jù)而造成

3、的內(nèi)存瓶頸，在合并文件的同時(shí)建立索引機(jī)制，實(shí)現(xiàn)從合并文件到單個(gè)小文件的訪問。此外，根據(jù)文件的相關(guān)性，分別提供相關(guān)小文件的預(yù)取機(jī)制和相關(guān)小文件的索引預(yù)取機(jī)制，這將有利于減小NameNode中元數(shù)據(jù)請(qǐng)求所產(chǎn)生的負(fù)荷，能夠在讀請(qǐng)求方面實(shí)現(xiàn)更好的性能，在整個(gè)系統(tǒng)中，使用內(nèi)存數(shù)據(jù)庫(kù)技術(shù)（Memcached）構(gòu)建緩存層（Cache），完成相關(guān)文件映射和預(yù)取工作，提高小文件的檢索效率。
　　本文對(duì)改進(jìn)的小文件處理方案進(jìn)行了系統(tǒng)測(cè)試，采用網(wǎng)絡(luò)數(shù)據(jù)