1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,數(shù)字信息正在呈現(xiàn)爆炸式的增長,人類已步入大數(shù)據(jù)時(shí)代,傳統(tǒng)的存儲(chǔ)方式在處理海量數(shù)據(jù)方面顯得越來越乏力。如何高效地處理和存儲(chǔ)海量數(shù)據(jù)已成為一個(gè)亟待解決的問題。伴隨著數(shù)據(jù)處理以及存儲(chǔ)技術(shù)的快速發(fā)展,云計(jì)算的概念應(yīng)運(yùn)而生。云存儲(chǔ)是云計(jì)算的延伸和發(fā)展,它具有結(jié)構(gòu)靈活、響應(yīng)效率高、管理方便等優(yōu)點(diǎn),已經(jīng)成為世界各國解決數(shù)據(jù)爆炸性增長方案的首選。
　　Hadoop分布式文件系統(tǒng)(HDFS)作為目前應(yīng)用非常廣泛的云存儲(chǔ)平臺(tái)具有

2、開源、廉價(jià)、高容錯(cuò)以及高可擴(kuò)展性的特點(diǎn)。但是由于自身的主從式結(jié)構(gòu)和元數(shù)據(jù)的存儲(chǔ)方式導(dǎo)致其在處理海量小文件時(shí) NameNode內(nèi)存占用率高、存儲(chǔ)訪問效率低、并發(fā)用戶的訪問時(shí)延長,這些問題已經(jīng)成為制約 HDFS整體性能的瓶頸。因此,基于 HDFS的海量小文件存儲(chǔ)方法的研究與優(yōu)化是云計(jì)算技術(shù)領(lǐng)域的一個(gè)重要研究課題。
　　為了解決 HDFS處理海量小文件時(shí)耗費(fèi)內(nèi)存資源和檢索效率低的問題,本文首先研究了 HDFS下處理小文件的現(xiàn)有方法,分析

3、了各自的優(yōu)缺點(diǎn),并在此基礎(chǔ)上提出了一種具有獨(dú)立小文件處理模塊的分布式文件系統(tǒng)。該架構(gòu)是在分布式文件系統(tǒng)的基礎(chǔ)之上加入一個(gè)完全獨(dú)立于 HDFS的小文件處理模塊,負(fù)責(zé)小文件的合并、映射、預(yù)取,在傳統(tǒng) HDFS處理之前將小文件整合為大文件。該架構(gòu)使得HDFS系統(tǒng)在處理小文件的同時(shí)不影響對(duì)大文件或者對(duì)已合并小文件的寫入或讀取,從而提高系統(tǒng)的存儲(chǔ)訪問效率。并且,本文所提架構(gòu)更加符合傳統(tǒng) HDFS高效處理大文件的設(shè)計(jì)理念,在解決多用戶高并發(fā)訪問問題