1、分類號(hào)!￡蘭12UDC工程碩士學(xué)位論文基于HDFS的云存儲(chǔ)關(guān)鍵技術(shù)研究衣然論文答辯日期2Q!生!!旦!!目學(xué)位授予日期2Q!堇生12旦三!旦基于HDFS的云存儲(chǔ)關(guān)鍵技術(shù)研究摘要云存儲(chǔ)系統(tǒng)為存儲(chǔ)大規(guī)模數(shù)據(jù)應(yīng)運(yùn)而生，其底層采用分布式文件系統(tǒng)作為存儲(chǔ)平臺(tái)。HDFS(HadoopDis仃ibmedFileSystem)是開(kāi)源的云計(jì)算平臺(tái)Hadoop提出的分布式文件系統(tǒng)，其設(shè)計(jì)簡(jiǎn)單，應(yīng)用廣泛。但是隨著數(shù)據(jù)量的指數(shù)型增長(zhǎng)，在可用性、可靠性、擴(kuò)展性和

2、數(shù)據(jù)訪問(wèn)性能等方面已經(jīng)難以滿足日益增長(zhǎng)的數(shù)據(jù)量的存儲(chǔ)需求。HDFS采用單一的元數(shù)據(jù)服務(wù)器(MetaDataServer，MDS)來(lái)管理整個(gè)系統(tǒng)的元數(shù)據(jù)信息，這樣雖然設(shè)計(jì)簡(jiǎn)單，但是單一的元數(shù)據(jù)服務(wù)器經(jīng)常成為整個(gè)系統(tǒng)性能的瓶頸，限制元數(shù)據(jù)的數(shù)量，可擴(kuò)展性差，并且單一的服務(wù)器節(jié)點(diǎn)也會(huì)帶來(lái)單點(diǎn)失效問(wèn)題，當(dāng)其發(fā)生故障時(shí)，整個(gè)系統(tǒng)將不能工作，影響系統(tǒng)可用性。同時(shí)，在現(xiàn)有的HDFS中，系統(tǒng)將默認(rèn)保存三個(gè)文件副本來(lái)保證數(shù)據(jù)可靠性，但是副本分配數(shù)量固定，

3、副本放置時(shí)位置的選擇可能會(huì)帶來(lái)負(fù)載不均衡等問(wèn)題，影響系統(tǒng)效率。針對(duì)以上問(wèn)題，本文進(jìn)行了如下研究：對(duì)HDFS的系統(tǒng)架構(gòu)設(shè)計(jì)和工作原理進(jìn)行了深入了解。本文提出一種集群化元數(shù)據(jù)服務(wù)器架構(gòu)，在此基礎(chǔ)上，提出了一種引入虛擬節(jié)點(diǎn)的改進(jìn)一致性Hash算法，采用目錄子樹(shù)劃分和改進(jìn)的一致性Hash算法相結(jié)合的方式對(duì)元數(shù)據(jù)進(jìn)行劃分。為解決數(shù)據(jù)訪問(wèn)引起的局部過(guò)熱問(wèn)題，提出一種基于改進(jìn)的一致性Hash算法中虛擬節(jié)點(diǎn)遷移的動(dòng)態(tài)負(fù)載均衡算法，動(dòng)態(tài)調(diào)整運(yùn)行過(guò)程中數(shù)據(jù)