1、近年來(lái)，隨著社交網(wǎng)絡(luò)的推廣以及智能設(shè)備的普及，數(shù)據(jù)的增長(zhǎng)速度也在不斷加快。Hadoop，作為MapReduce的開源實(shí)現(xiàn)，在工業(yè)界和學(xué)術(shù)界的地位正變得越來(lái)越重要，大數(shù)據(jù)技術(shù)已經(jīng)對(duì)社會(huì)和經(jīng)濟(jì)的發(fā)展產(chǎn)生了直接影響。在Hadoop系統(tǒng)中，數(shù)據(jù)部署影響任務(wù)的分發(fā)和執(zhí)行效率，因此，數(shù)據(jù)部署策略的研究有重要的理論意義和實(shí)用價(jià)值。
　　本文主要研究Hadoop分布式文件系統(tǒng)的默認(rèn)數(shù)據(jù)部署策略和副本機(jī)制。針對(duì)原有數(shù)據(jù)部署策略的缺陷，利用節(jié)點(diǎn)的性能

2、和數(shù)據(jù)之間的關(guān)聯(lián)，提出一個(gè)兩階段數(shù)據(jù)部署算法。在此算法的基礎(chǔ)上，利用K-means算法，調(diào)整副本的部署位置，減少算法在運(yùn)行時(shí)的停頓時(shí)間。本文主要?jiǎng)?chuàng)新工作包括:
　　1.提出一個(gè)基于PageRank的節(jié)點(diǎn)性能評(píng)估算法。本文采用多種Benchmark測(cè)試對(duì)節(jié)點(diǎn)性能進(jìn)行評(píng)估，利用PageRank算法計(jì)算各個(gè)評(píng)估得分的價(jià)值，將多個(gè)評(píng)估得分歸一。
　　2.提出一個(gè)兩階段數(shù)據(jù)部署算法(TSDP，Two Stages Data Place

3、ment)。首先根據(jù)性能把數(shù)據(jù)塊部署到各個(gè)節(jié)點(diǎn)。再根據(jù)數(shù)據(jù)之間的關(guān)聯(lián)度將數(shù)據(jù)塊進(jìn)行分組，進(jìn)行數(shù)據(jù)的第二階段部署。實(shí)驗(yàn)表明，TSDP算法相對(duì)于一致性hash算法和負(fù)載均衡算法，任務(wù)執(zhí)行效率明顯提高。
　　3.提出一個(gè)新的副本部署算法。本文首先定義了數(shù)據(jù)的熱度，根據(jù)數(shù)據(jù)熱度來(lái)調(diào)整數(shù)據(jù)的副本數(shù)。然后定義了節(jié)點(diǎn)的關(guān)聯(lián)度，利用節(jié)點(diǎn)的關(guān)聯(lián)度代替歐氏距離，使用K-means算法計(jì)算出聚類中心，從而減少副本的遷移距離，降低TSDP算法在運(yùn)行時(shí)的停