1、在飛速發(fā)展的互聯(lián)網(wǎng)技術(shù)中，數(shù)據(jù)量的增長呈爆炸性的趨勢。數(shù)據(jù)作為信息的載體，在信息化的發(fā)展過程中占有舉足輕重的地位。海量數(shù)據(jù)的管理困難、高數(shù)據(jù)存儲成本、低可靠性和低安全性等是現(xiàn)在社會面臨的重大難題。更多的企業(yè)開始涉足于云計算領(lǐng)域，使用云計算進行數(shù)據(jù)的分布式計算和管理。云計算服務(wù)的優(yōu)勢在于其可靠性高、易于擴展、存儲容量大及處理速度快等特點，所以關(guān)于云計算服務(wù)系統(tǒng)的研究已經(jīng)成為了IT技術(shù)進一步發(fā)展的趨勢。論文以提高云計算實現(xiàn)平臺Hadoop中

2、的數(shù)據(jù)處理速度為目標(biāo)，深入地研究了MapReduce和HDFS內(nèi)部運行機制。
　　 針對Hadoop運行環(huán)境的異構(gòu)性，為了使Hadoop能夠根據(jù)每個計算節(jié)點的運算能力進行合理的任務(wù)分配，提出了一種改良的自適應(yīng)負(fù)載調(diào)節(jié)調(diào)度算法(SALS)。該算法將Hadoop調(diào)度算法和當(dāng)前系統(tǒng)負(fù)載水平相結(jié)合，實現(xiàn)了自適應(yīng)的調(diào)度算法，并改進了Hadoop原始的推測執(zhí)行算法，新的算法使得影響系統(tǒng)響應(yīng)時間的掉隊者能得到更精確的判定，掉隊者任務(wù)的命中率得

3、到了很大程度上提高，從而更加有效的提高整個系統(tǒng)的響應(yīng)能力。
　　 針對Hadoop中HDFS的內(nèi)部數(shù)據(jù)下載效率較低和可能出現(xiàn)的負(fù)載不均衡的問題，提出一種分布式文件并行下載算法。該算法從文件整體下載效率和數(shù)據(jù)塊的下載效率兩方面出發(fā)，提出了相應(yīng)的優(yōu)化方法，并在此基礎(chǔ)上引入P2P的多線程思想能夠有效地提高系統(tǒng)的下載效率。在傳統(tǒng)并行算法的基礎(chǔ)之上，引入了一種新的速度預(yù)測函數(shù)。該函數(shù)利用平均歷史下載速度和當(dāng)前速度以實現(xiàn)對未來下載速度更精確