1、隨著云計算技術近幾年的迅速發(fā)展，Hadoop這種處理大規(guī)模密集型數(shù)據(jù)的云計算平臺受到國內外大型IT公司、社交網絡、全球各大通信運營商等的廣泛關注及應用。Hadoop系統(tǒng)可部署在廉價的普通服務器上，能高效并行處理大規(guī)模數(shù)據(jù)集。Hadoop平臺有可能由成千上萬個節(jié)點組成，在這些節(jié)點中采用什么樣的任務調度技術協(xié)同處理各個任務顯得尤為重要。一個好的任務調度策略不但能夠很大程度上提高任務響應時間和系統(tǒng)吞吐率，也能提高整個集群資源的利用率。因此，任

2、務調度技術的研究對云計算平臺的發(fā)展具有重要意義。
　　 本文面向云計算平臺Hadoop的任務調度技術進行了如下研究：
　　 首先，研究Hadoop平臺的基本架構，Hadoop主要由數(shù)據(jù)存儲結構HDFS和任務并行處理模型MapReduce兩個部分組成。在其架構的基礎上分析了Hadoop的數(shù)據(jù)存儲特性、任務處理流程以及數(shù)據(jù)流程。詳細闡述了Hadoop平臺的任務調度技術發(fā)展現(xiàn)狀，并分析了現(xiàn)有Hadoop平臺采用的任務調度算法的

3、特點和局限性。
　　 其次，根據(jù)Hadoop數(shù)據(jù)的存儲特性，提出了基于數(shù)據(jù)局部性對LATE算法的改進策略，在Hadoop平臺中分機架考慮任務推測執(zhí)行的調度問題，選擇備份任務推測執(zhí)行時，優(yōu)先選擇數(shù)據(jù)存儲在請求處理節(jié)點上的任務，以及節(jié)點所在機架上的任務推測執(zhí)行；如果沒有數(shù)據(jù)存儲在本節(jié)點或者本機架的任務需要推測執(zhí)行，再考慮在其它機架上查找需要推測執(zhí)行的任務。
　　 再次，利用統(tǒng)計學概率論解決任務等待時間過長影響工作響應時間的情

4、況。根據(jù)稀有事件發(fā)生概率模型，綜合考慮數(shù)據(jù)局部性優(yōu)化問題和任務等待本節(jié)點或者本機架處理的時間過長反而影響任務響應時間的問題。
　　 最后，在CloudSim仿真平臺上模擬Hadoop架構，對不同的任務類型，設定不同的參數(shù)值進行仿真實驗，分析算法在提高任務本地化處理能力、減少工作響應時間以及優(yōu)化系統(tǒng)吞吐率等方面較其他算法具有明顯優(yōu)勢，基于數(shù)據(jù)局部性的改進算法解決了Hadoop平臺任務調度技術有關數(shù)據(jù)局部性問題的性能瓶頸。