1、隨著互聯(lián)網(wǎng)的興起與日益激增的數(shù)據(jù)處理需求,云計(jì)算以其低廉的成本,強(qiáng)大的運(yùn)算存儲能力與高可靠性等眾多優(yōu)良特性逐漸受到各大IT企業(yè)的重視。MapReduce是云架構(gòu)的編程模型,用以在集群上分布式地執(zhí)行用戶提交的作業(yè),其作業(yè)調(diào)度與執(zhí)行性能成為使用者關(guān)注的重點(diǎn)。
　　本文對Hadoop平臺MapReduce編程模型的多個優(yōu)化方向進(jìn)行了細(xì)致地研究。在對目前國內(nèi)外關(guān)于MapReduce編程模型的性能優(yōu)化技術(shù)進(jìn)行分析的基礎(chǔ)上,首先給出了多用戶組

2、使用環(huán)境下,支持作業(yè)類型劃分的多隊(duì)列調(diào)度策略。調(diào)度器通過劃分作業(yè)等待隊(duì)列和作業(yè)執(zhí)行隊(duì)列的方式,實(shí)現(xiàn)了二級調(diào)度;通過多個作業(yè)隊(duì)列的方式管理多個用戶組;作業(yè)隊(duì)列的計(jì)算資源允許在閑置時(shí)被其它作業(yè)隊(duì)列占用,以避免資源浪費(fèi);被占用的資源可以在作業(yè)隊(duì)列需要時(shí)被回收,回收過程支持任務(wù)搶占,并通過“共享隊(duì)列列表”和“非共享隊(duì)列列表”的邏輯劃分防止乒乓效應(yīng)的產(chǎn)生。調(diào)度器同時(shí)支持作業(yè)類型進(jìn)行調(diào)度,根據(jù)節(jié)點(diǎn)的負(fù)載情況,靈活地分配不同類型的作業(yè)以提高節(jié)點(diǎn)的硬件

3、利用率,加快作業(yè)的響應(yīng)速度。
　　本文研究了提升Reduce任務(wù)網(wǎng)絡(luò)性能的優(yōu)化方法。通過在Map任務(wù)所在的節(jié)點(diǎn)合并輸出文件,使得輸出數(shù)據(jù)更緊湊,減少了本地臨時(shí)文件的文件數(shù),從而增大了單個輸出文件的大小。在Reduce任務(wù)的輸入數(shù)據(jù)本地化過程中,通過長連接從Map任務(wù)所在的節(jié)點(diǎn)獲取輸出文件,減小了網(wǎng)絡(luò)連接數(shù),并提高了網(wǎng)絡(luò)I/O的性能。
　　本文提出了對MapReduce編程模型進(jìn)行性能分析的方法和分析指標(biāo)。通過作業(yè)生命周期,任