1、隨著近年來新一代移動通信、物聯(lián)網(wǎng)、云計算等新興技術(shù)的發(fā)展和普及，數(shù)據(jù)流量呈現(xiàn)爆發(fā)式增長，原有通信系統(tǒng)中的數(shù)據(jù)處理壓力增大。而分布式計算Hadoop中的MapReduce編程架構(gòu)憑借其強(qiáng)大的數(shù)據(jù)處理能力已經(jīng)在文本分析、自然語言處理、商業(yè)數(shù)據(jù)處理等領(lǐng)域內(nèi)成為比較成熟的解決方案，能夠滿足現(xiàn)階段通信領(lǐng)域的數(shù)據(jù)處理需求。但隨著數(shù)據(jù)量的進(jìn)一步增大、涉及的配置參數(shù)進(jìn)一步增加，配置參數(shù)優(yōu)化成為目前限制MapReduce性能的主要瓶頸。Hadoop配置涉

2、及了200多個參數(shù)，其中有約13左右會對運(yùn)行的作業(yè)產(chǎn)生較大的影響，這些參數(shù)恰恰決定了集群整體的性能表現(xiàn)。圍繞上述問題，本文以性能調(diào)優(yōu)為基礎(chǔ)，設(shè)計一種新型的參數(shù)配置分析系統(tǒng)，能夠針對每一個作業(yè)得到相應(yīng)的最優(yōu)化的參數(shù)配置。
　　本文在原有MapReduce框架的基礎(chǔ)上提出了三個新的邏輯部件：參數(shù)分析器、參數(shù)判決引擎、基于代價的優(yōu)化模型。其中，參數(shù)分析器會在未修改的MapReduce程序中收集相關(guān)統(tǒng)計信息；參數(shù)判決引擎會對各個參數(shù)域進(jìn)行

3、細(xì)化的預(yù)測；基于代價的優(yōu)化模型則是在前兩者的基礎(chǔ)上將參數(shù)配置簡單化，給出最優(yōu)化參數(shù)。上述三個部件綜合使用下，可以針對每一個作業(yè)給出最優(yōu)化的參數(shù)配置。
　　通過對MapReduce主要領(lǐng)域內(nèi)的典型應(yīng)用：詞頻統(tǒng)計、詞共現(xiàn)統(tǒng)計、排序進(jìn)行優(yōu)化后參數(shù)的綜合評估來驗(yàn)證本文提出的三個邏輯部件的有效性。經(jīng)過測試和驗(yàn)證，經(jīng)過本文所設(shè)計的三個邏輯部件得出的最優(yōu)化參數(shù)相比較經(jīng)驗(yàn)法則與默認(rèn)參數(shù)在解決 Hado o p服務(wù)器集群的性能瓶頸問題上具有優(yōu)越性和