1、隨著數(shù)據(jù)規(guī)模的急速增大,應(yīng)用種類的極大豐富,個(gè)人用戶和企業(yè)對信息的需求已經(jīng)遠(yuǎn)遠(yuǎn)超過了原有平臺的能力。越來越多的應(yīng)用和平臺,不論對企業(yè)級還是個(gè)人級用戶都不堪重負(fù),Hadoop平臺作為一個(gè)開源的,且運(yùn)行在集群上的大型數(shù)據(jù)庫處理框架得到了廣泛應(yīng)用,然而由于Hadoop還比較年輕,在很多地方還有改進(jìn)和修改的可能。
　　本文通過廣泛的調(diào)研,介紹了云計(jì)算的定義和關(guān)鍵技術(shù),對基于云計(jì)算的Hadoop平臺的兩大核心Mapreduce和HDFS進(jìn)行

2、了深入的研究。論文重點(diǎn)分析了現(xiàn)有的3種調(diào)度算法:先入先出調(diào)度算法(FIFO)、公平調(diào)度算法(Fair-Scheduler)和計(jì)算能力調(diào)度算法(Capacity Scheduler)的設(shè)計(jì)思路和優(yōu)缺點(diǎn),并針對Hadoop的參數(shù)過多難以設(shè)置和調(diào)度算法過多難以選擇的問題,提出了一種海量數(shù)據(jù)的抽樣算法,設(shè)計(jì)了基于該算法的改進(jìn)Hadoop框架,即在原有框架基礎(chǔ)上加入了策略選擇層,從而解決上述兩個(gè)問題。最后對Hadoop平臺重新打包并進(jìn)行實(shí)驗(yàn)驗(yàn)證,