1、最近幾年，隨著數(shù)據(jù)信息量的激增，大數(shù)據(jù)概念興起。大數(shù)據(jù)的處理分析受到了國內(nèi)外各個研究領(lǐng)域的廣泛關(guān)注。由于谷歌的成功案例，使得MapReduce框架成為了目前研究和使用最廣泛的大數(shù)據(jù)處理框架，其中Hadoop MapReduce作為谷歌MapReduce框架的開源社區(qū)版，成為了最熱門的開源項(xiàng)目之一。MapReduce框架采用將大數(shù)據(jù)集分片并行處理的思想，并向用戶屏蔽了并行程序的編程細(xì)節(jié)，以及程序并行處理時的協(xié)調(diào)機(jī)制和容錯問題。
　　

2、作為信息分析處理的基本操作，連接操作一直是MapReduce框架下的研究熱點(diǎn)，但由于MapReduce框架對連接操作的支持度不高，所以在連接操作中存在著很多問題。本文針對MapReduce框架下連接操作中產(chǎn)生的大量中間冗余數(shù)據(jù)和多表連接過程中多任務(wù)間協(xié)調(diào)問題，提出了Share-Coordinate-MapReduce框架。
　　首先，本文通過分析多表連接中冗余數(shù)據(jù)產(chǎn)生的原因，提出了基于Bloom Filter共享信息框架Share

3、-MapReduce，該框架通過順次處理連接數(shù)據(jù)集，共享連接屬性，從而實(shí)現(xiàn)對中間冗余的元組進(jìn)行過濾，減少網(wǎng)絡(luò)數(shù)據(jù)傳輸，降低I/O代價;對于多表連接過程中多任務(wù)協(xié)調(diào)問題，提出了Coordinate-MapReduce框架，該框架通過協(xié)調(diào)多個任務(wù)的啟動，減少任務(wù)間的等待時間;并基于數(shù)據(jù)連接屬性的分布比例，提出改進(jìn)框架下多表連接的連接順序優(yōu)化機(jī)制，從而最大程度上發(fā)揮框架性能。
　　其次，對于改進(jìn)框架下總節(jié)點(diǎn)的任務(wù)增加問題，為了降低改進(jìn)后

4、單點(diǎn)失效的機(jī)率，提出基于虛擬化技術(shù)的部署策略，通過虛擬化管理框架對總節(jié)點(diǎn)的運(yùn)行環(huán)境情況進(jìn)行動態(tài)監(jiān)控，并通過輪詢策略對將要出現(xiàn)的問題進(jìn)行提前處理。同時，為了確保改進(jìn)后框架的性能，本文對改進(jìn)框架進(jìn)行了可靠性和擴(kuò)展性的分析，并且針對提出的連接策略進(jìn)行適用性分析，以方便用戶更好的使用框架。
　　最后，本文通過手動生成網(wǎng)絡(luò)日志文件數(shù)據(jù)集，對框架的性能進(jìn)行了測試，通過實(shí)驗(yàn)可以看出本文提出的改進(jìn)框架對屬性值稀疏大表的處理上具有很大的優(yōu)勢;通過對