1、隨著信息技術的日益發(fā)展，如何處理海量數(shù)據(jù)成為目前的研究熱點。MapReduce分布式計算框架以其處理數(shù)據(jù)量大、簡單易用、可擴展性強等特點成為進行大數(shù)據(jù)處理時的主要選擇之一。但對于數(shù)據(jù)處理中十分重要且常見的連接操作，MapReduce框架的特點決定了它僅在處理單屬性等值連接時有著較好的表現(xiàn)，由于涉及到連接方案選擇等問題，其在進行多數(shù)據(jù)集的任意連接時效率并不高。所以針對MapReduce下的多數(shù)據(jù)集任意連接優(yōu)化方法的研究，對于提高大數(shù)據(jù)處理

2、的效率具有重要的意義。
　　完善了現(xiàn)有的開銷估算模型，細化了計算、排序、合并等操作以及內(nèi)存與磁盤間數(shù)據(jù)交換的開銷。并加入了分布擬合操作，能夠比較準確地獲取待連接數(shù)據(jù)集的分布形式，從而使得在對數(shù)據(jù)集的連接結果集規(guī)模估算得更加準確。利用該估算模型對數(shù)據(jù)集連接進行開銷估算時獲得的估算結果更加精確，進而能夠在此基礎上制定更加合理高效的連接方案，提升整體的連接效率。
　　以開銷估算模型為基礎，制定了基于連接集合劃分與覆蓋的多數(shù)據(jù)集連接

3、方法。方法將一次連接操作看作一個連接集合，首先將整體的連接關系看作連接全集并劃分為若干個連接子集，劃分過程中運用剪枝策略，減少劃分得到的子集數(shù)量；之后運用蟻群算法，對劃分好的集合進行最優(yōu)集合覆蓋求解，能夠覆蓋全集的子集就代表著能夠?qū)⑺袛?shù)據(jù)集連接起來的連接操作；再對得到的集合覆蓋結果重復上述操作，直到得到最終的連接方案。集合劃分操作保證了連接方案的全面性，帶權集合覆蓋的求解保證了連接方案的高效性，最終提高了整體的連接效率。
　　將