1、對數(shù)據(jù)進行處理的過程中，查詢操作是一種常見的操作。但是，由于MapReduce計算模型自身的局限性，在進行連接操作時會出現(xiàn)網(wǎng)絡(luò)傳輸量過大、reduce端數(shù)據(jù)傾斜等問題，影響整個集群的效率。因此，對基于MapReduce的連接算法進行研究并著力提高算法性能，變得尤為必要。
　　首先，本文針對基于MapReduce兩表等值連接算法中網(wǎng)絡(luò)傳輸量過大的問題，對基于BloomFilter的等值連接算法進行優(yōu)化改進。在利用BloomFilte

2、r對數(shù)據(jù)集進行過濾時，優(yōu)化原來的方法，利用BloomFilter分別對兩個數(shù)據(jù)集進行過濾，這樣就能過濾掉不在最終結(jié)果集中的大部分元組而無需發(fā)送到reduce端。
　　其次，本文針對MapReduce默認(rèn)哈希分區(qū)方法容易導(dǎo)致reduce端數(shù)據(jù)傾斜的問題，對基于Hash虛擬重分區(qū)等值連接算法進行優(yōu)化改進。在reduce任務(wù)獲取map任務(wù)的元數(shù)據(jù)信息階段，采用整群抽樣的方法，抽取部分map任務(wù)節(jié)點獲取對應(yīng)的元數(shù)據(jù)信息，而不是讓reduc