1、MapReduce作為一個(gè)并行處理的計(jì)算模型，因?yàn)槠涓呷蒎e(cuò)性，高易用性，以及高擴(kuò)展性在大規(guī)模分布式數(shù)據(jù)處理中得到廣泛的應(yīng)用。MapReduce可以處理關(guān)系數(shù)據(jù)庫(kù)中一些操作，像是選擇，聚合，和投影等。但是二元操作中，像是連接，笛卡爾乘積，和集合操作，卻很難在MapReduce中實(shí)現(xiàn)。MapReduce是支持的對(duì)大規(guī)模單數(shù)據(jù)集的處理。但是，對(duì)于多數(shù)據(jù)集的處理，MapReduce去沒(méi)有提供相應(yīng)的支持。因此在MapReduce框架中，連接操作一

2、直是沒(méi)有有效的實(shí)現(xiàn)方式。雖然在Hadoop中提供了實(shí)現(xiàn) MapReduce的連接算法，但是這些實(shí)現(xiàn)方式連接效率都不高。因此，對(duì)于改進(jìn)基于MapReduce連接查詢處理算法成為急需解決的問(wèn)題。
　　本文首先針對(duì)基于MapReduce Reduce Side的二路連接算法的不足提出了一種基于索引的分區(qū)改進(jìn)優(yōu)化算法，優(yōu)化算法的思想是，在進(jìn)行連接之前，將兩個(gè)數(shù)據(jù)表按照連接屬性進(jìn)行分區(qū)，再對(duì)其中一個(gè)較小的表的分區(qū)生成一個(gè)索引文件，并存儲(chǔ)到H

3、DFS（Hadoop Distributed File System）上。在Map階段讀入大數(shù)據(jù)集的分片信息，通過(guò)對(duì)索引文件的搜索，可以找到與當(dāng)前大數(shù)據(jù)集對(duì)應(yīng)的小數(shù)據(jù)集的分區(qū)文件，并把它加載到內(nèi)存中，與大數(shù)據(jù)集分片在Map端進(jìn)行連接。從而提高內(nèi)存的利用率。
　　其次，通過(guò)MapReduce多表連接的傳統(tǒng)實(shí)現(xiàn)算法的缺點(diǎn)的分析，提出了一種改進(jìn)分區(qū)的策略，使key/value對(duì)能夠通過(guò)改進(jìn)分區(qū)傳送到多個(gè)Reduce節(jié)點(diǎn)，從而在滿足條件的