1、數(shù)據(jù)倉庫(Teradata)中的數(shù)據(jù)常遷移到Hadoop分布式系統(tǒng)上進行高效的計算和分析，當數(shù)據(jù)庫中的數(shù)據(jù)發(fā)生變化而未及時與 Hadoop系統(tǒng)上同步或者因為在通訊、同步、復制過程中的數(shù)據(jù)丟失等情況出現(xiàn)時，會導致數(shù)據(jù)不一致的問題，數(shù)據(jù)集比對是為了找出兩端數(shù)據(jù)的差異，以維護數(shù)據(jù)的一致性。Bloom Filter（布魯姆過濾器）是一種空間高效但有一定假陽性的數(shù)據(jù)表示方法。它提供高效的存在性查詢操作。結合實際項目背景，本方案通過MD5哈希的方式

2、縮小待比對的兩端數(shù)據(jù)集，以減少數(shù)據(jù)傳輸?shù)膲毫?。通過Bloom Filter算法進行數(shù)據(jù)記錄的比對，可以獲得原始數(shù)據(jù)中具有差異的數(shù)據(jù)的PK（主鍵），以此作為結果可跟蹤到原始數(shù)據(jù)的變化。
　　本文利用Hadoop分布式系統(tǒng)上的Mapreduce程序模型設計一個實驗系統(tǒng)，該系統(tǒng)可以明確指出數(shù)據(jù)集中不一致記錄的PK，以便進行后續(xù)的數(shù)據(jù)恢復操作。實驗中實現(xiàn)了基本交運算、計數(shù)型布魯姆過濾器、可擴展型布魯姆過濾器和可反向型布魯姆過濾器，并根據(jù)實