1、信息技術(shù)的飛速發(fā)展使組織的管理者進(jìn)行決策分析時對數(shù)據(jù)的依賴性越來越強(qiáng)。于是在數(shù)據(jù)庫的基礎(chǔ)上產(chǎn)生了能夠滿足決策分析所需要的數(shù)據(jù)環(huán)境——數(shù)據(jù)倉庫。但是從異構(gòu)的數(shù)據(jù)源導(dǎo)入數(shù)據(jù)倉庫的數(shù)據(jù)中會存在各種質(zhì)量問題，使得應(yīng)用于數(shù)據(jù)倉庫前端的決策支持系統(tǒng)產(chǎn)生錯誤的分析結(jié)果,所以必須對其進(jìn)行數(shù)據(jù)清洗來提高其質(zhì)量。數(shù)據(jù)清洗正在成為數(shù)據(jù)倉庫和數(shù)據(jù)挖掘領(lǐng)域的一個重要課題。 本文對數(shù)據(jù)清洗的知識進(jìn)行了全面的描述，介紹了數(shù)據(jù)清洗的概念和國內(nèi)外研究現(xiàn)狀。對數(shù)據(jù)

2、清洗技術(shù)的原理、方法、評價標(biāo)準(zhǔn)以及基本流程進(jìn)行了分析。重點(diǎn)對重復(fù)記錄清洗所用到的技術(shù)和各種算法進(jìn)行了深入的研究與實(shí)驗(yàn)分析。 在重復(fù)記錄清洗中，首先介紹了重復(fù)記錄清洗的相關(guān)知識和基本流程，然后分別就流程中各個步驟進(jìn)行了深入的研究，對各種算法進(jìn)行了復(fù)雜度分析，并針對部分算法中的缺陷進(jìn)行了改進(jìn)。主要工作大致包括：在預(yù)處理步驟中，本文基于越能最大限度的聚集相同記錄，離散不同記錄的屬性其權(quán)重應(yīng)該越大的思想分配屬性的權(quán)重。對常見的字段匹配算

3、法Levenshtein距離、Smith Waterman距離、Jaro_Winkler距離、TI similarity 做了詳細(xì)的算法說明分析。在數(shù)據(jù)庫級上對重復(fù)記錄進(jìn)行聚類的步驟中，就基于“排序-合并”思想的排序鄰居法、多趟算法、優(yōu)先隊(duì)列法進(jìn)行了詳細(xì)的討論和實(shí)驗(yàn)分析，并改進(jìn)了傳統(tǒng)的排序鄰居法，實(shí)驗(yàn)結(jié)果表明，改進(jìn)的排序鄰居法在相同召回率的情況下，時間復(fù)雜度優(yōu)于傳統(tǒng)的算法。此外對canopy聚類方法進(jìn)行了算法分析，并對優(yōu)先隊(duì)列算法和ca