1、World Wide Web(WWW,或Web網(wǎng))自20世紀90年代發(fā)明以來就一直呈現(xiàn)蓬勃發(fā)展之勢,到今天為止其蘊含著海量的豐富資源,包羅萬象,是人類一筆寶貴的知識財產(chǎn)。Web網(wǎng)按其分布狀況可以分為“表層網(wǎng)(Surface Web)”和“深層網(wǎng)(Deep Web)”。Deep Web指那些存儲在網(wǎng)絡(luò)數(shù)據(jù)庫里、不能通過超鏈接訪問而需要通過動態(tài)網(wǎng)頁技術(shù)訪問的資源集合。根據(jù)調(diào)查,DeepWeb中包含的信息量超過Surface Web上千倍,而

2、且這個比例仍在持續(xù)地上升。
　　 為了能夠有效利用DeepWeb中豐富的信息,建立DeepWeb數(shù)據(jù)集成系統(tǒng)成為了當前最迫切的需求。由于Web數(shù)據(jù)庫的異質(zhì)性和自主性,對從各個Web數(shù)據(jù)庫中抽取結(jié)果的合并是一項十分具有挑戰(zhàn)性的工作。為了對抽取結(jié)果進行清洗和去重,重復(fù)記錄識別則是數(shù)據(jù)合并過程中的一個必不可少的環(huán)節(jié)。
　　 本文概要介紹了重復(fù)記錄識別(即數(shù)據(jù)清洗和去重)問題及其應(yīng)用,詳細地闡述了實現(xiàn)重復(fù)記錄識別的不同方法以及它

3、們所應(yīng)用的結(jié)構(gòu)。針對已有的大多數(shù)的數(shù)據(jù)清洗方法主要是基于結(jié)構(gòu)化的關(guān)系數(shù)據(jù)的局限性,本文提出一種處理從DeepWeb數(shù)據(jù)源中抽取出的半結(jié)構(gòu)化數(shù)據(jù)的重復(fù)記錄識別模型。本模型主要由數(shù)據(jù)預(yù)處理模塊、同構(gòu)記錄處理模塊和異構(gòu)記錄處理模塊組成。
　　 “DeepWeb數(shù)據(jù)源下重復(fù)記錄識別模型”利用數(shù)據(jù)集成過程中的基于特定領(lǐng)域的全局模式來分析不同數(shù)據(jù)源的實體記錄值間的匹配關(guān)系,進而大大提高了計算實體記錄間的相似度的準確性。在計算來自不同數(shù)據(jù)源的