1、隨著 Internet技術(shù)日新月異飛速發(fā)展，互聯(lián)網(wǎng)上信息數(shù)量也在急劇增長。目前很多自動化應(yīng)用能夠幫助我們從互聯(lián)網(wǎng)上的海量數(shù)據(jù)中提取出我們所需的內(nèi)容，可是網(wǎng)頁信息不僅包含網(wǎng)頁本身的主題信息，往往還包含導(dǎo)航條、網(wǎng)頁廣告鏈接信息及相關(guān)推薦這類與主題并不相關(guān)的內(nèi)容，即噪音信息。這些信息不僅影響用戶的閱讀體驗，而且可能造成網(wǎng)頁主題偏移，影響數(shù)據(jù)挖掘和搜索的速度與準(zhǔn)確率。因此，研究和實現(xiàn)高效、實用的web網(wǎng)頁中廣告等噪音信息的過濾技術(shù)無論是在數(shù)據(jù)挖

2、掘及web信息檢索方面，還是在提高用戶閱讀體驗方面，都具有相當(dāng)重要的意義。網(wǎng)頁的語言形式和語法等特性都與傳統(tǒng)的語言相比存在很大的區(qū)別，因此網(wǎng)頁噪音信息過濾技術(shù)更加繁雜，需要考慮的因素也更多并且更具挑戰(zhàn)性。
　　本文基于以上背景，提出了一種新的基于視覺屬性分析的網(wǎng)頁噪音信息識別與過濾算法。本文首先對目前主流的網(wǎng)頁去除噪音方法進(jìn)行分類并進(jìn)行了分析研究。接著分析研究了具有代表性的各大門戶網(wǎng)站的新聞網(wǎng)頁中噪音信息的特點，并在此基礎(chǔ)上提出了

3、基于網(wǎng)頁視覺屬性與內(nèi)容規(guī)則的噪音識別算法。該方法首先對網(wǎng)頁文檔中注釋等無用信息進(jìn)行過濾，并將文檔構(gòu)建成特殊的基于網(wǎng)頁視覺屬性分析的文檔對象模型WVP_DOM樹，接著劃分樹中的塊結(jié)點信息確定最可能出現(xiàn)噪音信息的區(qū)域，跟據(jù)區(qū)域中的標(biāo)點符號及超鏈接正文比，進(jìn)一步判斷該塊是噪音塊還是主題塊。然后為保證網(wǎng)頁噪音信息準(zhǔn)確過濾并不影響用戶的閱讀，本文提出基于樹結(jié)構(gòu)相似性的網(wǎng)頁不變形噪音過濾算法。該方法主要思想是在網(wǎng)頁轉(zhuǎn)化成的WVP_DOM樹形結(jié)構(gòu)中濾