1、隨著互聯(lián)網(wǎng)的大規(guī)模普及和持續(xù)高速發(fā)展，成千上萬的新聞網(wǎng)站應運而生并源源不斷發(fā)布海量新聞網(wǎng)頁。然而計算機程序并不能直接地理解新聞網(wǎng)頁中哪些部分是新聞標題和正文，因而無法對網(wǎng)頁中的內(nèi)容進行有效檢索。因此在網(wǎng)絡應用背景下的信息檢索對信息自動提取技術(shù)存在巨大需求。
　　 本文中研究了兩種各有特點的網(wǎng)頁新聞提取技術(shù)，并基于這兩種技術(shù)設計及實現(xiàn)了一個網(wǎng)頁新聞提取系統(tǒng)。1)本文首先研究了一種基于新聞網(wǎng)頁結(jié)構(gòu)一致性的網(wǎng)頁新聞提取算法。該算法基于

2、網(wǎng)頁模板自動推導，并緊密結(jié)合新聞網(wǎng)頁的結(jié)構(gòu)一致性特點：通過填充模板動態(tài)生成的網(wǎng)頁中包含的數(shù)據(jù)盡管各不相同，但都具有相似的網(wǎng)頁結(jié)構(gòu)。該算法在傳統(tǒng)的模板推導算法基礎(chǔ)上引入了重復模式歸并技術(shù)，提高了網(wǎng)頁聚類過程的準確性。此外該算法通過有效利用少量的用戶標注，有效區(qū)分了網(wǎng)頁模板中的重要和無關(guān)內(nèi)容。2)本文隨后研究了一種基于新聞網(wǎng)頁視覺一致性的網(wǎng)頁新聞提取算法。該算法具有與模板無關(guān)的優(yōu)點，能夠提取由未知模板生成的新聞網(wǎng)頁。該算法基于機器學習模型的