1、隨著Internet技術(shù)的不斷發(fā)展及其應(yīng)用的深入，Web儼然已經(jīng)成為全球最大的虛擬資料庫，可用的信息正呈指數(shù)級增長。如何有效地利用這些信息成為人們的重要研究課題，因此出現(xiàn)了大量以Web作為信息源的技術(shù)和應(yīng)用，其中Web信息抽取技術(shù)在近年來引起了越來越多的研究者關(guān)注。 由于Web頁面缺乏規(guī)范的語法結(jié)構(gòu)，所以傳統(tǒng)的自然語言處理技術(shù)并不能很好的適用于Web信息抽取，另外Web頁面中的大部分內(nèi)容都以屬性列表的形式呈現(xiàn)，如果把Web的這種

2、結(jié)構(gòu)特征應(yīng)用于信息抽取，就可以避免使用復(fù)雜的語言學(xué)知識。因此，如何將基于自然語言理解方式和基于結(jié)構(gòu)方式有效的結(jié)合起來克服各自的缺點，混合使用各種方法進行信息抽取成為當(dāng)前研究的重點之一。 本文結(jié)合自然語言處理技術(shù)和HTML頁面結(jié)構(gòu)特征在信息抽取中的應(yīng)用，進行了以下研究工作： 1．提出一種基于命名實體標(biāo)注的DOM樹(NE-DOM)分析方法進行信息抽取。該方法利用自然語言處理中命名實體識別技術(shù)對文檔進行標(biāo)注來提供簡單的語義信息

3、；然后在此基礎(chǔ)上構(gòu)建NE-DOM，通過對NE-DOM結(jié)構(gòu)的分析產(chǎn)生基于XPath的抽取規(guī)則。 2．在NE-DOM分析的過程中提出了基于競爭分類的BOI(用戶感興趣區(qū)域)確定算法，該算法可以顯著的降低噪聲數(shù)據(jù)對抽取結(jié)果的影響。同時在抽取過程中使用了大量成熟的XMI，技術(shù)來提高抽取的效率。 3．研究了Sheffield大學(xué)的自然語言處理平臺Gate，并在此基礎(chǔ)上設(shè)計和實現(xiàn)了一個基于上述原理的信息抽取原型系統(tǒng)GateWeblE