1、隨著計算機的普及和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人們獲取信息的最大數(shù)據(jù)源。由于Web數(shù)據(jù)具有海量性和時效性的特點，單純靠人工進(jìn)行大規(guī)模提取無疑是不現(xiàn)實的。因此，對Web信息抽取技術(shù)的研究具有十分重要的意義。
　　國內(nèi)外對Web信息抽取技術(shù)進(jìn)行了大量的研究，目前研究較多和應(yīng)用較廣的是利用網(wǎng)頁分塊的思想。其中比較有效的VIPS算法在DOM樹的基礎(chǔ)上，創(chuàng)新性地結(jié)合了視覺信息對網(wǎng)頁進(jìn)行分塊。然而VIPS算法過于復(fù)雜，且不大適應(yīng)當(dāng)前網(wǎng)

2、頁的發(fā)展趨勢，因此本文提出了基于DOM和視覺的網(wǎng)頁分塊算法，設(shè)計了4條無用塊規(guī)則和7條基本塊規(guī)則，對網(wǎng)頁按廣度優(yōu)先進(jìn)行分塊，舍棄無用塊，保留基本塊，最后網(wǎng)頁將被分割成一組基本塊。該分塊算法具有簡單且擴展性強的特點。
　　基本塊根據(jù)性質(zhì)的不同，可以分為不同的塊類型，且塊類型之間還具有層次性。根據(jù)這個特點，本文建立了一個簡單的塊類型系統(tǒng)，提出了共20種相關(guān)的塊類型。由于基于規(guī)則的分類法不能很好地解決具有層次性的塊分類問題，因此，本文對

3、其進(jìn)行了擴展，引入了有限狀態(tài)機的概念，提出了基于規(guī)則和有限狀態(tài)機的塊分類算法，設(shè)計了18條塊類型遷移規(guī)則，并利用這些規(guī)則對基本塊進(jìn)行了有效的分類。
　　利用得到的分塊信息，本文提出了基于分塊和啟發(fā)式規(guī)則的網(wǎng)頁分類和正文提取算法，設(shè)計了一系列規(guī)則對網(wǎng)頁的類型進(jìn)行了判斷，并對其中的正文型網(wǎng)頁進(jìn)行了包括文章標(biāo)題、發(fā)表時間和文章正文內(nèi)容的提取。
　　最后，本文對騰訊、網(wǎng)易、鳳凰、新浪、搜狐五個國內(nèi)最大的門戶網(wǎng)站共1500張網(wǎng)頁(其中