1、隨著互聯(lián)網(wǎng)信息以指數(shù)級(jí)別增長(zhǎng)，目前數(shù)字信息已呈現(xiàn)數(shù)量龐大、類型繁多、更新迅速等發(fā)展趨勢(shì)。根據(jù)Forrester Research的統(tǒng)計(jì)資料，目前全世界數(shù)字信息量每年以數(shù)量級(jí)1018節(jié)的速度劇增。在如此類型繁多更新速度之快的形勢(shì)下，Web數(shù)據(jù)挖掘已經(jīng)成為現(xiàn)在人們信息獲取的主要方式，搜索引擎成為人們獲取信息的重要工具。但是現(xiàn)在通用搜索引擎抓取信息的速度遠(yuǎn)遠(yuǎn)落后于真實(shí)產(chǎn)生的網(wǎng)頁。著名的Web搜索引擎Google索引的網(wǎng)頁數(shù)量目前已經(jīng)達(dá)到80億

2、，然而，這個(gè)數(shù)字據(jù)估計(jì)只占網(wǎng)頁總量92PT（1PT=106GB）的1/500，并且還在以每天60TB的速度增長(zhǎng)。 鑒于此，主題搜索成為研究的熱點(diǎn)。主題搜索通過只抓取互聯(lián)網(wǎng)上與主題相關(guān)的頁面來滿足用戶查詢的需求，它具有花費(fèi)時(shí)間少，所需存儲(chǔ)空間小，能夠滿足用戶個(gè)性化需求等優(yōu)勢(shì)。其中，爬行策略的研究是主題搜索的焦點(diǎn)，作者在調(diào)研了主題搜索的研究現(xiàn)狀后，發(fā)現(xiàn)大多數(shù)文獻(xiàn)通過分析要爬取頁面的父頁面所在的層次來預(yù)測(cè)待爬行URLs的得分，這種策略

3、存在兩個(gè)問題，一是沒有計(jì)算語義相似度，不能反映和查詢主題的相關(guān)度：二是將一個(gè)網(wǎng)頁內(nèi)的所有待爬行URLs一樣看待，沒有考慮它們?cè)诰W(wǎng)頁中所處的段落主題以及它的上下文。為了解決以上問題，本文提出了基于語義的爬行策略。包括兩個(gè)部分，一是通過利用數(shù)學(xué)工具形式概念分析，提出了概念相似背景圖，通過計(jì)算概念之間的語義相似度，能夠?qū)ふ遗c用戶主題語義關(guān)聯(lián)度緊密的概念，從而決定爬蟲的爬行順序：二是將Web網(wǎng)頁解析成Dom-Tree結(jié)構(gòu)，結(jié)合文本語義相似度和網(wǎng)

4、頁層次結(jié)構(gòu)對(duì)網(wǎng)頁中不同段落的URLs賦予不同的預(yù)測(cè)得分。 本文的主要貢獻(xiàn)如下： （1）提出了基于形式概念分析的概念相似背景圖，通過計(jì)算背景圖中概念和核心概念的相似度來預(yù)測(cè)待爬行URLs的得分。算法的基本思想是利用爬行回來的網(wǎng)頁構(gòu)建形式背景，生成概念格，在概念格中計(jì)算概念的相似程度來構(gòu)建概念相似背景圖。和傳統(tǒng)背景圖的主要區(qū)別在于，不只是通過URIs之間的鏈接關(guān)系進(jìn)行分層，而且利用概念之間的語義相似程度進(jìn)行層次劃分，通過待爬

5、行URIs所在的層次進(jìn)行得分預(yù)測(cè)，最終決定爬行順序。 （2）提出了基于編輯距離和向量空間模型相結(jié)合的相似度計(jì)算方法，傳統(tǒng)的相似度計(jì)算方法將段落中的詞條看成相互獨(dú)立的，沒有考慮詞條在位置上的依賴關(guān)系，同樣的幾個(gè)詞條位置不同表達(dá)的意思可能完全不同。算法思想是結(jié)合傳統(tǒng)的向量空間模型和詞條之間的編輯距離來解決自然語言中文本段落之間的相似程度，兩種方法的結(jié)合可以揚(yáng)長(zhǎng)避短，達(dá)到更好的效果。 （3）提出了使用Web網(wǎng)頁的內(nèi)部層次結(jié)構(gòu)來

6、計(jì)算待爬行URIs預(yù)測(cè)得分。一個(gè)Web網(wǎng)頁中可能存在多個(gè)主題，結(jié)合元數(shù)據(jù)抽取的思想，將Web網(wǎng)頁進(jìn)行分層，使得每個(gè)層次的主題單一化，根據(jù)層次結(jié)構(gòu)，將不同主題的層次段落聯(lián)系起來。文章中將Web網(wǎng)頁解析成為其對(duì)應(yīng)的Dom-Tree結(jié)構(gòu)，通過研究歸納層次結(jié)構(gòu)的內(nèi)部特性，并結(jié)合本文提出的相似度計(jì)算方法，將網(wǎng)頁中的不同段落聯(lián)系起來，最后根據(jù)URLs所在的段落來計(jì)算其預(yù)測(cè)得分。 通過實(shí)驗(yàn)和其它幾種爬行策略進(jìn)行了對(duì)比，將結(jié)果進(jìn)行準(zhǔn)確率分析，表