1、隨著互聯(lián)網(wǎng)的快速發(fā)展，使得Web已經(jīng)成為一個超大容量的全球化信息庫，如何讓用戶快速的在Web上獲取專業(yè)化、個性化的信息成為了一個熱點問題。現(xiàn)有的通用搜索引擎返回的結(jié)果過多且主題性不強，在此情況下，面對特定主題的垂直搜索引擎被提了出來，它能夠為用戶提供更精確、更專業(yè)的信息查詢服務(wù)。
　　主題爬蟲是垂直搜索引擎的核心，也是本文研究的主要內(nèi)容。主題爬蟲的功能就是根據(jù)人工預(yù)設(shè)定的主題關(guān)鍵詞和種子鏈接在Web上獲取與主題相關(guān)的數(shù)據(jù)資源。傳統(tǒng)

2、的主題爬蟲策略只根據(jù)內(nèi)容評價或鏈接結(jié)構(gòu)其中一個方面來預(yù)測網(wǎng)頁鏈接的重要性，基于內(nèi)容評價的主題爬行策略只考慮了部分文本信息，對主題相關(guān)性判斷較為片面，且沒有考慮鏈接結(jié)構(gòu)的影響;基于鏈接結(jié)構(gòu)的主題爬蟲策略雖然從全局角度計算網(wǎng)頁的重要性，但因為其在爬取過程中沒有考慮鏈接的主題相關(guān)性，所以經(jīng)常會出現(xiàn)“主題偏移”的現(xiàn)象。
　　針對以上不足，本文提出了一種基于內(nèi)容和鏈接的主題爬蟲，具體內(nèi)容如下:
　　(1)構(gòu)建了改進的樸素貝葉斯模型，用

3、于在主題爬蟲的爬取過程中提取網(wǎng)頁關(guān)鍵詞。本文以互信息度量模型屬性間以及各屬性與類屬性間的相關(guān)性，從而將詞頻、詞位置、詞跨度、詞長、詞性這五個屬性進行聚類，構(gòu)建了改進的樸素貝葉斯模型，使其滿足屬性間“獨立性假設(shè)”條件，改進后的算法具有更高的關(guān)鍵詞提取準確度。
　　(2)提出了一種基于文本密度分布的網(wǎng)頁信息抽取方法，此方法不過分依賴于標簽，擁有較好的抽取效果，能夠?qū)ε廊〉木W(wǎng)頁信息進行結(jié)構(gòu)化的信息抽取，分別提取出標題和各段落信息，為后續(xù)

4、提取網(wǎng)頁關(guān)鍵詞提供了完善的文本信息。
　　(3)本文利用預(yù)設(shè)定的主題關(guān)鍵詞與當前所爬取網(wǎng)頁的關(guān)鍵詞建立向量空間模型，根據(jù)余弦定理計算網(wǎng)頁的主題相關(guān)性，并將其作為參數(shù)帶入到原有的PageRank公式中，實現(xiàn)了對原有PageRank算法的改進，使其能夠考慮鏈接內(nèi)容更準確的計算當前網(wǎng)頁鏈接的重要性。
　　(4)根據(jù)網(wǎng)頁鏈接的重要性判定鏈接的訪問優(yōu)先級，進而將鏈接劃分到對應(yīng)的高優(yōu)先級URLs隊列或低優(yōu)先級URLs隊列中，同時丟棄無關(guān)

5、鏈接，保證了主題爬蟲始終優(yōu)先爬取高質(zhì)量鏈接，從而提高了爬取效率和準確度。
　　最后，在真實環(huán)境下對所設(shè)計的主題爬蟲進行實現(xiàn)，并進行結(jié)果分析。為了從多角度驗證本文提出的主題爬蟲的性能優(yōu)勢，首先對改進的樸素貝葉斯算法進行提取關(guān)鍵詞的性能測試，結(jié)果表明改進后的算法擁有較高的提取準確度。在此基礎(chǔ)上，將提出的主題爬蟲與基于PageRank算法和基于Shark-Search算法的主題爬蟲進行整體的系統(tǒng)性能對比，實驗結(jié)果表明，本文提出的主題爬蟲