1、隨著互聯(lián)網(wǎng)信息的急劇增長，以“廣、泛、深”為特點的通用搜索引擎返回的查詢結(jié)果已經(jīng)不能夠滿足不同領域、不同背景的用戶查詢特定主題信息的需求，因此垂直搜索引擎應運而生。
　　作為垂直搜索引擎的核心組成部分——主題爬蟲抓取網(wǎng)頁的方法直接影響了垂直搜索引擎的性能。傳統(tǒng)的主題爬蟲方法多基于特征詞集來描述主題，忽視了特征詞之間的語義關系，降低了對主題的描述性；網(wǎng)頁分塊只提取了相關文本塊，而沒有考慮相關鏈接塊；候選鏈接優(yōu)先級預測多數(shù)只考慮文字內(nèi)

2、容評價或鏈接結(jié)構(gòu)評價中的一種，對于所有候選鏈接優(yōu)先級要么設為統(tǒng)一的值，要么分別進行相關性計算，計算量較大；傳統(tǒng)的隧道技術(shù)會導致主題不相關的網(wǎng)頁數(shù)急劇增長，影響主題爬蟲的準確率。針對以上不足，提出一種基于主題相關概念和綜合價值的主題爬蟲方法，主要包括：
　　1)通過ODP的分類樹獲取主題相關概念集合，然后結(jié)合主題描述文檔建立主題向量來描述主題，考慮了主題概念的相關概念，增強了主題的描述性。
　　2)利用網(wǎng)頁分塊來過濾噪聲，根據(jù)

3、不同類型的網(wǎng)頁，提取不同的相關塊文本來計算主題相關性，很好地解決了由于噪聲信息的影響而導致的網(wǎng)頁主題相關性計算不準確。
　　3)用文字內(nèi)容和R-HITS算法相結(jié)合的方法預測候選鏈接優(yōu)先級。提取網(wǎng)頁分塊后的相關鏈接塊，將其中的鏈接作為候選鏈接，并將其劃分為高相關鏈接、低相關鏈接、普通鏈接三個等級，將高相關鏈接的優(yōu)先級賦為最大值，直接丟棄低相關鏈接，對于普通鏈接則用網(wǎng)頁內(nèi)容文本、塊文本、錨文本以及由R-HITS算法計算出的鏈接結(jié)構(gòu)分數(shù)

4、四個要素來預測其優(yōu)先級。
　　4)在隧道技術(shù)的基礎上，將所有主題不相關的網(wǎng)頁URL插入不相關URLs隊列，隧道穿越時如果隊列中相同站點的URL個數(shù)超過上限值，則不再將此站點中URL加入到隊列，這樣緩解了主題不相關網(wǎng)頁急劇增加的問題。
　　最后，將準確率和信息量總和作為評價指標，論證了本文提出的主題爬蟲方法相對于其它方法的優(yōu)勢。實驗結(jié)果表明，本文提出的主題爬蟲方法有更高的準確率和信息量總和。此方法在垂直搜索引擎的主題網(wǎng)頁采集方