1、基于主題爬行的搜索引擎，即垂直搜索引擎，又可稱為主題搜索引擎。它與通用搜索引擎的區(qū)別主要體現(xiàn)在資源與服務(wù)上，主題搜索引擎提供的資源都是與某個(gè)主題相關(guān)的，服務(wù)上更具有專業(yè)特色，有一定程度的個(gè)性化。由于只針對(duì)某一特定主題進(jìn)行深入挖掘，所以在特定主題上分類更加細(xì)致更加精確，數(shù)據(jù)也更加全面和深入，資源的更新也相對(duì)更加及時(shí)。Web資源日新月異的發(fā)展，更新和多元化發(fā)展的速度讓搜索引擎面臨著一個(gè)尷尬的境地。通用搜索引擎己無(wú)法滿足特定用戶更深入的查詢需

2、求，因而針對(duì)特定領(lǐng)域進(jìn)行主題爬行的垂直搜索引擎將會(huì)越來越實(shí)用以及可行。
　　 本文主要對(duì)垂直搜索引擎的核心主題爬行進(jìn)行研究，它的關(guān)鍵技術(shù)包括網(wǎng)頁(yè)分類技術(shù)、待爬行URLs優(yōu)先級(jí)計(jì)算以及主題爬行算法。本文針對(duì)關(guān)鍵技術(shù)介紹了基于數(shù)據(jù)挖掘的網(wǎng)頁(yè)分類方法，并提出了基于網(wǎng)頁(yè)分塊的待爬行URLs優(yōu)先級(jí)計(jì)算方法，通過利用網(wǎng)頁(yè)分塊技術(shù)，以塊為單位來計(jì)算待爬行URLs的主題相關(guān)性，通過整個(gè)塊的文本來預(yù)測(cè)待爬行URLs與主題的相關(guān)度，這樣就可以解決單