1、搜索引擎作為信息檢索技術(shù)在互聯(lián)網(wǎng)時(shí)代的應(yīng)用，使人們能夠更有效的從互聯(lián)網(wǎng)獲取各種資源。但隨著互聯(lián)網(wǎng)的發(fā)展，傳統(tǒng)的搜索引擎，即通用搜索引擎漸漸不能滿足人們對(duì)信息檢索服務(wù)日益增長的需求。近年來，面向主題的搜索引擎應(yīng)運(yùn)而生。本文圍繞主題搜索引擎，對(duì)主題搜索引擎中占有重要地位的主題爬蟲相關(guān)技術(shù)進(jìn)行了研究和討論。
　　 網(wǎng)絡(luò)爬蟲用來從互聯(lián)網(wǎng)上抓取頁面。通用爬蟲會(huì)從一些種子鏈接開始，目標(biāo)是獲取互聯(lián)網(wǎng)上所有的頁面。而主題爬蟲的目標(biāo)是獲取與特定主

2、題內(nèi)容相關(guān)的頁面，因此除了具有通用爬蟲的基本功能外，還需要對(duì)頁面的內(nèi)容和鏈接進(jìn)行分析從而能夠?qū)ε老x爬行的路徑進(jìn)行指導(dǎo)和預(yù)測(cè)。主題網(wǎng)絡(luò)爬蟲選擇什么樣的爬行策略對(duì)互聯(lián)網(wǎng)進(jìn)行訪問，直接影響著其爬行的效率。本文著重研究并改進(jìn)了基于Context Graph的主題爬行算法，研究工作主要有以下幾個(gè)方面：
　　 (1)研究了搜索引擎中通用網(wǎng)絡(luò)爬蟲和主題網(wǎng)絡(luò)爬蟲的技術(shù)原理、工作流程，著重分析了主題網(wǎng)絡(luò)爬蟲的主題爬行策略，對(duì)主題網(wǎng)絡(luò)爬蟲常用的基于

3、鏈接分析的爬行策略和基于內(nèi)容分析的爬行策略進(jìn)行分析比較。
　　 (2)針對(duì)傳統(tǒng)的主題爬行算法不能很好解決“隧道現(xiàn)象”的問題，本文詳細(xì)介紹了一種基于Context Graph的主題爬行算法，它通過預(yù)測(cè)新抓取頁面在ContextGraph中所處的層次，能夠指導(dǎo)網(wǎng)絡(luò)爬蟲沿著最有可能找到目標(biāo)頁面的路徑爬行，進(jìn)而較好地解決“隧道現(xiàn)象”的問題。
　　 (3)使用一種基于詞頻差異的特征選擇方法和改進(jìn)的TF-IDF公式對(duì)基于Contex