1、隨著互聯(lián)網的發(fā)展,人們已經習慣了從網絡上獲取信息。主題搜索引擎越來越受到學術界和企業(yè)界的廣泛關注。主題搜索引擎主要搜集那些與特定主題相關的網頁。主題爬蟲是主題搜索引擎的資源采集器,在遍歷網絡資源的同時會對所采集的網頁與特定主題作相關度判斷,按照相關度值的大小為一個待爬URL指定一個相應的優(yōu)先級分值。從而可以保證下載相關網頁而舍棄那些偏離主題的網頁,使搜集回來的結果更能滿足用戶的需求。
　　本文提出了一種基于最優(yōu)化層次的概念背景圖的

2、主題爬行策略,該策略首先需要用戶向知名搜索引擎提交查詢詞,然后從返回的網頁鏈接挑中選幾個用戶最滿意的初始網頁,作為本研究的初始種子集。其次,下載種子集對應的網頁并且提取網頁上的特征詞構建概念背景圖。然后,在Yahoo!目錄上選擇不同層次的主題進行概念背景圖的分層研究。最后,提出了概念背景圖的動態(tài)更新方法。
　　論文的主要研究內容包括以下幾點:
　　1.提出了一種對傳統(tǒng)概念背景圖進行層次優(yōu)化的方法。通過將一個完整的概念背景圖進

3、行分割成不同的子概念背景圖,分別研究每個子概念背景圖對網絡爬蟲的指導性能。
　　2.提出了最優(yōu)概念背景圖的概念。傳統(tǒng)概念背景圖往往包含了相應的概念格中的全部概念。這樣就把概念格中的所有概念全部分到傳統(tǒng)概念背景圖的相應層次,那些和核心概念有低相關性的概念就影響了指導性能。
　　3.在最優(yōu)化概念背景圖的基礎上提出了對概念背景圖進行動態(tài)更新方法。概念背景圖一般都是根據初始選中的種子集頁面和頁面相應的特征詞進行構建的。但是,在指導主