1、本文從研究互聯(lián)網(wǎng)絡(luò)上信息的分布特征入手，對(duì)“主題網(wǎng)絡(luò)蜘蛛”這一新型的網(wǎng)絡(luò)蜘蛛原理、策略、結(jié)構(gòu)、工作模式、調(diào)度機(jī)制以及實(shí)現(xiàn)上進(jìn)行了深入的分析研究。論文設(shè)計(jì)了一個(gè)主題網(wǎng)絡(luò)蜘蛛系統(tǒng)-Focus Crawling Spider，在Windows環(huán)境下采用C++實(shí)現(xiàn)了該系統(tǒng)。 在Focus Crawling Spider系統(tǒng)的頁(yè)面主題相關(guān)性判定策略中引入了文檔自動(dòng)分類的思想，提出了基于簡(jiǎn)單向量距離法、KNN算法以及樸素貝葉斯算法綜合對(duì)頁(yè)面

2、進(jìn)行主題相關(guān)性判定的頁(yè)面相關(guān)性的方法；同時(shí)在URL，剪枝部分，論文提出了將“侵入式魚群算法(Invasive Fish Search，IFS)”應(yīng)用于Focus Crawling Spider系統(tǒng)，增強(qiáng)了該系統(tǒng)穿越“隧道”的能力，增加了該系統(tǒng)的爬行覆蓋率。 論文對(duì)Focus Crawling Spider系統(tǒng)的各個(gè)功能模塊的設(shè)計(jì)與實(shí)現(xiàn)都進(jìn)行了詳細(xì)的論述，包括大量的效率瓶頸的分析以及解決方案。在系統(tǒng)結(jié)構(gòu)、頁(yè)面采集、URL(Unif

3、orm Resource Locator，URL)管理、LIRL評(píng)價(jià)、DNS(Domain Name Server，DNS)緩存系統(tǒng)、DOM(Document Object Model，DOM)結(jié)構(gòu)生成、HTML(Hypertext Markup Language，HTML)解析等方面都提出并實(shí)現(xiàn)了一些創(chuàng)新點(diǎn)。 論文從運(yùn)行效率和爬行策略的改進(jìn)效果等方面對(duì)Focus Crawling Spider系統(tǒng)進(jìn)行了運(yùn)行測(cè)試。通過(guò)對(duì)測(cè)試數(shù)據(jù)