1、隨著互聯(lián)網(wǎng)的爆炸性增長,Web已經(jīng)發(fā)展成為站點遍布全球的巨大信息服務(wù)網(wǎng)絡(luò),根據(jù)CNNIC統(tǒng)計,截至2008年底,僅中國網(wǎng)頁總數(shù)就超過160億個,較2007年增長90％。網(wǎng)頁的增長速度與網(wǎng)站的增速基本一致。面對如此巨大的信息庫,如何快速準確的檢索到自己需要的信息呢?搜索引擎已經(jīng)成為Web信息獲取的一種最重要的手段。
　　索引網(wǎng)頁數(shù)量的大小、質(zhì)量是評價一個搜索引擎好壞的重要指標。因此,Web爬蟲(Crawler)作為搜索引擎的首要組成

2、部分,是一個好的搜索引擎的重要基礎(chǔ)。出于商業(yè)機密的考慮,目前各個搜索引擎使用的Crawler系統(tǒng)的技術(shù)內(nèi)幕一般都不公開?，F(xiàn)有的文獻也僅限于概要性介紹。
　　本文的目標就是研究、設(shè)計并實現(xiàn)一個分布式WebCrawler系統(tǒng)。本文通過分析搜索引擎的系統(tǒng)組成引出了文章的重點—Web爬蟲。并以一個簡單的爬蟲系統(tǒng)為依托,詳細分析了Web爬蟲的構(gòu)建的基本原理。通過研究爬蟲系統(tǒng)的抓取策略、重訪策略、禮貌性問題等,進一步深入分析了爬蟲的核心工作原

3、理。本文設(shè)計了具有實用性的分布式WebCrawler體系結(jié)構(gòu),提出一種分布式合作抓取算法解決爬蟲分布式抓取難題,并提出了一種改進的大規(guī)模網(wǎng)頁存儲結(jié)構(gòu),能同時滿足大量的隨機訪問,以及大量新增網(wǎng)頁的需要。最后設(shè)計并開發(fā)分布式WebCrawler系統(tǒng),并對爬蟲系統(tǒng)的未來給出了展望。
　　本文的具體工作如下:
　　(1)深入研究爬蟲系統(tǒng)的抓取策略其中包括網(wǎng)頁抓取優(yōu)先策略、不重復(fù)抓取策略,重點分析了網(wǎng)頁重訪策略以及爬蟲禮貌性問題。

4、r>　　(2)設(shè)計具有實用性的分布式WebCrawler體系結(jié)構(gòu),在追求負載均衡的同時將系統(tǒng)的通信和管理開銷降到最低。
　　(3)提出一種分布式合作抓取算法,根據(jù)RMI分布式系統(tǒng)的開發(fā)過程,解決爬蟲分布式抓取難題。
　　(4)提出一種改進的大規(guī)模網(wǎng)頁存儲結(jié)構(gòu)Hash-Log,能夠適應(yīng)隨機訪問及順序訪問的不同需求。
　　(5)設(shè)計并開發(fā)分布式WebCrawler系統(tǒng),并從性能、可擴展性以及負載均衡等多個方面分析了爬蟲的運