1、近20年來，為了應(yīng)對(duì)Web上信息量的不斷增長(zhǎng)以及信息更新頻度的不斷提高，Web信息采集系統(tǒng)不斷擴(kuò)大自身規(guī)模，其系統(tǒng)結(jié)構(gòu)也從單機(jī)到多機(jī)，從集中式到分布式逐步演進(jìn)。至今，分布式系統(tǒng)結(jié)構(gòu)已經(jīng)成為構(gòu)建Web信息采集系統(tǒng)的首選方案，而由分布式系統(tǒng)結(jié)構(gòu)所引申出的Web劃分問題、任務(wù)調(diào)度問題和節(jié)點(diǎn)協(xié)同問題已經(jīng)成為構(gòu)建分布式Web信息采集系統(tǒng)的關(guān)鍵技術(shù)問題。對(duì)這些關(guān)鍵技術(shù)問題的深入分析與研究對(duì)于提高搜索引擎系統(tǒng)的性能乃至整個(gè)Web的可訪問性具有重要意義

2、。本文在總結(jié)前人工作的基礎(chǔ)上，針對(duì)分布式Web信息采集系統(tǒng)的若干關(guān)鍵技術(shù)問題進(jìn)行了深入研究。
　　首先，現(xiàn)有的分布式Web信息采集系統(tǒng)乃至分布式搜索引擎系統(tǒng)都缺乏對(duì)系統(tǒng)構(gòu)建中的最根本要素--系統(tǒng)成本的量化評(píng)估，為此，本文提出了一個(gè)較為完善的包括分布式Web信息采集系統(tǒng)在內(nèi)的分布式搜索引擎的成本模型，并利用該成本模型對(duì)若干種構(gòu)建搜索引擎系統(tǒng)的設(shè)計(jì)方案從系統(tǒng)成本、系統(tǒng)規(guī)模和查詢響應(yīng)時(shí)間等角度進(jìn)行了詳盡的理論分析。我們發(fā)現(xiàn)，由廣域網(wǎng)分布

3、式采集系統(tǒng)和多機(jī)群索引系統(tǒng)組成的半廣域網(wǎng)搜索引擎系統(tǒng)相對(duì)于其他搜索引擎系統(tǒng)具有相對(duì)較低的成本，同時(shí)能夠較好的兼顧對(duì)用戶的服務(wù)質(zhì)量。
　　之后，針對(duì)在分布式環(huán)境下如何能夠有效降低網(wǎng)頁(yè)下載時(shí)間這一問題，本文對(duì)面向網(wǎng)絡(luò)距離的Web劃分算法進(jìn)行了研究，給出了適用于分布式采集系統(tǒng)的網(wǎng)絡(luò)距離的度量標(biāo)準(zhǔn)；基于網(wǎng)絡(luò)距離和網(wǎng)絡(luò)坐標(biāo)系統(tǒng)，我們提出了一種新的Web劃分算法，并通過實(shí)驗(yàn)驗(yàn)證了其在提高系統(tǒng)吞吐量方面的優(yōu)越性。
　　針對(duì)廣域網(wǎng)分布式We

4、b信息采集系統(tǒng)，本文分別在任務(wù)調(diào)度和節(jié)點(diǎn)協(xié)同方面提出了若干優(yōu)化方法：針對(duì)Web劃分方法在動(dòng)態(tài)調(diào)度中的不足，提出了基于任務(wù)轉(zhuǎn)發(fā)的動(dòng)態(tài)負(fù)載均衡算法，避免了采集節(jié)點(diǎn)的忙閑不均現(xiàn)象，進(jìn)一步提高了全系統(tǒng)的吞吐量；針對(duì)廣域網(wǎng)分布式Web信息采集系統(tǒng)中節(jié)點(diǎn)間通信量負(fù)載較重的問題，提出通過對(duì)Web主機(jī)之間鏈接關(guān)系建立坐標(biāo)模型的方法，實(shí)現(xiàn)面向鏈接關(guān)系的Web劃分，從而降低了采集節(jié)點(diǎn)間通信量中比重最大的鏈接交換的通信量。
　　最后，為了兼顧分布式We

5、b信息采集中的健壯性、效率和成本，本文提出了一種基于內(nèi)容尋址網(wǎng)絡(luò)的廣域網(wǎng)分布式Web信息采集系統(tǒng)，該系統(tǒng)能夠利用網(wǎng)絡(luò)上分布在各處的獨(dú)立的計(jì)算資源，組建一個(gè)能夠完成Web信息采集功能的覆蓋網(wǎng)絡(luò)，從而為這三個(gè)問題提供了有效的解決方案：一方面，內(nèi)容尋址網(wǎng)絡(luò)這種 P2P協(xié)議的采用，使得系統(tǒng)可以隨著 Web一起擴(kuò)展和壯大；另一方面，Web劃分大幅縮短Web信息采集時(shí)間，提高了系統(tǒng)的吞吐量及信息更新頻率；同時(shí)，根據(jù)我們提出的成本模型分析，該系統(tǒng)還能