1、互聯(lián)網(wǎng)的迅速發(fā)展和廣泛普及導致網(wǎng)上信息爆炸性增長。如何在龐大的互聯(lián)網(wǎng)上獲得有價值的信息已成為網(wǎng)民日益關注的問題。 搜索引擎是一種用于幫助因特網(wǎng)用戶查詢信息的搜索工具。一個高效的采集系統(tǒng)是一個好的搜索引擎的重要基礎。大型搜索引擎都是采用基于集群的分布式采集系統(tǒng)。但是隨著信息量的爆炸式增長，搜索引擎需要越來越多的計算資源、存儲資源，并且維護一個龐大的集群系統(tǒng)是耗費巨大的。 本文提出把網(wǎng)格技術和搜索引擎技術結合起來，將互聯(lián)網(wǎng)上

2、大量閑置的資源利用起來，以滿足我們的需要。網(wǎng)格被視為21世紀的新型網(wǎng)絡基礎架構以及未來10年中IT商業(yè)應用的主流。網(wǎng)格利用互聯(lián)網(wǎng)把分散在不同地理位置的計算機組織成一臺“虛擬的超級計算機”，實現(xiàn)計算資源、存儲資源、信息資源、軟件資源、通信資源、知識資源、專家資源等的全面連通與共享。 本文首先論述了Web信息采集的基本原理，關鍵技術和系統(tǒng)結構，并分析和研究了開源搜索引擎Nutch項目。接著簡單介紹了網(wǎng)格概念，分析比較了五層沙漏結構和

3、OGSA架構，并詳細介紹了主流的網(wǎng)格開發(fā)軟件平臺Globus。隨后提出一個基于網(wǎng)格技術的Web信息采集系統(tǒng)，分析和研究了基于網(wǎng)格技術的Web信息采集系統(tǒng)的組成結構和各部分的主要功能，并詳細地探討了Web信息采集幾個關鍵技術問題的解決方法。最后實現(xiàn)了一個具有服務發(fā)現(xiàn)和監(jiān)視，數(shù)據(jù)可靠傳輸，資源協(xié)同分配，分布式采集等功能的網(wǎng)格Web信息采集原型系統(tǒng)，并闡明了Web服務資源的編程、通知機制和各服務模塊的實現(xiàn)過程。該系統(tǒng)構建在G10bus最新的技