1、近幾年來，互聯(lián)網迅猛發(fā)展，網絡中流通的Web信息量巨大，其中各國銀行網站發(fā)布的信息更是受到金融界的廣泛關注。對互聯(lián)網上各國銀行網站發(fā)布的匯率、利率等財政信息進行長期的統(tǒng)計，也就成為了解其他國家財政、經濟政策的一種主要手段。針對當前的實際需求，對網頁信息獲取及計算技術的研究成為當前和未來一段時期內學術研究的重點。做為我國央行的人民銀行，在此方面投入了大量的科研資金，各個地方人民銀行也積極地進行這方面的研究工作。針對這一情況，本文展開了基于

2、廣域網的分布式銀行網站網頁信息獲取系統(tǒng)的研究與實現(xiàn)。
　　網頁信息獲取系統(tǒng)（網絡爬蟲）研究中最重要的是設計構架和關鍵技術的解決。在吸取了他人技術和經驗的基礎上，本文設計描述了一個基于廣域網的分布式網絡爬蟲的結構設計，其中包括硬件的構架，和軟件的模塊劃分。硬件部分由一臺PC機做控制節(jié)點，N臺PC機做爬行節(jié)點，在廣域網中連接。軟件部分又分為控制節(jié)點軟件設計和爬行節(jié)點軟件設計。
　　然后本文分析了分布式網絡爬蟲的關鍵技術的解決方法

3、，比如分布式的各個結點如何協(xié)同工作，任務如何分配等等，進而提出了一些實用的算法，解決了這些分布式網絡爬蟲的關鍵技術，實現(xiàn)了一個具備健壯性，可擴展性，可配置性的分布式網絡爬蟲，并就該分布式網絡爬蟲進行了仔細的剖析。特別是對分布式系統(tǒng)的任務分配，采用了網絡性能指標指導預測效果法。最后在該網絡爬蟲上作了一些測試，包括了單機爬行測試和該網絡爬蟲的一個應用，即銀行網站網頁信息的抓取測試。以及對多種分布式系統(tǒng)任務分配的方法指導下實際運行的效果進行了