1、隨著互聯(lián)網的快速發(fā)展，網上的信息也成幾何級數爆炸增長，同時用戶對信息的需求也越來越高，他們希望搜索引擎提供最新的數據，最符合要求的信息。傳統(tǒng)網絡爬蟲作為提供搜索引擎原始信息的最基本途徑，其性能已經幾乎達到瓶頸，逐漸無法適應新型的網絡應用需要。
　　本文研究了現(xiàn)有的網絡爬蟲模型及其目前的研究方向，介紹了各種對傳統(tǒng)網絡爬蟲的改進方法，并對各種方法的優(yōu)缺點進行了詳盡的分析，總結了爬蟲面臨的主要挑戰(zhàn)，如網頁更新收錄慢，網站訪問壓力大，無法

2、處理多媒體文件等。為解決這些問題，本文提出一種基于P2P的被動式爬蟲系統(tǒng)，從根本上摒棄了傳統(tǒng)爬蟲的工作模式，它通過客戶端-服務器模式由網站推送數據，搜索引擎只負責接收，并且借助于智能體技術和P2P傳輸，提高了搜索引擎原始網頁獲取能力。
　　該被動式爬蟲分為爬蟲客戶端和爬蟲服務器兩部分，其主要功能有：客戶端和服務器相互發(fā)現(xiàn)及注冊，客戶端監(jiān)視網站目錄更新，客戶端預處理數據并安排傳輸時間，客戶端與服務器數據傳輸。本文在全能體技術平臺的層