1、隨著internet的迅速發(fā)展，網(wǎng)上信息以爆炸性的速度不斷豐富和擴展，如何在上百萬的網(wǎng)站中快速有效地獲取所需信息常常困擾著人們，搜索引擎(SearchEngine)正是為解決用戶的查詢問題而出現(xiàn)的。通過搜索引擎，用戶可以穿梭于放置在不同地點、隸屬于不同網(wǎng)絡(luò)的WWW網(wǎng)頁，來獲取所需要的各種信息。而在整個搜索引擎系統(tǒng)中，網(wǎng)絡(luò)爬蟲起著重要的作用，它是Internet搜索引擎的數(shù)據(jù)來源，它決定著整個系統(tǒng)的內(nèi)容是否豐富、信息是否能夠得到及時更新。

2、
　　本文首先從搜索引擎種類和組成出發(fā)，對搜索引擎的內(nèi)部運行機制進行了初步的了解，其次對現(xiàn)在一般的網(wǎng)絡(luò)爬蟲的運行過程給予整體的介紹，以及網(wǎng)絡(luò)爬蟲的搜索策略和所面臨的主要技術(shù)問題進行了簡要的分析，然后通過了三個具體的例子對網(wǎng)絡(luò)爬蟲的內(nèi)部結(jié)構(gòu)進一步的分析，最后對于網(wǎng)絡(luò)爬蟲Inar(Information Navigation And Retrieval)體系結(jié)構(gòu)設(shè)計與實現(xiàn)作了詳細的分析。本文的研究內(nèi)容主要包括以下幾個方面：
　　

3、(1)通過對一般網(wǎng)絡(luò)爬蟲的分析研究，提出了Inar網(wǎng)絡(luò)爬蟲的體系結(jié)構(gòu)，并結(jié)合主要的數(shù)據(jù)結(jié)構(gòu)對爬蟲的內(nèi)部核心結(jié)構(gòu)進行了深入的闡述。
　　(2)在詳細分析了Inar核心結(jié)構(gòu)：URL調(diào)度,DNS解析,Connecting,異步I/O,HTML分析,URL過濾幾個主要模塊以后，分別給出了在linux平臺下C/C++技術(shù)實現(xiàn)Inar的詳細過程。
　　(3)對于Inar的更新策略予以了設(shè)計與分析，提出了更新爬蟲與發(fā)現(xiàn)爬蟲的爬蟲系統(tǒng)結(jié)構(gòu)，