1、搜索引擎研究背景以及現狀分析1研究背景2搜索引擎現狀分析3網絡爬蟲的工作原理1研究背景研究背景網頁是因特網的最主要的組成部份，也是人們獲取網絡信息的最主要的來源，為了方便人們在大量繁雜的網頁中找尋自己需要的信息，這類檢索工具發(fā)展的最快。一般認為，基于網頁的信息檢索工具主要有網頁搜索引擎和網絡分類目錄兩種。網頁搜索引擎是通過“網絡蜘蛛”等網頁自動搜尋軟件搜索到網頁，然后自動給網頁上的某些或全部字符做上索引，形成目標摘要格式文件以及網絡可訪

2、問的數據庫，供人們檢索網絡信息的檢索工具。網絡目錄則是和搜索引擎完全不同，它不會將整個網絡中每個網站的所有頁面都放進去，而是由專業(yè)人員謹慎地選擇網站的首頁，將其放入相應的類目中。網絡目錄的信息量要比搜索引擎少得多，再加上不同的網絡目錄分類標準有些混亂，不便人們使用，因此雖然它標引質量比較高，利用它的人還是要比利用搜索引擎的人少的多。但是由于網絡信息的復雜性和網絡檢索技術的限制，這類檢索工具也有著明顯的不足：①隨著網頁數量的迅猛增加，人工

3、無法對其進行有效的分類、索引和利用。網絡用戶面對的是數量巨大的未組織信息，簡單的關鍵詞搜索，返回的信息數量之大，讓用戶無法承受。②信息有用性評價困難。一些站點在網頁中大量重復某些關鍵字，使得容易被某些著名的搜索引擎選中，以期借此提高站點的地位但事實上卻可能沒有提供任何對用戶有價值的信息。③網絡信息日新月異的變更，人們總是期望挑出最新的信息。然而網絡信息時刻變動，實時搜索幾乎不可能，就是剛剛瀏覽過的網頁也隨時都有更新、過期、刪除的可能。網

4、絡信息檢索工具的發(fā)展主要體現在進一步改進、完善檢索工具和檢索技術，以提高檢索服務質量，改變網絡信息檢索不盡如意的地方。目前雖然有很有的搜索引擎對于用戶所提出的查詢要求僅限于關鍵詞的簡單邏輯組合，搜索結果重視的是返回的數量而不是質量，在結果文檔的組織和分類上也有所欠缺。網絡爬蟲的效率，直接關系到搜索引擎系統(tǒng)為用戶提的供服務質量。如何設計高效、快速的網絡爬蟲，成為目前網絡爬蟲研究的熱點。要提高網絡爬蟲的爬行效率，除了需要改進網絡爬蟲的爬行策

5、略之外，還需要優(yōu)化網絡爬自身的設計，改進網絡爬蟲自身的結構，消除效率瓶頸。通過對網絡爬蟲結構、應用環(huán)境以及用戶要求的分析，提出一個通用網絡爬蟲的改進設計方案，并通過實驗得到較好的測試結果。國外的一次調查結果顯示，約有71％的人對搜索的結果感到不同程度的失望。因此，如何提高搜索引擎的智能化程度，如何按照知識應用的需要來組織信息，使互聯(lián)網不僅提供信息服務，而且能為用戶提供知識服務，將成為計算機工業(yè)界和學術界有待研究的方向。2搜索引擎現狀分析

6、互聯(lián)網被普及前，人們查閱資料首先想到的便是擁有大量書籍的圖書館，而在當今很多人都會選擇一種更方便、快捷、全面、準確的方式——互聯(lián)網。如果說互聯(lián)網是一個知識寶庫，那么搜索引擎就是打開知識寶庫的一把鑰匙。搜索引擎是隨著WEB信息的迅速增加，從1995年開始逐漸發(fā)展起來的技術，用于幫助互聯(lián)網用戶查詢信息的搜索工具。搜索引擎以一定的策略在互聯(lián)網中搜集、發(fā)現信息，對信息進行理解、提取、組織和處理，并為用戶提供檢索服務，從而起到信息導航的目的。目前

7、搜索引擎已經成為倍受網絡用戶關注的焦點，也成為計算機工業(yè)界和學術界爭相研究、開發(fā)的對象?；ヂ?lián)網的開放性和其上信息廣泛的可訪問性極大的激勵了人們創(chuàng)作的積極性。在短短的十幾年間，人類至少在萬維網上發(fā)布了40億條的網頁，并且現在每天都有數以萬計的數量增長。由于網絡上的資源與生俱來的數字化、網絡化，這些特性成為了網絡信息的雙刃劍：一方面便于我們搜集整理，另一方面也會使我們感到太多蜂擁而至，無所適從。而搜索引擎的由來要追溯到1990年加拿大的麥吉