1、搜索引擎的出現(xiàn)為用戶及其需要的信息之間建立了一座橋梁。不過，隨著網(wǎng)頁數(shù)量的快速增長，搜索引擎已經(jīng)無法搜索互聯(lián)網(wǎng)的所有網(wǎng)頁，對下載的網(wǎng)頁進(jìn)行及時更新也成了問題。如何在有限的資源下搜索最有價值的網(wǎng)頁，以及如何對網(wǎng)頁進(jìn)行最有效的更新，已經(jīng)成為現(xiàn)代搜索引擎的重要研究方向。 本文對搜索引擎的發(fā)展歷史及現(xiàn)代搜索引擎的功能結(jié)構(gòu)進(jìn)行了介紹，并討論了搜索引擎技術(shù)中網(wǎng)頁爬行和更新存在的問題，在分析了現(xiàn)有實(shí)現(xiàn)技術(shù)優(yōu)劣勢的基礎(chǔ)上設(shè)計(jì)了具有高度系統(tǒng)靈活性

2、和擴(kuò)展性的并行網(wǎng)頁抓取系統(tǒng)，實(shí)現(xiàn)了網(wǎng)頁的并行快速抓取。 為了保證優(yōu)先抓取高質(zhì)量的網(wǎng)頁，系統(tǒng)設(shè)計(jì)了基于網(wǎng)頁鏈接重要性和路徑重要性的啟發(fā)式搜索算法，首先根據(jù)上述兩個重要性計(jì)算網(wǎng)頁的綜合權(quán)重，然后根據(jù)網(wǎng)頁的綜合權(quán)重大小調(diào)整對網(wǎng)頁的爬行順序。爬行器在啟發(fā)式搜索策略的指導(dǎo)下優(yōu)先爬行那些比較重要的網(wǎng)頁，提高了抓取網(wǎng)頁的質(zhì)量。為了實(shí)現(xiàn)網(wǎng)頁庫的高效更新，系統(tǒng)設(shè)計(jì)了基于貝葉斯的網(wǎng)頁庫更新算法，通過估算網(wǎng)頁變化頻率類別實(shí)現(xiàn)網(wǎng)頁庫中網(wǎng)頁的分類更新，提