1、隨著信息的不斷膨脹，人們越來越離不開搜索引擎。通用搜索引擎如百度、Google給人們提供了很多便利，得到了極大的流行。但是隨著人們需求的多樣化，和對搜索結(jié)果質(zhì)量的要求越來越高，通用搜索引擎在一些專門化的領(lǐng)域已經(jīng)不能滿足人們的要求，于是垂直搜索引擎就應(yīng)運而生。盡管垂直搜索引擎很多技術(shù)與通用搜索引擎很類似，但是還是有很多自己獨特的技術(shù)，和一些新的需要解決的問題，聚焦爬蟲就是其中的一個重點需要解決的問題。 本文首先基于用同一個模板產(chǎn)生

2、的動態(tài)網(wǎng)頁其內(nèi)容往往是屬于同一個主題的且其URL 是非常相似的這個規(guī)律，提出了一個基于URL規(guī)則的聚焦爬蟲(URLRule Based Focused Crawl，簡稱UBFC)的算法，即從每個主題網(wǎng)頁相關(guān)站點中自動學(xué)習(xí)出代表主題相關(guān)網(wǎng)頁URL和主題無關(guān)網(wǎng)頁URL的正則表達式，并用這些正則表達式來指導(dǎo)聚焦爬蟲的抓取。接著介紹了UBFC在Nutch系統(tǒng)上的實現(xiàn)和URL正則表達式學(xué)習(xí)算法。最后我們對UBFC進行了應(yīng)用和分析，特別是與廣度優(yōu)先