1、隨著Internet的飛速發(fā)展，Web中所容納的信息量越來(lái)越大，在存儲(chǔ)，信息采集等方面通用搜索引擎正面巨大的挑戰(zhàn)。而且，由于通用搜索引擎是面向各種各樣的用戶(hù)，它們的目的是保證在返回結(jié)果上做到面面俱到，但是各種各樣的結(jié)果實(shí)際上并不能滿(mǎn)足用戶(hù)對(duì)精確度高的搜索的需求。因此，面向?qū)I(yè)領(lǐng)域的搜索引擎即垂直搜索引擎便應(yīng)運(yùn)而生。 和傳統(tǒng)的搜索引擎所不同的是，垂直搜索引擎的網(wǎng)絡(luò)蜘蛛只是采集Web中的一部分信息。通過(guò)對(duì)網(wǎng)頁(yè)的主題相關(guān)度進(jìn)行預(yù)測(cè)和判

2、斷，專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛在爬行時(shí)就會(huì)避開(kāi)大量的與主題無(wú)關(guān)的信息。由于只采集那些和主題相關(guān)的網(wǎng)頁(yè)，從而使垂直搜索引擎在查詢(xún)的準(zhǔn)確率和效率上都有顯著的提高。目前，垂直搜索引擎的中文分詞和主題預(yù)測(cè)有待進(jìn)一步提高精度，網(wǎng)絡(luò)蜘蛛的搜索策略也有待進(jìn)一步改進(jìn)以提高搜索引擎的覆蓋率和運(yùn)行效率。 本文在分析目前常用的主題爬行策略的基礎(chǔ)之上，根據(jù)PageRank算法的思想，結(jié)合基于文本內(nèi)容的啟發(fā)式策略和基于Web超鏈分析的策略二者之間的優(yōu)點(diǎn)，提出了一種新的

3、主題爬行策略，既可以利用鏈接分析擴(kuò)大某個(gè)主題的資源覆蓋度，又可以保證搜索結(jié)果與主題的高度相關(guān)。 此外，本文通過(guò)研究和分析傳統(tǒng)的PageRank算法及其不足，在基于用戶(hù)點(diǎn)擊網(wǎng)頁(yè)內(nèi)的各個(gè)鏈接的概率是不均等的情況下，提出一種基于概率的PageRank改進(jìn)算法，該算法可以用于領(lǐng)域搜索引擎的主題相關(guān)度預(yù)測(cè)，能有效地避免主題漂移現(xiàn)象。 最后，基于Lucene框架和改進(jìn)的Hertrix開(kāi)源爬蟲(chóng)框架，設(shè)計(jì)并構(gòu)建了一個(gè)面向電子產(chǎn)品信息的垂