1、互聯(lián)網(wǎng)已經(jīng)成為一個(gè)巨大的海量信息空間，人們?cè)诨ヂ?lián)網(wǎng)上搜索信息主要利用百度等通用搜索引擎，這類(lèi)搜索引擎功能已經(jīng)十分強(qiáng)大，基本可以滿(mǎn)足用戶(hù)的需求，但是當(dāng)用戶(hù)搜索一些面向主題的信息時(shí)，這類(lèi)搜索引擎往往顯得力不從心。垂直搜索引擎的出現(xiàn)，正是為了解決此類(lèi)問(wèn)題。
　　 本文首先介紹了垂直搜索引擎的特點(diǎn)及工作原理，然后詳細(xì)分析了開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)Heritrix的系統(tǒng)結(jié)構(gòu)。在此基礎(chǔ)上，提出了設(shè)計(jì)特定的解析器，解析特定網(wǎng)站，以及擴(kuò)展Heritrix的

2、鏈接處理器，抓取特定鏈接，來(lái)實(shí)現(xiàn)定制抓取的目的；然后通過(guò)消除robots.txt對(duì)個(gè)別處理器的影響，以及引入哈希算法，實(shí)現(xiàn)了高效、多線(xiàn)程抓取的目的。
　　 本文采用Lucene作為全文檢索引擎，首先深入剖析了Lucene的系統(tǒng)結(jié)構(gòu)，并詳細(xì)闡述了Lucene的倒排索引技術(shù)和索引結(jié)構(gòu)，然后通過(guò)分析Lucene原有排序算法，得知其只考慮網(wǎng)頁(yè)內(nèi)容本身，不能反映出網(wǎng)頁(yè)的重要性的不足，通過(guò)引入基于鏈接分析的PageRank算法，改進(jìn)了Luc

3、ene原有排序算法，排序結(jié)果更加符合用戶(hù)預(yù)期。
　　 本文在上述研究的基礎(chǔ)上，根據(jù)汽車(chē)愛(ài)好者查詢(xún)汽車(chē)信息的一般要求，建立了一個(gè)面向汽車(chē)主題的垂直搜索引擎，設(shè)計(jì)了各個(gè)子系統(tǒng)，并實(shí)現(xiàn)了改進(jìn)的爬蟲(chóng)和排序算法。
　　 最后，本文在建立的垂直搜索引擎系統(tǒng)上，首先通過(guò)查詢(xún)實(shí)驗(yàn)，驗(yàn)證了垂直搜索引擎相對(duì)通用搜索引擎的直觀優(yōu)勢(shì)，然后通過(guò)對(duì)改進(jìn)前后的爬蟲(chóng)抓取網(wǎng)頁(yè)速度對(duì)比，以及對(duì)改進(jìn)后爬蟲(chóng)在不同線(xiàn)程數(shù)、不同運(yùn)行時(shí)間的條件下抓取網(wǎng)頁(yè)速度的分析，