1、隨著Internet和WWW的迅速發(fā)展，Internet上的資源日趨豐富，人們也越來越多地依賴網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和研究。為了幫助人們在浩如煙海的網(wǎng)絡(luò)中得到有用的信息，基于Internet的各類搜索引擎應(yīng)運(yùn)而生并得到了迅速發(fā)展。目前，人們在網(wǎng)絡(luò)上搜索信息主要利用百度，Google等通用搜索引擎，這類搜索引擎功能已經(jīng)十分強(qiáng)大，基本可以滿足用戶的需求，但是當(dāng)用戶搜索一些專業(yè)信息時，這類搜索引擎往往顯得力不從心。垂直搜索引擎的出現(xiàn)，正是為了解決此類問

2、題。 首先，本文論述了垂直搜索引擎的研究意義及體系結(jié)構(gòu)，并深入研究了垂直搜索引擎的核心技術(shù)，包括主題相關(guān)度的判斷，中文分詞技術(shù)，網(wǎng)頁排名技術(shù)等。 其次，本文對Lucene開發(fā)包進(jìn)行深入的學(xué)習(xí)研究，對比了其本身的中文分詞方法及KTDictSeg分詞方法，采用對中文分詞效果較好的KTDictSeg分詞方法對所提取的內(nèi)容進(jìn)行分詞。 最后，本文設(shè)計并實現(xiàn)了威客任務(wù)信息垂直搜索引擎系統(tǒng)，包括主題蜘蛛模塊，信息提取模塊，索引

3、與檢索模塊。在主題蜘蛛模塊采用SharkSearch算法來對未處理的URL進(jìn)行分析，提高了對主題信息采集的準(zhǔn)確度；在信息提取模塊，采用HtmlParser文檔解析方法對采集的頁面進(jìn)行信息提??；在索引與檢索模塊，針對Lucene中的得分算法沒有很好的體現(xiàn)網(wǎng)頁在網(wǎng)站中的位置信息這一不足，設(shè)計了一種改進(jìn)的解決方案，將文檔的基本得分與文檔在網(wǎng)頁中的位置信息以及文檔本身的特點很好的結(jié)合起來，以提高對搜索結(jié)果排序的準(zhǔn)確度，由此增強(qiáng)了搜索的精確度。