1、隨著科學(xué)技術(shù)的進(jìn)步,互聯(lián)網(wǎng)技術(shù)和通信技術(shù)也得以蓬勃發(fā)展。網(wǎng)絡(luò)信息含量逐漸呈現(xiàn)出爆炸式增長的趨勢。人們也越來越習(xí)慣通過網(wǎng)絡(luò)獲取自己所需的信息資源。但是,信息膨脹在為網(wǎng)絡(luò)用戶帶來便利的同時,也在某種程度上增加了他們的困擾:要在浩瀚的信息海洋中快速定位目標(biāo)已經(jīng)變得越來越困難。為了解決這一問題,本文對搜索引擎分類展示技術(shù)進(jìn)行了研究,試圖通過合適的類別體系為用戶提供指引,幫助其減少不必要的時間浪費。
　　本文將搜索引擎分類展示的實現(xiàn)過程劃分

2、為兩部分:其一作為分類模塊,用來對網(wǎng)頁類別進(jìn)行標(biāo)識;其二作為搜索引擎模塊,用來建立分類索引和分類檢索,為用戶實現(xiàn)最終的分類展示。在分類模塊中,首先要對網(wǎng)頁集合進(jìn)行預(yù)處理工作,將網(wǎng)頁由文本形式轉(zhuǎn)換為空間向量形式。本文提出了基于網(wǎng)頁分塊的正文抽取算法,通過判斷標(biāo)簽樹中的節(jié)點找到網(wǎng)頁正文,再利用基于文檔頻率的特征提取算法過濾文本中區(qū)分度過低的詞語,來實現(xiàn)網(wǎng)頁向空間向量的轉(zhuǎn)化。然后是對文本分類器進(jìn)行訓(xùn)練,本文采取基于決策樹的方法對支持向量機(jī)二元

3、分類器進(jìn)行擴(kuò)展,以解決多類別分類問題,并提出更加適用于層次分類的多重特征選擇技術(shù),文本在不同類別層次使用不同的特征向量表示,并且同一文本特征在不同層次分類器被賦予不同的權(quán)值,提高了層次體系中的分類精度。在搜索引擎模塊中,本文采用開源搜索引擎 Lucene作為系統(tǒng)實現(xiàn)的基礎(chǔ)架構(gòu),利用 Lucene索引文件中域的概念建立分類索引,在索引中存入網(wǎng)頁的類別信息。當(dāng)用戶希望查看某一類別搜索結(jié)果時,通過對該類別層次所在的域進(jìn)行檢索,就可以為用戶提供