1、伴隨互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)在人們的生活中扮演著越來越重要的角色。論壇作為互聯(lián)網(wǎng)時代的產(chǎn)物雨后春筍般的出現(xiàn)，如滾雪球般快速的發(fā)展并且壯大。各類論壇幾乎包括了與人們息息相關(guān)的方方面面，所有人都可能找到各自喜歡的論壇，而且各類型的站點也都傾向于架設(shè)與自己相關(guān)的論壇，這樣既可以有助于與用戶溝通，也能讓用戶之間有更多的互動，同時又增加了站點的內(nèi)容。論壇是一個有概括性質(zhì)的類，它的里面包含很多的版塊，網(wǎng)友數(shù)量多，所以發(fā)布的帖子數(shù)量巨大。如何能夠快速找到自

2、己需要的帖子，最常用的方法是在搜索框中輸入關(guān)鍵字進行檢索。但是，如何提高在論壇中關(guān)鍵詞搜索的準確率與速度，這和文本的分詞與關(guān)鍵詞權(quán)重的計算有很大關(guān)系。
　　原始的TF-IDF關(guān)鍵詞權(quán)重計算方法，雖然公式結(jié)構(gòu)簡單，算法運行時間也短，但是關(guān)鍵詞抽取的結(jié)果并不準確，特別是針對論壇的帖子內(nèi)容，提取的關(guān)鍵詞對帖子的內(nèi)容往往起不到關(guān)鍵性的作用，直接影響到搜索效率。
　　為了提高關(guān)鍵詞搜索系統(tǒng)的性能，針對帖子文本多由生活語言構(gòu)成和文本結(jié)構(gòu)

3、簡單的特點，加之回帖較為簡單且多為毫無意義的灌水貼，很難將回帖進行區(qū)分，干擾明顯，本文在關(guān)鍵詞提取中對TF-IDF進行了改進。主要方法有：
　　(1)在帖子分類時，針對瑤湖論壇計算出一些帖子之間的余弦值，在已有理論的基礎(chǔ)上，進行人工觀察，當發(fā)現(xiàn)帖子文本表現(xiàn)出關(guān)聯(lián)性時，這個值高于0.18，我們將0.18設(shè)為帖子分類的閥值。
　　(2)為了增強分詞器的分詞效果，我們在系統(tǒng)中增加了停止詞詞典和關(guān)鍵詞詞典，并且可以修改詞典。分詞后通

4、過與兩個詞典的對比，就能判斷哪些詞可以忽略掉，哪些詞具有代表性。
　　(3)充分考慮帖子的結(jié)構(gòu)特征，只考慮帖子的題目和原帖的內(nèi)容，并引入關(guān)鍵系數(shù)這個概念，對TF-IDF公式進行修改。
　　(4)為了使我們提取的詞具有較好的代表性，我們對所得關(guān)鍵詞的權(quán)重值設(shè)定一個閥值，只有提取詞的TF-IDF值大于這個閥值時，才認為是關(guān)鍵詞，否則就忽略掉。
　　在此基礎(chǔ)之上我們設(shè)計并實現(xiàn)了以瑤湖論壇為背景的關(guān)鍵詞搜索系統(tǒng)，該系統(tǒng)主要分為