1、網(wǎng)絡(luò)信息浩如煙海又紛繁蕪雜，從中獲取最有效的信息是信息處理的一大目標(biāo)。文本分類(lèi)是組織和管理數(shù)據(jù)的有力手段，它作為信息過(guò)濾、信息檢索、搜索引擎、電子圖書(shū)館、網(wǎng)上商店等領(lǐng)域的技術(shù)基礎(chǔ)，有著良好的應(yīng)用前景，因此成為人們研究的熱點(diǎn)。 本文從文本的特征選擇、分類(lèi)算法和分類(lèi)器訓(xùn)練這三方面比較系統(tǒng)地研究了文本分類(lèi)算法。 (1)在文本分類(lèi)中，文本一般是表示為VSM模型。但是特征選取和特征權(quán)重計(jì)算都是一個(gè)比較重要的問(wèn)題，它決定了分類(lèi)器的正

2、確率。本文提出一種特征聚合的算法，改進(jìn)特征選擇的有效性。它是一種依據(jù)特征單詞對(duì)于每個(gè)類(lèi)別的相關(guān)性(即x<'2>值)，根據(jù)聚合系數(shù)δ將具有相同或者相似相關(guān)性的特征進(jìn)行合并的特征選擇算法。實(shí)驗(yàn)表明它與Bayes、KNN和SVM這幾種算法相結(jié)合能有效地提高文本分類(lèi)的正確率并減少分類(lèi)時(shí)間。 (2)最大熵模型可以綜合觀察到各種分散的上下文相關(guān)信息，可以為估計(jì)語(yǔ)言中的文字詞匯現(xiàn)象的概率提供一個(gè)清晰可擴(kuò)展的處理框架。本文將最大熵模型引入了中文

3、文本分類(lèi)的研究。實(shí)驗(yàn)表明通過(guò)與特征聚合算法結(jié)合，與Bayes、KNN和SVM這幾種性能優(yōu)越的算法相比，基于最大熵的文本分類(lèi)算法可取得較之更優(yōu)的分類(lèi)精度。 (3)考慮到最大熵模型GIS算法的訓(xùn)練時(shí)間隨特征維數(shù)增加而線性增加，本文結(jié)合粗糙集和最大熵的優(yōu)點(diǎn)，提出基于粗糙集和最大熵融合的文本分類(lèi)方法，利用粗糙集的約簡(jiǎn)可以進(jìn)一步降低向量維數(shù)，從而縮短訓(xùn)練時(shí)間。 (4)本文利用以上的算法實(shí)現(xiàn)了一套文本分類(lèi)系統(tǒng)，并在這套系統(tǒng)上進(jìn)行了相