1、隨著互聯(lián)網(wǎng)這一新型的信息傳播方式的迅速普及，人們不僅可以輕而易舉地獲得全世界你想要的信息，還可以向全世界傳遞你所擁有的信息，人們?cè)诨ヂ?lián)網(wǎng)上可獲取的信息資源呈現(xiàn)爆炸式增長(zhǎng)。同時(shí)，隨著平板電腦、智能手機(jī)等網(wǎng)絡(luò)終端的推出，以及各種社交網(wǎng)絡(luò)的出現(xiàn)，如人人網(wǎng)、微博、微信、各種招聘網(wǎng)站和各種婚戀網(wǎng)站等等，更大大加快了互聯(lián)網(wǎng)上數(shù)據(jù)信息增加的步伐。人們每天都會(huì)在這些應(yīng)用上不斷更新著各種各種的數(shù)據(jù)，文字、圖片、視頻信息等。有數(shù)據(jù)顯示，互聯(lián)網(wǎng)上每天都會(huì)有指

2、數(shù)級(jí)的信息數(shù)據(jù)出現(xiàn)，人們已經(jīng)處在一個(gè)信息極為膨脹的年代。面對(duì)這樣如此龐大的信息資源，如何對(duì)其進(jìn)行有效合理的管理，使人們獲取目標(biāo)信息更為方便快捷，已經(jīng)成為研究的熱點(diǎn)。而文本挖掘中的文本分類技術(shù)有效的解決了這一問題。
　　文本分類是一項(xiàng)非常復(fù)雜的工程，本文在對(duì)其各個(gè)流程進(jìn)行仔細(xì)了解分析之后，重點(diǎn)研究了特征降維和特征加權(quán)兩方面的過程。
　　經(jīng)過文本預(yù)處理后的文本被表示為一個(gè)具有高維度和稀疏性的特征項(xiàng)向量空間，這不但增加了分類的時(shí)間

3、復(fù)雜度和空間復(fù)雜度而且還大大影響到分類的精度。特征降維可以有效地解決這一難題，包括特征抽取和特征選擇兩種。相比較之下，特征選擇算法因其過程比較簡(jiǎn)單，且可以取得比特征抽取算法更理想的降維效果，在文本分類系統(tǒng)中受到廣泛應(yīng)用。本文首先簡(jiǎn)要介紹了幾種傳統(tǒng)的特征選擇算法，其中重點(diǎn)介紹被學(xué)者證明特征選擇效果比較好的信息增益算法。分別從特征項(xiàng)頻數(shù)在類內(nèi)、類內(nèi)位置和不同類間對(duì)算法的影響進(jìn)行了分析，針對(duì)傳統(tǒng)的信息增益算法對(duì)特征項(xiàng)頻數(shù)考慮不足的弊端，提出一

4、種改進(jìn)信息增益特征選擇算法IGimp。
　　由于每個(gè)特征項(xiàng)對(duì)文本類別的分類能力都不一樣，特征項(xiàng)的權(quán)重恰能體現(xiàn)其對(duì)文檔表示能力的大小，而不同的特征權(quán)重算法對(duì)文本空間向量的構(gòu)造會(huì)產(chǎn)生很大影響。本文首先簡(jiǎn)單介紹幾種傳統(tǒng)的特征項(xiàng)權(quán)重算法和它們的優(yōu)缺點(diǎn)，隨后詳細(xì)分析傳統(tǒng)特征加權(quán)算法TD-IDF的不足，首先針對(duì)IDF的不足進(jìn)行改進(jìn)，之后根據(jù)熵的概念提出類內(nèi)和類間信息分布熵參數(shù)因子進(jìn)一步對(duì)算法進(jìn)行改進(jìn)。
　　為驗(yàn)證本文提出的改進(jìn)信息增益特