1、文本自動分類技術(shù)是自然語言處理的一個重要的應用領(lǐng)域,是替代傳統(tǒng)的繁雜人工分類方法的有效手段和必然趨勢.特別是隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,網(wǎng)絡(luò)成為人們進行信息交互和處理的有效的平臺,各種數(shù)字化的信息每天以極高的速度增長.面對如此巨大的信息,人工分類選擇已經(jīng)無能為力,計算機自動分類己成為網(wǎng)絡(luò)時代的必然選擇.目前,對于文本分類技術(shù)的研究,大多數(shù)研究者的精力主要放在各種不同分類方法的探索與改進上.然而,文本分類中的特征選擇(或稱特征提取、索引詞選擇)

2、一直是文本分類的關(guān)鍵技術(shù)和瓶頸技術(shù).所以,對特征選擇算法的研究是十分必要的.該論文對文本分類中所涉及的各項技術(shù)進行了較全面的闡述,特別對當前文本分類中各種常用特征選擇算法的性能以及優(yōu)缺點進行了分析.通過以上分析,作者發(fā)現(xiàn)目前的索引詞選擇算法都是基于詞頻的,沒有利用訓練樣本中的類別信息.為此,作者提出了一種新的基于類別的特征選擇方法,并以此為基礎(chǔ)設(shè)計了一個英文文本自動分類系統(tǒng).接著,論文根據(jù)不同特征選擇閾值下的分類性能,確定了特征選擇的初

3、始閾值,并在該閾值下,對系統(tǒng)完成了不同實驗條件下的、面向大規(guī)模真實文本的分類性能測試,包括:在開放測試和封閉測試下系統(tǒng)的性能;在不同原始特征空間維數(shù)下的分類性能;相同條件下與SVM和Naive Bayes分類器的分類性能比較.之后,論文對測試結(jié)果進行了理論分析,確定了基于類別的特征選擇算法能夠在一定程度上提高分類系統(tǒng)的性能.進一步地,論文通過與Naive Bayes分類器在相同條件下的訓練分類時間對比,分析了該文設(shè)計的基于類別的特征選擇