1、當前,在以互聯(lián)網(wǎng)為代表的信息技術(shù)廣泛普及的基礎(chǔ)上,移動互聯(lián)網(wǎng)、云計算等新興信息技術(shù)快速發(fā)展,人們通過微博、社交網(wǎng)絡等各種信息媒介相互交流。方便了人們生活工作學習的同時,大規(guī)模海量真實信息的爆炸式出現(xiàn),如何從海量信息中準確并且高效地獲取有用信息已經(jīng)成為一個具有非常重要現(xiàn)實和理論意義的研究課題。文本自動分類作為處理和組織大量文本數(shù)據(jù)的基礎(chǔ)技術(shù)應運而生。文本自動分類簡稱文本分類(Text Categorization,TC)作為信息檢索和數(shù)據(jù)

2、挖掘的基礎(chǔ)技術(shù)和研究熱點,從上個世紀50年代末至今,得到廣泛關(guān)注并已取得長足發(fā)展。廣泛應用于垃圾郵件過濾、網(wǎng)絡內(nèi)容管理、本體映射、電話會議等各個方面。
　　本文詳細闡述中文文本分類及相關(guān)技術(shù)理論包括:文本預處理、文本表示、特征選擇、特征權(quán)重計算、分類效果的評價指標、文本分類算法。然后對向量空間模型(Vector Space Model,VSM)和傳統(tǒng)K‐最近鄰(K‐Nearest Neighbor,KNN)分類算法進行優(yōu)缺點分析,

3、并在分析結(jié)果基礎(chǔ)之上做出改進。主要做了如下研究工作:
　　首先,針對傳統(tǒng)向量空間模型忽略語義信息的缺點,以潛在語義索引/奇異值分解(Latent Semantic Indexing/Singular Value Decomposition,LSI/SVD)為技術(shù)手段,對傳統(tǒng)向量空間模型加以改進和擴展。在訓練文本集的詞‐文本矩陣基礎(chǔ)上進行奇異值分解,構(gòu)建出語義空間代替原來基于特征項(關(guān)鍵詞)的向量空間。在保留向量空間模型直觀表示和便

4、于計算的優(yōu)勢同時,LSI模型一方面可以消除同義詞和多義詞帶來的不利影響,提取出文本潛在語義信息并突顯出這一特點,更加準確地描述文本;另一方面可以排除大量無用的、干擾分類的“維數(shù)噪聲”。有效地提高了文本分類的精確度。實驗表明:基于LSI的分類算法比基于VSM的分類算法在準確率方面有所提高。
　　其次,運用高維數(shù)據(jù)索引結(jié)構(gòu)VAR‐Tree改進傳統(tǒng)KNN算法效率低下這一局限性。傳統(tǒng)KNN算法忽視訓練階段,放棄訓練規(guī)則,只是簡單地把訓練樣

5、本存儲起來;當待分類文本進行測試時,將其與所有的訓練樣本一一計算相似度,進行分類判別,時間復雜度太高,導致算法效率低下。針對訓練樣本具有同類聚集、異類分散的大體分布特點,運用VAR‐Tree對訓練樣本進行整理劃分排序,改進的KNN算法在測試階段只需要在VAR‐Tree中搜索K個最近鄰,而不必與訓練樣本一一計算。在減少文本查詢量的同時提高查詢速度,從而提高算法效率。實驗結(jié)果證明:在不降低原有分類準確率的前提下,改進算法在效率方面有明顯的提