1、文本分類在自然語言處理、信息組織、內(nèi)容過濾等領(lǐng)域都有著廣泛的應(yīng)用。傳統(tǒng)的K最鄰近法具有簡單、強(qiáng)壯、無參數(shù)、分類精度高的優(yōu)點(diǎn),但它需要計(jì)算一個(gè)新文本和所有訓(xùn)練文本的距離,因而需要大量的計(jì)算時(shí)間。針對這一問題,本文在使用K最鄰近法之前先使用聚類方法對數(shù)據(jù)進(jìn)行預(yù)處理,具體做法是使用CHAMELEON算法把訓(xùn)練集中的每個(gè)類聚成多個(gè)小簇,計(jì)算小簇的質(zhì)心得到廣義實(shí)例集,找到與未知文本最近的k1個(gè)廣義實(shí)例,再用回溯法找到這k1個(gè)廣義實(shí)例所代表的原始文

2、本,從這些原始文本中找到與未知文本最近的k2個(gè)文本,用它們投票表決未知文檔的歸類。在Tan語料庫和復(fù)旦語料庫上的實(shí)驗(yàn)表明該方法能夠達(dá)到與傳統(tǒng)KNN相同的分類精度和召回度,而運(yùn)行時(shí)間只需要KNN的十分之一左右。
　　在網(wǎng)絡(luò)購物中消費(fèi)者對商品的評論已成為電子商務(wù)信任機(jī)制的重要組成部分,但大多數(shù)電子商務(wù)網(wǎng)站還不能從語義層面上自動(dòng)區(qū)分好評與差評。本文以《知網(wǎng)》情感詞為種子詞匯,提出了一種基于條件隨機(jī)場的Bootrapping情感詞挖掘算法

3、,并利用互信息將這些情感詞分為正面和負(fù)面兩類。根據(jù)句子中包含正面和負(fù)面情感詞的數(shù)目將電子商務(wù)網(wǎng)站上的圖書評論自動(dòng)分為好評和差評。對2026條圖書評論作分類實(shí)驗(yàn),正確率將近82％,說明了算法的有效性。
　　分詞和特征項(xiàng)選擇是文本分類的前期準(zhǔn)備工作。本文通過在微軟研究院提供的中文語料上做分詞實(shí)驗(yàn)發(fā)現(xiàn)條件隨機(jī)場要優(yōu)于隱馬爾可夫模型。信息增益、互信息、期望交叉熵和卡方統(tǒng)計(jì)量是四種特征選擇的方法,本文的對比實(shí)驗(yàn)表明信息增益和卡方統(tǒng)計(jì)量這兩種