1、近年來(lái)，Internet迅速發(fā)展及網(wǎng)絡(luò)論壇(BBS，Bulletin Board System)的普及，為廣大網(wǎng)絡(luò)用戶(hù)提供了一個(gè)自由交流的空間，BBS已成為表達(dá)民意的一個(gè)重要平臺(tái)。但BBS中也存在一些污穢的語(yǔ)言，謾罵等不文明行為，甚至存在一些攻擊國(guó)家、擾亂社會(huì)的言論。為了正確地引導(dǎo)社會(huì)輿論，凈化網(wǎng)絡(luò)環(huán)境，BBS輿情監(jiān)控技術(shù)應(yīng)運(yùn)而生，為政府和網(wǎng)絡(luò)管理部門(mén)提供了有效的管理手段，也便于政府及時(shí)掌握各個(gè)時(shí)期民眾關(guān)心的熱點(diǎn)話題，并了解民眾對(duì)這些熱

2、點(diǎn)話題的觀點(diǎn)和態(tài)度，從而做出正確、科學(xué)的決策。
　　本文主要研究?jī)?nèi)容有：
　　首先，分析了當(dāng)前文本聚類(lèi)分析中常用的幾類(lèi)方法和聚類(lèi)算法評(píng)價(jià)標(biāo)準(zhǔn)，并對(duì)平面劃分的兩種典型算法通過(guò)實(shí)驗(yàn)進(jìn)行性能比較。本文研究了 K-Means和K-medoids兩種聚類(lèi)算法在文本挖掘中的應(yīng)用，并通過(guò)實(shí)驗(yàn)利用基于人工判定的指標(biāo)對(duì)兩類(lèi)算法在聚類(lèi)文檔的準(zhǔn)確率和召回率方面進(jìn)行了性能比較。實(shí)驗(yàn)結(jié)果表明，與K-Means算法相比，K-medoids算法無(wú)論在準(zhǔn)確

3、率還是召回率方面都要高出5個(gè)百分點(diǎn)以上，且后者在處理異常數(shù)據(jù)和噪聲數(shù)據(jù)方面更為魯棒。在此基礎(chǔ)上，對(duì)K-medoids算法進(jìn)行了改進(jìn)。由于反復(fù)計(jì)算類(lèi)內(nèi)距離之和使得K-medoids算法計(jì)算代價(jià)較高。針對(duì)這一問(wèn)題，本文在聚類(lèi)之前，預(yù)先計(jì)算所有對(duì)象之間的相似度，建立相似度矩陣，這樣在計(jì)算類(lèi)內(nèi)距離時(shí)，通過(guò)查詢(xún)相似度矩陣的方法，可以大大減少計(jì)算代價(jià)。
　　其次，介紹了本文作者如何將非結(jié)構(gòu)化的BBS文檔轉(zhuǎn)換為結(jié)構(gòu)化的文本，BBS文本的預(yù)處理過(guò)