1、隨著網(wǎng)絡(luò)信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)及資源大幅增加，呈海量特性。為了有效地管理和利用這些海量分布的信息，基于內(nèi)容的信息檢索和數(shù)據(jù)挖掘近些年逐漸成為倍受關(guān)注的領(lǐng)域。其中，文本分類(text categorization，TC)技術(shù)是信息檢索和文本挖掘的重要基礎(chǔ)，其主要任務(wù)是根據(jù)預(yù)先給定類別(label)文檔集及文檔所屬內(nèi)容，通過學(xué)習(xí)得出分類模型，進(jìn)而通過分類模型再判斷或預(yù)測新的文檔的類別。文本分類在自然語言處理與理解、信息組織與管理、內(nèi)容信

2、息過濾等領(lǐng)域都有著廣泛的應(yīng)用。20世紀(jì)90年代逐漸成熟的基于機(jī)器學(xué)習(xí)的文本分類方法，更注重分類器的模型自動挖掘和生成及動態(tài)優(yōu)化能力，在分類效果和靈活性上都比之前基于知識工程和專家系統(tǒng)的文本分類模式有所突破，成為相關(guān)領(lǐng)域研究和應(yīng)用的經(jīng)典。
　　 但是近些年來，隨著web2.0的興起，社會網(wǎng)絡(luò)，比如人人網(wǎng)、Facebook、Twitter、新浪微博等不僅變得非常流行，也成為現(xiàn)代人們的一種生活方式。而這些數(shù)據(jù)80％以上為自然語言文本，

3、產(chǎn)生了海量用戶產(chǎn)生數(shù)據(jù)(UGC)，充斥著巨大的網(wǎng)絡(luò)空間。社會網(wǎng)絡(luò)中的文本因?yàn)橛衅渥陨泶嬖诘囊恍┨攸c(diǎn)，許多針對長文本的分類技術(shù)在其上并不能取得很好的效果，其主要存在三個突出特點(diǎn):高維性、稀疏性、不規(guī)范性。換言之，這樣的幾千個短的文本都很可能產(chǎn)生上萬維的向量，這對于分類算法來是太耗時，導(dǎo)致效率低下;而且相對于長文本來說，它的關(guān)鍵詞少，特征稀疏，很難抽取有效特征，更難以挖掘特征相互之間的關(guān)聯(lián)性;另外，用語不規(guī)范和流行語多，是網(wǎng)絡(luò)文本的最大特點(diǎn)

4、，也為這類文本挖掘帶來了諸多難點(diǎn)。特別是短文本，由于字?jǐn)?shù)較少，甚至一些會有字?jǐn)?shù)限制，因此用語表達(dá)更為簡潔簡練，本來普通的長本文本，就會有部分的一詞多義及同義詞，而社會網(wǎng)絡(luò)中的文本的縮略語及流行語的使用更是增加了文本中的同義詞，使文本分類任務(wù)更難處理。
　　 本文鑒于社會網(wǎng)絡(luò)中產(chǎn)生的文本存在的特點(diǎn)及其所帶來的問題，對其展開研究。由于這些文本字?jǐn)?shù)少、數(shù)量多，造成樣本特征稀疏，特征維數(shù)較高，不能很好的抽取出文本關(guān)鍵特征。傳統(tǒng)的方法采用

5、關(guān)鍵詞作為文本的特征，一方面將會在一定程度上丟失文本語義信息，即不會考慮到同義詞及一詞多義，導(dǎo)致分類準(zhǔn)確率較低;另一方面，為了保證分類準(zhǔn)確率，會使用上萬維特征，這使得分類算法效率很低，換言之，分類效率和準(zhǔn)確率不可兼得。針對以上兩個問題，我們分別提出了兩類算法:
　　 1)通過LSI來挖掘web服務(wù)所用的WSDL語言中的潛在語義，提出了LSI+EM聚類算法對服務(wù)進(jìn)行聚類，然后用SVM進(jìn)行高效分類，研究多類分類的效率問題;