1、隨著互聯(lián)網(wǎng)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，很多網(wǎng)絡(luò)通信交流平臺被廣泛使用，如手機(jī)短信、微博、電子郵件、論壇、聊天軟件、新聞評論等，而他們通常會產(chǎn)生大批量的短文本信息資源。這些短文本涉及著人們生活的各個領(lǐng)域，也逐漸成為人們廣泛使用并且公認(rèn)的交流方式，并且它也改變著人們的生活和溝通習(xí)慣。從這些數(shù)量龐大的短文本中挖掘其中所蘊(yùn)含的潛在資源可以方便對它們進(jìn)行管理、同時也可以用于信息的發(fā)現(xiàn)和分析。但是面對如此海量的短文本，人們很難快速的通過人工的辦法來獲取其

2、中所蘊(yùn)含的信息資源，所以利用計(jì)算機(jī)技術(shù)來對短文本進(jìn)行挖掘和分析具有重要的意義。文本聚類是自然語言處理中最基礎(chǔ)的技術(shù)，采用聚類技術(shù)對這些短文本進(jìn)行分析和組織，能夠挖掘文本內(nèi)部文字之間的聯(lián)系，進(jìn)而有助于對這些信息的整體認(rèn)識和管理。
　　但是對于短文本來說，短文本本身和長文本不一樣，它具有獨(dú)特的特征，如字?jǐn)?shù)少，表達(dá)簡潔、缺乏豐富的上下文信息，包含的信息量有限，這使得短文本的特征稀疏，很難準(zhǔn)確的抽取有效的文檔特征，加之傳統(tǒng)的文本聚類方法直

3、接在短文本上使用的效果不佳，因此，這對短文本的聚類研究帶來了更多的挑戰(zhàn)，同時也導(dǎo)致短文本聚類技術(shù)的發(fā)展相對緩慢。目前，針對短文本的文本聚類的困難基本上有:如何解決短文本的特征稀疏問題，如何改善短文本聚類的質(zhì)量、以及如何描述聚簇結(jié)果。本文綜合的考慮了以上幾點(diǎn)，提出了基于BTM(BitermTopicModel)的短文本聚類方法。
　　本文主要工作:
　　(1)詳細(xì)闡述了短文本聚類的研究意義，研究難點(diǎn)和常用的解決方法，簡要介紹了

4、短文本聚類理論和關(guān)鍵技術(shù)，如預(yù)處理中的句子分詞和去停用詞、幾種重要的文本模型、聚類方法、聚類中涉及的相似度計(jì)算、聚類評價指標(biāo)以及聚簇結(jié)果的描述等。
　　(2)詳細(xì)介紹了BTM(bitermtopicmodel)，分析和對比了BTM和LDA以及一元混合模型的異同，介紹了BTM語義空間及Gibbs抽樣的參數(shù)推理過程，實(shí)驗(yàn)體現(xiàn)了基于BTM語義的文檔特征和文檔表示形式，從而證實(shí)了BTM在處理短文本稀疏問題上的有效性。
　　(3)將B

5、TM引入到短文本聚類，利用BTM訓(xùn)練之后得到的文檔-主題的概率分布矩陣和主題-詞概率分布矩陣與傳統(tǒng)的利用TF-IDF進(jìn)行詞權(quán)重計(jì)算的向量空間模型相結(jié)合，即將主題特征與詞特征結(jié)合，以此達(dá)到改善短文本聚類質(zhì)量的效果。
　　(4)利用聚類的結(jié)果中各個聚簇文檔中的主題分布情況，結(jié)合BTM訓(xùn)練之后的主題-詞特征空間，提出一種聚簇結(jié)果描述方法，利用這種方法可以對聚簇進(jìn)行描述和直觀理解。
　　通過在百度知道語料庫上進(jìn)行K-means聚類的