1、隨著因特網(wǎng)和各種移動終端的發(fā)展，計算機對各種文本類信息處理的重要性日益凸顯。短信、微博、電子商務的普及更使得用簡短的文字表示信息越來越重要。每天TB級數(shù)據(jù)的產生，標志著大數(shù)據(jù)時代的來到。從簡單的文本中挖掘輿論傾向，從商品評論中挖掘消費心理，短文本的挖掘有助于幫助政府更貼近了解民意傾向，幫助企業(yè)更好的了解用戶需求。然而，短文本不像長文本那樣具有豐富的語義特征，語義和特征矩陣的稀疏特性導致難以對它進行挖掘。本文的重點在于改善短文本特征矩陣的

2、稀疏性問題，并用改善后的短文本矩陣進行相似度計算。在長文本的領域，主題模型的發(fā)展和應用已經日趨成熟。但是對于有著數(shù)據(jù)稀疏性的短文本來說，主題模型還不能脫離長文本的影子。很多論文致力于如何把短文本通過相關信息擴充成長文本再進行建模計算。由于很多的短文本相關信息并不是那么容易找到，并且這種方法，其結果的好壞對于用來擴充的信息的準確度有著很大的依賴性，所以這種方法不具有通用性。本文結合2013年5月IW3C2會議上提出的在短文本建模方面有具有

3、優(yōu)勢的BTM主題模型對短文本進行特征擴展后，再用擴展后的特征矩陣進行相似度計算，實驗證明了本方法取得了很好的效果。
　　本文首先介紹了VSM的原理，以及如何使用VSM對短文本建模進而進行短文本的相似度計算。其次，本文簡要介紹三種文本相似度計算公式（距離公式），實驗對比了夾角余弦和JS距離兩種相似度計算方法的好壞，最終確定了使用JS距離作為本算法中的距離計算方法。然后簡要介紹了LSI、pLSI、LDA、和BTM主題模型的原理。簡要介

4、紹LDA模型原理、參數(shù)估計方法、GibbsLDA模型的輸入輸出。重點介紹BTM模型建模及推斷過程、BTM參數(shù)估計方法和BTM模型的輸入輸出的文檔形式和參數(shù)。并且實驗對比了兩種模型在相似度計算中的效果，作為剛剛提出的文本模型，相比較于傳統(tǒng)的針對長文本建模的主題模型，和使用外部背景資料進行擴充的短文本處理方法，BTM模型利用整個短文本語料庫的豐富信息進行建模和推斷，很好的改善了短文本語義稀疏的問題，在短文本建模以及概率推斷上有著很大優(yōu)勢。<

5、br>　　最后，本文提出了使用BTM主題模型對短文本特征擴展來改善短文本特征稀疏的問題，后用改善后的短文本特征矩陣計算短文本相似度的方法，首先對短文本特征選擇進行去噪處理，建立短文本的特征矩陣，由于該矩陣具有稀疏性，所以用BTM模型的推斷結果對短文本的稀疏的特征矩陣進行特征擴展，將擴展后的矩陣作為相似度計算的輸入。最后用JS距離衡量短文本相似度。本文詳細介紹了LDA模型和BTM模型的輸入輸出格式、參數(shù)，并在論文的末尾附上了BTM模型預處