1、隨著信息時代的發(fā)展，使得人們越來越依賴手機和互聯(lián)網(wǎng)獲取信息，而在這些信息中有很大的一部分都是以短文本的形式存放，因此對這些海量短文本的挖掘能夠很好的了解用戶的興趣信息和輿情走向，幫助我們精確的投放廣告和了解用戶的觀點立場。但是由于短文本的文本長度較短，通常不會超過160個字符，而傳統(tǒng)的文本挖掘方式往往依賴于文本中的詞頻等統(tǒng)計信息，因此傳統(tǒng)的文本分類算法應(yīng)用到短文本上效果難以滿足人們的要求。基于這樣的背景，本文對短文本分類相關(guān)的技術(shù)進行了

2、研究和探索。本文的主要工作和貢獻在于：
　　①首先，針對文本處理中的近義詞或者同義詞，本文通過《同義詞詞林》構(gòu)建了一個概念詞表，使本文中對短文本進行的處理提高到概念層，使得近義詞和同義詞在概念層得到統(tǒng)一的概念，提高檢索相似概念短文本的準(zhǔn)確率；
　?、谄浯危谡鎸嵍涛谋菊Z料的基礎(chǔ)上，構(gòu)建了一種使用概念描述的短文本分類方法。該方法首先對待分類短文本進行一個“概念化”的擴展，即使用 BM25算法到數(shù)據(jù)庫中檢索和待分類短文本擁有相似

3、概念的訓(xùn)練短文本，組合形成長文本，然后使用傳統(tǒng)長文本分類器進行分類。該方法充分挖掘了短文本所包含的語義信息，并利用了傳統(tǒng)文本分類方法研究相對成熟的特點，將短文本分類問題轉(zhuǎn)化為長文本分類問題，實驗結(jié)果表明該方法可以提高短文本分類的準(zhǔn)確性；
　?、圻M而，對待分類短文本擴展時使用的BM25算法進行了改進。在對待分類短文本進行檢索擁有相似概念短文本的過程中，本文使用的是信息檢索領(lǐng)域經(jīng)典的BM25算法進行排序，但是BM25算法對文檔中每種詞