1、隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，微博已經(jīng)普及成為國(guó)內(nèi)的一大新型媒體。微博用戶基數(shù)的迅速膨脹，加上信息的逐級(jí)傳播，與之俱來(lái)的問(wèn)題是微博數(shù)據(jù)規(guī)模達(dá)到空前水平。面對(duì)微博服務(wù)迅猛發(fā)展中所產(chǎn)生的海量文本數(shù)據(jù)，如何準(zhǔn)確有效的從中定向發(fā)現(xiàn)并獲取所需要的有較高商業(yè)價(jià)值的資料和信息，進(jìn)而提高廣告精準(zhǔn)度成為各微博平臺(tái)數(shù)據(jù)研究處理的一大目標(biāo)，本文將對(duì)如何有效的從海量微博文本數(shù)據(jù)中發(fā)現(xiàn)和抽取商業(yè)關(guān)鍵詞進(jìn)行研究。為了更有針對(duì)性的進(jìn)行商業(yè)關(guān)鍵詞抽取，首先對(duì)海量

2、微博數(shù)據(jù)進(jìn)行了文本分類，一方面降低了單次數(shù)據(jù)處理的規(guī)模，另一方面對(duì)同類數(shù)據(jù)進(jìn)行處理研究將更有針對(duì)性。再對(duì)各個(gè)類別中文本的關(guān)鍵詞結(jié)合互聯(lián)網(wǎng)搜索引擎中的搜索權(quán)值進(jìn)行調(diào)權(quán)，有效提高了微博文本中商業(yè)關(guān)鍵詞抽取的精準(zhǔn)度。
　　由于微博文本數(shù)據(jù)具有總體數(shù)量多、單條簡(jiǎn)短及內(nèi)容隨意性大等特性，在利用傳統(tǒng)分類方法及商業(yè)信息提取算法對(duì)其進(jìn)行處理時(shí)存在一定的局限性。本文考慮到單條微博文本信息簡(jiǎn)短包含的有效特征少，且內(nèi)容比較口語(yǔ)化的特性，從相似詞及搭配詞

3、方面對(duì)文本的特征詞進(jìn)行了擴(kuò)展，盡量降低特征丟失的可能性；結(jié)合微博文本數(shù)量多及內(nèi)容隨意性大的特性，提出了一種基于特征詞類別分散性及分散程度的微博文本分類方法?？紤]到微博自有的轉(zhuǎn)發(fā)數(shù)、評(píng)論數(shù)及海量規(guī)模等因素，本文對(duì)傳統(tǒng)的TF-IDF算法進(jìn)行了相關(guān)改進(jìn)，利用hadoop云計(jì)算平臺(tái)并以單個(gè)用戶的所有微博信息作為計(jì)算單元應(yīng)用改進(jìn)的TF-IDF算法，再綜合詞語(yǔ)在互聯(lián)網(wǎng)搜索引擎中的搜索權(quán)值進(jìn)行調(diào)權(quán)，實(shí)現(xiàn)了從海量數(shù)據(jù)中對(duì)具有商業(yè)價(jià)值關(guān)鍵詞的有效抽取。實(shí)