1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費或?qū)嶒炇业馁Y助，在()實驗室完成：(請在以上括號內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒炇颐Q，未有此項聲明內(nèi)容的，可以不作特別聲明。)聲明人c㈣：蘊晚奸珈哆年參

2、月fEl摘要熱點詞匯(以下簡稱熱詞)是一種普遍的網(wǎng)絡(luò)詞匯現(xiàn)象，反映了特定一段時間內(nèi)人們普遍關(guān)注的問題，對熱詞進行快速識別和定向跟蹤，可以快速地了解民情、了解社會動態(tài)和發(fā)展趨勢，更快捷更準(zhǔn)確地抓住輿論導(dǎo)向，從而進行正確地引導(dǎo)和宣傳。因此，如何挖掘熱點詞匯將是中文信息處理中的一個重要研究課題。目前，對于熱詞的檢測方法總體可以分為兩大類：基于規(guī)則和基于統(tǒng)計?；谝?guī)則的方法的優(yōu)點是準(zhǔn)確率高，但靈活性差，規(guī)則維護困難；基于統(tǒng)計的方法的優(yōu)點是靈活性

3、好，可移植性強，但需要對大規(guī)模語料進行訓(xùn)練，會產(chǎn)生大量的垃圾串，準(zhǔn)確率并不是很高。因此本文提出了一種基于規(guī)則和統(tǒng)計相結(jié)合的熱點詞匯發(fā)現(xiàn)方法，并在此基礎(chǔ)上建立熱點詞匯搜索庫，對熱點詞匯進行聚類，對未來詞匯發(fā)展提供推測手段，完成了制定方向分類的詞匯預(yù)測統(tǒng)計。首先，用分詞軟件對語料進行切分，在此基礎(chǔ)上對傳統(tǒng)的Nagao串頻統(tǒng)計算法進行了改進，利用改進后的算法提取高頻的重復(fù)串作為候選子串。實驗結(jié)果表明，經(jīng)過改進的Nagao串頻統(tǒng)計算法能更加有效

4、地提取有價值的候選子串。其次，對于非實體短語，將其分為單字串和復(fù)合串，對五字以內(nèi)的候選串采用通用度過濾、IWP過濾、互信度過濾、詞性過濾以及首尾字過濾等手段進行垃圾串的過濾工作，并提出了一種針對熱詞多種組合模式的垃圾串過濾算法。實驗結(jié)果表明，過濾算法對單字串和大部分復(fù)合串的過濾是有效的，可以得到比較理想的準(zhǔn)確率和召回率，而且產(chǎn)生的熱詞比中科院NLPIR系統(tǒng)生成的更符合人們的關(guān)注偏好。最后，構(gòu)造了文檔特征向量，提出了基于互信息的層次聚類算