基于簇特征的文本增量聚類研究.pdf_第1頁
已閱讀1頁,還剩57頁未讀 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、目前,隨著網絡技術與計算機技術的日益發(fā)展,互聯網已經成為當前人們獲取信息的主要來源之一。面對著互聯網上信息日益持續(xù)地增長,僅僅使用傳統方法想要從大規(guī)模的數據中獲取自身確切需要的信息已變得越來越難。因此,如何有效的組織和管理這些信息成為當前急需解決的問題,而文本聚類分析正是一種有效的組織和管理文本信息的工具,它能發(fā)現大規(guī)模數據中潛在的有用模式。
  然而,對大規(guī)模文本數據進行聚類時,傳統聚類算法的時間復雜度很高;且當數據出現更新時,

2、必須對整個數據集進行重新聚類,這也大大地降低了聚類的效率。針對這些問題,人們非常期望進行增量更新,而增量聚類算法就是在已有聚類結果的基礎之上,通過對新增數據逐個或者批量進行處理,能夠降低聚類時間復雜度,提高聚類效率,但如何保證增量聚類算法能達到傳統聚類算法的效果是一個值得研究的問題。
  本文提出了一種基于簇特征的文本增量聚類算法,該算法由初始聚類和增量聚類兩個階段組成。在初始聚類階段,本文首先充分利用簡單、高效的k-means算

3、法進行聚類,并保留聚類后每個簇的簇中心、均值、方差、文檔數、3階中心矩和4階中心矩作為該簇的簇特征;當出現新增文本時,算法進入增量聚類階段,首先計算新增文本與初始聚類階段所得簇之間的得分,為進一步提高聚類的準確度,本文使用文本與簇的相似度值結合歐幾里得距離值的方式計算新增文本與已有簇之間的得分,之后將該文本放入得分最高的簇中,并更新該簇的簇特征,最后利用更新前后簇特征的變化確定文本最終所屬簇。通過該方法,我們就無需再對整個數據集重新進行

4、聚類。
  本文的工作主要包括以下兩點:
  1、提出了基于簇特征的文本增量聚類算法,并將該算法與文本非增量聚類算法(即傳統聚類算法)的結果進行了比較。在20newsgroups數據集上的實驗結果表明,相比于對整個數據集進行重新聚類,本文提出的算法有更高的純度及更低的時間復雜度,并能達到比傳統聚類算法更好的效果;且將其與新近提出的文本增量聚類算法進行比較的結果也說明其具有一定的優(yōu)勢。
  2、使用將相似度與歐式距離值相

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論