數(shù)據(jù)流中離群和變化發(fā)現(xiàn)研究.pdf_第1頁(yè)
已閱讀1頁(yè),還剩70頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、數(shù)據(jù)挖掘是從數(shù)據(jù)庫(kù)中識(shí)別出有效的、新穎的、潛在有用的并最終可理解模式的非平凡過(guò)程,其在功能上的健壯性和應(yīng)用領(lǐng)域的廣泛性已被研究者一致認(rèn)同.十多年來(lái),眾多學(xué)者圍繞數(shù)據(jù)挖掘這一主題開(kāi)展深入而系統(tǒng)的研究與探索工作,并已出現(xiàn)大量研究成果.特別是近幾年來(lái),隨著計(jì)算機(jī)技術(shù)深入應(yīng)用,數(shù)據(jù)流(Data Stream)作為一類(lèi)新的數(shù)據(jù)模型,對(duì)現(xiàn)有的數(shù)據(jù)挖掘算法研究提出了有力的挑戰(zhàn).?dāng)?shù)據(jù)流廣泛出現(xiàn)諸如金融應(yīng)用、網(wǎng)絡(luò)監(jiān)視、通信數(shù)據(jù)管理、Web應(yīng)用以及傳感器網(wǎng)

2、絡(luò)數(shù)據(jù)處理等眾多領(lǐng)域中.由于數(shù)據(jù)流數(shù)據(jù)具有潛在無(wú)限,只能進(jìn)行一遍或較少次數(shù)的掃描,實(shí)時(shí)到達(dá)等特點(diǎn),因而對(duì)基于數(shù)據(jù)流模型的數(shù)據(jù)挖掘算法提出了更高的要求,數(shù)據(jù)流數(shù)據(jù)挖掘算法業(yè)已成為了研究的熱點(diǎn)問(wèn)題。 在眾多的數(shù)據(jù)挖掘任務(wù)中,離群檢測(cè)和變化檢測(cè)由于其在知識(shí)發(fā)現(xiàn)中所發(fā)揮的重要作用而得到重視和深入研究.但是現(xiàn)有的離群檢測(cè)和變化檢測(cè)技術(shù)大多針對(duì)傳統(tǒng)的靜態(tài)數(shù)據(jù)集,不能直接應(yīng)用于數(shù)據(jù)流數(shù)據(jù)。 針對(duì)以上所述對(duì)數(shù)據(jù)流中離群知識(shí)發(fā)現(xiàn)的需求以及

3、目前離群點(diǎn)檢測(cè)算法時(shí)間空間復(fù)雜度較高的問(wèn)題,本論文以Turnstile型數(shù)據(jù)流數(shù)據(jù)為研究對(duì)象,首先提出了一種基于動(dòng)態(tài)網(wǎng)格劃分的離群點(diǎn)快速檢測(cè)算法.為減少候選離群點(diǎn)的規(guī)模,算法利用數(shù)據(jù)主體性的特點(diǎn),對(duì)數(shù)據(jù)空間采用了快速直接、時(shí)間相關(guān)的動(dòng)態(tài)劃分方法,過(guò)濾大量主體數(shù)據(jù),而僅對(duì)較小數(shù)量的候選離群點(diǎn)進(jìn)行近似離群度計(jì)算.文中給出了網(wǎng)格的劃分、存儲(chǔ)、篩選以及離群點(diǎn)檢測(cè)的具體方法,并分析了算法的時(shí)間空間復(fù)雜度.通過(guò)在真實(shí)和仿真數(shù)據(jù)集上的測(cè)試,驗(yàn)證了算法

4、的有效性。 其次本論文同時(shí)將離群點(diǎn)檢測(cè)問(wèn)題擴(kuò)展到分布式數(shù)據(jù)流環(huán)境下,提出了基于核密度估計(jì)的分布式數(shù)據(jù)流離群點(diǎn)檢測(cè)算法.本論文將不同節(jié)點(diǎn)的數(shù)據(jù)流放在同等的地位上,將它們作為全局?jǐn)?shù)據(jù)流的子集,著重討論全局環(huán)境下的離群點(diǎn)檢測(cè)問(wèn)題.算法在每個(gè)分布節(jié)點(diǎn)維護(hù)本地?cái)?shù)據(jù)流的密度估計(jì)信息,并在此基礎(chǔ)上由中心節(jié)點(diǎn)生成全局密度估計(jì)信息,而各個(gè)節(jié)點(diǎn)利用該信息檢測(cè)本地的離群點(diǎn).算法對(duì)分布環(huán)境下節(jié)點(diǎn)間的協(xié)調(diào)通訊、統(tǒng)計(jì)信息維護(hù)以及離群點(diǎn)檢測(cè)等問(wèn)題進(jìn)行詳細(xì)的討

5、論,并通過(guò)實(shí)驗(yàn)驗(yàn)證算法的可行性和有效性。 第三,本論文從數(shù)據(jù)空間分布密度變化的角度,針對(duì)現(xiàn)有算法的局限性,提出相應(yīng)的改進(jìn)方法,并進(jìn)行理論和實(shí)驗(yàn)上的討論.本論文采用滑動(dòng)窗口模型下的計(jì)數(shù)方式對(duì)數(shù)據(jù)分布的變化進(jìn)行考察,該方法可以及時(shí)有效的發(fā)現(xiàn)數(shù)據(jù)空間中的密度變化情況,并對(duì)變化區(qū)域進(jìn)行動(dòng)態(tài)的跟蹤檢測(cè)以及可視化表示。 綜上,數(shù)據(jù)流中的離群和變化模式檢測(cè)是一類(lèi)重要的數(shù)據(jù)挖掘方法,本文針對(duì)該問(wèn)題,提出了一系列改進(jìn)算法,這些新算法將有效

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論