版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、數(shù)據(jù)挖掘是從數(shù)據(jù)庫(kù)中識(shí)別出有效的、新穎的、潛在有用的并最終可理解模式的非平凡過(guò)程,其在功能上的健壯性和應(yīng)用領(lǐng)域的廣泛性已被研究者一致認(rèn)同.十多年來(lái),眾多學(xué)者圍繞數(shù)據(jù)挖掘這一主題開(kāi)展深入而系統(tǒng)的研究與探索工作,并已出現(xiàn)大量研究成果.特別是近幾年來(lái),隨著計(jì)算機(jī)技術(shù)深入應(yīng)用,數(shù)據(jù)流(Data Stream)作為一類(lèi)新的數(shù)據(jù)模型,對(duì)現(xiàn)有的數(shù)據(jù)挖掘算法研究提出了有力的挑戰(zhàn).?dāng)?shù)據(jù)流廣泛出現(xiàn)諸如金融應(yīng)用、網(wǎng)絡(luò)監(jiān)視、通信數(shù)據(jù)管理、Web應(yīng)用以及傳感器網(wǎng)
2、絡(luò)數(shù)據(jù)處理等眾多領(lǐng)域中.由于數(shù)據(jù)流數(shù)據(jù)具有潛在無(wú)限,只能進(jìn)行一遍或較少次數(shù)的掃描,實(shí)時(shí)到達(dá)等特點(diǎn),因而對(duì)基于數(shù)據(jù)流模型的數(shù)據(jù)挖掘算法提出了更高的要求,數(shù)據(jù)流數(shù)據(jù)挖掘算法業(yè)已成為了研究的熱點(diǎn)問(wèn)題。 在眾多的數(shù)據(jù)挖掘任務(wù)中,離群檢測(cè)和變化檢測(cè)由于其在知識(shí)發(fā)現(xiàn)中所發(fā)揮的重要作用而得到重視和深入研究.但是現(xiàn)有的離群檢測(cè)和變化檢測(cè)技術(shù)大多針對(duì)傳統(tǒng)的靜態(tài)數(shù)據(jù)集,不能直接應(yīng)用于數(shù)據(jù)流數(shù)據(jù)。 針對(duì)以上所述對(duì)數(shù)據(jù)流中離群知識(shí)發(fā)現(xiàn)的需求以及
3、目前離群點(diǎn)檢測(cè)算法時(shí)間空間復(fù)雜度較高的問(wèn)題,本論文以Turnstile型數(shù)據(jù)流數(shù)據(jù)為研究對(duì)象,首先提出了一種基于動(dòng)態(tài)網(wǎng)格劃分的離群點(diǎn)快速檢測(cè)算法.為減少候選離群點(diǎn)的規(guī)模,算法利用數(shù)據(jù)主體性的特點(diǎn),對(duì)數(shù)據(jù)空間采用了快速直接、時(shí)間相關(guān)的動(dòng)態(tài)劃分方法,過(guò)濾大量主體數(shù)據(jù),而僅對(duì)較小數(shù)量的候選離群點(diǎn)進(jìn)行近似離群度計(jì)算.文中給出了網(wǎng)格的劃分、存儲(chǔ)、篩選以及離群點(diǎn)檢測(cè)的具體方法,并分析了算法的時(shí)間空間復(fù)雜度.通過(guò)在真實(shí)和仿真數(shù)據(jù)集上的測(cè)試,驗(yàn)證了算法
4、的有效性。 其次本論文同時(shí)將離群點(diǎn)檢測(cè)問(wèn)題擴(kuò)展到分布式數(shù)據(jù)流環(huán)境下,提出了基于核密度估計(jì)的分布式數(shù)據(jù)流離群點(diǎn)檢測(cè)算法.本論文將不同節(jié)點(diǎn)的數(shù)據(jù)流放在同等的地位上,將它們作為全局?jǐn)?shù)據(jù)流的子集,著重討論全局環(huán)境下的離群點(diǎn)檢測(cè)問(wèn)題.算法在每個(gè)分布節(jié)點(diǎn)維護(hù)本地?cái)?shù)據(jù)流的密度估計(jì)信息,并在此基礎(chǔ)上由中心節(jié)點(diǎn)生成全局密度估計(jì)信息,而各個(gè)節(jié)點(diǎn)利用該信息檢測(cè)本地的離群點(diǎn).算法對(duì)分布環(huán)境下節(jié)點(diǎn)間的協(xié)調(diào)通訊、統(tǒng)計(jì)信息維護(hù)以及離群點(diǎn)檢測(cè)等問(wèn)題進(jìn)行詳細(xì)的討
5、論,并通過(guò)實(shí)驗(yàn)驗(yàn)證算法的可行性和有效性。 第三,本論文從數(shù)據(jù)空間分布密度變化的角度,針對(duì)現(xiàn)有算法的局限性,提出相應(yīng)的改進(jìn)方法,并進(jìn)行理論和實(shí)驗(yàn)上的討論.本論文采用滑動(dòng)窗口模型下的計(jì)數(shù)方式對(duì)數(shù)據(jù)分布的變化進(jìn)行考察,該方法可以及時(shí)有效的發(fā)現(xiàn)數(shù)據(jù)空間中的密度變化情況,并對(duì)變化區(qū)域進(jìn)行動(dòng)態(tài)的跟蹤檢測(cè)以及可視化表示。 綜上,數(shù)據(jù)流中的離群和變化模式檢測(cè)是一類(lèi)重要的數(shù)據(jù)挖掘方法,本文針對(duì)該問(wèn)題,提出了一系列改進(jìn)算法,這些新算法將有效
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 高維數(shù)據(jù)流聚類(lèi)分析及離群點(diǎn)檢測(cè)研究.pdf
- 數(shù)據(jù)流離群點(diǎn)檢測(cè)研究.pdf
- 離群數(shù)據(jù)知識(shí)發(fā)現(xiàn)的研究.pdf
- 基于不同屬性數(shù)據(jù)流的離群數(shù)據(jù)挖掘算法的研究.pdf
- 數(shù)據(jù)流離群數(shù)據(jù)挖掘的研究與應(yīng)用.pdf
- 數(shù)據(jù)流的變化檢測(cè)算法及其在實(shí)時(shí)匯率數(shù)據(jù)流異常檢測(cè)中的應(yīng)用.pdf
- 數(shù)據(jù)流概念漂移檢測(cè)和不平衡數(shù)據(jù)流分類(lèi)算法研究.pdf
- 高性能數(shù)據(jù)流模式發(fā)現(xiàn)算法及其應(yīng)用研究.pdf
- 數(shù)據(jù)流概要與數(shù)據(jù)流分析若干關(guān)鍵問(wèn)題研究.pdf
- 數(shù)據(jù)流圖
- 高性能數(shù)據(jù)流模式發(fā)現(xiàn)算法及其應(yīng)用研究(1)
- 數(shù)據(jù)流查詢和數(shù)據(jù)流挖掘在油田中應(yīng)用的研究.pdf
- 數(shù)據(jù)流挖掘
- 數(shù)據(jù)流挖掘算法研究.pdf
- 離群數(shù)據(jù)挖掘在犯罪通訊痕跡發(fā)現(xiàn)中的應(yīng)用.pdf
- 基于PCA-ICA的多數(shù)據(jù)流關(guān)聯(lián)及模式發(fā)現(xiàn).pdf
- IP數(shù)據(jù)流摘要方法和技術(shù)研究.pdf
- 數(shù)據(jù)流頻繁模式和分類(lèi)挖掘算法研究.pdf
- 基于滑動(dòng)窗口模型的數(shù)據(jù)流離群點(diǎn)檢測(cè)研究.pdf
- 數(shù)據(jù)流容錯(cuò)挖掘算法研究.pdf
評(píng)論
0/150
提交評(píng)論