基于數(shù)據(jù)窗的在線概念漂移檢測.pdf_第1頁
已閱讀1頁,還剩60頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、隨著信息時代的推進(jìn),在諸如網(wǎng)絡(luò)安全、股票分析、氣象監(jiān)控、信用卡欺詐等領(lǐng)域產(chǎn)生大量無法長期存儲的數(shù)據(jù),這些隨時間而無限增長的動態(tài)數(shù)據(jù)稱之為數(shù)據(jù)流。數(shù)據(jù)流的分析與處理受存儲容量和計算速度等因素的制約,同時數(shù)據(jù)流中隱含豐富的、有價值的知識,而且其隱含的知識概念可能會隨著環(huán)境的變化、時間的推移而發(fā)生動態(tài)變化,也即概念漂移。
  數(shù)據(jù)流中的數(shù)據(jù)具有快速性、實時性、無限性、廣域性同時還具有動態(tài)變化特性,加之客觀存在的概念漂移,這使得在初始數(shù)據(jù)

2、集上建立的模型很難適應(yīng)當(dāng)前數(shù)據(jù)分布特性,從而給流數(shù)據(jù)的分析和挖掘問題帶來了嚴(yán)峻的挑戰(zhàn)。其中,如何準(zhǔn)確及時有效地檢測流數(shù)據(jù)中發(fā)生的概念漂移并適應(yīng)漂移變化已成為機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘領(lǐng)域的研究熱點和難點問題。為此,本文針對動態(tài)流數(shù)據(jù)中的概念漂移的檢測問題展開了研究,主要工作如下:
  (1)對近年來國際上關(guān)于流數(shù)據(jù)概念漂移檢測方法的研究成果進(jìn)行了總結(jié),分析了已有漂移檢測算法存在的優(yōu)缺點。
 ?。?)為了能夠準(zhǔn)確快速地檢測到不同類型的

3、概念漂移和不同概念漂移發(fā)生的具體位置。提出一種基于交疊數(shù)據(jù)窗的在線概念漂移檢測方法,該方法通過計算相鄰交疊數(shù)據(jù)窗異構(gòu)歐氏距離,并通過近鄰原則判別數(shù)據(jù)窗中樣本不一致程度,從而實現(xiàn)分布差異性評價和漂移的檢測。為了評價該方法的有效性,在具有不同漂移嚴(yán)重程度和漂移速度的公開數(shù)據(jù)集上進(jìn)行了實驗,結(jié)果表明:交疊數(shù)據(jù)窗比非交疊數(shù)據(jù)窗更能及時準(zhǔn)確地檢測到漂移的發(fā)生。
 ?。?)研究了一種基于數(shù)據(jù)窗典型相關(guān)分析的在線概念漂移檢測方法,該方法把當(dāng)前到

4、來的數(shù)據(jù)流序列看成一系列矩陣窗口,然后通過奇異值分解和典型相關(guān)分析技術(shù)處理實現(xiàn)分布差異性評價,并通過調(diào)整數(shù)據(jù)窗來適合于不同類型的概念漂移的檢測。在包含不同嚴(yán)重程度和不同漂移速度的人工漂移數(shù)據(jù)集上的實驗表明,該算法能夠很好地檢測到漸變式漂移的發(fā)生和較嚴(yán)重的突變漂移;在半人工數(shù)據(jù)集上進(jìn)行的實驗,驗證了經(jīng)過調(diào)整后的數(shù)據(jù)窗比固定數(shù)據(jù)窗的檢測效果要好;最后,將算法應(yīng)用到了真實數(shù)據(jù)集——意大利電力公司的Powersupply數(shù)據(jù)集的漂移檢測,驗證了

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論