并行關(guān)聯(lián)規(guī)則挖掘算法的研究.pdf_第1頁
已閱讀1頁,還剩69頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

1、隨著數(shù)據(jù)庫技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用,人們積累的數(shù)據(jù)越來越多。面對海量的存儲(chǔ)數(shù)據(jù),如何從中發(fā)現(xiàn)有價(jià)值的信息或知識是一項(xiàng)非常艱巨的任務(wù)。數(shù)據(jù)挖掘就是為了滿足這種需求而迅速發(fā)展起來的。數(shù)據(jù)挖掘是指從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中提取隱含的、先前未知的、對決策有潛在價(jià)值的知識和規(guī)則。數(shù)據(jù)挖掘是人工智能和數(shù)據(jù)庫發(fā)展相結(jié)合發(fā)展的產(chǎn)物,是目前國際上數(shù)據(jù)庫和信息決策系統(tǒng)最前沿的研究方向之一。
   關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘領(lǐng)域中一個(gè)重要

2、的研究問題,從1993年Agrawal等人提出至今,一直是學(xué)術(shù)界和產(chǎn)業(yè)界廣泛關(guān)注的熱點(diǎn)。挖掘關(guān)聯(lián)規(guī)則問題的核心是發(fā)現(xiàn)頻繁項(xiàng)集。隨著數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)量不斷增大,提高挖掘效率,研究具有高性能的數(shù)據(jù)挖掘算法,快速發(fā)現(xiàn)頻繁項(xiàng)集是一個(gè)非常重要的課題。而并行計(jì)算是處理大數(shù)據(jù)量最直接有效的方法。
   CD算法是對Apriori算法的簡單并行化,其目的是減少通信量,獲得較好的任務(wù)分布性。但當(dāng)頻繁的模式長度較長時(shí)它的性能會(huì)很差,其中候選集的產(chǎn)

3、生是最耗時(shí)的工作,占據(jù)了整個(gè)計(jì)算量的大部分。FP-growth(frequent pattern-growth)是近年來公布的效率較高的頻繁集挖掘算法之一,它是一種不產(chǎn)生候選的挖掘頻繁項(xiàng)目集的方法。它通過構(gòu)造一個(gè)高度壓縮的數(shù)據(jù)結(jié)構(gòu)(FP-tree),壓縮原來的事務(wù)數(shù)據(jù)庫,避免了高代價(jià)的候選項(xiàng)的產(chǎn)生,獲得更高的效率。
   本文針對CD算法存在的I/O量較重、數(shù)據(jù)結(jié)構(gòu)重復(fù)、不能有效利用整個(gè)內(nèi)存等問題,提出一種新的并行關(guān)聯(lián)規(guī)則挖掘算

4、法。采用數(shù)據(jù)集劃分技術(shù)對數(shù)據(jù)集進(jìn)行劃分,由控制處理器分配數(shù)據(jù)集到各個(gè)處理器,實(shí)現(xiàn)挖掘部分的并行化。該算法遵循FP-growth算法思想,然而基于FP-tree的挖掘要?jiǎng)?chuàng)建復(fù)雜的數(shù)據(jù)結(jié)構(gòu),要對數(shù)據(jù)庫進(jìn)行兩遍掃描,當(dāng)數(shù)據(jù)庫很大時(shí)FP-tree的創(chuàng)建是一個(gè)瓶頸問題?;诖?,提出了一種新的創(chuàng)建FP-tree的并行算法——在各個(gè)處理器上建立FP-tree,以達(dá)到優(yōu)化各個(gè)處理器中所存儲(chǔ)數(shù)據(jù)的結(jié)構(gòu)、有效利用內(nèi)存的目的。然后通過控制處理器合并各FP-t

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論