版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、近年來,隨著信息技術(shù)的快速發(fā)展,直接或間接的產(chǎn)生了難以估量的海量數(shù)據(jù),這對傳統(tǒng)數(shù)據(jù)挖掘算法提出了新的挑戰(zhàn),如何提高海量數(shù)據(jù)環(huán)境下傳統(tǒng)數(shù)據(jù)挖掘算法的通用性和性能成為當前的研究熱點。為了解決這一問題,研究人員將傳統(tǒng)數(shù)據(jù)挖掘算法與新興技術(shù)如云計算平臺等融合,利用分布式計算能力提高算法的性能,取得了良好效果。但是由于數(shù)據(jù)挖掘算法種類繁多,單一的數(shù)據(jù)挖掘算法需要特定的實現(xiàn)模式,沒有通用的架構(gòu)滿足數(shù)據(jù)挖掘算法的多樣性,并能同時提高算法的性能。本文在
2、前人經(jīng)驗的基礎上,提出了一種基于遺傳算法的分布式數(shù)據(jù)挖掘MapReduce架構(gòu),旨在幫助用戶更通用的處理數(shù)據(jù)挖掘算法并提升算法的性能。架構(gòu)要素之一的MapReduce提供良好的分布式計算能力,另一要素遺傳算法具有良好的全局搜索和優(yōu)化能力,通過模擬種群進化的方式搜索到最優(yōu)解,使得用戶只需要實現(xiàn)遺傳算法而不必擔心算法的并行化。
本文的主要貢獻如下,提出了一種基于遺傳算法的分布式數(shù)據(jù)挖掘MapReduce架構(gòu),架構(gòu)分為核心層和用戶層
3、,核心層封裝了MapReduce的操作,用戶層提供給用戶擴展接口,通過具體問題實現(xiàn)具體的遺傳算法,可以有效的處理數(shù)據(jù)挖掘算法在海量數(shù)據(jù)方面的應用。架構(gòu)包括六個組件,其中Diver組件是框架的主要部分,主要功能是實現(xiàn)用戶交互并負責啟動集群上的Jobs;Generator組件主要作用是通過調(diào)用用戶層的遺傳算法實現(xiàn),然后配合Driver啟動Job完成種群的進化;Terminator組件的作用是在Generator過程中判斷是否滿足終止條件;I
4、nitialiser組件負責初始化種群,該組件是可選的;Migrator組件負責種群遷移策略的實現(xiàn),由用戶層實現(xiàn);最后的SolutionFilter組件則是將符合條件的個體篩選出來,每個組件相互協(xié)作完成架構(gòu)的功能。
本文用三個算法對架構(gòu)性能進行驗證,首先設計實現(xiàn)了針對K-Medoids的遺傳算法,以聚類準確率為個體適應度值,利用MapReduce加強聚類計算,實驗顯示得到良好的聚類效果。其次設計實現(xiàn)了針對旅行商問題(Trave
5、ling SalesmanProblem)的遺傳算法,以個體所經(jīng)過城市距離的倒數(shù)作為適應度函數(shù),距離越短個體的適應度值越高,實驗結(jié)果表明,在架構(gòu)中運行的TSP算法能有效處理大數(shù)據(jù)并且比同等級的算法能更快發(fā)現(xiàn)最優(yōu)解。最后,設計實現(xiàn)了針對特征子集選擇(Feature Subset Selection)問題的遺傳算法,以特征選擇的分類準確率作為適應度值,實驗結(jié)果表明,運行在架構(gòu)下的FSS算法能更快速收斂并提高了準確率。
綜上,本文提
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于MapReduce的分布式關(guān)聯(lián)規(guī)則挖掘算法研究.pdf
- 分布式數(shù)據(jù)挖掘算法的研究.pdf
- 并行遺傳算法的分布式實現(xiàn).pdf
- 基于遺傳算法的分布式數(shù)據(jù)庫查詢優(yōu)化研究.pdf
- 基于改進遺傳算法的分布式數(shù)據(jù)庫查詢優(yōu)化.pdf
- 基于遺傳算法的車間設備分布式布局研究.pdf
- 基于分布式并行遺傳算法的網(wǎng)格任務調(diào)度研究.pdf
- 基于遺傳算法的分布式系統(tǒng)任務調(diào)度問題研究.pdf
- 基于遺傳算法的分布式系統(tǒng)中任務調(diào)度.pdf
- 基于遺傳算法的Web數(shù)據(jù)挖掘研究.pdf
- 基于MapReduce的分布式聚類算法的研究.pdf
- 基于MapReduce的分布式社區(qū)發(fā)現(xiàn)算法研究.pdf
- 基于MapReduce的分布式極圖構(gòu)造算法研究.pdf
- 基于遺傳算法的數(shù)據(jù)挖掘方法研究.pdf
- 基于遺傳算法的分布式數(shù)據(jù)庫多連接查詢優(yōu)化的研究.pdf
- 基于遺傳算法的分布式電源選址定容問題研究.pdf
- 分布式遺傳算法性能優(yōu)化及其應用.pdf
- 基于MapReduce的分布式快速聚類算法研究.pdf
- 遺傳算法在分布式系統(tǒng)中的應用.pdf
- 基于遺傳算法的分布式任務調(diào)度系統(tǒng)的分析.pdf
評論
0/150
提交評論