不確定大數(shù)據分析原型系統(tǒng)的設計與實現(xiàn).pdf_第1頁
已閱讀1頁,還剩73頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、近年來隨著信息量的日益膨脹,數(shù)據量的快速增長,對大數(shù)據分析的需求日趨急切。同時隨著人們對不確定數(shù)據認識的越加深刻,基于不確定大數(shù)據的處理需求開始興起。然而現(xiàn)有的基于數(shù)據倉庫的聯(lián)機分析處理研究或者系統(tǒng)都是建立在傳統(tǒng)數(shù)據庫之上的,對大數(shù)據的存儲支持尚不完善。本文依托國家不確定大數(shù)據項目,實現(xiàn)了基于MapReduce計算框架的不確定數(shù)據的確定化處理,設計和實現(xiàn)了基于Hive數(shù)據倉庫的聯(lián)機分析處理系統(tǒng)。
  本文主要是通過研究蒙特卡羅采樣

2、算法,針對不確定圖數(shù)據經過采樣過程進行確定化處理。然后根據確定化的數(shù)據集在分布式數(shù)據倉庫Hive上構建多維數(shù)據模型,同時設計和實現(xiàn)了以Hive數(shù)據倉庫為底層存儲的聯(lián)機分析處理系統(tǒng)。本文的貢獻可以概括為以下幾個方面。第一,通過學習簡單隨機采樣算法,結合本文用到的不確定數(shù)據集特征,深入研究了不等概率采樣算法的實現(xiàn)方法,然后將方法的具體實現(xiàn)在分布式編程模型MapReduce上進行實施,驗證了算法的有效性并提高了算法的效率。第二,學習和研究了聯(lián)

3、機分析處理的模型和操作,利用Hadoop平臺下的分布式數(shù)據倉庫Hive,根據本文的分析需求在Hive數(shù)據倉庫之上構建了多維數(shù)據模型,定義了多維分析操作。研究了一種基于Hive自定義函數(shù)UDF的模擬維度分析方法,結合了本文數(shù)據集的特點滿足了分析需求的同時提高了分析效率。第三,設計和實現(xiàn)了基于確定化數(shù)據的多維數(shù)據分析系統(tǒng),系統(tǒng)采用三層框架結構,分別是分析引擎層、業(yè)務控制層和用戶操作層。分析引擎層主要負責存儲數(shù)據倉庫模型和利用MapReduc

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論