![](https://static.zsdocx.com/FlexPaper/FileRoot/2019-3/6/23/d4c8cd12-b113-436d-b966-685c2ce4ae2b/d4c8cd12-b113-436d-b966-685c2ce4ae2bpic.jpg)
![基于Hadoop的聯(lián)機(jī)分析處理系統(tǒng)關(guān)鍵技術(shù)研究.pdf_第1頁(yè)](https://static.zsdocx.com/FlexPaper/FileRoot/2019-3/6/23/d4c8cd12-b113-436d-b966-685c2ce4ae2b/d4c8cd12-b113-436d-b966-685c2ce4ae2b1.gif)
版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、近年來(lái),多維數(shù)據(jù)查詢聯(lián)機(jī)分析處理技術(shù)(Online Analytical Processing,OLAP)越來(lái)越重要?;贠LAP的多維分析技術(shù)成為企業(yè)管理人員重要的決策依據(jù)。目前,針對(duì)OLAP的研究都是面向單一數(shù)據(jù)模型的存儲(chǔ)處理和相應(yīng)OLAP查詢性能上的優(yōu)化。單一數(shù)據(jù)組織模式的基于關(guān)系數(shù)據(jù)庫(kù)的ROLAP(Relational-OLAP)和基于多維數(shù)據(jù)庫(kù)的MOLAP(Multidimensional-OLAP),無(wú)法滿足在不同規(guī)模級(jí)別數(shù)
2、據(jù)集下異構(gòu)數(shù)據(jù)模型和低延遲的多維查詢需求。
針對(duì)以上問(wèn)題,本文從不同數(shù)據(jù)組織模型的查詢規(guī)劃、查詢解釋、緩存查詢優(yōu)化機(jī)制等方面改進(jìn),設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)可擴(kuò)展性和高效性的分布式混合型聯(lián)機(jī)分析處理(Hybrid-OLAP,HOLAP)系統(tǒng)。該系統(tǒng)旨在解決不同規(guī)模級(jí)別數(shù)據(jù)集的多維查詢,根據(jù)不同多維組織的實(shí)現(xiàn)模式作出高效合理的查詢處理?;谠撓到y(tǒng)下的研究主要包括以下四個(gè)方面的內(nèi)容:
第一,針對(duì)傳統(tǒng)ROLAP系統(tǒng)無(wú)法高效地解決大規(guī)
3、模數(shù)據(jù)集的多維分析問(wèn)題,提出了一個(gè)能夠在Hadoop環(huán)境下,滿足不同規(guī)模級(jí)別數(shù)據(jù)集進(jìn)行快速多維查詢分析,同時(shí)支持Hive的MDX(Multidimensional Expressions)查詢解釋和聚集方法,以及基于Hbase預(yù)計(jì)算緩存機(jī)制的多維查詢優(yōu)化方法的HOLAP系統(tǒng)架構(gòu)。
第二,針對(duì)大規(guī)模數(shù)據(jù)集上的Hive多維查詢優(yōu)化,通過(guò)一種構(gòu)建Hbase立方體緩存的分段逐層降維聚集算法(S-Redu-D-A),研究了從類似關(guān)系型數(shù)
4、據(jù)庫(kù)Hive到Nosql數(shù)據(jù)庫(kù)中,Hbase數(shù)據(jù)模型的形式化方法(Hsql-To-Nosql Formalized Model,Hs-Nos-FM)。提出并驗(yàn)證了滿足HOLAP高效地形式化多維立方體(Format Multi Cube,F-M-Cube)數(shù)據(jù)存儲(chǔ)模型,在大規(guī)模數(shù)據(jù)集多維查詢上表現(xiàn)出良好的性能。
第三,針對(duì)兩種查詢計(jì)劃,通過(guò)實(shí)時(shí)性要求、數(shù)據(jù)規(guī)模、維度基數(shù)、存儲(chǔ)空間、多表連接、查詢頻率等指標(biāo)進(jìn)行查詢規(guī)劃計(jì)算分析;提
5、出了包含權(quán)限控制、查詢監(jiān)聽(tīng)、查詢分析和查詢分配的查詢規(guī)劃工作流程。通過(guò)對(duì)不同規(guī)模數(shù)據(jù)、不同多維查詢的執(zhí)行時(shí)間對(duì)比分析,有效地驗(yàn)證了基于HOLAP系統(tǒng)架構(gòu)的查詢規(guī)劃方法,在常見(jiàn)OLAP多維查詢中表現(xiàn)出良好的性能。
最后,本文通過(guò)HOLAP系統(tǒng)架構(gòu)下的查詢規(guī)劃方法、查詢解釋機(jī)制、形式化多維立方體構(gòu)建方法、聚集緩存機(jī)制、支持Hive的MDX查詢,并嵌入形式化方法的構(gòu)建算法進(jìn)行詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)。經(jīng)過(guò)測(cè)試,本系統(tǒng)具有良好的性能,達(dá)到了預(yù)期
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于數(shù)據(jù)倉(cāng)庫(kù)的聯(lián)機(jī)分析處理系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf
- 基于SOPC的視頻處理系統(tǒng)關(guān)鍵技術(shù)研究.pdf
- 基于Hadoop海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf
- 基于Hadoop的大數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf
- 基于GIS的重磁資料處理系統(tǒng)的關(guān)鍵技術(shù)研究.pdf
- 基于通用多核平臺(tái)的高速網(wǎng)絡(luò)處理系統(tǒng)關(guān)鍵技術(shù)研究.pdf
- 表面貼裝預(yù)處理系統(tǒng)的關(guān)鍵技術(shù)研究.pdf
- 基于UG的板管成形模擬前處理系統(tǒng)關(guān)鍵技術(shù)研究.pdf
- 票據(jù)自動(dòng)處理系統(tǒng)中若干關(guān)鍵技術(shù)研究.pdf
- 逆向工程數(shù)據(jù)預(yù)處理系統(tǒng)關(guān)鍵技術(shù)研究.pdf
- 基于Hadoop的密文檢索關(guān)鍵技術(shù)研究.pdf
- 基于Hadoop的大數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究.pdf
- 高清視頻去隔行處理系統(tǒng)的關(guān)鍵技術(shù)研究.pdf
- 海量數(shù)據(jù)處理系統(tǒng)框架關(guān)鍵技術(shù)研究.pdf
- 數(shù)據(jù)預(yù)處理系統(tǒng)的幾個(gè)關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf
- 基于云計(jì)算的醫(yī)療數(shù)據(jù)處理系統(tǒng)的關(guān)鍵技術(shù)研究.pdf
- 聯(lián)機(jī)分析處理(OLAP)若干關(guān)鍵技術(shù)的研究.pdf
- 基于Hadoop的Web文本挖掘的關(guān)鍵技術(shù)研究.pdf
- 基于Hadoop的視頻點(diǎn)播關(guān)鍵技術(shù)研究.pdf
- 基于Hadoop平臺(tái)的大數(shù)據(jù)預(yù)處理關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf
評(píng)論
0/150
提交評(píng)論