1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和信息技術(shù)的廣泛應(yīng)用,由網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量越來(lái)越龐大,而聯(lián)機(jī)分析處理作為存儲(chǔ)和分析數(shù)據(jù)的主要技術(shù),需要存儲(chǔ)與處理的數(shù)據(jù)量也相應(yīng)的成倍增長(zhǎng),同時(shí)要面對(duì)巨大的計(jì)算量。由 Google公司提出的MapReduce是一種能夠在大型計(jì)算機(jī)集群上并行處理海量數(shù)據(jù)的框架模型,但是該模型在處理結(jié)構(gòu)化數(shù)據(jù)方面有著先天的不足。因此,研究 MapReduce與數(shù)據(jù)庫(kù)相結(jié)合的聯(lián)機(jī)分析服務(wù)器混合系統(tǒng)有著重要的意義。
　　從系統(tǒng)需求、設(shè)計(jì)原

2、則和設(shè)計(jì)目標(biāo)三個(gè)方面對(duì)基于 MapReduce與數(shù)據(jù)庫(kù)的聯(lián)機(jī)分析服務(wù)器查詢(xún)處理系統(tǒng)進(jìn)行了分析;設(shè)計(jì)了混合系統(tǒng)的總體架構(gòu),從層次結(jié)構(gòu)和系統(tǒng)模塊兩個(gè)方面對(duì)系統(tǒng)架構(gòu)進(jìn)行了介紹,層次結(jié)構(gòu)包括展現(xiàn)層、轉(zhuǎn)換層、計(jì)算/調(diào)度層和存儲(chǔ)層,系統(tǒng)模塊包括分布式數(shù)據(jù)庫(kù)存儲(chǔ)優(yōu)化模塊、查詢(xún)優(yōu)化模塊等,描述了系統(tǒng)的主要工作流程;擴(kuò)展了多維查詢(xún)語(yǔ)言,詳細(xì)說(shuō)明了多維查詢(xún)語(yǔ)言的語(yǔ)法。
　　在對(duì)聯(lián)機(jī)分析服務(wù)器的優(yōu)化技術(shù)方面,給出了存儲(chǔ)和查詢(xún)優(yōu)化技術(shù)的實(shí)現(xiàn)方案。對(duì)于存儲(chǔ)

3、優(yōu)化,定義了星型模式中事實(shí)表與維表的劃分存儲(chǔ)方式,并描述了事實(shí)表與維表的連接優(yōu)化方案;對(duì)于查詢(xún)優(yōu)化,給出了改進(jìn)后的QCTree的構(gòu)造和查詢(xún)算法,及其在 MapReduce上的實(shí)現(xiàn);分析了存儲(chǔ)優(yōu)化對(duì)查詢(xún)效率的影響。
　　最后通過(guò)實(shí)驗(yàn)表明基于 MapReduce的聯(lián)機(jī)分析服務(wù)器查詢(xún)處理系統(tǒng)在事實(shí)表與維表的連接性能上與基于 HDFS(Hadoop Distributed File System)的Hadoop系統(tǒng)相比有一定的提高,在查詢(xún)