1、隨著互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大，服務(wù)器托管作為互聯(lián)網(wǎng)產(chǎn)業(yè)重要業(yè)務(wù)正面臨日趨激烈的競(jìng)爭(zhēng)。為提高市場(chǎng)競(jìng)爭(zhēng)力，四川IDC數(shù)據(jù)中心計(jì)劃向其托管網(wǎng)站提供用戶行為分析服務(wù)，主要包括網(wǎng)站的點(diǎn)擊次數(shù)、停留時(shí)間、流向地域等。該數(shù)據(jù)中心托管的網(wǎng)站超過千家，對(duì)其所有用戶提供該服務(wù)，對(duì)數(shù)據(jù)的存儲(chǔ)與處理提出極高要求，系統(tǒng)必然面臨海量數(shù)據(jù)問題。本文針對(duì)流量測(cè)量中的海量數(shù)據(jù)問題，分析研究了當(dāng)前用于網(wǎng)絡(luò)流量測(cè)量的數(shù)據(jù)存儲(chǔ)系統(tǒng)，根據(jù)FastBit使用的WAH壓縮算法的特點(diǎn)提出

2、一種基于列基數(shù)聚集存儲(chǔ)方法，應(yīng)用于該海量數(shù)據(jù)處理系統(tǒng)。主要內(nèi)容包括：
　　 ⑴系統(tǒng)框架設(shè)計(jì)。在分析數(shù)據(jù)中心需求的基礎(chǔ)上，給出系統(tǒng)的總體結(jié)構(gòu)和各子系統(tǒng)的設(shè)計(jì)。系統(tǒng)整體分成數(shù)據(jù)處理子系統(tǒng)和數(shù)據(jù)存儲(chǔ)子系統(tǒng)。
　　 ⑵數(shù)據(jù)處理子系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。該部分包括三個(gè)功能模塊:數(shù)據(jù)清洗模塊、數(shù)據(jù)流聚合模塊、訪問者地域模塊。數(shù)據(jù)清洗模塊完成臟數(shù)據(jù)的過濾;數(shù)據(jù)流聚合模塊針對(duì)一段時(shí)間內(nèi)同一訪問者的多條訪問記錄進(jìn)行合并操作，有效控制系統(tǒng)總數(shù)

3、據(jù)規(guī)模;訪問者地域模塊完成訪問者IP完到訪問者所在地域的轉(zhuǎn)換。
　　 ⑶數(shù)據(jù)存儲(chǔ)子系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。該模塊包括四個(gè)主要模塊:數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)模塊、數(shù)據(jù)表聚合模塊、基數(shù)聚集數(shù)據(jù)存儲(chǔ)方法的設(shè)計(jì)與實(shí)現(xiàn)模塊和索引優(yōu)化模塊。存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)中設(shè)計(jì)了詳細(xì)數(shù)據(jù)表和匯總數(shù)據(jù)表兩類，分別用于存儲(chǔ)用戶詳細(xì)訪問狀況和概要訪問狀況;數(shù)據(jù)表聚合模塊通過對(duì)查詢過程中FastBit所用到的bundle內(nèi)存結(jié)構(gòu)的使用，完成詳細(xì)表到聚合表的數(shù)據(jù)按條件聚合;基數(shù)聚

4、集數(shù)據(jù)存儲(chǔ)方法模塊中，在對(duì)WAH壓縮算法進(jìn)行研究的基礎(chǔ)上，提出一種基于基數(shù)聚集的數(shù)據(jù)存儲(chǔ)方法，該方法不僅能夠有效降低索引存儲(chǔ)空間，具有較高的空間效率，而且能夠提高數(shù)據(jù)查詢效率;在索引優(yōu)化模塊中采用索引優(yōu)化理論結(jié)合系統(tǒng)實(shí)際需要設(shè)計(jì)適合需要的索引方法。
　　 ⑷實(shí)際網(wǎng)絡(luò)環(huán)境下的測(cè)試與分析。給出了系統(tǒng)性能分析，并詳細(xì)分析了基于基數(shù)聚集存儲(chǔ)后索引占用存儲(chǔ)空間和數(shù)據(jù)查詢效率的對(duì)比，由測(cè)試結(jié)果可知本系統(tǒng)達(dá)到設(shè)計(jì)目標(biāo)。本文設(shè)計(jì)實(shí)現(xiàn)的系統(tǒng)完成了