1、隨著Hadoop技術的發(fā)展，從最初為Google、Facebook等公司解決海量數(shù)據(jù)的存儲問題，到現(xiàn)在被越來越多企業(yè)用來處理大數(shù)據(jù)，企業(yè)已經(jīng)建設好的傳統(tǒng)數(shù)據(jù)倉庫地位受到了挑戰(zhàn)。本文重點研究Hadoop與傳統(tǒng)數(shù)據(jù)倉庫（如無特殊說明，本文提及的傳統(tǒng)數(shù)據(jù)倉庫皆指單節(jié)點的關系型數(shù)據(jù)倉庫）如何進行協(xié)作、分工，進行數(shù)據(jù)采集、傳輸、存儲、處理等工作。在已有傳統(tǒng)數(shù)據(jù)倉庫的基礎上提供Hadoop的支持，彌補傳統(tǒng)數(shù)據(jù)倉庫在海量數(shù)據(jù)處理、存儲等方面的不足，也

2、可以依靠Hadoop的橫向擴展能力突破單節(jié)點的傳統(tǒng)數(shù)據(jù)倉庫在存儲和計算能力上的瓶頸。
　　本文根據(jù)現(xiàn)今傳統(tǒng)數(shù)據(jù)倉庫的應用情況及Hadoop大數(shù)據(jù)平臺的前景預測，針對傳統(tǒng)數(shù)據(jù)倉庫已無法滿足大多數(shù)用戶需求的問題，提出了Hadoop與傳統(tǒng)數(shù)據(jù)倉庫協(xié)作的新架構后，重點針對Hadoop與傳統(tǒng)數(shù)據(jù)倉庫之間協(xié)作的可行性進行研究。新架構源于Cloudera和Teradata的工程師們提出的Hadoop與傳統(tǒng)數(shù)據(jù)倉庫協(xié)作的設想方案，本文將新構架分為

3、三大模塊:數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)應用，主要考慮結構化與非結構化數(shù)據(jù)的采集、存儲和應用問題，研究Hadoop與傳統(tǒng)數(shù)據(jù)倉庫在數(shù)據(jù)存儲和數(shù)據(jù)應用方面的協(xié)作可行性。針對數(shù)據(jù)采集和傳輸問題，本文采用Apache的Sqoop技術解決;而數(shù)據(jù)存儲問題則依靠Hadoop集群的HDFS文件系統(tǒng)和Hive數(shù)據(jù)倉庫，同時也介紹了在Hive中的數(shù)據(jù)應用，最后通過原型系統(tǒng)驗證了所設計架構的可行性。
　　本文基于現(xiàn)今企業(yè)對大數(shù)據(jù)平臺的需求，同時也考慮到企