1、數(shù)據(jù)抽取、轉(zhuǎn)換和加載(Extract-Transform-Load，ETL)是實現(xiàn)數(shù)據(jù)倉庫領(lǐng)域中高質(zhì)量數(shù)據(jù)的關(guān)鍵技術(shù)，也是為高層決策人員提供有效數(shù)據(jù)的核心技術(shù)。將海量數(shù)據(jù)通過ETL技術(shù)快速的抽取到數(shù)據(jù)倉庫中是當(dāng)前急需解決的重要問題，也是數(shù)據(jù)倉庫領(lǐng)域共同關(guān)注的話題。
　　本文運用數(shù)據(jù)倉庫理論知識和大數(shù)據(jù)分布式處理技術(shù)，重點研究了分布式ETL框架、數(shù)據(jù)的并行處理和HDFS數(shù)據(jù)塊合理分配的優(yōu)化方法。
　　本文作者主要研究和實現(xiàn)的工

2、作如下:
　　第一，分布式ETL框架的設(shè)計。分析Hadoop平臺下的MapReduce工作機(jī)制和作業(yè)調(diào)度，以數(shù)據(jù)倉庫中維度建模的理論為依據(jù)，設(shè)計了一個包括維度和事實的并行處理和HDFS數(shù)據(jù)塊分配的分布式ETL框架。
　　第二，事實并行處理的研究。從事實表查找代理鍵和多粒度事實預(yù)聚合兩個角度著手，提出了在漸變維度表上的多路并行查找算法和在不同粒度上對事實數(shù)據(jù)進(jìn)行聚合的算法。實驗結(jié)果表明，與Hive數(shù)據(jù)倉庫相比，兩種算法在并行處

3、理數(shù)據(jù)倉庫的事實數(shù)據(jù)的問題上，具有更高的效率。
　　第三，HDFS數(shù)據(jù)塊分配算法的研究。以網(wǎng)絡(luò)流最小代價最大流理論為基礎(chǔ)，運用改進(jìn)的最短增廣路徑的方法求解最大流，以結(jié)點的網(wǎng)絡(luò)距離和負(fù)載均衡為代價，提出了一種把HDFS數(shù)據(jù)塊分配到分布式數(shù)據(jù)倉庫的分配算法。通過實驗表明，本文提出的分配算法與已有算法相比，前者具有更高的有效性。
　　最后本文給出了基于Hadoop平臺的分布式ETL系統(tǒng)的實現(xiàn)過程，性能優(yōu)于目前已存在的分布式ETL系