1、隨著大數(shù)據時代的到來，作為其基礎服務載體的數(shù)據中心也隨之迅猛發(fā)展。大數(shù)據產業(yè)繁榮的背后，帶來的卻是耗電量暴漲、環(huán)境污染增加、土地資源消耗等不可避免的問題。就能耗而言，耗電量的成倍增長直接導致運營和管理的成本上升，因此降低數(shù)據中心的能耗，特別是降低服務器集群的能耗，就成了學術界和工業(yè)界共同關心的重大問題。
　　本文以數(shù)據量日益增長的新聞類網站為對象，深入分析和研究了新聞網站的訪問日志數(shù)據，初步探尋出新聞類數(shù)據的訪問規(guī)律。本文將這些訪

2、問規(guī)律引入到目前廣泛使用的 Hadoop分布式文件系統(tǒng)（HDFS）中，對其進行有針對性的改進和優(yōu)化，使HDFS最終具備節(jié)能和數(shù)據分布自均衡的特點。
　　具體來說，本文提出了數(shù)據節(jié)點分區(qū)、最大剩余空間節(jié)點匹配、文件遷移和節(jié)點待機四條節(jié)能策略。數(shù)據節(jié)點分區(qū)策略將整個集群邏輯上分為“冷”、“熱”兩個區(qū)域，以便實施不同的管理方法，達到節(jié)能的目的；最大剩余空間節(jié)點匹配策略專門針對數(shù)據分布均衡的問題，又分為活動狀態(tài)節(jié)點優(yōu)先（Active St

3、ate Node Priority，簡記為 ASNP）匹配和低于平均使用率節(jié)點優(yōu)先（Lower than Average utilization rate Node Priority，簡記為LANP）匹配兩種方案，其中前者方案能達到更好的節(jié)能效果，后者方案能實現(xiàn)數(shù)據分布自均衡，從而在一定程度上平衡集群的負載；文件遷移策略則保證了新聞數(shù)據在其熱門期的高效訪問，同時又能為熱區(qū)的節(jié)點減輕負載，降低冷區(qū)節(jié)點的能耗；節(jié)點待機策略將冷區(qū)中沒有任務的

4、節(jié)點置為待機省電狀態(tài)，避免了“空轉”現(xiàn)象的發(fā)生，減少了集群的整體能耗。
　　為了研究和驗證節(jié)能存儲策略在HDFS中應用的效果，本文還開發(fā)了面向節(jié)能存儲策略研究的 HDFS仿真實驗平臺，平臺通過模擬新聞文件被創(chuàng)建和訪問的調度過程，加入了可拔插的節(jié)能策略模塊，最終輸出仿真結果。
　　本文以維基英文新聞網站一個月的訪問日志作為實驗數(shù)據集，經過預處理后，在本文節(jié)能策略的作用下，實驗結果表明：使用本文節(jié)能策略的 HDFS比傳統(tǒng)HDFS