1、分類號密級UDC學位論文基于Hadoop的能源數據存儲體系中多級索引表DHT算法的研究（題名和副題名）王英杰（作者姓名）指導教師姓名湯羽教授電子科技大學成都（職務、職稱、學位、單位名稱及地址）申請學位級別碩士專業(yè)名稱計算機應用技術論文提交日期2012.04論文答辯日期2012.05學位授予單位和日期電子科技大學答辯委員會主席評閱人年月日摘要I摘要在21世紀的今天，能源問題成為了一個嚴重影響人們生產和生活的問題。目前的國內形勢來看，進入2

2、1世紀以來電力持續(xù)短缺，煤炭資源全面緊張，天然氣的價格也隨著需求的擴大不斷提高。與此同時，電力、天然氣、煤炭資源等等資源的消耗與開發(fā)產生了極大的數據量，如果能夠存儲和管理好這些數據可以為能源的節(jié)約和高效利用提供一個有效的途徑。能源數據在目前從數量上來說已經到了海量級。采用傳統(tǒng)的關系數據庫SQLSERVER、MYSQL、ACLE等等雖然在目前仍然能夠勉強滿足存儲的需求，但是需要一個超大容量的存儲空間，擴展性存在瓶頸。另一方面?zhèn)鹘y(tǒng)的關系數據

3、庫在面對海量數據的數據查詢請求時，查詢效率較低越來越變得難以讓人接受。怎樣解決在海量數據的背景下的存儲和精確查找成為了當前的關鍵目標。目前來看云存儲的技術對海量的能源數據進行存儲和高效的管理是一種比較可行的方案。同時，高效準確地在云存儲的環(huán)境下查找到需要的數據也成為了一個關鍵的問題現(xiàn)有的查找算法雖然在一定程度上可以查找數據，但是目前仍然需要進一步的改進與性能提升。本文首先介紹了當前的云存儲環(huán)境下的查找算法的背景與國內外的發(fā)展水平，然后詳

4、細介紹了相關的技術和名詞。根據能源數據的特性和Hbase的表的特點，利用Hadoop平臺，設計了一個依托Hadoop和Hbase的存儲系統(tǒng)來存儲和管理能源數據。成功實現(xiàn)了能源數據的分布式存儲功能，然后對其模型做了進一步的改進。再在Hbase的基礎上進行了快速查找算法的研究，設計了一個多級索引表查找算法，通過MapReduce編程模型實現(xiàn)了算法的仿真。仿真實驗的結果證明了該查找算法()DHT的查找效率在云存儲的分布式環(huán)境下相比于傳統(tǒng)的數據