1、Hadoop是對(duì)大規(guī)模數(shù)據(jù)進(jìn)行分布式處理的軟件框架，是一種實(shí)現(xiàn)云計(jì)算和云存儲(chǔ)的分布式計(jì)算平臺(tái)。在不知曉分布式架構(gòu)的具體細(xì)節(jié)狀況下，用戶能開發(fā)和運(yùn)行分布式應(yīng)用。Hadoop充分利用廉價(jià)計(jì)算機(jī)集群，對(duì)海量數(shù)據(jù)存儲(chǔ)和運(yùn)算，具有可靠、容錯(cuò)、高效和可擴(kuò)展的特點(diǎn)。為了滿足企業(yè)業(yè)務(wù)的需求，一些企業(yè)在使用現(xiàn)有Hadoop平臺(tái)的同時(shí)，也在開發(fā)和優(yōu)化現(xiàn)有Hadoop技術(shù)。Hadoop生態(tài)要支撐各類數(shù)據(jù)的處理，就需要對(duì)Hadoop進(jìn)行補(bǔ)充，以增強(qiáng)其功能。因此

2、，在Hadoop已有性能優(yōu)化的基礎(chǔ)上，設(shè)計(jì)有效的方案分別從數(shù)據(jù)、應(yīng)用和安全三個(gè)層面上來增強(qiáng)分布式系統(tǒng)Hadoop的相應(yīng)功能具有重要的意義。
　　Hadoop已成為大數(shù)據(jù)處理的關(guān)鍵部件，并獲得了工業(yè)界的支持。然而，海量的小文件，嚴(yán)重制約著HDFS的性能，同時(shí)，MapReduce在其他類型作業(yè)中體現(xiàn)的不足也愈加明顯，加之系統(tǒng)默認(rèn)FIFO算法對(duì)用戶提交作業(yè)不作區(qū)別等問題。需要了解系統(tǒng)已有的MapReduce并行計(jì)算框架優(yōu)化、作業(yè)調(diào)度優(yōu)化

3、和HDFS性能優(yōu)化研究現(xiàn)狀，分析這些技術(shù)的優(yōu)勢(shì)和不足，為后續(xù)的改進(jìn)打下基礎(chǔ)。
　　Hadoop任務(wù)調(diào)度的目標(biāo)是盡可能多的考慮數(shù)據(jù)本地性（包括節(jié)點(diǎn)本地性和機(jī)架本地性）。然而由于調(diào)度的隨機(jī)性，原生系統(tǒng)并不能保證良好的節(jié)點(diǎn)本地性。如何保障節(jié)點(diǎn)本地性是提升Hadoop數(shù)據(jù)處理實(shí)時(shí)性的一個(gè)關(guān)鍵問題。數(shù)據(jù)預(yù)取是一種預(yù)先從其它節(jié)點(diǎn)讀入待處理數(shù)據(jù)、改善數(shù)據(jù)本地性、隱藏?cái)?shù)據(jù)訪問延遲的有效方法。為了保證良好的節(jié)點(diǎn)本地性，結(jié)合Hadoop任務(wù)調(diào)度理念提

4、出一種有效的數(shù)據(jù)預(yù)取策略，通過副本約簡(jiǎn)算法，約簡(jiǎn)出節(jié)點(diǎn)上可能的本地化數(shù)據(jù)塊任務(wù)序列，從全局上明確預(yù)取數(shù)據(jù)對(duì)象，提升數(shù)據(jù)塊分布不均勻和節(jié)點(diǎn)數(shù)據(jù)處理能力各異狀態(tài)下的集群處理性能。相比Hadoop原生的數(shù)據(jù)本地性機(jī)制，所提出的數(shù)據(jù)預(yù)取策略提高了數(shù)據(jù)本地化率，并減少了數(shù)據(jù)處理時(shí)間。
　　Hadoop主流版本并沒有考慮數(shù)據(jù)存儲(chǔ)的層次問題，因此一些常規(guī)的應(yīng)用（如搜索引擎）試圖采用快速存取設(shè)備SSD去改善讀取性能，但性價(jià)比并不高。緩存是一種大數(shù)

5、據(jù)檢索的有效優(yōu)化手段。而數(shù)據(jù)選擇策略能夠放置合適的數(shù)據(jù)于內(nèi)存緩存中。在Hadoop平臺(tái)中引入快速存取設(shè)備SSD，設(shè)計(jì)基于SSD的分布式混合存儲(chǔ)結(jié)構(gòu)，并提出一種基于背包的有效數(shù)據(jù)選擇策略，該策略視緩存介質(zhì)為背包，視檢索結(jié)果和倒排列表為物品。通過貪婪算法，在不同的存儲(chǔ)架構(gòu)下，改善了檢索的性能，同時(shí)也能減少SSD的磨損。實(shí)驗(yàn)結(jié)果表明，提出的EDS策略相比其它策略有最高的命中率，并有效降低了平均查詢延時(shí)。
　　作為大數(shù)據(jù)處理和存儲(chǔ)的主流平

6、臺(tái)，Hadoop不僅需要處理非敏感數(shù)據(jù)，也需要處理和存儲(chǔ)海量的用戶敏感數(shù)據(jù)。這些敏感數(shù)據(jù)的共享有助于企業(yè)降低為用戶提供個(gè)性化服務(wù)的成本，實(shí)現(xiàn)數(shù)據(jù)增值，而敏感數(shù)據(jù)的安全共享是增強(qiáng)Hadoop功能亟待解決的問題。通過分析敏感數(shù)據(jù)安全共享的現(xiàn)狀，提出了一種大數(shù)據(jù)平臺(tái)敏感數(shù)據(jù)安全共享系統(tǒng)框架，包括數(shù)據(jù)平臺(tái)上敏感數(shù)據(jù)的安全提交、存儲(chǔ)、使用和銷毀；研究了基于密文異構(gòu)轉(zhuǎn)化的代理重加密算法和基于虛擬機(jī)監(jiān)控器的用戶進(jìn)程保護(hù)方法等關(guān)鍵技術(shù)，為系統(tǒng)安全功能的