1、隨著企業(yè)大規(guī)模數(shù)據(jù)在不同垂直業(yè)務(wù)領(lǐng)域的應(yīng)用和擴(kuò)展，得益于Hadoop集群的處理效率高、可擴(kuò)展性強(qiáng)和成本低等特性，越來(lái)越多的企業(yè)將Hadoop集群作為主要的數(shù)據(jù)存儲(chǔ)和處理工具。但是，由于Hadoop集群本身具有資源多樣性、復(fù)雜性等特點(diǎn)，導(dǎo)致節(jié)點(diǎn)故障頻發(fā)，給集群的資源監(jiān)控帶來(lái)了極大挑戰(zhàn)。此外，Hadoop的安全機(jī)制相對(duì)薄弱且都屬于靜態(tài)安全技術(shù)，缺少對(duì)用戶(hù)行為活動(dòng)的監(jiān)控，導(dǎo)致容易遭受隱藏的安全威脅，集群的數(shù)據(jù)安全難以得到保障。針對(duì)用戶(hù)行為活動(dòng)

2、的監(jiān)控，提出了一種Hadoop集群環(huán)境下的用戶(hù)行為異常檢測(cè)方法，提高了集群的數(shù)據(jù)安全性。在充分研究和分析現(xiàn)有資源監(jiān)控技術(shù)的基礎(chǔ)上，提出了一個(gè)監(jiān)控框架整合改造方案，克服了現(xiàn)有框架的諸多缺點(diǎn)。
　　在Hadoop集群用戶(hù)活動(dòng)監(jiān)控方面，首先研究和分析了傳統(tǒng)主成分分析算法的缺點(diǎn)，即在大規(guī)模數(shù)據(jù)情況下的內(nèi)存限制以及效率不高的問(wèn)題，本文分解算法中協(xié)方差矩陣的計(jì)算過(guò)程，基于MapReduce對(duì)其做并行化處理，較好的解決了上述問(wèn)題。然后分析用戶(hù)對(duì)

3、HDFS的操作行為，提出了一個(gè)基于并行化主成分分析的用戶(hù)行為異常檢測(cè)方法，利用本文算法基于用戶(hù)對(duì)HDFS的數(shù)據(jù)操作記錄進(jìn)行離線(xiàn)訓(xùn)練建模，提取其行為模式。檢測(cè)時(shí)把當(dāng)前用戶(hù)的行為模式與訓(xùn)練得到的歷史正常行為模式進(jìn)行比較，基于歐氏距離度量標(biāo)準(zhǔn)評(píng)判當(dāng)前行為是否異常。該方法不僅降低了數(shù)據(jù)特征的冗余，提高了數(shù)據(jù)處理的效率，而且具有較好的檢測(cè)結(jié)果。
　　在Hadoop集群資源監(jiān)控方面，首先研究和分析了現(xiàn)有監(jiān)控框架的優(yōu)點(diǎn)和缺陷，選擇Ganglia

4、收集集群的監(jiān)控指標(biāo)，然后利用本文實(shí)現(xiàn)的數(shù)據(jù)抽取模塊把上述指標(biāo)與Nagios報(bào)警框架進(jìn)行對(duì)接，滿(mǎn)足Nagios狀態(tài)顯示劃分等級(jí)的功能需求，最終提出了一個(gè)集監(jiān)控和報(bào)警于一體的集群資源監(jiān)控框架。本文框架充分利用Ganglia和Nagios各自?xún)?yōu)勢(shì)，克服了Ganglia告警功能的欠缺和Nagios監(jiān)控功能的局限，而且本文數(shù)據(jù)抽取模塊使得Nagios避開(kāi)了自身監(jiān)控服務(wù)的開(kāi)銷(xiāo)，實(shí)現(xiàn)了整合框架的輕量級(jí)監(jiān)控。
　　最后，本文對(duì)Hadoop集群的資