1、本論文研究了云計算集群中基于Hadoop框架的分布式日志分析系統(tǒng)，利用MapReduce計算模型進行分布式計算，并結合HDFS進行分布式存儲，利用分而治之的策略去分析企業(yè)云計算平臺中產生海量數據，監(jiān)控云計算集群中服務器的運行狀態(tài)，并從海量數據中挖掘有價值的資源。
　　本系統(tǒng)首先在被監(jiān)控的集群上使用RandomAccess類收集包括各個節(jié)點上的系統(tǒng)日志、線程池中產生的日志等數據。然后，使用SSH工具將這些收集的日志數據傳輸到負責分析

2、數據的集群中去，在這個過程中，使用一些聚類的方法將數據重新組織。之后，在負責分析數據的集群上，我們在Hadoop平臺上，分別實現了MapReduce框架中的map模塊和reduce模塊，以此達到分布式分析日志的功能，并根據用戶自定義的配置，實現定制化的日志分析。最后，導入生成的分析報告到Excel VBA，將圖形化的分析報告呈現給用戶。
　　另外，將該分布式日志分析系統(tǒng)應用在Hadoop基準測試中，進行了大量的實驗和數據分析，描述

3、了在不同底層IO軟件（主要包括IO調度器和文件系統(tǒng)）的選擇上IO密集型基準測試的性能比較，方便Hadoop用戶選擇這些底層軟件。并通過調節(jié)這些底層軟件層的參數，對Hadoop上運行的MapReduce程序提供了優(yōu)化方案。
　　比較了TeraSort基準測試在幾種不同IO調度算法和幾大代表性的文件系統(tǒng)上的測試性能，并使用之前研究的分布式日志分析工具對其進行數據的收集與分析。
　　之后，通過對最終結果進行優(yōu)化，比如改進IO調度算