1、隨著網(wǎng)絡的開放性、共享性及互聯(lián)程度的擴大，網(wǎng)絡的重要性以及對社會的影響也越來越大。Internet的迅速發(fā)展給人們帶來巨大方便的同時，也使我們面臨著各種安全事件的威脅。據(jù)統(tǒng)計，近年來針對網(wǎng)絡資源的各種攻擊帶來了巨大的經(jīng)濟損失。異常檢測作為網(wǎng)絡的安全防護體系逐漸成為網(wǎng)絡安全領域的研究重點。
　　 互聯(lián)網(wǎng)時代的數(shù)據(jù)是龐大的，尤其是大規(guī)模網(wǎng)絡的數(shù)據(jù)流量，能夠快速而精確地從海量日志數(shù)據(jù)源中檢測出異常的系統(tǒng)具有很好的市場前景。本文針對大量

2、數(shù)據(jù)，提出了結合分布式計算思想進行并行處理的方法，介紹了開源軟件平臺Hadoop在分布式并行計算方面的優(yōu)點，實現(xiàn)了數(shù)據(jù)預處理的具體應用并進行了相關實驗。接著從對流量異常分類的研究入手，通過對目前主要的流量攻擊的攻擊特征的分析，根據(jù)信息熵的定義，得出網(wǎng)絡信息熵能應用于網(wǎng)絡流量異常檢測。系統(tǒng)設計了基于網(wǎng)絡信息熵的算法，結合統(tǒng)計學中的主成分分析法和子空間方法，共同實現(xiàn)了對網(wǎng)絡流量異常的檢測。
　　 本文所實現(xiàn)的實際系統(tǒng)包括數(shù)據(jù)預處理模