1、近些年來(lái)，接入設(shè)備的激增、網(wǎng)絡(luò)應(yīng)用的不斷涌現(xiàn)和互聯(lián)網(wǎng)流量的爆發(fā)式增長(zhǎng)使得網(wǎng)絡(luò)規(guī)模迅速擴(kuò)大、網(wǎng)絡(luò)環(huán)境日益復(fù)雜，開(kāi)展網(wǎng)絡(luò)安全分析工作的難度越來(lái)越大。與以往相比，網(wǎng)絡(luò)攻擊的隱蔽性更強(qiáng)而且更加難以防范，有針對(duì)性的大規(guī)模惡意網(wǎng)絡(luò)攻擊也愈發(fā)常見(jiàn)，網(wǎng)絡(luò)安全形勢(shì)依然不容樂(lè)觀。當(dāng)前，網(wǎng)絡(luò)安全分析系統(tǒng)所面臨的挑戰(zhàn)不僅僅來(lái)自于攻擊手段和技術(shù)的不斷進(jìn)化，計(jì)算速度以及橫向擴(kuò)展能力已成為制約基于傳統(tǒng)架構(gòu)模式的網(wǎng)絡(luò)安全分析系統(tǒng)向復(fù)雜網(wǎng)絡(luò)環(huán)境遷移的主要瓶頸，海量的數(shù)據(jù)

2、規(guī)模已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了其處理能力的極限。
　　本文首先從系統(tǒng)架構(gòu)入手，提出了一種以開(kāi)源大數(shù)據(jù)技術(shù)為依托的網(wǎng)絡(luò)安全實(shí)時(shí)計(jì)算平臺(tái)設(shè)計(jì)方案，該設(shè)計(jì)方案共包含七個(gè)層次，每一層都作為一個(gè)功能實(shí)體向上提供服務(wù)。平臺(tái)架構(gòu)中各層的實(shí)現(xiàn)都依賴(lài)于高性能分布式技術(shù)，如Storm、Spark、Kafka、Flume等，涵蓋了集群資源管理、分布式協(xié)調(diào)、數(shù)據(jù)持久化存儲(chǔ)、計(jì)算引擎等方面。該架構(gòu)可以同時(shí)提供實(shí)時(shí)計(jì)算、離線(xiàn)處理、圖計(jì)算等多種類(lèi)型的數(shù)據(jù)處理服務(wù)，而且能夠

3、很好地滿(mǎn)足海量數(shù)據(jù)存儲(chǔ)需求。
　　在這種以大數(shù)據(jù)技術(shù)為中心的架構(gòu)模式之上，本文實(shí)現(xiàn)了一個(gè)面向天津教育城域網(wǎng)的實(shí)時(shí)流量監(jiān)控系統(tǒng)。該流量監(jiān)控系統(tǒng)在底層計(jì)算引擎上同時(shí)部署了多項(xiàng)數(shù)據(jù)處理業(yè)務(wù)邏輯，可以實(shí)現(xiàn)對(duì)多種類(lèi)型DDoS攻擊的預(yù)警與檢測(cè)。本文所設(shè)計(jì)的DDoS攻擊檢測(cè)算法主要包括指數(shù)加權(quán)移動(dòng)平均算法（EWMA）、異常流量區(qū)間定位算法和攻擊類(lèi)型判別規(guī)則這三個(gè)部分：EWMA算法按照指數(shù)遞減的方式來(lái)為歷史數(shù)值賦予權(quán)重并計(jì)算下一時(shí)刻的預(yù)估值，通過(guò)

4、對(duì)比實(shí)際測(cè)量值和預(yù)估值就可以判別出網(wǎng)絡(luò)流量的異常波動(dòng)；與EWMA的分析結(jié)果相結(jié)合，異常流量區(qū)間定位算法能夠?qū)崿F(xiàn)對(duì)網(wǎng)絡(luò)流量異常時(shí)段的準(zhǔn)確定位；攻擊類(lèi)型判別算法則為不同類(lèi)型的DDoS攻擊提供了有針對(duì)性的判別規(guī)則。
　　本文從系統(tǒng)吞吐量、Worker并發(fā)數(shù)、節(jié)點(diǎn)負(fù)載等維度對(duì)系統(tǒng)性能進(jìn)行了深入的分析和討論，而在驗(yàn)證DDoS攻擊檢測(cè)有效性的過(guò)程中，本文將天津教育城域網(wǎng)Netflow數(shù)據(jù)與綠盟抗DDoS系統(tǒng)（Anti-DDoS System）