1、近年來(lái)，伴隨著信息技術(shù)的發(fā)展，流數(shù)據(jù)這一實(shí)時(shí)、連續(xù)、無(wú)限的數(shù)據(jù)類(lèi)型出現(xiàn)在人們生活的各個(gè)領(lǐng)域中。流數(shù)據(jù)的主要特點(diǎn)是:1）數(shù)據(jù)量大、數(shù)據(jù)產(chǎn)生速度快;2）短暫易逝、快速變化;3）數(shù)據(jù)重要性隨時(shí)間而下降。系統(tǒng)監(jiān)控應(yīng)用作為確保大型分布式計(jì)算機(jī)系統(tǒng)運(yùn)行的重要模塊，持續(xù)不斷地接收著海量監(jiān)控信息，這些信息具有流數(shù)據(jù)的上述特點(diǎn)。如何保證系統(tǒng)監(jiān)控應(yīng)用能有效處理這些數(shù)據(jù)，及時(shí)發(fā)現(xiàn)系統(tǒng)異常情況，預(yù)測(cè)可能出現(xiàn)的異常并提前采取措施，是一個(gè)具有學(xué)術(shù)和現(xiàn)實(shí)雙重意義的研

2、究方向。
　　本文以分布式系統(tǒng)監(jiān)控為背景，從流數(shù)據(jù)處理的角度，針對(duì)系統(tǒng)監(jiān)控的特點(diǎn)和當(dāng)前監(jiān)控?cái)?shù)據(jù)處理存在的挑戰(zhàn)，研究了提高流數(shù)據(jù)監(jiān)控分析處理能力的幾個(gè)關(guān)鍵問(wèn)題:
　　(1)每個(gè)時(shí)刻都有新的監(jiān)控?cái)?shù)據(jù)到達(dá)，監(jiān)控應(yīng)用需要處理的數(shù)據(jù)規(guī)模十分巨大。面對(duì)有限的計(jì)算資源與巨大的數(shù)據(jù)量之間的矛盾，如何選擇需要監(jiān)控的對(duì)象至關(guān)重要;
　　(2)在流數(shù)據(jù)監(jiān)控中，數(shù)據(jù)變化迅速，因此監(jiān)控模型需要對(duì)其中出現(xiàn)的異常進(jìn)行及時(shí)檢測(cè)和快速高效響應(yīng)，并隨時(shí)更

3、新模型以應(yīng)對(duì)數(shù)據(jù)的變化;
　　(3)在檢測(cè)異常和學(xué)習(xí)異常模式的基礎(chǔ)上，流數(shù)據(jù)監(jiān)控模型需要通過(guò)對(duì)系統(tǒng)運(yùn)行指標(biāo)的預(yù)測(cè)，提前推斷異常發(fā)生的概率。如何對(duì)系統(tǒng)異常進(jìn)行準(zhǔn)確高效的預(yù)測(cè)，在需要確保連續(xù)正常運(yùn)行的分布式系統(tǒng)中，也是一個(gè)重要的問(wèn)題。
　　本文主要圍繞以上三點(diǎn)內(nèi)容進(jìn)行研究，即流數(shù)據(jù)中的特征選擇，異常檢測(cè)和異常預(yù)測(cè)。
　　流數(shù)據(jù)特征選擇:本文提出了一種適用于流數(shù)據(jù)監(jiān)控的改進(jìn)信息值特征提取算法，針對(duì)流數(shù)據(jù)監(jiān)控中監(jiān)控特征過(guò)多、新

4、的特征會(huì)不斷進(jìn)入的問(wèn)題，使用信息值(Information-value)算法來(lái)進(jìn)行特征提取。該算法是一種基于閾值判斷每個(gè)特征對(duì)于最終異常分類(lèi)重要性的方法。在流數(shù)據(jù)環(huán)境下，特征代表的數(shù)據(jù)不是固定的，因此特征的重要性也會(huì)有所改變。傳統(tǒng)的特征選擇方法在這種情況下需要反復(fù)計(jì)算所有特征的重要性而后對(duì)其進(jìn)行排序。本文提出的改進(jìn)后的信息值算法，在保留了原信息值算法通過(guò)閾值判斷特征的基礎(chǔ)上，做出了兩點(diǎn)改進(jìn):1）考慮了各特征之間的相關(guān)性，去除相互冗余的特

5、征;2）使用相關(guān)性向量來(lái)保存特征之間的冗余度，在流數(shù)據(jù)監(jiān)控中僅需對(duì)增量數(shù)據(jù)而非全部數(shù)據(jù)進(jìn)行計(jì)算。
　　流數(shù)據(jù)異常檢測(cè):當(dāng)前的大規(guī)模系統(tǒng)通常采用分布式、層次化的監(jiān)控架構(gòu)。監(jiān)控節(jié)點(diǎn)部署在每個(gè)工作節(jié)點(diǎn)上，中心管理節(jié)點(diǎn)收集監(jiān)控節(jié)點(diǎn)的數(shù)據(jù)并匯總后進(jìn)行分析和管理。隨著節(jié)點(diǎn)數(shù)目的增多，通訊開(kāi)銷(xiāo)會(huì)逐漸增大，中心節(jié)點(diǎn)將會(huì)成為數(shù)據(jù)處理的瓶頸。
　　本文考慮了工作節(jié)點(diǎn)的時(shí)間相似特性，提出了基于最窄平行線(xiàn)的流數(shù)據(jù)壓縮算法NPLA，并在此基礎(chǔ)上利用帶

6、有權(quán)重的集成分類(lèi)模型來(lái)對(duì)系統(tǒng)異常進(jìn)行檢測(cè)。NPLA算法將監(jiān)控到的流數(shù)據(jù)近似成一些線(xiàn)段，在中心節(jié)點(diǎn)和工作節(jié)點(diǎn)上都記錄流數(shù)據(jù)的近似信息。當(dāng)工作節(jié)點(diǎn)新到達(dá)的數(shù)據(jù)與近似結(jié)果之間的誤差小于閾值時(shí)，監(jiān)控節(jié)點(diǎn)不向管理節(jié)點(diǎn)更新監(jiān)控?cái)?shù)據(jù)。反之，當(dāng)新到達(dá)的數(shù)據(jù)與近似結(jié)果之間的誤差大于閾值時(shí)，監(jiān)控節(jié)點(diǎn)向管理節(jié)點(diǎn)更新監(jiān)控?cái)?shù)據(jù)。這樣一來(lái)監(jiān)控?cái)?shù)據(jù)更新的頻率大大降低。
　　在精簡(jiǎn)監(jiān)控?cái)?shù)據(jù)的基礎(chǔ)上，中心管理節(jié)點(diǎn)通過(guò)聚合集成分類(lèi)模型進(jìn)行異常檢側(cè)。利用緩存數(shù)據(jù)塊并使

7、用不同的算法來(lái)訓(xùn)練分類(lèi)器，避免了數(shù)據(jù)變化和錯(cuò)誤數(shù)據(jù)對(duì)異常檢測(cè)精度的影響。
　　流數(shù)據(jù)異常預(yù)測(cè):針對(duì)傳統(tǒng)離散時(shí)間馬爾可夫使用粗粒度狀態(tài)邊界的缺陷，狀態(tài)周?chē)▌?dòng)的數(shù)據(jù)真實(shí)值與預(yù)測(cè)值相差較大。證據(jù)馬爾可夫算法通過(guò)定義模糊的狀態(tài)邊界來(lái)解決了這一缺陷。本文在證據(jù)馬爾可夫算法的基礎(chǔ)上提出了適用于流數(shù)據(jù)場(chǎng)景的置信馬爾可夫預(yù)測(cè)算法。該算法通過(guò)使用基于流數(shù)據(jù)的聚類(lèi)算法來(lái)動(dòng)態(tài)地產(chǎn)生和維護(hù)馬爾可夫轉(zhuǎn)移矩陣，因此只需儲(chǔ)存每一個(gè)聚類(lèi)的均值，而并不需要像證據(jù)