1、互聯(lián)網(wǎng)流量的精確分類與識(shí)別是網(wǎng)絡(luò)流量工程、網(wǎng)絡(luò)管理與安全監(jiān)測、網(wǎng)絡(luò)設(shè)計(jì)與規(guī)劃等網(wǎng)絡(luò)行為的前提和基礎(chǔ)。高效、準(zhǔn)確、實(shí)時(shí)地識(shí)別互聯(lián)網(wǎng)流量對于分析網(wǎng)絡(luò)發(fā)展趨勢、提供服務(wù)質(zhì)量保證、實(shí)現(xiàn)動(dòng)態(tài)訪問控制和路由決策、進(jìn)行合法有效的網(wǎng)絡(luò)管理和控制、檢測網(wǎng)絡(luò)異常行為與提高網(wǎng)絡(luò)安全性等都有很重要的現(xiàn)實(shí)意義。
　　 隨著基于IP的互聯(lián)網(wǎng)新業(yè)務(wù)、惡意網(wǎng)絡(luò)行為、高QoS需求的實(shí)時(shí)業(yè)務(wù)不斷涌現(xiàn)，網(wǎng)絡(luò)流量日趨復(fù)雜、動(dòng)態(tài)、多變；而且越來越多的網(wǎng)絡(luò)應(yīng)用采用動(dòng)態(tài)端口

2、、偽裝端口和應(yīng)用層加密等多種規(guī)避手段，使得準(zhǔn)確、智能、實(shí)時(shí)的互聯(lián)網(wǎng)流量識(shí)別成為一個(gè)具有高度挑戰(zhàn)性的問題，并成為互聯(lián)網(wǎng)流量測量領(lǐng)域的研究熱點(diǎn)之一。
　　 本文針對互聯(lián)網(wǎng)運(yùn)行和管理需求，面向不同網(wǎng)絡(luò)規(guī)模、應(yīng)用目標(biāo)和分類粒度，研究準(zhǔn)確、智能、實(shí)時(shí)的互聯(lián)網(wǎng)流量分類的有效方法。論文對現(xiàn)有的基于機(jī)器學(xué)習(xí)和基于應(yīng)用層凈荷特征分析的網(wǎng)絡(luò)流量分類與識(shí)別方法提出了進(jìn)一步的研究目標(biāo)；對在線實(shí)時(shí)分類和智能識(shí)別能力、混合分類方法與實(shí)施方案、分布式協(xié)同識(shí)別

3、能力以及網(wǎng)絡(luò)流量分類器的應(yīng)用與部署提出了新的目標(biāo)。
　　 針對研究目標(biāo)，論文的主要研究工作及創(chuàng)新如下：
　　 (1) 根據(jù)互聯(lián)網(wǎng)流量統(tǒng)計(jì)特性分析，建立了基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類系統(tǒng)，采用基于遺傳算法的特征選擇和各類有監(jiān)督機(jī)器學(xué)習(xí)算法對互聯(lián)網(wǎng)絡(luò)流量進(jìn)行有效地分類與識(shí)別，并從大量實(shí)驗(yàn)分析得出影響互聯(lián)網(wǎng)流景分類性能的主要因素有：特征選擇、機(jī)器學(xué)習(xí)算法、樣本集大小和網(wǎng)絡(luò)應(yīng)用類型數(shù)。研究還表明：有監(jiān)督機(jī)器學(xué)習(xí)算法（如決策樹算法C

4、4.5和REPTree）不僅具有高精度和低開銷的優(yōu)良性能，還能有效識(shí)別已知/未知P2P大類的應(yīng)用流量和單個(gè)加密應(yīng)用流量，具有早期檢測的能力，為實(shí)時(shí)網(wǎng)絡(luò)流量分類提供了可能。
　　 鑒于有監(jiān)督機(jī)器學(xué)習(xí)需要大量精確的標(biāo)簽流且不能識(shí)別新應(yīng)用流量，本文還提出基于典型K-Means和種子K-Means的半監(jiān)督學(xué)習(xí)算法，采用流統(tǒng)計(jì)特征的聚類差異和類不純度（以GrNI指數(shù)度量）的線性組合為距離測度，并應(yīng)用遺傳算法優(yōu)化聚類學(xué)習(xí)過程。僅利用少量的標(biāo)

5、簽流和大量容易獲取的非標(biāo)簽流訓(xùn)練得到的網(wǎng)絡(luò)流量分類器，能獲得較高的分類精度，并能及時(shí)識(shí)別未知網(wǎng)絡(luò)應(yīng)用流量，具有很好的分類性能。
　　 (2) 包深度檢測法(DPI)分類精度高、具有細(xì)粒度網(wǎng)絡(luò)流量分類和早期檢測能力。然而，DPI不能智能地發(fā)現(xiàn)新應(yīng)用的應(yīng)用層特征標(biāo)簽，限制了DPI在流量監(jiān)測與管理中的進(jìn)一步應(yīng)用。本文針對DPI存在的關(guān)鍵技術(shù)難點(diǎn)，分析應(yīng)用層凈荷的特征模式，提出了基于動(dòng)態(tài)規(guī)劃和遺傳算法的最長公共子序列(LCSS)改進(jìn)算法

6、，能夠自動(dòng)發(fā)現(xiàn)DPI特征并智能提取準(zhǔn)確的特征標(biāo)簽，實(shí)現(xiàn)DPI特征庫的及時(shí)更新和維護(hù)，確保DPI識(shí)別法的準(zhǔn)確性。
　　 (3) 由于僅依賴于一種分類方法不能達(dá)到互聯(lián)網(wǎng)流量識(shí)別的最終要求，本文從滿足應(yīng)用需求、提高分類性能、以及與當(dāng)前網(wǎng)絡(luò)流量識(shí)別與監(jiān)管產(chǎn)品的融合角度出發(fā)，提出了基于機(jī)器學(xué)習(xí)和DPI/Port的分級(jí)混合網(wǎng)絡(luò)流量分類方案。其中，粗粒度分類僅通過分析流的前幾個(gè)分組的統(tǒng)計(jì)特性，采用快速有效的決策樹等機(jī)器學(xué)習(xí)算法，實(shí)現(xiàn)精確實(shí)時(shí)的

7、網(wǎng)絡(luò)流量粗粒度分類；而細(xì)粒度分類是在各自的應(yīng)用大類內(nèi)采用特征自動(dòng)更新的DPI/Port技術(shù)，輔以半監(jiān)督學(xué)習(xí)算法實(shí)現(xiàn)精細(xì)粒度的應(yīng)用流量分類。該混合識(shí)別方法能夠智能、精確、實(shí)時(shí)、有效地識(shí)別網(wǎng)絡(luò)流量，具有好的完整性和可擴(kuò)展性，滿足不同應(yīng)用目標(biāo)和分類粒度的互聯(lián)網(wǎng)流量分類需求，并為面向高速網(wǎng)絡(luò)的流量分類與識(shí)別提供了可能。
　　 (4) 為實(shí)現(xiàn)網(wǎng)絡(luò)流量分類器之間的流量特征、數(shù)據(jù)樣本、分類識(shí)別經(jīng)驗(yàn)與分類算法的共享，以及實(shí)現(xiàn)遠(yuǎn)程協(xié)同識(shí)別，提高網(wǎng)

8、絡(luò)流量識(shí)別的準(zhǔn)確性和靈活性，并為大規(guī)?；ヂ?lián)網(wǎng)流量識(shí)別與行為分析提供必要基礎(chǔ)，本文提出了基于DHT（分布式哈希表）的自組織網(wǎng)絡(luò)流量協(xié)同識(shí)別模型，并且建立了協(xié)同識(shí)別的層次P2P網(wǎng)絡(luò)的性能分析模型，給出了最優(yōu)層次劃分比率以優(yōu)化搜索性能。本文還利用系統(tǒng)本身的small world特征，考慮流量分類器節(jié)點(diǎn)的物理距離和興趣關(guān)聯(lián)度，在層次P2P網(wǎng)絡(luò)的上層超級(jí)節(jié)點(diǎn)網(wǎng)絡(luò)中構(gòu)建基于smallworld自組織覆蓋網(wǎng)，進(jìn)一步有效減少搜索時(shí)延，提高協(xié)同識(shí)別P2P