1、隨著互聯(lián)網(wǎng)安全形勢的日益嚴(yán)峻,不良信息的過濾已經(jīng)成為一個必須面對問題。人們迫切需要一個高效的網(wǎng)絡(luò)數(shù)據(jù)監(jiān)控平臺,以凈化網(wǎng)絡(luò)環(huán)境,擺脫不良信息帶來的困擾。然而,當(dāng)前大多數(shù)監(jiān)控產(chǎn)品對不良信息過濾的效果仍然不理想。它們大多采用關(guān)鍵詞匹配的方式,不僅過于“死板”,而且易產(chǎn)生誤判。因此,為了提高不良信息過濾的效果,本文對傳統(tǒng)的CHI特征提取方法以及TF-IDF權(quán)值計(jì)算方法進(jìn)行改進(jìn),運(yùn)用于SVM算法中,并結(jié)合分布式結(jié)構(gòu),提出一種基于文本挖掘的分布式網(wǎng)

2、絡(luò)監(jiān)控系統(tǒng)DNMS(Distributed Network Monitor System)。
　　論文首先研究了監(jiān)控領(lǐng)域相關(guān)的技術(shù),其中包括常見的監(jiān)控模式和監(jiān)控設(shè)備的部署方式。論文通過對比旁路監(jiān)聽和網(wǎng)橋兩種模式,介紹了不同模式下的監(jiān)控效果。論文解釋了選擇網(wǎng)橋模式的原因,并在此基礎(chǔ)上討論了集中式和分布式兩種不同的監(jiān)控設(shè)備部署方式,從而確定了整個DNMS的架構(gòu)設(shè)計(jì)。
　　接著,論文介紹了基于Netfilter的網(wǎng)絡(luò)抓包方式,其中

3、重點(diǎn)研究了Linux平臺的Netfilter過濾框架的基本原理,并討論了如何利用該框架搭建類似于防火墻的數(shù)據(jù)包分析與過濾平臺。在報(bào)文解析方面,論文研究了網(wǎng)頁內(nèi)容和郵件內(nèi)容的還原方法,具體包括HTTP、SMTP以及POP3等協(xié)議的解析。論文還重點(diǎn)研究了如何抽取網(wǎng)頁的正文,即網(wǎng)頁去噪問題。在總結(jié)幾種常見去噪方法的基礎(chǔ)上,論文結(jié)合網(wǎng)頁正文的分布特點(diǎn),提出了一種基于文本塊分布的網(wǎng)頁去噪方法。
　　作為DNMS的核心組件,論文詳細(xì)介紹了不良

4、信息的過濾方法。在總結(jié)前人研究成果的基礎(chǔ)上,論文分析了不良信息過濾相對于普通二元分類的特殊性,從而提出特征項(xiàng)提取以及權(quán)值計(jì)算的改進(jìn)方法,使之更適合于不良信息的識別,并將改進(jìn)后的相關(guān)方法運(yùn)用于SVM分類算法中,從而提出基于SVM的不良信息過濾框架。在此基礎(chǔ)上,論文對DNMS各個功能模塊進(jìn)行了詳細(xì)的描述,并給出具體的實(shí)現(xiàn)過程。
　　最后,為了驗(yàn)證系統(tǒng)的有效性,論文給出了DNMS的測試過程,并對測試結(jié)果進(jìn)行分析總結(jié)。測試結(jié)果表明,論文提