1、支持向量機(jī)是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的基礎(chǔ)上的一種機(jī)器學(xué)習(xí)方法。它根據(jù)有限的數(shù)據(jù)信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷，以獲得最好的泛化能力。支持向量機(jī)具有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ)，能夠較好地解決有限樣本、非線性、過學(xué)習(xí)、高維數(shù)和局部極小點(diǎn)等學(xué)習(xí)問題。由于其優(yōu)越的性能，已被廣泛應(yīng)用于許多領(lǐng)域中，并已成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一。
　　本文對(duì)支持向量機(jī)理論進(jìn)行了深入地研究，指出其在尋找最優(yōu)分類超平面的過程

2、中忽略了一種重要的先驗(yàn)知識(shí)，即樣本的類內(nèi)結(jié)構(gòu)。為此，本文研究了類內(nèi)結(jié)構(gòu)支持向量機(jī)算法，即基于樣本的類內(nèi)離散度提出的改進(jìn)支持向量機(jī)算法，隨后分別對(duì)目前存在的噪聲問題、孤立點(diǎn)檢測(cè)問題、不平衡數(shù)據(jù)學(xué)習(xí)問題做了進(jìn)一步的研究。主要工作如下:
　　(1)指出現(xiàn)有的支持向量機(jī)算法模型中存在的問題，即忽略了樣本的類內(nèi)結(jié)構(gòu)。分析了支持向量機(jī)與Fisher判別分析算法的相似點(diǎn)與不同點(diǎn)，提出基于類內(nèi)離散度的支持向量機(jī)(WCS-SVM)算法。該算法的基本

3、思想就是尋找一個(gè)最優(yōu)分類超平面，不僅將兩類樣本盡量正確分開，在保持較高分類精度的同時(shí)最大化分類間隔，而且使得樣本的類內(nèi)離散度盡可能的小。數(shù)值實(shí)驗(yàn)證明了此算法具有良好的分類性能。最后，將無監(jiān)督聚類技術(shù)同WCS-SVM算法結(jié)合起來用于網(wǎng)絡(luò)入侵檢測(cè)中，進(jìn)一步驗(yàn)證了算法的有效性。
　　(2)在模糊支持向量機(jī)中，為了更好地刻畫訓(xùn)練樣本對(duì)分類超平面的貢獻(xiàn)，提出一種新的基于樣本緊密度的模糊隸屬度函數(shù)設(shè)計(jì)方法。該隸屬度函數(shù)不僅考慮了樣本與所在類中

4、心之間距離，同時(shí)還考慮了類內(nèi)樣本之間的緊密度。重點(diǎn)在于我們引入兩個(gè)參數(shù)來分別控制正負(fù)兩類樣本的緊密度，這兩個(gè)參數(shù)需要預(yù)先設(shè)定。文中，我們通過支持向量數(shù)據(jù)描述算法來確定這兩個(gè)參數(shù)。數(shù)值實(shí)驗(yàn)證明了該隸屬函數(shù)可以更好地降低噪聲或野值點(diǎn)對(duì)分類結(jié)果的影響。為了更好地處理被噪聲污染的數(shù)據(jù)集分類問題，對(duì)于每個(gè)訓(xùn)練樣本賦予不同的模糊隸屬度的同時(shí)，考慮了樣本的類內(nèi)結(jié)構(gòu)，提出新的基于樣本類內(nèi)結(jié)構(gòu)的模糊支持向量機(jī)(WCS-FSVM)算法。文中詳細(xì)地給出了算法

5、的推導(dǎo)過程的同時(shí)，嚴(yán)格證明了該算法的收斂性。數(shù)值實(shí)驗(yàn)驗(yàn)證了該改進(jìn)算法的有效性，降低了噪聲的影響，提高了分類精度。
　　(3)孤立點(diǎn)檢測(cè)是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的研究熱點(diǎn)之一。它的任務(wù)就是從已有觀測(cè)數(shù)據(jù)中建立正常行為數(shù)據(jù)的模型進(jìn)行異常行為的檢測(cè)。我們充分利用樣本信息，對(duì)一類支持向量機(jī)算法進(jìn)行了改進(jìn)，并將其應(yīng)用于孤立點(diǎn)檢測(cè)中。實(shí)驗(yàn)中，我們采用總正確檢測(cè)率與Kappa系數(shù)κ作為性能評(píng)價(jià)標(biāo)準(zhǔn)，與其它一類標(biāo)準(zhǔn)算法GDD、NNDD、PCA、OC-

6、SVM進(jìn)行比較。結(jié)果證明該改進(jìn)算法是有效的，優(yōu)于其他比較算法，在一定程度上提高了檢測(cè)率。
　　(4)不平衡數(shù)據(jù)廣泛存在于實(shí)際應(yīng)用中，不平衡數(shù)據(jù)學(xué)習(xí)也是目前機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域中的研究熱點(diǎn)之一。對(duì)于支持向量機(jī)來說，正負(fù)訓(xùn)練樣本不平衡會(huì)引起分類超平面向少數(shù)類偏移。為了有效抑制分類超平面的偏移，本文提出了基于類內(nèi)結(jié)構(gòu)的不同誤分代價(jià)支持向量機(jī)算法。該算法不僅對(duì)少數(shù)類和多數(shù)類分別采用不同的誤分代價(jià)（對(duì)少數(shù)類賦予更大的懲罰因子），而且同樣考