1、數(shù)據(jù)挖掘?qū)д?福建醫(yī)科大學(xué)鄭偉成,支持向量機(jī),,支持向量機(jī)(Support Vector Machine，SVM)是Corinna Cortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。在機(jī)器學(xué)習(xí)中，支持向量機(jī)（SVM，還支持矢量網(wǎng)絡(luò)）是與相關(guān)的學(xué)習(xí)算法有關(guān)的監(jiān)督學(xué)習(xí)模型，可以分析數(shù)據(jù)，識別模式，用于分類和回歸分析。,支持向量機(jī)（

2、SVM）是90年代中期發(fā)展起來的基于統(tǒng)計(jì)學(xué)習(xí)理論的一種機(jī)器學(xué)習(xí)方法，通過尋求結(jié)構(gòu)化風(fēng)險(xiǎn)最小來提高學(xué)習(xí)機(jī)泛化能力，實(shí)現(xiàn)經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍的最小化，從而達(dá)到在統(tǒng)計(jì)樣本量較少的情況下，亦能獲得良好統(tǒng)計(jì)規(guī)律的目的。    通俗來講，它是一種二類分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，即支持向量機(jī)的學(xué)習(xí)策略便是間隔最大化，最終可轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問題的求解。,什么是支持向量機(jī)SVM,在講SVM之前，必須

3、先弄清楚一個(gè)概念：線性分類器算法   考慮一個(gè)兩類的分類問題，數(shù)據(jù)點(diǎn)用 x 來表示，這是一個(gè) n 維向量，w^T中的T代表轉(zhuǎn)置，而類別用 y 來表示，可以取 1 或者 -1 ，分別代表兩個(gè)不同的類。一個(gè)線性分類器的學(xué)習(xí)目標(biāo)就是要在 n 維的數(shù)據(jù)空間中找到一個(gè)分類超平面，其方程可以表示為,線性分類,一個(gè)二維平面(一個(gè)超平面，在二維空間中的

4、例子就是一條直線)，如下圖所示，平面上有兩種不同的點(diǎn)，分別用兩種不同的顏色表示，一種為紅顏色的點(diǎn)，另一種則為藍(lán)顏色的點(diǎn)，紅顏色的線表示一個(gè)可行的超平面。,分類超平面,從上圖中我們可以看出，這條紅顏色的線把紅顏色的點(diǎn)和藍(lán)顏色的點(diǎn)分開來了。而這條紅顏色的線就是超平面，也就是說，這個(gè)超平面把這兩種不同顏色的數(shù)據(jù)點(diǎn)分隔開來，在超平面一邊的數(shù)據(jù)點(diǎn)所對應(yīng)的 y 全是 -1 ，而在另一邊全是 1,分類超平面,應(yīng)用分類函數(shù)顯

5、然，如果 f(x)=0 ，那么 x 是位于超平面上的點(diǎn)。我們不妨要求對于所有滿足 f(x)0 則對應(yīng) y=1 的數(shù)據(jù)點(diǎn)。,應(yīng)用超平面進(jìn)行分類,分類超平面,對于圖示數(shù)據(jù)，無法找到一個(gè)二維超平面進(jìn)行正確分類,非線性可分,線性不可分的高緯解,可以看到兩個(gè)支撐著中間間隔的超平面，它們到中間的純紅線到兩個(gè)分割平面的距離相等，即我們所能得到的最大的幾何距離，而“支撐”這

6、兩個(gè)超平面的必定會有一些點(diǎn)，而這些“支撐”的點(diǎn)便叫做支持向量Support Vector。,支持向量,很顯然，由于這些 supporting vector 剛好在邊界上，所以它們滿足 （Y的取值為1或-1）那么支持向量機(jī)的分類過程，就是找到這些支撐點(diǎn)過程，通過求解WT與B，學(xué)習(xí)建立分類器,支撐點(diǎn),簡而言之：在線性不可分的情況下，支持向量機(jī)通過某種事先選擇的非線性映射(核函數(shù))將輸入