1、概率密度估計(jì)是統(tǒng)計(jì)學(xué)習(xí)中的一個核心問題，知曉了密度函數(shù)就可以解決幾乎所有統(tǒng)計(jì)學(xué)中的問題。因而，在解決學(xué)習(xí)問題的傳統(tǒng)模式中，模式識別和回歸估計(jì)都是建立在密度估計(jì)問題的基礎(chǔ)之上。概率密度估計(jì)無論在理論研究中還是在實(shí)際應(yīng)用中都有重要的意義。 統(tǒng)計(jì)學(xué)習(xí)理論是針對小樣本數(shù)據(jù)而提出的一套理論，是傳統(tǒng)統(tǒng)計(jì)學(xué)的重要補(bǔ)充和發(fā)展，在統(tǒng)計(jì)學(xué)習(xí)理論上發(fā)展起來的支持向量機(jī)(Support VectorMachines，通常簡寫為SVM)是由Vapnik及

2、其研究小組于1995年提出的一類新型機(jī)器學(xué)習(xí)方法，它一改傳統(tǒng)方法的經(jīng)驗(yàn)風(fēng)險最小原則，提出了結(jié)構(gòu)風(fēng)險最小的原則。這就使其能夠達(dá)到更好的泛化能力，能更好的解決小樣本、非線性、高維數(shù)和局部極小值等實(shí)際問題。由于結(jié)構(gòu)風(fēng)險最小原則出色的性能，因而成為機(jī)器學(xué)習(xí)理論的熱點(diǎn)。SVM在很多領(lǐng)域都得到了成功的應(yīng)用如模式識別、回歸估計(jì)、函數(shù)逼近等。 本文首先介紹了支持向量機(jī)的理論基礎(chǔ)一統(tǒng)計(jì)學(xué)習(xí)理論，并以支持向量機(jī)理論為基礎(chǔ)介紹了其在分類問題、回歸問題