1、核方法是新近發(fā)展起來的一種模式識別方法，它的理論基礎(chǔ)來自于統(tǒng)計學(xué)習(xí)理論。統(tǒng)計學(xué)在解決模式識別問題中發(fā)揮了基礎(chǔ)的作用，但是傳統(tǒng)的統(tǒng)計學(xué)所取得的成果大多建立在漸近理論之上，即樣本觀測數(shù)量趨于無窮多的時候的統(tǒng)計性質(zhì)。這個條件在現(xiàn)實(shí)中是比較苛刻的，也是難以滿足的。雖然如此，傳統(tǒng)上仍然以樣本觀測數(shù)目無窮多為前提來推演各種算法，這不能不說是一個缺陷，它也是造成神經(jīng)網(wǎng)絡(luò)等算法中的過學(xué)習(xí)問題的原因之一。 相比之下，統(tǒng)計學(xué)習(xí)理論的出發(fā)點(diǎn)就是研究有

2、限樣本觀測情形下的模式識別問題，經(jīng)過幾十年的發(fā)展，它已經(jīng)具備完備的理論基礎(chǔ)和嚴(yán)格的理論體系。統(tǒng)計學(xué)習(xí)理論已經(jīng)成為機(jī)器學(xué)習(xí)的一個重要的研究方向。 本文主要討論模式分類與聚類中的核方法，以及其它相關(guān)的理論和應(yīng)用的關(guān)鍵問題。初步取得的研究成果和創(chuàng)新有： 第一，經(jīng)典的核函數(shù)作用在歐氏空間的向量上，作者從空間旋轉(zhuǎn)的角度，提出了把核函數(shù)的作用域擴(kuò)展到向量集合之上的方法，使之能夠勝任需要表示和處理更復(fù)雜的數(shù)據(jù)對象的機(jī)器學(xué)習(xí)任務(wù)。與類似

3、的工作相比，它不需要預(yù)先假定數(shù)據(jù)服從某個概率分布，也不需要利用數(shù)值方法計算復(fù)雜的積分。在人臉識別的實(shí)驗(yàn)中，本方法比類似的工作達(dá)到了更低的誤識率。 第二，Eigenface和Fisherface是兩種常用的人臉識別算法，它們本質(zhì)上是線性的，且著重發(fā)掘和利用映像空間的全局結(jié)構(gòu)。對于非線性結(jié)構(gòu)，它們無能為力。本文討論了局部空間結(jié)構(gòu)對人臉識別的意義，我們認(rèn)為局部空間結(jié)構(gòu)可以用線性或近似線性的方法學(xué)習(xí)和表示，并且可以通過對局部結(jié)構(gòu)的逐段線

4、性化，來學(xué)習(xí)和表示全局的非線性結(jié)構(gòu)。結(jié)合LLE算法，提出了利用逐段線性化學(xué)習(xí)和表示局部結(jié)構(gòu)的核方法。在人臉識別的實(shí)驗(yàn)中，它比Eigenface和Fisherface表現(xiàn)出更好的識別能力。 第三，LPP算法是一種數(shù)據(jù)降維和數(shù)據(jù)可視化方法，它是基于譜圖理論的。由于譜圖理論與微分流形具有密切的關(guān)系，且對于流形來說，測地線距離比歐氏距離更能準(zhǔn)確揭示數(shù)據(jù)間的相似性，將LPP算法推廣到利用測地線距離進(jìn)行數(shù)據(jù)降維，并把這一方法擴(kuò)展到核函數(shù)特征

5、空間。在多個降維后的人臉識別實(shí)驗(yàn)中，它比LPP算法取得了更好的性能。 第四，盡管有眾多的核函數(shù)可供利用，但是如何為特定的機(jī)器學(xué)習(xí)任務(wù)選擇合適的核函數(shù)，是核方法的理論研究中一個具有挑戰(zhàn)性和開放性問題。從流形學(xué)習(xí)和保形映射的角度，利用核函數(shù)特征空間中的流形學(xué)習(xí)算法，提出了一種試探性解決方法。與作者類似的工作是針對某一個核函數(shù)進(jìn)行調(diào)整和選擇來提高分類性能，而這里則從整體的角度對核函數(shù)進(jìn)行選擇。 第五，隨著以科學(xué)研究為目的的合作