1、西安電子科技大學學位論文獨創(chuàng)性(或創(chuàng)新性)聲明秉承學校嚴謹?shù)膶W風和優(yōu)良的科學道德，本人聲明所呈交的論文是我個人在導師指導下進行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標注和致謝中所羅列的內(nèi)容以外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果；也不包含為獲得西安電子科技大學或其它教育機構(gòu)的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中做了明確的說明并表示了謝意。申請學位論文與資料若有不實之處，

2、本人承擔一切的法律責任。本人簽名：牽劾至日期玉絲：堡!!生西安電子科技大學關于論文使用授權(quán)的說明本人完全了解西安電子科技大學有關保留和使用學位論文的規(guī)定，即：研究生在校攻讀學位期間論文工作的知識產(chǎn)權(quán)單位屬西安電子科技大學。學校有權(quán)保留送交論文的復印件，允許查閱和借閱論文；學?？梢怨颊撐牡娜炕虿糠謨?nèi)容，可以允許采用影印、縮印或其它復制手段保存論文。同時本人保證，畢業(yè)后結(jié)合學位論文研究課題再撰寫的文章一律署名單位為西安電子科技大學。(保

3、密的論文在解密后遵守此規(guī)定)本學位論文屬于保密，在一年解密后適用本授權(quán)書。本人簽名：4至麴壘日期擔l墾!墮：!生導師簽名：車獨遙篁裝日期21絲：!!：!!摘要mlllIIIIIEIIIIIIIIIIIIlllIiilllliilll||1l—Y2067869極速學習算法是最近幾年提出的一種新穎的機器學習算法，最早應用于單隱層前饋神經(jīng)網(wǎng)絡的學習，目前在函數(shù)逼近，時間序列預測，模式識別等方面有成功的應用。以單隱層前饋神經(jīng)網(wǎng)絡為模型，極速學習

4、算法只要求激活函數(shù)可以無窮階的可微，在輸入權(quán)值和隱藏層偏置隨機設置的情況下，網(wǎng)絡的所有參數(shù)就不必迭代的調(diào)整，而是通過求一個最小化誤差二范數(shù)的最d“乘解獲得。因為當隱藏層參數(shù)隨機設置時，輸出層權(quán)值能夠以解析的形式求出解的形式，所以能夠?qū)崿F(xiàn)非常快速的學習，稱為極速學習。該方法具有原理簡單、學習快速、適應性好的特點。雖然極速學習簡單快速，但是該算法并沒有利用到數(shù)據(jù)的判別信息，目前也沒有將判別信息融入極速學習的方法。與此同時，極速學習，其網(wǎng)絡一

5、般采用較大規(guī)模的隱藏層結(jié)構(gòu)，需要優(yōu)化，而壓縮采樣技術(shù)提供了一種有效的數(shù)據(jù)稀疏化方法，將兩種方法結(jié)合起來，也是一個新穎的研究方向。最后，針對實際問題中的在線學習需求，需要將有效的學習模型推廣至在線模式。針對以上問題，本文主要對極速學習算法進行了較為深入的研究，所做工作主要如下：(1)提出利用判別信息的極速學習算法。這里采用了兩種方式來使用判別信息。第一種方式采用了構(gòu)建正則化項的方法，在構(gòu)建正則化項的時候，同時嵌入了數(shù)據(jù)的判別信息和結(jié)構(gòu)信息

6、；第二種方式采用了線性判別分析對極速學習網(wǎng)絡的隱藏層進行特征提取和降維，充分利用了隱藏層所包含的判別信息。兩種方式都提高了極速學習算法的效果。(2)利用壓縮采樣技術(shù)優(yōu)化極速學習的網(wǎng)絡結(jié)構(gòu)。壓縮采樣技術(shù)的優(yōu)點在于只需要很低的采樣率就能高效的還原數(shù)據(jù)。基于此，將極速學習網(wǎng)絡的參數(shù)進行壓縮采樣就能實現(xiàn)網(wǎng)絡結(jié)構(gòu)的優(yōu)化。這種結(jié)構(gòu)優(yōu)化方法不僅可以降低網(wǎng)絡的復雜度，而且有可能帶來更好的推廣能力。此外，還利用壓縮采樣技術(shù)類似的讓極速學習網(wǎng)絡實現(xiàn)對數(shù)據(jù)的

7、特征選擇。(3)在線極速脊波核函數(shù)網(wǎng)絡研究。這里提出了兩種在線極速學習算法。這里，首先利用脊波核函數(shù)構(gòu)建極速學習網(wǎng)絡。第一種方式利用核在線最小二乘方法進行在線學習，利用核方法改進了在線極速學習方法；第二種方式是在線性判別分析的基礎上，利用滑窗技術(shù)對隱藏層進行實時更新，由于不斷融入數(shù)據(jù)的判別信息，實現(xiàn)了一種新的在線極速學習方法。本文的工作得到了國家自然科學基金(61072108，60601029，60971112，61173090)，教育