1、概率圖模型(Graphical Model，Probabilistic Graphical Model)是一種結(jié)合概率論和圖論，通過(guò)表示局部直接關(guān)聯(lián)的條件概率刻畫系統(tǒng)的有效工具，以其直觀易懂的特點(diǎn)在數(shù)據(jù)處理中被廣泛使用。然而隨著概率節(jié)點(diǎn)的增多，系統(tǒng)的總體分析變得困難，推理通常也比較復(fù)雜。本文在正則化框架下，以凸分析為研究工具，研究監(jiān)督、半監(jiān)督和非監(jiān)督情形下的概率圖模型，形式化的目標(biāo)函數(shù)簡(jiǎn)單，從而能夠?qū)С龈咝У耐评硭惴?并且監(jiān)督、半監(jiān)督以

2、及非監(jiān)督之間的關(guān)系自然演進(jìn)，能夠統(tǒng)一在本文提供的正則化框架下;此外，設(shè)計(jì)在線算法求解正則化優(yōu)化問題，能很好地平衡概率圖模型的推理計(jì)算開銷和泛化性能。
　　本研究主要內(nèi)容包括：⑴研究多分類學(xué)習(xí)，設(shè)計(jì)的貝葉斯分類器的核心節(jié)點(diǎn)為輸入樣本特征賦予概率，標(biāo)簽和特征通過(guò)該概率賦值建立聯(lián)系。基于對(duì)最大對(duì)數(shù)似然邏輯建立的優(yōu)化問題進(jìn)行分析，我們?cè)O(shè)計(jì)了計(jì)算開銷極小的學(xué)習(xí)和預(yù)測(cè)方法，實(shí)驗(yàn)還證明該貝葉斯分類器在預(yù)測(cè)準(zhǔn)確性和泛化性上都優(yōu)于傳統(tǒng)的多分類方法。

3、我們的貝葉斯分類器兼具簡(jiǎn)單易懂、計(jì)算復(fù)雜性小、預(yù)測(cè)準(zhǔn)確等優(yōu)點(diǎn)。⑵設(shè)計(jì)了兩個(gè)處理方法。第一個(gè)利用監(jiān)督學(xué)習(xí)中貝葉斯分類器使用在線算法進(jìn)行學(xué)習(xí)，且具有較快收斂速度和較好泛化性能的優(yōu)點(diǎn)，讓貝葉斯分類器為無(wú)標(biāo)簽數(shù)據(jù)預(yù)測(cè)類型標(biāo)簽，并將預(yù)測(cè)的類型標(biāo)簽和無(wú)標(biāo)簽數(shù)據(jù)組合在一起，用于訓(xùn)練。該方法是一個(gè)典型的探索-利用(Exploration-Exploitation)過(guò)程。第二個(gè)通過(guò)對(duì)貝葉斯分類器目標(biāo)函數(shù)的分析，將之對(duì)應(yīng)上以LogSumExp為目標(biāo)函數(shù)的帶

4、約束優(yōu)化問題，約束部分與類型標(biāo)簽有關(guān)，從而導(dǎo)出用LogSumExp處理無(wú)標(biāo)簽數(shù)據(jù)的基本框架，用于度量參數(shù)與特征數(shù)據(jù)結(jié)合的一致性。我們導(dǎo)出的這個(gè)框架能夠覆蓋k平均(k-means)方法，區(qū)別在于我們的模型基于乘積連接模型參數(shù)和無(wú)標(biāo)簽數(shù)據(jù)，而經(jīng)典k-means使用L2距離。雖然我們?cè)诎氡O(jiān)督學(xué)習(xí)中導(dǎo)出LogSumExp，但是需要說(shuō)明的是該方法也可以用于非監(jiān)督學(xué)習(xí)。⑶貝葉斯分類器處理標(biāo)記數(shù)據(jù)的目標(biāo)函數(shù)進(jìn)行分析，導(dǎo)出了其具有定義Fenchel共軛

5、函數(shù)使用的優(yōu)化問題目標(biāo)函數(shù)的形式;通過(guò)對(duì)約束優(yōu)化問題和Fenchel共軛定義的關(guān)聯(lián)，提取約束優(yōu)化問題目標(biāo)函數(shù)部分LogSumExp，將此作為處理非監(jiān)督數(shù)據(jù)的框架。LogSumExp的導(dǎo)數(shù)為模型各個(gè)類型賦予不同的權(quán)重，以實(shí)現(xiàn)無(wú)類型標(biāo)記時(shí)對(duì)學(xué)習(xí)的引導(dǎo)。⑷將凸分析的對(duì)偶原理用于正則優(yōu)化問題導(dǎo)出歸約原理。歸約原理將只含有一個(gè)優(yōu)化元的正則化優(yōu)化問題等價(jià)于包含多個(gè)變?cè)膶?duì)偶問題，并且建立兩個(gè)問題優(yōu)化元間的關(guān)系式?；跉w約原理，我們認(rèn)識(shí)到模型中與序列

6、有關(guān)的變?cè)獙?duì)應(yīng)著只含一個(gè)參數(shù)優(yōu)化問題的梯度，從而與大量序列變?cè)嘘P(guān)的優(yōu)化問題變成少量變?cè)膬?yōu)化問題。歸約原理是建立概率圖模型正則優(yōu)化問題視圖的基礎(chǔ)，它也導(dǎo)出了任務(wù)“定義正則優(yōu)化問題，以使得數(shù)據(jù)項(xiàng)梯度與給定概率圖模型一致”。⑸共軛函數(shù)定義對(duì)應(yīng)一個(gè)優(yōu)化問題，我們建立從共軛函數(shù)輸入（對(duì)應(yīng)優(yōu)化問題參數(shù)）到優(yōu)化問題解的映射?；贔enchel不等式和共軛雙射性，在函數(shù)嚴(yán)格凸時(shí)，我們得到從優(yōu)化問題參數(shù)到優(yōu)化問題極值的雙射視圖，在其中發(fā)揮作用的是原函

7、數(shù)和共軛函數(shù)的梯度。因?yàn)樘荻仍陉P(guān)聯(lián)參數(shù)和極值的重要作用，我們將這個(gè)性質(zhì)稱為梯度對(duì)偶原理。梯度對(duì)偶是我們定義正則優(yōu)化問題正則項(xiàng)的理論基礎(chǔ)。⑹概率空間及其對(duì)偶空間。概率單純形是概率圖中的重要部件，在正則優(yōu)化處理中需要處理參數(shù)和梯度（互為梯度對(duì)偶關(guān)系）的變換。通過(guò)對(duì)函數(shù)定義域結(jié)構(gòu)的分析，使不能直接使用的梯度對(duì)偶原理在共軛函數(shù)和LogSumExp上成立，并將這兩個(gè)共軛函數(shù)作為度量建立概率空間及其對(duì)偶空間。此外，我