1、隨著計算機科學(xué)的不斷發(fā)展，以及對個性化人機交互需求的不斷增強，情感計算在人機交互中的重要性日益顯著，基于情感理解與表達的人機交互研究受到了各領(lǐng)域的廣泛關(guān)注。情感識別及理解作為情感計算的基礎(chǔ)，是使計算機擁有情感感知能力的重要研究內(nèi)容。而面部表情和肢體行為作為人類表達情感的兩種主要方式，也就成為了情感識別研究的重要手段。因此，本文基于對面部表情及肢體行為的分析，對情感識別理解中的特征表示、分類方法及多模態(tài)融合等問題進行了深入的研究，并完成了

2、如下幾個方面的內(nèi)容及創(chuàng)新工作：
　　1．對基于面部表情的情感識別進行了深入的研究，提出了基于改進決策森林的表情識別方法。通過對人的面部表情進行分析，獲得了對表情辨別中變化顯著的多個面部區(qū)域，并基于該分析結(jié)果提出了一個基于決策森林的表情分類模型——隱馬爾可夫決策森林模型（Hidden Markov Model Decision Forest,HMMDF）。該模型以決策樹作為其基本拓撲結(jié)構(gòu)。模型中每個節(jié)點被定義為一個具有可分辨性的強分

3、類器,并利用多個隱馬爾可夫鏈的組合進行構(gòu)造,從而實現(xiàn)對表情的視頻數(shù)據(jù)的分析識別。其中，每個隱馬爾可夫鏈描述了唯一的面部區(qū)域，且針對不同的面部區(qū)域，其在模型中的作用價值通過權(quán)重的形式加以表示。由此，面部區(qū)域在表情識別中所表現(xiàn)出的差異性將在模型中得到充分的發(fā)揮，從而實現(xiàn)了對多個面部區(qū)域特征的融合。實驗驗證了面部區(qū)域?qū)Σ煌砬榉直婺芰Φ牟町愋蕴攸c，并通過實驗對其進行了量化。實驗結(jié)果表明，所提出的表情識別模型HMMDF在動態(tài)表情識別中能夠取得較

4、好的識別效果。
　　2．對基于肢體行為的情感識別進行了研究，分析了交互行為中的情感交流，并針對交互行為特征描述問題，提出了與情感相關(guān)的交互行為的特征表示方法?；诮换バ袨榈闹w運動特點，提出了兩層特征表示模型。該模型不僅描述了行為過程中的運動特征，還融合了交互行為過程中的上下文信息。在該特征表示模型中,低層表示采用了局部時空軌跡的編碼方法，并提出了層次時空軌跡編碼模型對特征進行學(xué)習(xí)，從而實現(xiàn)了對運動特征的表示。此外，基于對交互行為

5、中的時空關(guān)系特點的分析，還提出了交互行為的上下文信息的描述方法。該方法從行為序列中提取了蘊含交互行為中時空上下文信息的局部交互姿態(tài)輪廓，并以此作為交互上下文特征引入到低層表示中。模型的高層表示則基于對局部特征的編碼，提出了基于時空序列特性的聚類方法，從行為的整體性角度進一步描述行為特征。
　　3．基于以上研究,對人臉表情及肢體動作所表達情感的理解及意圖的識別進行了深入探討，提出了基于面部表情和肢體行為的多模態(tài)融合模型，解決了相似交

6、互行為在不同環(huán)境中的情感理解及意圖識別問題。該模型基于多層隱馬爾可夫鏈實現(xiàn)，將交互者的表情分別作為彼此情感意圖表達的上下文信息，并融合了交互中雙方的行為姿態(tài)的變化。模型中不僅通過隱馬爾可夫鏈定義了每種模態(tài)的行為狀態(tài)轉(zhuǎn)換關(guān)系，還描述了不同模態(tài)之間狀態(tài)的相互聯(lián)系，因此能夠更有效地分辨相似的交互行為，進而實現(xiàn)了對情感的理解及意圖的識別。
　　4．提出并構(gòu)建了基于多模態(tài)情感表達的行為數(shù)據(jù)集。為了對以上基于面部表情與肢體行為融合的情感意圖識

7、別方法進行驗證，提出并建立了多模態(tài)的情感數(shù)據(jù)集。該數(shù)據(jù)集包含了來自32部電影的283個視頻片段，共表達了4類情感意圖，分別為慶祝、問候、安慰和感謝。此外，還對該數(shù)據(jù)集中所包含的面部表情類型、視頻片段中行為的相關(guān)特性等進行了標注。
　　綜上所述，本文分別基于多種模態(tài)對情感識別中的特征表示、分類算法進行了深入的研究，并基于以上工作采用了多模態(tài)融合的方法對交互行為中復(fù)雜情感加以理解，進而實現(xiàn)了更深層的情感意圖的識別。以上研究使計算機在具