1、情感識別在人們的社會交往過程中具有重要作用。人機交互領(lǐng)域的情感識別研究目標是使計算機在接收到人類的情感信號后能獲取人的情感信息，準確的識別情感狀態(tài)。最初人們對情感識別的研究，主要集中在單一情感特征識別方面。隨著研究的不斷深入，人們認識到來自不同渠道的人類情感特征之間具有一定的互補性，充分利用不同渠道特征之間的相關(guān)性可以更好地進行情感識別。于是基于多模態(tài)特征的情感識別研究成為一個研究熱點。而人們的情感主要通過語音、表情和肢體動作等方面來表

2、達，其中語音信息和表情信息被認為是人類情感的兩個主要指標。因此，本文首先提出基于分數(shù)階傅里葉域人臉表情特征與語音特征融合的情感識別方法。其次，針對傳統(tǒng)的非線性特征融合算法的不足，提出一種新的特征融合算法——廣義監(jiān)督局部保持典型相關(guān)分析算法(GSLPCCA)。該算法有效提高了雙模態(tài)情感識別系統(tǒng)的識別率。本文的主要研究工作如下:
　　1.介紹了信息融合的相關(guān)知識，以及一維分數(shù)階傅里葉變換的定義、性質(zhì)及其離散算法，對二維離散分數(shù)階傅里葉

3、變換的定義和性質(zhì)作了說明。并且重點研究了多模態(tài)情感識別方法中信息融合層次以及融合策略。
　　2.提出基于分數(shù)階傅里葉域人臉表情特征與語音特征融合的情感識別方法。考慮到表情特征與語音特征的非線性特征融合問題，提出采用核典型相關(guān)分析算法作為情感識別方法的特征融合算法。通過仿真實驗，驗證了該情感識別方法的有效性。
　　3.提出一種新的特征融合算法——廣義監(jiān)督局部保持典型相關(guān)分析算法，并將其應(yīng)用到了雙模態(tài)情感識別方法中。在特征融合時