1、本文通過設計情感誘發(fā)實驗，建立了一個基于面部表情和生理信號的雙模態(tài)情感數據庫，并在該數據庫上進行面部表情與生理信號的雙模態(tài)情感識別研究。在此基礎上總結了現有的多類模態(tài)特征提取方法、特征選擇手段以及特征降維方法，采用多種分類算法對雙模態(tài)情感特征進行分類。主要研究內容可以分為以下幾個部分:
　　1.利用BIOPAC MP150生理信號采集儀、Kinect for Windows體感設備等儀器，通過視頻誘發(fā)情感的實驗，采集了一個基于面部

2、表情和生理信號的雙模態(tài)情感數據庫。
　　2.采用主動表觀模型進行人臉圖像定位切割預處理。提取基于稀疏編碼的密集SIFT特征作為面部表情特征。使用生理特征提取工具AuTB提取生理特征。針對特征維度較高的問題，使用多種特征降維方法進行降維和分類方法進行情感識別。
　　3.提出了一種基于稀疏多集典型相關分析的特征層融合方法和一種基于投票的決策層融合方法。其中稀疏多集典型相關分析方法將傳統(tǒng)的典型相關分析方法擴展到多類，通過增加正則項

3、的方式使投影向量稀疏。基于投票的決策層融合方法利用單一模態(tài)實驗中的混淆矩陣計算得到每類情感的分類概率，并將兩種模態(tài)對應的分類概率進行加權得到最終分類結果，該算法簡便、有效并且有著很好的擴展性。在本文建立的雙模態(tài)情感數據庫上進行情感識別實驗，并與其他多種融合方法進行比較，取得了較好的結果。
　　4.針對視頻誘發(fā)情感的實驗中可能存在的性別差異問題進行了大量的實驗探究。對不同性別被試采用單一以及雙模態(tài)情感識別實驗的方法進行實驗。通過對相