1、理解動(dòng)作意圖指的是在觀(guān)察他人動(dòng)作時(shí)，人自發(fā)地領(lǐng)會(huì)動(dòng)作所包含的意圖的一類(lèi)行為，此類(lèi)行為對(duì)語(yǔ)言、心智以及社會(huì)化的發(fā)展均具備重要的意義。如今針對(duì)領(lǐng)會(huì)動(dòng)作意圖的大部分研究采用單模態(tài)的腦成像技術(shù)，在測(cè)量的效果與時(shí)空分辨率上均存在一定的不足。而本研究采用腦電圖（electroencephalography, EEG）和近紅外光譜(near-infraredspectroscopy, NIRS)結(jié)合的雙模態(tài)腦成像技術(shù)，能夠同步測(cè)量大腦活動(dòng)的電位信號(hào)與

2、血氧變化信號(hào)，達(dá)到領(lǐng)會(huì)動(dòng)作意圖神經(jīng)機(jī)制的多信息、多層面的研究。本研究選取了兩類(lèi)手與杯子進(jìn)行接觸的圖片分別表示手拿杯子喝水和移動(dòng)杯子的動(dòng)作意圖，取得了以下研究成果:
　　(1)本文主要研究了EEG信號(hào)的頻域特征、時(shí)頻特征以及共同空間模式(commonspatial pattern，CSP)的分類(lèi)識(shí)別率，并做了比較與分析，研究發(fā)現(xiàn)提取的CSP特征能夠獲得較好的分類(lèi)正確率;從方差、幅值平均絕對(duì)值以及峰值三個(gè)方面，對(duì)動(dòng)作意圖血氧信號(hào)做了分

3、析，發(fā)現(xiàn)兩種動(dòng)作意圖的血氧變化不一致;幅值平均絕對(duì)值特征能較好地區(qū)分兩種動(dòng)作意圖。通過(guò)對(duì)EEG和NIRS的特征研究發(fā)現(xiàn)在左側(cè)腦區(qū)移動(dòng)杯子意圖的激活強(qiáng)于拿杯子喝水意圖，而在右側(cè)腦區(qū)喝水意圖的激活更強(qiáng)，說(shuō)明了動(dòng)作意圖的理解存在偏側(cè)化。
　　(2)為了充分地利用雙模態(tài)信號(hào)，本文構(gòu)建的BCI系統(tǒng)輸出決策之前做了數(shù)據(jù)融合處理。本文的兩類(lèi)信號(hào)來(lái)自于兩種不同類(lèi)型的傳感器，因此本文以研究基于線(xiàn)性判別分析(linear discriminant a

4、nalysis，LDA)的特征層融合為主。首先利用LDA分別對(duì)提取到的EEG信號(hào)以及NIRS信號(hào)的特征做模式分類(lèi)，獲得單模態(tài)的分類(lèi)準(zhǔn)確率;然后利用基于LDA的特征層融合，把兩種類(lèi)型的單模態(tài)特征信息聯(lián)合起來(lái)再做模式分類(lèi)，獲得融合之后的識(shí)別正確率?；贚DA的雙模態(tài)特征層融合BCI系統(tǒng)分類(lèi)正確率均值達(dá)74.4％，均比任意單模態(tài)分類(lèi)正確率高。且因?yàn)椴捎脭?shù)據(jù)融合技術(shù)，致使對(duì)某類(lèi)腦信號(hào)采集技術(shù)反應(yīng)不明顯的被試者，可以在另一種技術(shù)上獲得補(bǔ)充，于是雙

5、模態(tài)獲得的平均分類(lèi)正確率比EEG單模態(tài)提高4.2％，比NIRS單模態(tài)提高19.8％。并且基于LDA的特征層融合將融合和決策同時(shí)進(jìn)行節(jié)約了系統(tǒng)信號(hào)處理的時(shí)間，提高了響應(yīng)速度。
　　(3)本文還提出基于誤差反向傳播算法（error back propagation algorithm，BP）的決策層融合方法:首先利用BP分別對(duì)EEG信號(hào)以及NIRS信號(hào)提取的特征做模式分類(lèi)，然后把兩類(lèi)信號(hào)的輸出結(jié)果串聯(lián)作為BP的輸入變量，即可實(shí)現(xiàn)決策層

6、融合。BP決策層融合的識(shí)別正確率比單模態(tài)的亦有提高，但不及LDA的特征層融合的?？赡芤?yàn)樘卣鲗尤诤峡梢匀菁{較多的信息，提高了系統(tǒng)的可信度，而決策層融合包含的信息或許不及特征層融合豐富。LDA有嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)理論，其參數(shù)能夠在訓(xùn)練中獲取;而B(niǎo)P則更依賴(lài)于數(shù)據(jù)集的先驗(yàn)知識(shí)，以采用適合的參數(shù)。BP是依據(jù)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則，易于收斂得局部最優(yōu)解。采用雙模態(tài)數(shù)據(jù)融合構(gòu)建BCI系統(tǒng)，使得系統(tǒng)的時(shí)間覆蓋能力和空間覆蓋能力得以提高，信息模糊度得以降低，以致