1、三維頭部姿態(tài)跟蹤(3D head pose tracking)是計(jì)算機(jī)視覺(jué)和人機(jī)交互領(lǐng)域中的重要問(wèn)題，也是近年來(lái)越來(lái)越引起重視的研究方向，其主要目的是通過(guò)對(duì)輸入圖像序列的分析確定頭部在三維空間中的姿態(tài)參數(shù)。三維頭部姿態(tài)跟蹤技術(shù)在人機(jī)交互、智能監(jiān)控、視頻壓縮編碼、人臉識(shí)別、表情識(shí)別、疲勞檢測(cè)、基于身體控制的游戲和娛樂(lè)等領(lǐng)域有廣泛的應(yīng)用前景。
　　 目前常用的頭部姿態(tài)估計(jì)方法可以分成兩大類(lèi)：基于統(tǒng)計(jì)學(xué)習(xí)的方法和基于注冊(cè)跟蹤的方法?；?/p>

2、于統(tǒng)計(jì)學(xué)習(xí)的方法假設(shè)頭部姿態(tài)參數(shù)和人臉的某些特征之間存在一定的對(duì)應(yīng)關(guān)系，并通過(guò)對(duì)大量具有不同姿態(tài)的樣本圖像進(jìn)行訓(xùn)練來(lái)確定這種關(guān)系。此類(lèi)方法容易受到特征定義的影響，并且往往要對(duì)姿態(tài)參數(shù)進(jìn)行插值操作，因此結(jié)果不夠精確?；谧?cè)跟蹤的方法通常假設(shè)頭部為剛性物體，通過(guò)幀與幀之間的特征點(diǎn)跟蹤計(jì)算姿態(tài)參數(shù)。所選擇的特征在不同的實(shí)現(xiàn)中有很大的差異。一種方法是選擇嘴角、鼻尖和眼角等顯著特征點(diǎn)進(jìn)行跟蹤，當(dāng)所選的特征點(diǎn)被遮擋時(shí)會(huì)影響跟蹤結(jié)果。另一種方法是在

3、跟蹤過(guò)程中動(dòng)態(tài)選擇特征點(diǎn)，當(dāng)一些特征點(diǎn)丟失后自動(dòng)進(jìn)行補(bǔ)充，此類(lèi)方法有更魯棒的表現(xiàn)?？傮w來(lái)說(shuō)，基于注冊(cè)跟蹤的方法易于實(shí)現(xiàn)，同時(shí)具有較高的跟蹤精度。
　　 已有的頭部姿態(tài)跟蹤算法大都假設(shè)被跟蹤對(duì)象沒(méi)有身體運(yùn)動(dòng)或者很小的身體運(yùn)動(dòng)，如用戶(hù)坐在椅子上的情況。人們?cè)谌粘Ｉ钪泻芏鄷r(shí)候都是通過(guò)頭部姿態(tài)來(lái)表達(dá)自己的注意力方向、態(tài)度和心理感受的，而在這些活動(dòng)中，人們可能是坐在固定位置，也有可能是在身體運(yùn)動(dòng)過(guò)程中的。這里我們定義身體運(yùn)動(dòng)情況下的頭部

4、姿態(tài)跟蹤為大范圍頭部姿態(tài)跟蹤。相對(duì)于傳統(tǒng)的小范圍頭部姿態(tài)跟蹤技術(shù)，大范圍頭部姿態(tài)跟蹤技術(shù)可以更方便的應(yīng)用在人機(jī)交互、智能監(jiān)控和行為識(shí)別等多個(gè)領(lǐng)域。
　　 本文選用基于注冊(cè)的方法來(lái)解決大范圍頭部姿態(tài)跟蹤問(wèn)題，但是當(dāng)人體大范圍運(yùn)動(dòng)時(shí)，過(guò)大的姿態(tài)參數(shù)變化會(huì)降低注冊(cè)算法的精度，逐幀跟蹤的方法在長(zhǎng)時(shí)間跟蹤后會(huì)導(dǎo)致一定的誤差累計(jì)，并且為了進(jìn)行三維姿態(tài)參數(shù)計(jì)算，還需要提供對(duì)應(yīng)頭部特征點(diǎn)的深度信息。因此，本文提出基于局部特征描述符的注冊(cè)算法和視

5、角表觀模型相結(jié)合的跟蹤方法，該方法將整個(gè)姿態(tài)跟蹤過(guò)程分為三個(gè)主要部分：一是獲取視頻信息和對(duì)應(yīng)的深度信息，深度信息既可以使用立體攝像機(jī)獲得也可以通過(guò)立體匹配技術(shù)獲得；二是通過(guò)基于局部描述符的注冊(cè)算法計(jì)算兩幀之間的姿態(tài)參數(shù)變化；三是使用外觀模型消除跟蹤過(guò)程中的誤差累計(jì)。與以前的工作相比，本文主要有以下幾個(gè)方面的貢獻(xiàn)：
　　 1.提出一種基于尺度不變特征變換(Scale-Invariant Feature Transform，以下簡(jiǎn)稱(chēng)

6、SIFT)描述符的注冊(cè)算法。首先在兩幀灰度圖像中找到匹配的SIFT特征點(diǎn)，然后通過(guò)立體攝像機(jī)或者立體匹配技術(shù)獲得這些匹配點(diǎn)的深度信息，為了克服錯(cuò)誤匹配點(diǎn)的影響，最后使用基于隨機(jī)抽樣一致性(RANSAC)的運(yùn)動(dòng)估計(jì)方法來(lái)計(jì)算頭部運(yùn)動(dòng)?；赟IFT特征匹配的注冊(cè)算法具有較高的跟蹤精度，當(dāng)兩幀圖像間發(fā)生一定尺度變化時(shí)仍然可以完成跟蹤，是一種適合大范圍頭部姿態(tài)跟蹤的注冊(cè)算法。該算法是第一個(gè)針對(duì)大范圍頭部姿態(tài)跟蹤提出的注冊(cè)算法，在領(lǐng)域內(nèi)產(chǎn)生了一定

7、的影響，我們發(fā)表的介紹該算法的文章已被多個(gè)國(guó)際同行引用。
　　 2.提出一種緊湊的特征描述符KPB-SIFT(Kernel Proiection Based SIFT，以下簡(jiǎn)稱(chēng)KPB-SIFT)。首先使用SIFT檢測(cè)算法計(jì)算特征點(diǎn)的位置、尺度和主方向，然后通過(guò)對(duì)特征點(diǎn)鄰域內(nèi)的有向梯度信息進(jìn)行核映射的方式獲得低維描述符。與SIFT相比，KPB-SIFT可顯著提高描述符的匹配速度，并且具有較強(qiáng)的區(qū)分度，在發(fā)生光照變化和幾何形變等情況

8、下都有魯棒的表現(xiàn)。
　　 3.提出一種視角表觀模型。該模型通過(guò)多次注冊(cè)的方法消除逐幀跟蹤時(shí)的誤差累計(jì)，其原理就是當(dāng)前幀除了和它的前一幀進(jìn)行注冊(cè)外，還可以和一兩個(gè)關(guān)鍵幀進(jìn)行多次注冊(cè)以減少誤差累積。具體來(lái)說(shuō)，就是從輸入序列中選擇一些關(guān)鍵幀組成描述頭部的表觀模型，每個(gè)關(guān)鍵幀都被附加上對(duì)應(yīng)的姿態(tài)參數(shù)，除此外還對(duì)每個(gè)關(guān)鍵幀精確提取頭部區(qū)域作為頭部視角，當(dāng)被跟蹤對(duì)象大范圍運(yùn)動(dòng)時(shí)，只要當(dāng)前幀的頭部視角與模型中的關(guān)鍵幀頭部視角接近時(shí)，當(dāng)前幀就與

9、關(guān)鍵幀進(jìn)行注冊(cè)。多次注冊(cè)的結(jié)果通過(guò)卡爾曼濾波器(Kalman filter)進(jìn)行平滑已獲得最終的姿態(tài)參數(shù)。視角表觀模型不僅可以減少跟蹤過(guò)程中的誤差累計(jì)，在頭部進(jìn)出攝像機(jī)視角、頭部離攝像機(jī)較遠(yuǎn)等情況下，視角表觀模型還可以用來(lái)快速恢復(fù)頭部姿態(tài)參數(shù)。
　　 4.提出一種適合稠密立體匹配的快速局部特征描述符(Speeded-Up LocalDescriptor，以下簡(jiǎn)稱(chēng)SULD)，用來(lái)作為立體匹配過(guò)程中的對(duì)應(yīng)點(diǎn)查找方法。為了生成局部描述

10、符，首先使用哈爾(Haar)函數(shù)對(duì)圖像進(jìn)行濾波，其次對(duì)濾波響應(yīng)圖進(jìn)行多次高斯平滑，然后計(jì)算采樣點(diǎn)并獲得采樣向量，最后對(duì)采樣向量進(jìn)行歸一化并生成描述符。通過(guò)使用Haar函數(shù)響應(yīng)信息和緊湊的描述符形式，SULD方法在描述符生成階段和匹配階段都可以快速的進(jìn)行計(jì)算。使用SULD描述符作為相似度評(píng)價(jià)方法，可以解決人臉等弱紋理圖像的立體匹配問(wèn)題，進(jìn)而生成對(duì)應(yīng)的深度信息，為基于單目攝像機(jī)的頭部姿態(tài)跟蹤提供深度約束。頭部深度信息還可以在人機(jī)交互、表情識(shí)

11、別、游戲和娛樂(lè)等領(lǐng)域得到廣泛的應(yīng)用。
　　 在整個(gè)研究過(guò)程中，還實(shí)現(xiàn)了一個(gè)集視頻采集、深度獲取、姿態(tài)計(jì)算和結(jié)果評(píng)測(cè)與一體的頭部姿態(tài)跟蹤原型系統(tǒng)-HPObserver。HPObserver為驗(yàn)證各關(guān)鍵技術(shù)和后續(xù)研究工作提供了一個(gè)完整方便的測(cè)試平臺(tái)。
　　 使用多組頭部運(yùn)動(dòng)序列進(jìn)行的實(shí)驗(yàn)表明，提出的方法能完成對(duì)頭部運(yùn)動(dòng)的跟蹤，即使在人體大范圍運(yùn)動(dòng)、頭部進(jìn)出攝像機(jī)視角、人臉部分遮擋、臉部表情明顯變化等情況下都能魯棒的完成跟蹤。