1、<p>　　A Thesis Submitted in Partial Fulfillment of the Requirement for the</p><p>　　Degree of Master of Engineering</p><p>　　Face Recognition Research Based on Decision</p><p>

2、　　Fusion and Distance Metric Learning</p><p>　　Candidate : Jiao Yizheng</p><p><b>　　Major</b></p><p>　　: Communication & Information System</p><p>　　Sup

3、ervisor : Associate Prof. Feng Bin</p><p>　　Huazhong University of Science and Technology</p><p>　　Wuhan 430074, P. R. China</p><p>　　January, 2012</p><p><b>　　獨創(chuàng)

4、性聲明</b></p><p>　　本人聲明所呈交的學(xué)位論文是我個人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研</p><p>　　究成果。盡我所知，除文中已經(jīng)標(biāo)明引用的內(nèi)容外，本論文不包含任何其他個人或</p><p>　　集體已經(jīng)發(fā)表或撰寫過的研究成果。對本文的研究做出貢獻的個人和集體，均已在</p><p>　　文中以明確方式標(biāo)明

5、。本人完全意識到，本聲明的法律結(jié)果由本人承擔(dān)。</p><p><b>　　學(xué)位論文作者簽名：</b></p><p><b>　　日期：</b></p><p><b>　　年</b></p><p><b>　　月</b></p><

6、;p><b>　　日</b></p><p>　　學(xué)位論文版權(quán)使用授權(quán)書</p><p>　　本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán)</p><p>　　保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。</p><p>　　本人授權(quán)華中科技大學(xué)可以將本學(xué)位論文

7、的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢</p><p>　　索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。</p><p><b>　　本論文屬于</b></p><p>　　保密□ ，在_____年解密后適用本授權(quán)書。</p><p><b>　　不保密□。</b></p>

8、<p>　?。ㄕ堅谝陨戏娇騼?nèi)打“√”）</p><p><b>　　學(xué)位論文作者簽名：</b></p><p><b>　　指導(dǎo)教師簽名：</b></p><p><b>　　日期：</b></p><p><b>　　年</b></p

9、><p><b>　　月</b></p><p><b>　　日</b></p><p><b>　　日期：</b></p><p><b>　　年</b></p><p><b>　　月</b></p>

10、;<p><b>　　日</b></p><p><b>　　摘</b></p><p><b>　　要</b></p><p>　　自動人臉識別具有重要的理論研究意義和實用價值，自上世紀(jì) 60 年代以來，人</p><p>　　臉識別相關(guān)的各種技術(shù)得到長足的發(fā)展

11、。在受控條件下的人臉識別算法已經(jīng)能取得</p><p>　　很好的性能，并且出現(xiàn)很多實用系統(tǒng)。然而在非受控條件下，這些人臉識別算法還</p><p>　　不能達到實用的需求。本文致力于在無約束條件下設(shè)計魯棒性好的人臉識別算法，</p><p>　　并通過在 LFW 人臉庫下的測試驗證了算法性能。本文的工作成果主要分為以下幾個</p><p>

12、<b>　　部分：</b></p><p>　　（1）本文提出了基于決策融合的人臉識別算法框架。由于在無約束場景下，人</p><p>　　臉受姿態(tài)、光照、遮擋和表情等各方面因素的影響，變化非常復(fù)雜。在這種情況下，</p><p>　　如果僅僅使用某一種人臉特征難以取得很好的識別效果。在本文提出的框架中，可</p><p&g

13、t;　　以使用多種人臉特征。這些特征可以相互補充，構(gòu)成對人臉的完整表達，從而改善</p><p>　　人臉識別算法的性能。如何有效的利用這些特征是本文考慮的關(guān)鍵。本文提出基于</p><p>　　分類器相關(guān)性的分類器集成方法，按照分類器相關(guān)性的定義，將相關(guān)性小、信息互</p><p>　　補的分類器組合在一起構(gòu)成一個強分類器提升分類的性能。</p>&

14、lt;p>　　（2）本文使用距離學(xué)習(xí)算法來取代普通的歐式距離。通過距離學(xué)習(xí)后，相同身</p><p>　　份的人臉圖像之間的距離被減小，而不同身份的人臉圖像的距離被增大。因此，學(xué)</p><p>　　習(xí)后的距離比歐式距離更具有針對性，能更好的區(qū)分復(fù)雜變化的人臉圖像。</p><p>　?。?）為了進一步提升識別算法的性能，本文考慮了姿態(tài)的變化對算法性能的影&l

15、t;/p><p>　　響。為了處理姿態(tài)的變化，本文采用“分為治之，各個擊破”的算法策略來減小姿</p><p>　　態(tài)的干擾。文中利用姿態(tài)估計算法將人臉圖像的按照不同的姿態(tài)分開，對每種姿態(tài)</p><p>　　組合單獨訓(xùn)練和測試，使得每個分類器只針對某一種姿態(tài)組合，從而提高分類器的</p><p><b>　　性能。</b>

16、</p><p>　　本文在 LFW 人臉庫上根據(jù)規(guī)定的測試協(xié)議進行了實驗。實驗證明，基于決策融</p><p>　　合的人臉識別方法優(yōu)于特征融合的方法。同時，距離學(xué)習(xí)算法和姿態(tài)分類都改進了</p><p>　　人臉識別算法的性能。通過分析，本文得出在人臉識別問題上應(yīng)該針對性地使用與</p><p>　　樣本有關(guān)的統(tǒng)計距離；此外，對于不同的姿

17、態(tài)人臉也應(yīng)該使用不同特征進行描述。</p><p>　　關(guān)鍵詞：人臉識別；人臉特征；距離學(xué)習(xí)；決策融合；姿態(tài)估計</p><p><b>　　I</b></p><p><b>　　Abstract</b></p><p>　　The study on Automatic Face Recognit

18、ion (AFR) has both significant research value</p><p>　　and bright prospect of application. Since 1960s, in the filed of constrained AFR, great</p><p>　　progresses have been made continuously and

19、 many practical applications have also</p><p>　　emerged. However, in the filed of unconstrained AFR, popular algorithms which are</p><p>　　effective under constrained condition cannot achieve th

20、e same performance. Therefore,</p><p>　　how to design robust face recognition algorithm under unconstrained condition is a new</p><p>　　challenge in computer vision world .This work is dedicated

21、 to make some contributions to</p><p>　　solve this problem. The main contributions of this work are listed as follows:</p><p>　　(1) A decision fusion based face recognition algorithm framework i

22、s proposed. Due</p><p>　　to the great variations of face pose, illumination, occlusion and face expression in</p><p>　　unconstrained scenario, it is impractical to utilize only one kind of face

23、feature in face</p><p>　　recognition algorithm. According to this notion, this work uses several complementary</p><p>　　face features in order to make a complete representation of human face. At

24、 the decision</p><p>　　level, this work proposes a method to select several sub-classifies which have small</p><p>　　combinational correlation to form a strong classifier. The final strong class

25、ifier displays</p><p>　　better performance than any sub-classifier.</p><p>　　(2) Distance metric learning method is used in this work to learn Mahalanobis</p><p>　　distance to repla

26、ce the ordinary Euclidean distance. After utilizing distance metric learning</p><p>　　method, the distance between the face images of the same identity is decreased, while</p><p>　　distance betw

27、een face images of different identities enlarged. Therefore, metric learning</p><p>　　method is helpful to improve the performance of classification.</p><p>　　(3) To further enhance the performa

28、nce, a "divide-and-conquer "method to explicitly</p><p>　　cope with the large variations of pose is also proposed. In this work, a pose estimator is</p><p>　　applied to put all the tra

29、ining and testing samples into different pose categories. In each</p><p>　　category, classifier training and testing are processed independently. As a result, every</p><p>　　classifier is only t

30、rying to handle one kind of pose combination. In this way, the accuracy</p><p>　　of classifiers is improved.</p><p>　　The performance of the algorithms proposed in this work is tested under LFW&

31、lt;/p><p><b>　　II</b></p><p>　　regulation. The results show that the decision fusion is better than feature fusion.</p><p>　　Furthermore, distance metric learning and pose

32、estimation both promote the performance</p><p>　　of face recognition algorithm. Therefore, in the specific scenario of face recognition,</p><p>　　distance which is learned from face samples shou

33、ld be used and face images with large</p><p>　　pose variation need different features to represent them.</p><p>　　Key words: Face Recognition; Face Feature; Metric Leaning; Decision Fusion;</

34、p><p>　　Pose Estimation</p><p><b>　　III</b></p><p><b>　　目</b></p><p><b>　　錄</b></p><p><b>　　摘</b></p>&

35、lt;p>　　要........................................................................................................... I</p><p>　　Abstract.....................................................................

36、.................................. II</p><p><b>　　1 概述</b></p><p>　　1.1 課題背景和意義................................................................................. (1)</p><p&

37、gt;　　1.2 人臉識別研究發(fā)展歷程和現(xiàn)狀..........................................................(2)</p><p>　　1.3 人臉識別研究內(nèi)容和難點................................................................. (5)</p><p>　　1.4 本文研

38、究內(nèi)容與組織......................................................................... (8)</p><p><b>　　2</b></p><p><b>　　人臉和人臉器官檢測</b></p><p>　　2.1 人臉檢測算法..........

39、......................................................................... (10)</p><p>　　2.2 人臉器官檢測算法........................................................................... (15)</p><p>　　2.3

40、實驗結(jié)果...........................................................................................(17)</p><p>　　2.4 本章小結(jié)..........................................................................................

41、.(17)</p><p><b>　　3</b></p><p>　　基于多特征決策融合的人臉識別算法</p><p>　　3.1 無約束人臉識別測試庫 LFW 介紹................................................. (18)</p><p>　　3.2 人臉特征概覽..

42、................................................................................. (20)</p><p>　　3.3 經(jīng)典人臉識別算法介紹................................................................... (23)</p><p>　　3.

43、4 決策融合人臉識別算法................................................................... (28)</p><p>　　3.5 本章小結(jié)...........................................................................................(33)</p>

44、<p><b>　　IV</b></p><p><b>　　4</b></p><p>　　距離學(xué)習(xí)算法和姿態(tài)估計</p><p>　　4.1 距離學(xué)習(xí)算法............................................................................

45、....... (35)</p><p>　　4.2 基于距離學(xué)習(xí)的人臉識別算法........................................................(41)</p><p>　　4.3 基于姿態(tài)分類的人臉識別算法........................................................(43)</p&g

46、t;<p>　　4.4 本章小結(jié)...........................................................................................(44)</p><p><b>　　5</b></p><p><b>　　總結(jié)與展望</b></p>

47、<p>　　5.1 本文總結(jié)...........................................................................................(46)</p><p>　　5.2 人臉識別技術(shù)展望.......................................................................

48、.... (47)</p><p><b>　　致</b></p><p>　　謝...................................................................................................... (49)</p><p>　　參考文獻..........

49、.........................................................................................(50)</p><p><b>　　V</b></p><p><b>　　1 概述</b></p><p>　　1.1 課題背景和意義<

50、/p><p>　　人臉識別是人工智能研究的熱門話題。經(jīng)過將近半個世紀(jì)的發(fā)展，人臉識別算法</p><p>　　逐漸走向成熟，并得到越來越多的關(guān)注。總體來說，人臉識別具有兩方面的研究意</p><p>　　義。首先，人臉識別算法的發(fā)展能夠促進其他相關(guān)聯(lián)學(xué)科的進步；其次，人臉識別</p><p>　　在工業(yè)界具有迫切的需求。</p>&

51、lt;p>　　1）人臉識別算法研究能推動其他相關(guān)學(xué)科的發(fā)展</p><p>　　人臉識別技術(shù)涉及多門學(xué)科，是一個綜合性很強的研究領(lǐng)域。設(shè)計良好的人臉識</p><p>　　別算法需要具備圖像處理、圖像分析、計算機視覺、計算機圖像學(xué)、模式識別、機</p><p>　　器學(xué)習(xí)、生理學(xué)等眾多領(lǐng)域的知識[1~5]。人臉識別為這些學(xué)科的發(fā)展提供了良好的實</p&g

52、t;<p>　　際問題，有助于為這些學(xué)科的理論建立實驗平臺，有利于這些學(xué)科的新方法和新理</p><p>　　論的嘗試和應(yīng)用。比如，人臉識別作為一個模式識別問題，由于人臉的模式種類多、</p><p>　　模式之間差異不可捉摸而被認為是模式識別領(lǐng)域中典型的難以解決的問題。加之，</p><p>　　信號采集中的噪聲、以及外部環(huán)境的變化，使得人臉識別問題

53、更加棘手。再如，在</p><p>　　計算機視覺領(lǐng)域，如何利用人臉的一般性的先驗知識來恢復(fù)人臉的 3D 結(jié)構(gòu)也具有重</p><p>　　要的意義。人臉識別也是人機接口技術(shù)的研究內(nèi)容之一。人臉識別的本質(zhì)是讓計算</p><p>　　機能辨別不同的人臉身份，也就是賦予計算機視覺功能。人臉識別的研究有助改善</p><p>　　當(dāng)前不友好的人機

54、交互環(huán)境。人臉識別算法的研究也能夠促進對人眼視覺機制的理</p><p>　　解。由于人眼具有很強的識別功能，很多人臉識別研究者在設(shè)計人臉識別算法同時</p><p>　　也在探索人眼識別的機理。同樣地，人眼視覺功能的成果也能為人臉識別算法提供</p><p><b>　　更多的參考。</b></p><p>　　2）人

55、臉識別具有廣闊的市場需求</p><p>　　身份識別與鑒定 [6~9]是人類日常生活的重要活動之一。我們每天要對交往中人的</p><p>　　身份進行判別，同時人們也需要通過各種手段來證明自己的身份。例如在打開電腦</p><p>　　時，也往往需要口令才能進入操作系統(tǒng)；在網(wǎng)上通過電子銀行購物時，需要使用口</p><p><b&g

56、t;　　1</b></p><p>　　令卡或者 U 盾等設(shè)備才能進行買賣。然后，這些古老的身份鑒定技術(shù)存在著很多不</p><p>　　便。密碼或者口令容易被遺忘，甚至?xí)黄平?；口令卡容易丟失、老化，因此需要</p><p>　　經(jīng)常跟換。特別是隨著電子商務(wù)和網(wǎng)絡(luò)的發(fā)展，這些傳統(tǒng)的身份鑒定技術(shù)已經(jīng)越來</p><p>　　越不能

57、滿足實際應(yīng)用的需求。同時，由于社會安全問題日益突出，特別是“911 事件”</p><p>　　以來，全球恐怖事件頻繁發(fā)生，公共安全問題得到廣泛的關(guān)注。因而，國家安全部</p><p>　　門、信息部門迫切需要可靠性強、方便、安全的身份識別技術(shù)?；谏锾卣鞯纳?lt;/p><p>　　份鑒定技術(shù)被認為是徹底解決上述問題的方法。</p><p>

58、　　生物鑒定技術(shù)是利用人類的一種或者多種內(nèi)部物理或者行為特性進行識別的技</p><p>　　術(shù)。人體的物理特性包括人臉、虹膜、耳廓、掌紋、指紋、 DNA、體型等。行為特</p><p>　　征包括步態(tài)、筆記、敲鍵等于人類活動相關(guān)聯(lián)的特征。以上這些特征滿足“人人都</p><p>　　有、獨一無二、長期不變”的特點，從而可以用來鑒定身份[6]。</p>

59、<p>　　與其他生物識別技術(shù)相比，人臉識別有多方面的優(yōu)勢。首先，自動人臉識別系統(tǒng)</p><p>　　不會為用戶帶來任何冒犯，不會使用戶感覺不自然，在為用戶拍照的瞬間就能完成</p><p>　　識別。其次，人臉識別技術(shù)能夠有效的防范“身份假冒”的情況。此外，人臉識別</p><p>　　系統(tǒng)的快速、可靠、準(zhǔn)確也是其優(yōu)點。因而，在實際應(yīng)用中人臉識別技術(shù)

60、有關(guān)闊的</p><p><b>　　市場。</b></p><p>　　1.2 人臉識別研究發(fā)展歷程和現(xiàn)狀</p><p>　　人臉識別研究的發(fā)展大體經(jīng)歷了 3 個階段[2]。</p><p>　?。?）第一階段（1964～1990 年）</p><p>　　這一階段人臉識別算法大都是基于人臉幾

61、何特征的方法[5]。有些方法通過人臉中</p><p>　　眼睛、鼻子、頰骨的相對位置、大小和形狀進行識別。此外，人們對側(cè)面輪廓曲線</p><p>　　的結(jié)構(gòu)特征提取和分析方面進行了大量的研究[4]，這個時期的人臉識別過程是一個半</p><p>　　自動過程。進行識別時，需要人工的定位人臉上的器官（眼睛、鼻子、嘴巴等）位</p><p>

62、　　置，再計算這些器官與某一個公共參考點的距離，以此作為識別的特征，在這個階</p><p>　　段尚未出現(xiàn)人臉識別的實際應(yīng)用。</p><p>　?。?）第二階段（1991～1997 年）</p><p><b>　　2</b></p><p>　　在這一時期人臉識別技術(shù)得到更加廣泛的研究，并產(chǎn)生了許多具有代表性的人臉

63、</p><p>　　識別算法。同時在這一時期，人臉識別技術(shù)也開始出現(xiàn)在實際應(yīng)用場景當(dāng)中。</p><p>　　在眾多人臉識別算法中，首先要提到的是基于 PCA 變換的“特征臉”方法[2]。</p><p>　　在這種方法被提出之前，人臉識別算法往往測量人臉的幾何特征進行識別。與這些</p><p>　　方法不同，PCA 人臉識別方法使用人臉

64、圖像的灰度矩陣作為原始輸入。并利用一組</p><p>　　樣本，通過 K-L 變換獲取表達人臉的一組正交基，并使用最重要的正交基來恢復(fù)人</p><p>　　臉，從而達到降維的目的。因而，這種方法簡單的使用一個低維的向量就能準(zhǔn)確的</p><p>　　表示一張經(jīng)過校正和歸一化的人臉圖像。這一方法極大的促進了人臉識別算法的研</p><p>

65、　　究，其后很多人臉識別技術(shù)都有這種方法有點聯(lián)系。</p><p>　　另一個重要的人臉識別算法基于彈性圖匹配[10]的方法。這種算法是基于人臉具有</p><p>　　相似的拓撲結(jié)構(gòu)。人臉可以用一張圖來表示。圖的每個頂點代表人臉的關(guān)鍵部位，</p><p>　　比如鼻子、眼睛、嘴巴等，圖的邊代表關(guān)鍵點之間的距離。在這種方法中，每個頂</p><

66、p>　　點代表用 40 維的 Gabor 變換系數(shù)來表示。由于 Gabor 變換良好的空間局部性，因此</p><p>　　每頂點能表達人臉重要的局部信息。圖的邊表達了人臉的形狀和主要輪廓。因此這</p><p>　　種方法，同時考慮了人臉全局面貌和重要的局部信息。</p><p>　　在這一時期人臉識別算法主要以基于代數(shù)子空間的方法居多。這些算法在受控條&l

67、t;/p><p>　　件下、數(shù)據(jù)庫容量不大的場景有不錯的識別準(zhǔn)確率。</p><p>　?。?）第三階段（1998～現(xiàn)在）</p><p>　　進入二十一世紀(jì)以來，人臉識別算法得到極大的發(fā)展，基本解決了可控條件下的</p><p>　　人臉識別問題，一些算法也逐漸走向?qū)嵱?。無約束、大容量人臉庫下的人臉識別算</p><p>

68、;　　法成為研究人員關(guān)注的重點。這一期間以支持向量機為代表的統(tǒng)計學(xué)習(xí)理論也應(yīng)用</p><p>　　到人臉識別問題上來[11]。在人臉識別問題上，廣泛使用各類基于統(tǒng)計學(xué)的分類器，</p><p>　　如 SVM 分類器、貝葉斯分類器等。2002 年 Viola 和 Jose 提出一個基于 Haar-like 特</p><p>　　征和 AdaBoost 學(xué)習(xí)算法的

69、實時人臉檢測算法[12]，極大的促進了人臉識別的研究。</p><p>　　圖像匹配研究中的描述子也被應(yīng)用到人臉識別中。Ahonen 在文獻[13]將局部二值</p><p>　　模式（Local Binary Pattern）直方圖用于人臉識別中。這種方法將人臉圖像劃分成多</p><p>　　個網(wǎng)格，對每個網(wǎng)格的子圖像統(tǒng)計 LBP 直方圖，最后將這些直方圖連結(jié)起

70、來構(gòu)成一</p><p><b>　　3</b></p><p>　　個長的直方圖作為人臉的特征描述。2004 年 Lowe 提出 SIFT 特征[14]后，出現(xiàn)了大量</p><p>　　基于 SIFT 特征的人臉識別方法。這種方法先提取人臉的 SIFT 特征，然后按照 SIFT</p><p>　　關(guān)鍵點匹配的個數(shù)來

71、進行識別。</p><p>　　圖像分類中一些模型也被應(yīng)用于人臉識別中。圖像分類中往往將圖像看做“視覺</p><p>　　單詞”的組合，按照一副圖像中“視覺單詞”的直方圖來進行分類。這種思想也被</p><p>　　用在人臉識別中。文獻[15]使用完全隨機樹構(gòu)建“視覺字典”，使用 SVM 作為分類器，</p><p>　　可以獲得兩幅人臉圖

72、像的相似度量。文獻[16]的作者提出了一個使用 DCT 特征，用</p><p>　　EM 算法構(gòu)建“視覺字典”，最后用基于概率的直方圖來作為人臉圖像的特征進行識</p><p>　　別。Cao 在[17]中設(shè)計出一種基于學(xué)習(xí)的人臉描述子表示方法。這種描述子區(qū)別于通</p><p>　　常的人工設(shè)計的描述子。人工設(shè)計的描述子是普遍適用的描述子，但在人臉識別問<

73、/p><p>　　題上這些描述子的某些模式不會出現(xiàn)，也就是說這些描述子在不同的問題上它的分</p><p>　　布是不同的。Cao 利用聚類算法，設(shè)計出與樣本相關(guān)的描述子，這種針對人臉識別的</p><p>　　描述子在人臉識別中取得了很好的效果。</p><p>　　除了上面對如何表達人臉的研究外，還有大量的研究把重點放在如何度量人臉的<

74、/p><p>　　相似性上。文獻[18]提出了利用一個“負樣本集”計算相似性的方法。對于待匹配的</p><p>　　人臉圖像 I 和 J，這種方法的步驟如下：將 I 作為正例，負樣本集中圖像作為反例訓(xùn)</p><p>　　練一個分類器，用這個分類器對 J 分類獲得一個分?jǐn)?shù)；然后交換 I 和 J，可以獲得另</p><p>　　一個分?jǐn)?shù)；將兩個值

75、的平均值作為 I、J 的相似度量。</p><p>　　總之，這一階段人臉識別已經(jīng)獲得了極大的發(fā)展，人臉識別算法的研究吸收了計</p><p>　　算法視覺、模式識別、生理學(xué)、機器學(xué)習(xí)等學(xué)科的優(yōu)秀成果，研究者從人臉識別相</p><p>　　關(guān)的各個角度來提升人臉識別算法的性能。</p><p>　　1.3 人臉識別研究內(nèi)容和難點</p

76、><p>　　1.3.1 人臉識別研究內(nèi)容</p><p>　　實際應(yīng)用中的人臉識別系統(tǒng)包括如下幾個流程：首先通過圖像采集設(shè)備獲取人臉</p><p>　　圖像；然后在獲取的圖像中定位人臉區(qū)域；經(jīng)過人臉校正和歸一化后，提取人臉特</p><p><b>　　4</b></p><p>　　征；最后進行

77、身份識別或者確認。人臉身份確認的過程是給定一張人臉圖像和一個</p><p>　　人臉身份標(biāo)簽，利用人臉數(shù)據(jù)庫中的信息，判斷這張人臉圖像的身份是否與給定人</p><p>　　臉身份標(biāo)簽一致。在機密性高的受控進入的場所，經(jīng)常需要進行身份確認，人臉確</p><p>　　認適用于這樣的場合。人臉識別是對任何輸入的人臉圖像，根據(jù)給定的人臉數(shù)據(jù)庫</p>&

78、lt;p>　　和身份信息，識別出該圖像中人臉的身份。人臉身份確認是一個二分類問題，它的</p><p>　　輸出只有“接受”和“拒絕”兩種。人臉身份識別是一個多分類問題，它輸出不同</p><p>　　人臉圖像的身份。人臉識別的問題主要研究內(nèi)容包括人臉檢測、人臉校正和歸一化、</p><p>　　人臉特征提取與匹配分類[19]。</p><

79、p><b>　?。?）人臉檢測</b></p><p>　　由于從圖像采集設(shè)備獲取的圖像往往包含復(fù)雜的背景，如果使用原始的圖像進行</p><p>　　人臉識別，效果很差。為了消除圖像中非人臉部位的干擾，需要進行人臉檢測，將</p><p>　　人臉區(qū)域從原始圖像中剪切出來。人臉檢測屬于物體檢測的范疇。人臉檢測針對的</p>

80、<p>　　目標(biāo)是人臉。人臉檢測算法需要找出給定的人臉圖像的中所有人臉的位置和尺寸。</p><p>　　隨著采集到的原始圖像的背景復(fù)雜程度、圖像中人臉的姿態(tài)、膚色、表情和飾物的</p><p>　　差異，人臉檢測在不同場景下的難易程度也不同。魯棒的人臉檢測算法應(yīng)該能夠克</p><p>　　服干擾，最大程度的檢測出人臉區(qū)域而排除非人臉區(qū)域。作為人臉識別

81、系統(tǒng)的前期</p><p>　　步驟，對人臉檢測算法的另一個要求時，檢測過程必須快速完成。如果人臉檢測要</p><p>　　耗費很長時間，勢必對使用者造成一定的心理影響，從而使人臉識別技術(shù)失去了其</p><p>　　相對于其他生物識別算法優(yōu)勢。因而，實時的人臉檢測器在實際應(yīng)用中有廣闊的需</p><p><b>　　求。<

82、/b></p><p>　　從技術(shù)上講，人臉檢測是一個二分類問題。人臉檢測算法遍歷所有原始圖像的子</p><p>　　圖像，并提出特征，通過分類器判斷該區(qū)域是否為人臉區(qū)域。2002 年 Voila 和 Jones</p><p>　　提出的實時人臉檢測器對人臉識別的發(fā)展起了重要的推動作用。該算法能夠?qū)崟r的</p><p>　　檢測出正

83、面人臉圖像，并具有很高的準(zhǔn)確率。目前人臉檢測研究的重點在多視角條</p><p><b>　　件下檢測人臉區(qū)域。</b></p><p>　　人臉檢測的另一個重要內(nèi)容是定位人臉的特征點。一般人臉檢測所得的子圖像不</p><p>　　是正面頭像。為了獲得好的人臉識別效果，都需要對人臉的姿態(tài)進行校正。人臉校</p><p>

84、;<b>　　5</b></p><p>　　正需要利用人臉的特征點（如眼睛）的位置信息。另外，人臉特征點的位置對提取</p><p>　　人臉的局部特征至關(guān)重要。所以，在人臉檢測的過程中，定位人臉器官的位置是必</p><p>　　要的。由于 Voila 和 Jones 提出的人臉檢測器的性能很好，因而可以用相同的方法來</p>

85、<p>　　訓(xùn)練檢測人臉器官的分類器。然而，實踐證明通過這種方法在檢測人臉器官時誤檢</p><p>　　和漏檢的比例較大，因而不實用。文獻 [4]中介紹基于邊緣檢測的人臉器官的定位方</p><p>　　法。該方法依次檢測每個器官。首先檢測人眼，然后根據(jù)人臉器官的位置關(guān)系，利</p><p>　　用人眼的位置找到鼻子和嘴巴。在尋找這些器官時，主要依賴于

86、圖像的邊緣檢測、</p><p>　　形態(tài)學(xué)處理等方法。該方法在臉部表情變化不劇烈的圖像中取得了較好的效果。</p><p><b>　　（2）人臉歸一化</b></p><p>　　人臉歸一化也是人臉識別中的一個重要環(huán)節(jié)。在人臉檢測之后，為了保證人臉識</p><p>　　別的性能，往往需要進行各種預(yù)處理操作。這些操作

87、統(tǒng)一稱為為人臉歸一化。人臉</p><p>　　歸一化涉及多方面的內(nèi)容。首先，如果人臉圖像的角度的傾斜，并且對于不同的人</p><p>　　臉圖像人臉器官在不同的位置，可以通過姿勢歸一化來將人臉圖像旋轉(zhuǎn)為直立的人</p><p>　　臉圖像。這有助于人臉器官保持對齊，能夠提高人臉識別的性能。其次，光照也是</p><p>　　影響后期識別的

88、關(guān)鍵因素，因此在人臉歸一化階段，有時會進行亮度歸一化。常用</p><p>　　的亮度歸一化的方法有直方圖均衡、亮度補償?shù)萚3]。</p><p>　　（3）人臉特征提取與匹配分類</p><p>　　人臉特征提取又稱人臉描述，是在人臉檢測、人臉歸一化的基礎(chǔ)上進行的人臉特</p><p>　　征提取過程，也可以說是對人臉進行建模的過程[18]

89、。特征提取的優(yōu)劣會影響到后面</p><p>　　人臉識別的精度。在人臉特征提取這一步中，要求所提取的人臉特征具有很好表征</p><p>　　能力和區(qū)分度，另外，還要求所提取的特征維數(shù)要低，盡量在低維空間中，這樣不</p><p>　　但可以減小運算量、減少識別的時間，同時也有助于分類器的選擇。人臉圖像是一</p><p>　　種高維空間的

90、集合體，雖然它具有固定的結(jié)構(gòu)和特征分布，并且也經(jīng)過了預(yù)處理，</p><p>　　但要想在低維空間中表征人臉，還是具有一定的難度的?，F(xiàn)在，比較常用的人臉特</p><p>　　征提取方法主要有以下幾種：基于圖像灰度矩陣的統(tǒng)計信息的方法，基于人臉幾何</p><p>　　結(jié)構(gòu)特征的算法。經(jīng)過人臉特征提取，每一張人臉圖像代表這特征空間的一個點。</p>&

91、lt;p>　　經(jīng)過特征提取后，人臉圖像最終代表特征空間上的點。因而需要用一定的度量準(zhǔn)</p><p><b>　　6</b></p><p>　　則來描述樣本之間的相似性。一般用向量之間的距離來表示這種相似性，如歐式距</p><p>　　離、曼哈頓距離、馬氏距離和余弦距離等。</p><p>　　人臉識別最終通過

92、一個分類器來獲得識別結(jié)果?；诮y(tǒng)計推斷的 SVM 和</p><p>　　Bayesian 分類器以及基于決策模型的神經(jīng)網(wǎng)絡(luò)、LDA 等都是常見的人臉識別分類器。</p><p>　　1.3.2 人臉識別技術(shù)難點</p><p>　　現(xiàn)有的人臉識別系統(tǒng)在非受控條件下 (在自然場景下采集人臉圖像)和對象不配</p><p>　　合(包括姿態(tài)、表

93、情、飾物等差異)時識別準(zhǔn)確率明顯下滑。這些變化因素在各種應(yīng)用</p><p>　　系統(tǒng)中均有不同程度的出現(xiàn)，因而是人臉識別應(yīng)該著力解決的問題。人臉識別研究</p><p>　　面臨的主要挑戰(zhàn)包括以下幾點：</p><p>　?。?）非約束條件下人臉檢測和人臉器官精確定位：人臉檢測是人臉識別的基礎(chǔ)，</p><p>　　在人臉檢測階段獲得的信息

94、越可靠，人臉識別算法性能越好。此外，人臉的特征點</p><p>　　的定位對各種人臉分析（表情分析、年齡估計等）的幫助極大。然后，由于人臉圖</p><p>　　像的外在條件變化和人臉本身內(nèi)部變化，使得自動準(zhǔn)確地定位人臉器官仍是一個沒</p><p><b>　　有很好解決的問題。</b></p><p>　?。?）穩(wěn)

95、定的人臉特征：在自然場景中，人臉的類內(nèi)差異往往超過了人臉身份所</p><p>　　帶來的差異。這為匹配分類帶來很大困難。人眼能在眾多復(fù)雜的條件下區(qū)分不同的</p><p>　　人臉，然而識別時使用的人臉特征卻還沒有研究透徹。因此尋找穩(wěn)定的、區(qū)分度好</p><p>　　的人臉特征仍然是人臉識別研究最重要的工作。</p><p>　　（3）大

96、規(guī)模人臉識別問題：目前的研究表明，隨著人臉庫中測試樣本個體數(shù)目</p><p>　　的增長，識別算法的性能呈明顯的下降趨勢，因此，如何維持或提高大規(guī)模應(yīng)用環(huán)</p><p>　　境下的人臉識別算法的識別率是也一個常重要的問題。同時，大規(guī)模的人臉庫還存</p><p>　　在如何對數(shù)據(jù)庫進行有效管理，特征存儲空間的分配及如何最小化檢索時間等實際</p>

97、<p><b>　　問題。</b></p><p>　　（4）海量樣本集的學(xué)習(xí)問題：傳統(tǒng)的學(xué)習(xí)方法在樣本較小的情況下有理想的性</p><p>　　能。然而當(dāng)樣本容量變得龐大時，這些算法的執(zhí)行時間變得過長，不能滿足實用要</p><p>　　求。同時，所得的分類器也不能夠從大量的訓(xùn)練數(shù)據(jù)中找到可靠的分類規(guī)則，從而</p>

98、<p><b>　　7</b></p><p>　　使分類性能急劇下降。因此大規(guī)矩數(shù)據(jù)的學(xué)習(xí)問題也是人臉識別面臨的挑戰(zhàn)之一。</p><p>　　1.4 本文研究內(nèi)容與組織</p><p>　　本論文研究了人臉識別算法中涉及的重要環(huán)節(jié)。完整的人臉識別算法包括：人臉</p><p>　　檢測、特征提取和分類識別

99、。人臉識別算法對輸入的人臉圖像的質(zhì)量往往有一定的</p><p>　　要求。當(dāng)圖像采集設(shè)備獲取人臉圖像后，系統(tǒng)會評估采集到的圖像的質(zhì)量。如果圖</p><p>　　像質(zhì)量符號算法的要求，則進入人臉特征提取階段；否則，重新采集人臉圖像。這</p><p>　　個重新采集的過程會影響人臉識別的速度特征提取是人臉識別的核心，設(shè)計出對光</p><p&g

100、t;　　照、姿態(tài)、表情等變化因素具有魯棒性的人臉描述子是保證人臉識別性能的基礎(chǔ)。</p><p>　　在提取出人臉特征后，另一個關(guān)鍵的問題是如何衡量兩個特征的接近程度。這里面</p><p>　　需要使用機器學(xué)習(xí)方面的算法，如距離學(xué)習(xí)和分類器等。本文的研究內(nèi)容包含了以</p><p>　　上部分，具體分為以下幾個方面：</p><p>　?。?/p>

101、1）對人臉檢測和人臉器官的檢測進行綜述，并介紹了常用的人臉檢測器和人</p><p><b>　　臉器官檢測算法。</b></p><p>　　（2）對無約束人臉識別測試庫 LFW 進行了綜述性介紹。本文中介紹了 LFW 庫</p><p>　　的使用測試協(xié)議、研究目的等內(nèi)容。</p><p>　　（3）對目前流行的各種

102、人臉特征進行了詳細的闡述，并提出利用多種特征的決</p><p>　　策融合的人臉識別算法。引入分類器的相關(guān)性的概念來指導(dǎo)子分類的聚合。</p><p>　?。?）使用了機器學(xué)習(xí)中的距離度量學(xué)習(xí)算法來計算人臉特征之間的距離。這種</p><p>　　距離是針對人臉識別問題的這個特定問題的距離，與人臉的統(tǒng)計特性有關(guān)。這種距</p><p>　　

103、離比普通的歐式距離能更好的表達人臉的接近程度。</p><p>　?。?）利用人臉姿態(tài)估計算法，按照姿態(tài)的不同對人臉進行分類。在不同的姿態(tài)</p><p>　　類別下，單獨進行訓(xùn)練和分類以減少姿態(tài)對人臉識別算法性能的損害。</p><p><b>　　本文結(jié)構(gòu)安排如下：</b></p><p>　　第 1 章 緒論。主要

104、介紹本文研究的意義和背景、人臉識別技術(shù)發(fā)展歷程、人臉</p><p>　　識別算法概述和本文的研究內(nèi)容。</p><p>　　第 2 章 人臉和人臉器官檢測。闡述人臉檢測算法流程和核心思想。在人臉檢測</p><p><b>　　8</b></p><p>　　的基礎(chǔ)上介紹如何在人臉面部檢測人臉器官。并展示常用的人臉和人

105、臉器官檢測算</p><p>　　法在 LFW 人臉庫上的實驗結(jié)果。</p><p>　　第 3 章 基于決策融合的多特征人臉識別方法。本章對各種常用人臉識別特征進</p><p>　　行了全面的闡述。并提出綜合使用多特征決策融合的人臉識別算法框架，并利用分</p><p>　　類相關(guān)性來聚合子分類器以獲得更好的分類性能。</p>

106、<p>　　第 4 章 距離學(xué)習(xí)算法和姿態(tài)估計。本章在上一章提出的人臉識別框架基礎(chǔ)上，</p><p>　　提出兩點改進。第一，使用距離度量學(xué)習(xí)算法來取代普通的歐式距離；第二，按照</p><p>　　人臉姿態(tài)的不同，單獨進行訓(xùn)練和測試。利用這兩點進一步提升人臉識別算法的性</p><p><b>　　能。</b></p&g

107、t;<p>　　第 5 章 總結(jié)與展望。這一章對全文內(nèi)容進行總結(jié)，并概述了本文存在的缺陷。</p><p>　　最后，對人臉識別算法的發(fā)展做出預(yù)期。</p><p><b>　　9</b></p><p>　　2 人臉和人臉器官檢測</p><p>　　人臉檢測和人臉器官檢測是人臉識別系統(tǒng)的前期工作，對整個

108、系統(tǒng)的性能有極大</p><p>　　的影響。在這一章中將對這方面的算法做詳細介紹，并展示常用的算法在 LFW 人臉</p><p><b>　　庫的實驗結(jié)果。</b></p><p>　　2.1 人臉檢測算法</p><p>　　人臉檢測算法需要判斷給定的圖像中是否存在人臉，如果存在人臉就需要返回人</p>

109、<p>　　臉的數(shù)目和每個人臉的準(zhǔn)確位置和大小。隨著計算機系統(tǒng)不斷智能化，越來越多的</p><p>　　項目或產(chǎn)品要求計算機能以自然的方式與人進行交互。人臉檢測使這種友好的人機</p><p>　　交互技術(shù)的得以實現(xiàn)的基礎(chǔ)。人臉檢測也是各種人臉分析算法，如人臉校正、表情</p><p>　　分析、年齡分析、人臉驗證和人臉跟蹤算法的基礎(chǔ)。有些學(xué)者甚至認

110、為如果計算機</p><p>　　不能很好的理解人臉，那么計算機不可能真正理解人類的思想和意圖 [20]。人臉檢測</p><p>　　的功能對人眼來說極其簡單，然而由于人臉圖像的中人臉的大小、位置、方向姿態(tài)</p><p>　　以及圖像的光照、遮擋的多樣性，使得高準(zhǔn)確率的人臉檢測成為計算機視覺中具有</p><p><b>　　挑

111、戰(zhàn)性的任務(wù)。</b></p><p>　　人臉檢測發(fā)展過程中最重要的成果是 Voila 和 Jones 提出的基于 Adaboost 分類器</p><p>　　的人臉檢測算法[12]。該算法能應(yīng)用于實時的人臉檢測場景中。因而，在數(shù)字相機和</p><p>　　圖像管理軟件中被廣泛使用。Voila 和 Jones 的這種方法，已經(jīng)成為人臉檢測算法性<

112、;/p><p>　　能比較的標(biāo)準(zhǔn)，它所體現(xiàn)的算法思想被廣泛的利用。在下面的篇幅中，本文將詳細</p><p>　　的介紹這種人臉檢測方法并總結(jié)人臉檢測算法的關(guān)鍵技術(shù)。</p><p>　　2.1.1 Voila-Jones 人臉檢測器</p><p>　　Voila-Jones 人臉檢測算法在 2002 年被提出。該算法有三個方面的因素使它成為&

113、lt;/p><p>　　實時的人臉檢測器。這三個因素為：積分圖像，Adaboost 學(xué)習(xí)和分類器級聯(lián)。</p><p><b>　　10</b></p><p><b>　　（1）圖像積分圖像</b></p><p>　　積分圖像是計算一個網(wǎng)格內(nèi)部的矩形子集的和的快速算法。積分圖像在 1985 年<

114、;/p><p>　　在計算機圖像學(xué)中第一次被提出。此后，Voila 和 Jones 首先將它應(yīng)用于計算機視覺</p><p>　　領(lǐng)域。積分圖像中某一點（x，y）的值為原始圖像中點（x，y）左上角所有像素值</p><p>　　的累加和。其定義如下：</p><p>　　ii( x, y )??</p><p><b

115、>　　∑</b></p><p>　　x '≤ x, y '≤ y</p><p>　　i (x ', y ')</p><p><b>　　(2-1)</b></p><p>　　其中 i 為原始圖像，ii 為積分圖像。引入積分圖像的概念后，計算圖像中任意矩形框<

116、/p><p>　　內(nèi)的像素和就變得非常高效。在下圖中計算矩形 ABCD 里的像素之和可以表示為：</p><p><b>　　∑</b></p><p>　　( x , y )∈ ABCD</p><p>　　i ( x, y )?? ii( D )?? ii ( A)?? ii ( B )?? ii (C )</p&

117、gt;<p><b>　　X</b></p><p><b>　　Y</b></p><p><b>　　A</b></p><p><b>　　B</b></p><p><b>　　D</b></p>

118、<p><b>　　C</b></p><p><b>　　(2-2)</b></p><p><b>　　a</b></p><p><b>　　b</b></p><p><b>　　c</b></p>&

119、lt;p><b>　　d</b></p><p><b>　　f</b></p><p><b>　　g</b></p><p>　　圖 2.1 積分圖像與矩形特征</p><p>　　Voila 和 Jones 利用積分圖像來計算 Haar-like 矩形特征。根據(jù)積分

120、圖像的性質(zhì)，</p><p>　　利用公式 2-2 可以計算圖像中任意矩形塊子圖像的像素和，并且計算過程快速高效、</p><p>　　所需的時間固定不變。圖 2.1 下方顯示了 6 種 Haar-like 特征。這些特征的值為白色</p><p>　　區(qū)域像素值的和與黑色區(qū)域像素值的和的差值。計算出原始圖像的積分圖像后，這</p><p>

121、　　些特能通過很少次數(shù)的數(shù)據(jù)訪問就能完成 Haar-like 特征的計算。從上圖可以得出，</p><p>　　計算 a 和 b 特征需要訪問積分圖像 6 次，計算 c 和 d 特征需要訪問 8，計算 e 和 f 需</p><p>　　要訪問 9 次。相對于從原始圖像計算這些特征的值，數(shù)據(jù)的訪問數(shù)次明顯減少。因</p><p>　　而，積分圖像是 Viola-Jo