1、人類在面對(duì)復(fù)雜場(chǎng)景時(shí)會(huì)注視最感興趣的區(qū)域，人腦的視覺(jué)注意系統(tǒng)可以快速在復(fù)雜場(chǎng)景中選定注視位置。注視點(diǎn)檢測(cè)系統(tǒng)通過(guò)一定的算法模擬人腦視覺(jué)系統(tǒng)，判別圖像中每個(gè)像素被人眼注視的概率。注視點(diǎn)檢測(cè)可以廣泛應(yīng)用于目標(biāo)識(shí)別、視頻壓縮、視覺(jué)跟蹤、圖像分割等復(fù)雜任務(wù)的預(yù)處理環(huán)節(jié)。
　　深度學(xué)習(xí)近年來(lái)在目標(biāo)檢測(cè)，圖像分類等領(lǐng)域取得了很好的效果，這證明了深度學(xué)習(xí)是計(jì)算機(jī)視覺(jué)領(lǐng)域十分有效的工具和方法。深度學(xué)習(xí)結(jié)構(gòu)強(qiáng)大的表達(dá)能力和復(fù)雜特征的提取能力極大地推

2、動(dòng)了注視點(diǎn)檢測(cè)的發(fā)展。
　　本文通過(guò)總結(jié)現(xiàn)有的注視點(diǎn)檢測(cè)技術(shù)并結(jié)合當(dāng)今前沿技術(shù)，提出了兩種注視點(diǎn)檢測(cè)方法：基于局部評(píng)估和全局優(yōu)化的注視點(diǎn)檢測(cè)方法和基于雙流卷積神經(jīng)網(wǎng)絡(luò)的注視點(diǎn)檢測(cè)方法。前者利用已有的神經(jīng)網(wǎng)絡(luò)計(jì)算的深度特征作為圖像的評(píng)估特征，后者是專門的注視點(diǎn)檢測(cè)網(wǎng)絡(luò)。
　　本文提出的基于局部評(píng)估和全局優(yōu)化的注視點(diǎn)檢測(cè)方法分為兩大部分：局部評(píng)估和全局優(yōu)化。局部評(píng)估分為兩種方式：全局學(xué)習(xí)和具體學(xué)習(xí)。全局學(xué)習(xí)指采用整個(gè)數(shù)據(jù)庫(kù)訓(xùn)練集

3、合的圖像訓(xùn)練評(píng)估分類器，具體學(xué)習(xí)利用半耦合字典學(xué)習(xí)算法，對(duì)于每張測(cè)試圖像，都能重構(gòu)一個(gè)針對(duì)此圖像訓(xùn)練的具體的評(píng)估分類器。全局優(yōu)化階段，包括proposal的子集聚類優(yōu)化和全局上下文優(yōu)化。子集聚類優(yōu)化可以減少離群值，增加局部評(píng)估的置信度，便于設(shè)計(jì)統(tǒng)一的特征來(lái)描述整個(gè)子集。全局上下文優(yōu)化利用圖像上下文信息，在全局尺度對(duì)注視點(diǎn)預(yù)測(cè)結(jié)果進(jìn)行重新優(yōu)化，輸出最終的注視點(diǎn)檢測(cè)圖。
　　本文提出的另一種基于雙流卷積神經(jīng)網(wǎng)絡(luò)的注視點(diǎn)檢測(cè)算法是一種端

4、到端的卷積神經(jīng)網(wǎng)絡(luò)模型。雙流包括注視點(diǎn)預(yù)測(cè)流和圖像場(chǎng)景分類流，兩個(gè)分支網(wǎng)絡(luò)共享整個(gè)神經(jīng)網(wǎng)絡(luò)的前五個(gè)數(shù)據(jù)塊。本文對(duì)兩個(gè)流同時(shí)進(jìn)行訓(xùn)練，得到的更加豐富的特征表示有利于兩種任務(wù)。多任務(wù)學(xué)習(xí)用來(lái)學(xué)習(xí)注視點(diǎn)檢測(cè)和圖像類別的關(guān)系。另外，本文還設(shè)計(jì)了一種自適應(yīng)融合機(jī)制來(lái)融合語(yǔ)義信息、對(duì)比度信息和中心先驗(yàn)。自適應(yīng)融合機(jī)制利用場(chǎng)景分類網(wǎng)絡(luò)的特征來(lái)判斷對(duì)比特征圖和中心先驗(yàn)的權(quán)重。
　　本文在MIT300，MIT1003，CAT2000數(shù)據(jù)庫(kù)上測(cè)試了上