1、人體目標(biāo)檢測(cè)和分析是計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域最熱門的研究方向之一，在視頻安全監(jiān)控、智能安全駕駛、智能機(jī)器人等領(lǐng)域有著廣泛的應(yīng)用前景和市場(chǎng)需求。該課題主要研究人“在哪里”、“干什么”、“多少人”這幾個(gè)問(wèn)題，利用計(jì)算機(jī)技術(shù)分析圖像或視頻中人的位置、識(shí)別其行為以及粗略地統(tǒng)計(jì)人數(shù)，分別對(duì)應(yīng)于計(jì)算機(jī)視覺(jué)中的行人檢測(cè)、行為識(shí)別和人群計(jì)數(shù)任務(wù)。人體目標(biāo)檢測(cè)和分析任務(wù)在很大程度上依賴于對(duì)圖像或視頻內(nèi)容的理解和表示，所以如何生成辨識(shí)能力強(qiáng)的特征表示（即特

2、征學(xué)習(xí)）成為關(guān)鍵問(wèn)題之一。傳統(tǒng)方法主要是提取圖片的邊緣、顏色、形狀等底層特征描述子，并結(jié)合詞包模型、稀疏編碼模型等框架，生成最終特征描述的列向量。雖然這些方法簡(jiǎn)單有效，但是已經(jīng)無(wú)法滿足多目標(biāo)相互遮擋、復(fù)雜噪聲背景情況下的特征表達(dá)。近年來(lái)，國(guó)內(nèi)外很多研究機(jī)構(gòu)和高校展開(kāi)深入研究并取得一定進(jìn)展，但是，仍然存在很多問(wèn)題需要解決。本文針對(duì)人體目標(biāo)檢測(cè)和分析任務(wù)，圍繞特征學(xué)習(xí)的相關(guān)問(wèn)題，結(jié)合稀疏編碼、多核學(xué)習(xí)、深度學(xué)習(xí)等知識(shí)，研究如何生成具有較強(qiáng)代

3、表性和區(qū)分性的特征表示。本文的主要工作和貢獻(xiàn)總結(jié)如下:
　　(1)提出一種新的shallow-deep特征用于行人檢測(cè)任務(wù)。傳統(tǒng)的ACF檢測(cè)器采用HOG+LUV特征通道結(jié)合Adaboost分類器。然而，僅使用簡(jiǎn)單的邊緣、顏色信息作為特征，忽略高層的語(yǔ)義信息和上下文信息，會(huì)降低特征表達(dá)能力。因此本文提出將深度語(yǔ)義分割特征圖融入到ACF的淺層特征通道中，shallow-deep特征同時(shí)融合了圖像的淺層外觀信息和高層語(yǔ)義信息。此外原始A

4、CF檢測(cè)器僅采用簡(jiǎn)單的求和池化方法，忽略大量有效信息，我們手工設(shè)計(jì)各種不同方向的checkboard-like濾波器對(duì)特征圖做卷積操作，濾波后的通道響應(yīng)可以捕捉更多高層抽象信息，從而生成辨識(shí)能力更強(qiáng)的特征表示。實(shí)驗(yàn)結(jié)果表明，本文提出的濾波后的shallow-deep特征可以提高行人檢測(cè)的精度。
　　(2)提出一種RG-MKL多核學(xué)習(xí)的方法融合多區(qū)域多層深度特征，用于行為識(shí)別任務(wù)。人體區(qū)域的特征描述給行為識(shí)別提供了關(guān)鍵信息，如何合理

5、利用人體區(qū)域的核心特征和整張圖像區(qū)域的上下文特征是一個(gè)開(kāi)放性的問(wèn)題。我們提出一種多核學(xué)習(xí)算法RG-MKL來(lái)融合這兩個(gè)區(qū)域的特征，不僅融入了預(yù)學(xué)習(xí)分類器對(duì)樣本的判別能力，還整合了我們對(duì)人體區(qū)域和整張圖像區(qū)域特征區(qū)分能力的先驗(yàn)認(rèn)識(shí)。此外，為了提高特征表示能力，我們采用多層深度特征，不僅吸收了傳統(tǒng)two-stream模型的全連接層信息，而且融入了卷積層的強(qiáng)響應(yīng)特征，比一般的全連接層或者softmax層的特征描述能力更強(qiáng)。實(shí)驗(yàn)結(jié)果表明，本文提出

6、的RG-MKL融合多區(qū)域多層深度特征方法，能夠提高算法對(duì)視頻行為的表示能力和分類能力，從而提高行為識(shí)別精度。
　　(3)提出一種依賴于方向的特征DDFP并采用非負(fù)低秩稀疏編碼模型來(lái)編碼，用于行為識(shí)別任務(wù)?；诰植繒r(shí)空興趣點(diǎn)的行為識(shí)別方法中，單一興趣點(diǎn)的描述子不能反映特征點(diǎn)之間的時(shí)間先后和空間位置關(guān)系，并且傳統(tǒng)的稀疏編碼會(huì)導(dǎo)致編碼不一致性和信息缺失的問(wèn)題?；诖?，本文考慮興趣點(diǎn)之間的時(shí)空關(guān)系，連接每個(gè)興趣點(diǎn)和鄰居點(diǎn)的描述子并根據(jù)兩個(gè)

7、點(diǎn)之間的時(shí)空關(guān)系賦予方向標(biāo)簽，構(gòu)建依賴于方向的特征對(duì)。該特征作為新的局部描述子，不僅能夠描述興趣點(diǎn)在三維空間內(nèi)的時(shí)空相對(duì)關(guān)系，而且可以描述上下文的外觀特征，比傳統(tǒng)的局部描述子表達(dá)能力更強(qiáng)。此外我們還提出一種非負(fù)低秩稀疏編碼方法來(lái)編碼新的特征，我們認(rèn)為來(lái)自同一個(gè)方向的特征對(duì)存在一定的相似性，低秩項(xiàng)能夠在一定程度上使得相似的特征對(duì)產(chǎn)生相似的編碼，同時(shí)非負(fù)項(xiàng)能避免沒(méi)有物理意義的負(fù)數(shù)編碼值產(chǎn)生。實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)的局部時(shí)空興趣點(diǎn)方法，依賴

8、于方向的特征對(duì)結(jié)合非負(fù)低秩稀疏編碼模型能夠提高行為識(shí)別的精度。
　　(4)提出一種基于高層語(yǔ)義屬性的局部特征用于人群計(jì)數(shù)任務(wù)。基于回歸的人群計(jì)數(shù)方法大多采用全局前景分割特征來(lái)描述視頻中每幀圖片信息，忽略了具有描述圖像高層語(yǔ)義能力的屬性特征，而目前很少有文獻(xiàn)做相關(guān)研究?？紤]到語(yǔ)義分割特征圖的每個(gè)像素點(diǎn)反映場(chǎng)景各個(gè)屬性的概率分布，能夠更好地描述上下文語(yǔ)義特征，因此本文嘗試使用語(yǔ)義分割特征圖來(lái)描述圖像;同時(shí)，為了利用局部位置信息，我們進(jìn)