1、近些年來(lái)，隨著互聯(lián)網(wǎng)和多媒體技術(shù)的飛速發(fā)展，數(shù)字資源正處于指數(shù)式的增長(zhǎng)狀態(tài)，數(shù)字視頻作為數(shù)字資源中的重要組成部分，已經(jīng)進(jìn)入人們生活的方方面面，如何對(duì)這些數(shù)字視頻中的人體行為進(jìn)行快速準(zhǔn)確的分類，成為了人們研究的熱點(diǎn)。本文針對(duì)上述問(wèn)題展開(kāi)，主要目標(biāo)是通過(guò)深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)提取視頻中的人體行為的時(shí)間特征與空間特征，實(shí)現(xiàn)對(duì)視頻中的人體行為快速準(zhǔn)確地分類。論文主要工作與成果如下:
　　(1)針對(duì)卷積神經(jīng)網(wǎng)絡(luò)在使用高質(zhì)量視頻時(shí)產(chǎn)生的

2、巨大計(jì)算量問(wèn)題，本文提出了一種雙流殘差網(wǎng)絡(luò)(Twostream-ResNet，TS-ResNet)用來(lái)進(jìn)行人體行為識(shí)別。該算法首先使用殘差網(wǎng)絡(luò)構(gòu)造了空問(wèn)識(shí)別流和時(shí)間識(shí)別流的雙流網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提取視頻中的空間特征和時(shí)間特征，然后將這兩個(gè)特征融合后送入分類器分類，最后通過(guò)實(shí)驗(yàn)分析驗(yàn)證TS-ResNet增加了網(wǎng)絡(luò)的深度并提高了識(shí)別的準(zhǔn)確度，同時(shí)降低了算法的時(shí)間復(fù)雜度。在UCF101和HMDB51數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)，結(jié)果表明，與人工特征中表現(xiàn)最好

3、的iDT算法相比，TS-ResNet在UCF101數(shù)據(jù)集上要高0.35％，而在HMDB51數(shù)據(jù)集上提升了5.6％。與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法VLAD vector相比，TS-ResNet在UCF101數(shù)據(jù)集上要高2.05％，而在HMDB51數(shù)據(jù)集上提升了6.4％。
　　(2)針對(duì)傳統(tǒng)殘差網(wǎng)絡(luò)中獲得的特征魯棒性不夠的問(wèn)題，提出了一種深度融合殘差網(wǎng)絡(luò)(deep fusion ResNet，DF-ResNet)。該算法拋棄了傳統(tǒng)殘差網(wǎng)絡(luò)中的

4、極深層網(wǎng)絡(luò)，使用了更多的中層深度網(wǎng)絡(luò)，增加了融合次數(shù)，提升了潛在的基礎(chǔ)網(wǎng)絡(luò)組合數(shù)目，從而提高了整體網(wǎng)絡(luò)的性能。實(shí)驗(yàn)分析驗(yàn)證提出的DF-ResNet能夠提供比傳統(tǒng)的殘差網(wǎng)絡(luò)更高的準(zhǔn)確度。將DF-ResNet在UCF101和HMDB51數(shù)據(jù)集上實(shí)驗(yàn)，結(jié)果表明，與傳統(tǒng)殘差網(wǎng)絡(luò)相比，DF-ResNet在兩個(gè)數(shù)據(jù)集上的準(zhǔn)確度分別提高了0.6％和1％。
　　(3)在上述算法的基礎(chǔ)上，為了進(jìn)一步利用時(shí)間因素，本文提出雙流深度融合殘差網(wǎng)絡(luò)(Two