1、 在計(jì)算機(jī)和通信技術(shù)高速發(fā)展的今天，大容量的多媒體數(shù)據(jù)及大規(guī)模的多媒體數(shù)據(jù)庫(kù)對(duì)數(shù)字視頻技術(shù)的要求越來(lái)越強(qiáng)烈。作為快速瀏覽大容量視頻數(shù)據(jù)的有效手段，數(shù)字視頻摘要起著至關(guān)重要的作用。好的視頻摘要一方面能夠很好的介紹它所代表的視頻內(nèi)容，另一方面信息量高度集中的視頻摘要能夠幫助用戶(hù)避免瀏覽整個(gè)視頻，這在信息高速增長(zhǎng)的今天是有著重要意義的?；趯?duì)這一問(wèn)題的理解，本文在交互式視頻摘要、基于機(jī)器學(xué)習(xí)的視頻代表幀提取、空域-時(shí)域相結(jié)合的視頻摘要等

2、方面進(jìn)行了較全面而深入的研究工作。本文的主要研究工作和創(chuàng)新點(diǎn)如下： 首先，本文設(shè)計(jì)并實(shí)現(xiàn)了基于人機(jī)交互的靜態(tài)視頻摘要系統(tǒng)。本文首先介紹了靜態(tài)視頻摘要系統(tǒng)的主要技術(shù)，對(duì)目前用得較多的關(guān)鍵幀抽取算法，關(guān)鍵幀聚類(lèi)算法進(jìn)行了分析。由于當(dāng)前的圖像理解技術(shù)水平難以對(duì)視頻幀和整個(gè)視頻的內(nèi)容有較深的理解，為此本文提出了一個(gè)基于人機(jī)交互的靜態(tài)視頻摘要系統(tǒng)。該系統(tǒng)具有兩種工作模式：1)具有自動(dòng)的視頻鏡頭分割，關(guān)鍵幀提取，關(guān)鍵幀聚類(lèi)和靜態(tài)視頻概要生成

3、，2)該系統(tǒng)還具有較強(qiáng)的用戶(hù)交互功能，用戶(hù)可以在系統(tǒng)自動(dòng)的鏡頭分割和關(guān)鍵幀抽取后對(duì)關(guān)鍵幀聚類(lèi)和靜態(tài)視頻摘要生成進(jìn)行修改和約束。同時(shí)從系統(tǒng)設(shè)計(jì)的角度，本文分析了引入人機(jī)交互后對(duì)系統(tǒng)設(shè)計(jì)的要求，如系統(tǒng)響應(yīng)時(shí)間等。在新的要求下對(duì)系統(tǒng)關(guān)鍵幀聚類(lèi)模塊的算法進(jìn)行了針對(duì)性的優(yōu)化。這樣使得該系統(tǒng)在保持較好自動(dòng)功能的同時(shí)具有優(yōu)越的用戶(hù)交互能力。這為用戶(hù)方便而快捷的生成滿(mǎn)意的靜態(tài)視頻摘要提供了強(qiáng)有力的工具。 第二，本文分析了現(xiàn)有視頻摘要算法中對(duì)代表

4、幀(關(guān)鍵幀)代表性研究不足的問(wèn)題，提出了基于機(jī)器學(xué)習(xí)的視頻幀代表性度量。在已有的視頻摘要系統(tǒng)中，常用的一些基于規(guī)則的代表幀提取算法很難滿(mǎn)足用戶(hù)的要求。通過(guò)觀察發(fā)現(xiàn)用戶(hù)在子鏡頭(Sub-shot)層次上對(duì)關(guān)鍵幀的選擇具有較強(qiáng)的一致性。因此，本文對(duì)用戶(hù)在子鏡頭中的代表幀選擇用機(jī)器學(xué)習(xí)的方法進(jìn)行建模。通過(guò)產(chǎn)生型模型(GenerativeModel)將視頻幀的特征與其對(duì)子鏡頭視頻片段的代表性用高斯混合函數(shù)模型(GaussianMixtureMo

5、del，GMM)進(jìn)行表達(dá)。客觀和主觀評(píng)測(cè)證明了該算法在對(duì)視頻幀代表性的度量上明顯優(yōu)于已有的基于規(guī)則的代表幀提取算法。 第三，本文提出了一個(gè)全新的空域-時(shí)域結(jié)合的視頻摘要框架，稱(chēng)為空域-時(shí)域視頻蒙太奇(Space-TimeVideoMontage)。視頻本身是一個(gè)由兩維的空間和一維的時(shí)間組成的三維的流。在這個(gè)三維空間中，視頻信息的分布是不均勻的。但是目前的視頻摘要研究都只是針對(duì)視頻信息在時(shí)間域上的不均勻性，卻忽略了視頻在空間域上的

6、非均勻性。研究人員關(guān)注最多的是如何在時(shí)間軸上選擇視頻幀，并將它們排列起來(lái)展現(xiàn)給用戶(hù)。他們理所當(dāng)然地將視頻幀作為一個(gè)不可分割的最小視頻單元。本文針對(duì)這一弊端提出了將空域和時(shí)域結(jié)合起來(lái)，首先分析視頻信息在三維空間中的分布，然后用顯著層(SaliencyLayer)代表三維空間中相互獨(dú)立的高顯著體，通過(guò)順序的First-fit排列優(yōu)化和Graphcut融合算法將這些高顯著體重新排列成更加緊致的結(jié)構(gòu)而去除初始分布在它們之間的低顯著度區(qū)域。這樣的