1、隨著多媒體、計算機和網(wǎng)絡(luò)的發(fā)展，視頻數(shù)據(jù)飛速增長。為了對這些海量視頻數(shù)據(jù)進(jìn)行存儲、管理、和索引，需要研究高效的基于內(nèi)容的方法對視頻數(shù)據(jù)進(jìn)行檢索，而視頻標(biāo)注是視頻索引和視頻搜索的基礎(chǔ)。本文研究如何利用機器學(xué)習(xí)和視頻的特征，對視頻進(jìn)行多層次的、基于內(nèi)容的標(biāo)注。 視頻在結(jié)構(gòu)上共分四個層次：視頻(video)、場景(Scene)、鏡頭(shot)、圖象幀(frame)。通常視頻標(biāo)注主要在其中的視頻層和鏡頭層中進(jìn)行。視頻層的標(biāo)注是對整段視

2、頻標(biāo)注其類型屬性。鏡頭層的標(biāo)注主要是依據(jù)從該鏡頭中提取的關(guān)鍵幀，標(biāo)注其對應(yīng)的語義概念。根據(jù)所標(biāo)注的語義概念對應(yīng)的是圖象幀層次還是物體層次的，鏡頭層標(biāo)注又可進(jìn)一步分為圖象幀層標(biāo)注和物體層標(biāo)注。本文研究在視頻層、圖象幀層、和物體層上進(jìn)行視頻標(biāo)注時的關(guān)鍵問題，主要工作和創(chuàng)新之處歸納為以下幾點： 1.目前視頻類型層標(biāo)注的研究工作通常僅僅標(biāo)注了幾種簡單的類型，或者是局限在電影、體育運動等某個特定的類型內(nèi)標(biāo)注其子類型，而且使用的分類器也過于

3、簡單。本文定義了一個相對完備的視頻類型分層表示，分析并提取一系列與類型相關(guān)的時空域特征，并提出使用局部和全局優(yōu)化的多類SVM二叉樹提高分類精度。實驗結(jié)果表明，本文提出的局部和全局優(yōu)化的SVM二叉樹與另外兩種典型的SVM多類分類算法、以及現(xiàn)有的視頻分類工作中使用的分類器相比，能夠獲得更高的精確度。 2.當(dāng)蘸盼視頻類型層標(biāo)注工作都是采用被動監(jiān)督學(xué)習(xí)的方法，需要大量的訓(xùn)練數(shù)據(jù)和費時費力的手工標(biāo)注。本文將主動學(xué)習(xí)引入視頻類型層標(biāo)注，并提

4、出使用后驗概率來計算分類器對未標(biāo)注樣本的置信度，然后依據(jù)此置信度選擇分類器最不確定的樣本，也即最“有用”的樣本提供給用戶進(jìn)行標(biāo)注，從而用更少的訓(xùn)練樣本獲得和大量訓(xùn)練樣本近似的分類效果，減輕用戶標(biāo)注訓(xùn)練數(shù)據(jù)的負(fù)擔(dān)。實驗結(jié)果表明，本文提出的基于后驗概率的主動學(xué)習(xí)樣本選擇策略要略好于現(xiàn)有的基于變型空間的主動學(xué)習(xí)樣本選擇策略、以及被動學(xué)習(xí)的樣本選擇策略。 3.對于圖象幀層視頻標(biāo)注，本文考慮一種經(jīng)常遇到的實際應(yīng)用：僅擁有一小部分相關(guān)的正例，如俺學(xué)

5、習(xí)該目標(biāo)概念的模型。此時進(jìn)行視頻標(biāo)注主要存在下面兩個問題：第一，對于僅有正例的訓(xùn)練數(shù)據(jù)，傳統(tǒng)的區(qū)分型分類器如SVM等無法直接使用；第二，區(qū)分各種語義概念的底層特征有很大的不同，使用統(tǒng)一的特征無法適應(yīng)各種語義概念的變化。本文提出一個基于流形排序的關(guān)鍵幀圖象層視頻標(biāo)注框。對第一個問題，用流行排序解決僅有正例的不足，同時可以利用未標(biāo)注數(shù)據(jù)的分布信息。對第二個問題，定義一個特征選擇準(zhǔn)則，引入特征選擇為不同的語義概念選擇不同的特征。此關(guān)鍵幀圖象層

6、視頻標(biāo)注框架支持新定義的目標(biāo)概念和新特征的引入。 4.在物體層視頻標(biāo)注中，傳統(tǒng)的多實例學(xué)習(xí)表達(dá)忽略了各種語義概念之間的語義相關(guān)性。因此本文提出existence-based多實例表達(dá)來描述這種概念間的語義相關(guān)性，并根據(jù)existence-based表達(dá)設(shè)計一種新的多實例學(xué)習(xí)算法MI-AdaBoost。算法首先對訓(xùn)練數(shù)據(jù)中的每個包進(jìn)行特征映射，轉(zhuǎn)換成包級特征空間的一個特征矢量，從麗將多實例學(xué)習(xí)轉(zhuǎn)換為傳統(tǒng)的監(jiān)督學(xué)習(xí)。這種特征映射會為

7、每個包建立一個包含大量噪聲的高維特征矢量，可以用AdaBoost進(jìn)行特征選擇并構(gòu)建分類器。 5。不同的語義概念對應(yīng)的底層特征有很大的不同，因此特征選擇對視頻標(biāo)注是非常關(guān)鍵的一個問題。以前的研究工作在將多實例學(xué)習(xí)應(yīng)用于視頻標(biāo)注時，都忽略了如何在多實例學(xué)習(xí)情況下做特征選擇的問題。由于傳統(tǒng)的單實例學(xué)習(xí)下的特征選擇算法通常都無法在多實例學(xué)習(xí)中直接應(yīng)用，本文提如了一種多實例學(xué)習(xí)下的特征選擇算法EBMIL，能夠在選擇映射后的包級特征的同時，