1、如何對(duì)當(dāng)前環(huán)境下海量的視頻數(shù)據(jù)進(jìn)行有效的檢索和管理成為了多媒體技術(shù)領(lǐng)域的一個(gè)挑戰(zhàn)。對(duì)視頻添加語(yǔ)義標(biāo)注是解決這個(gè)問題的主要方式，然而由于現(xiàn)實(shí)中視頻內(nèi)容復(fù)雜多變，而且視頻語(yǔ)義的復(fù)雜性、模糊性和主觀性使得低層特征和高層語(yǔ)義之間存在著“語(yǔ)義鴻溝”，導(dǎo)致現(xiàn)有的標(biāo)注方法很難達(dá)到滿意的效果。視頻豐富的內(nèi)容在語(yǔ)義上存在一定的關(guān)聯(lián)性，在時(shí)間上也存在上下文關(guān)聯(lián)性，因此，充分利用這兩個(gè)特性將有助于縮小視頻的“語(yǔ)義鴻溝”，提高標(biāo)注的準(zhǔn)確性，以滿足海量數(shù)據(jù)檢索和

2、管理的要求。
　　本文基于視頻數(shù)據(jù)的時(shí)間和語(yǔ)義的上下文關(guān)聯(lián)特性，對(duì)視頻進(jìn)行標(biāo)注及優(yōu)化，來解決現(xiàn)有視頻語(yǔ)義標(biāo)注過程中重復(fù)勞動(dòng)多、效率低下和效果不佳的問題。完成的工作主要包括：
　　一、提出一個(gè)基于視頻內(nèi)容上下文的多語(yǔ)義自動(dòng)標(biāo)注方法。該方法從視頻層次結(jié)構(gòu)信息和視頻語(yǔ)義信息兩方面進(jìn)行標(biāo)注，在結(jié)構(gòu)上從上到下將視頻、特征幀和圖像區(qū)域構(gòu)建成一個(gè)樹模型；在語(yǔ)義信息上將劃分好的區(qū)域根據(jù)訓(xùn)練好的分類模型轉(zhuǎn)換為相應(yīng)的文本標(biāo)注。
　　二、提

3、出一個(gè)基于壓縮域和和聚類的特征幀提取方法。本文是以現(xiàn)有視頻基于聚類和基于壓縮域的特征幀提取算法為基礎(chǔ)加以改進(jìn)，利用壓縮域中I幀為中心進(jìn)行聚類，然后根據(jù)幀之間的相似度重新計(jì)算聚類中心，以此得到視頻特征幀幀，并根據(jù)聚類大小得到每個(gè)特征幀對(duì)視頻的貢獻(xiàn)度。最后通過實(shí)驗(yàn)證明此方法有很好的切分性能。
　　三、根據(jù)視頻的結(jié)構(gòu)信息構(gòu)建視頻樹模型整合視頻標(biāo)注結(jié)果。對(duì)于提取出的視頻特征幀，進(jìn)行區(qū)域劃分，然后再將劃分好的區(qū)域轉(zhuǎn)為文本；然后再利用Imag

4、eNet2014數(shù)據(jù)集訓(xùn)練Caffe框架，以得到圖像分類模型，將劃分的區(qū)域利用Caffe進(jìn)行檢測(cè)，得到區(qū)域的對(duì)象概念。然后根據(jù)視頻的垂直結(jié)構(gòu)，構(gòu)建視頻樹模型，得到初步的視頻標(biāo)注結(jié)果。
　　四、提出了一個(gè)基于模糊圖的視頻標(biāo)注優(yōu)化方法。分析視頻語(yǔ)義概念間的關(guān)聯(lián)性，針對(duì)風(fēng)景領(lǐng)域的視頻數(shù)據(jù)，統(tǒng)計(jì)視頻中對(duì)象概念出現(xiàn)的頻率以及它們之間的關(guān)聯(lián)關(guān)系，然后將概念間的關(guān)聯(lián)關(guān)系構(gòu)建語(yǔ)義模糊圖，利用模糊圖結(jié)合視頻樹模型對(duì)標(biāo)注結(jié)果進(jìn)行優(yōu)化。
　　本文