1、隨著媒體數(shù)字化技術和網(wǎng)絡技術的發(fā)展,人們的日常生活中所接觸到的數(shù)字視頻越來越多.相應的,對數(shù)字視頻進行分析和查找的需求也越來越迫切.因此,基于內(nèi)容的視頻處理和檢索已成為近年來多媒體處理、信息檢索以及數(shù)據(jù)管理研究領域的重要課題之一.視頻是由圖像和音頻組成的一個有機整體.經(jīng)過近些年的研究,越來越多的研究者發(fā)現(xiàn)從圖像中提取和分析視頻的語義是比較困難的.與此同時,音頻流所包含的語義信息要比圖像流豐富,而且從音頻流中提取語義信息也更加直觀方便.因

2、此,音頻信息的提取和分析對基于內(nèi)容的視頻處理和檢索具有重要的意義.結(jié)合視頻本身的特點,該文在傳統(tǒng)音頻處理方法的基礎上,討論了視頻處理和檢索系統(tǒng)中,提取、分析和利用音頻信息的算法和框架.其中,主要討論了三種音頻處理技術:音頻類型識別、說話人信息分析和特殊音頻事件檢測.視頻中包含豐富的音頻類型,將視頻根據(jù)音頻的類別進行分割是在視頻中應用音頻信息的基礎步驟.該文分析了不同音頻類型的產(chǎn)生機制以及它們在不同音頻特征上的特點,提出了一種基于最大熵模

3、型的音頻類型識別算法.該算法可以自動地挑選對分類比較有效的特征.同時,在復雜的音頻環(huán)境下,該算法的性能明顯優(yōu)于k近鄰、GMM和SVM等常用音頻類型識別算法.在現(xiàn)實的應用中,人(特別是說話人)經(jīng)常是視頻處理和檢索的主要對象.該文歸納整理了視頻處理和檢索中說話人信息分析的框架,提出了一個基于混合高斯模型的近似KL距離的視頻說話人信息分析算法.該算法能夠有效地對視頻中出現(xiàn)的說話人進行分割和聚類.視頻中的特殊音頻往往伴隨著視頻中某些特殊事件的發(fā)

4、生而出現(xiàn).對特殊音頻事件的檢測對于檢索視頻中的特殊事件具有重要意義.該文分別提出了基于基音頻率的歡呼聲檢測算法和基于頻譜能量分布的哨聲檢測算法.同時,還詳細討論了一個基于事件的體育視頻索引算法.該算法利用視頻關聯(lián)分析融合了音頻特征和其他視頻特征,可以檢測出體育視頻中出現(xiàn)的事件,最終建立基于事件的體育視頻索引結(jié)構(gòu).除了上述三個主要應用外,該文還對復旦大學參加TRECVID評測中用到的其他音頻處理方法進行討論.實驗結(jié)果表明,該文提到的部分算