1、隨著傳感器技術(shù)的快速發(fā)展，視頻傳感器被廣泛應(yīng)用于視頻監(jiān)控系統(tǒng)和機(jī)器視覺領(lǐng)域中。在實際應(yīng)用中，通常會同時利用多個不同種類的視頻傳感器來拍攝同一場景的內(nèi)容以獲得該場景的完整信息。為了充分利用不同視頻傳感器捕捉到的信息，可以通過視頻融合的方法將不同傳感器拍攝的視頻融合到一個視頻中，融合視頻綜合了不同視頻傳感器獲得的重要信息，能夠更加準(zhǔn)確地反映該場景的內(nèi)容。
　　本文的主要研究工作及貢獻(xiàn)如下：
　　首先，較為詳細(xì)地討論了幾種常用的視

2、頻融合算法，即：基于時空能量匹配、基于時空結(jié)構(gòu)張量、基于脈沖耦合神經(jīng)網(wǎng)絡(luò)和基于高階奇異值分解的視頻融合算法?；跁r空能量匹配的視頻融合算法把視頻當(dāng)做一個整體進(jìn)行融合，在時間一致性方面相比于基于單幀的視頻融合算法有一定的提升，但是該算法采用相同的融合規(guī)則對輸入視頻中的空間信息和時間信息進(jìn)行融合，在一定程度上降低了融合視頻的時空一致性。為了提高融合視頻的時空一致性，基于時空結(jié)構(gòu)張量的視頻融合算法采用不同的融合規(guī)則對輸入視頻中的空間信息和時間

3、信息分別進(jìn)行融合，但是卻增加了運算復(fù)雜度。上述兩種算法在輸入視頻包含噪聲的情況下，無法獲得令人滿意的融合效果?；诿}沖耦合神經(jīng)網(wǎng)絡(luò)的視頻融合算法能夠在噪聲強(qiáng)度較小情況下獲得不錯的融合效果，但是當(dāng)噪聲強(qiáng)度很大時，該算法獲得的融合視頻中仍然包含較多噪聲，并且該算法的計算復(fù)雜度較高?；诟唠A奇異值分解的視頻融合算法很好地解決了噪聲環(huán)境下的視頻融合問題，同時其具有較高的運算效率，但是該算法利用高階奇異值的分解結(jié)果表示空間背景信息，對所有幀采用相

4、同的空間特征圖，這在一定程度上降低了融合視頻的時空一致性。
　　其次，針對上述算法存在的問題，提出了一種基于三維 Surfacelet變換(three-dimensional surfacelet transform,3D-ST)和矩陣低秩與稀疏分解(也稱魯棒主成分分析，robust principal component analysis，RPCA)的視頻融合算法。該算法的步驟如下：(1)對輸入視頻進(jìn)行三維Surfacelet變

5、換，獲得相應(yīng)的低頻子帶和帶通方向子帶；(2)利用RPCA對獲得的帶通方向子帶進(jìn)行進(jìn)一步分解，分別得到具有低秩特性的背景信息部分和具有稀疏特性的運動目標(biāo)信息部分；(3)分別對上述步驟中獲得的低頻子帶系數(shù)、背景信息部分和運動目標(biāo)信息部分進(jìn)行組合，得到融合視頻的Surfacelet變換系數(shù)；(4)對獲得的Surfacelet變換系數(shù)進(jìn)行三維Surfacelet逆變換得到融合視頻。
　　最后，大量的實驗表明，本文提出的視頻融合算法在時空信