1、<p>　　圖像處理技術(shù)在視頻監(jiān)視中的應(yīng)用</p><p>　　本文介紹上海凱視力成信息科技有限公司多年專心研究積累的一些工程化的圖像處理技術(shù)在視頻監(jiān)視方面的一些應(yīng)用。</p><p><b>　　1．視頻跟蹤技術(shù)</b></p><p>　　自動(dòng)視頻跟蹤是通過(guò)圖像處理算法，實(shí)時(shí)計(jì)算出選定的目標(biāo)（如人、車(chē)輛等）在圖像中的精確位置，并控

2、制狀態(tài)轉(zhuǎn)動(dòng)，從而保持目標(biāo)始終處在視頻窗口中的一個(gè)指定位置。電子穩(wěn)像演示視頻一.mpg</p><p><b>　　系統(tǒng)框圖如下：</b></p><p>　　1：監(jiān)視器，用于監(jiān)視跟蹤視頻</p><p>　　2：手柄，用于攝像機(jī)轉(zhuǎn)臺(tái)控制和跟蹤操作</p><p>　　3：自動(dòng)視頻跟蹤模塊</p><p

3、><b>　　4：轉(zhuǎn)臺(tái)</b></p><p>　　跟蹤演示視頻：跟蹤.mpg</p><p>　　正因?yàn)槭褂米詣?dòng)跟蹤技術(shù)能夠自動(dòng)控制轉(zhuǎn)臺(tái)運(yùn)動(dòng)，從而保持選定的目標(biāo)始終處于屏幕（或圖像）中特定的位置（這個(gè)位置可以是圖像中心，也可以是屏幕的其它位置）。因而，給我們帶來(lái)如下意義：</p><p>　?。?） 減輕人工負(fù)擔(dān)。可以自動(dòng)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行

4、連續(xù)的觀察監(jiān)視。</p><p>　?。?）  目標(biāo)指示。由于自動(dòng)跟蹤維持目標(biāo)始終處于屏幕的指定位置，因此：</p><p>　　a) 當(dāng)我們知道轉(zhuǎn)臺(tái)的方位角和俯仰角時(shí)，就可以獲得目標(biāo)的方位角和俯仰角等位置信息。</p><p>　　b) 我們可以用處于不同位置的兩套跟蹤設(shè)備對(duì)同一目標(biāo)進(jìn)行跟蹤，構(gòu)成立體視覺(jué)系統(tǒng)，可以獲得目標(biāo)的距離、高度、方位角、俯仰角等信

5、息。</p><p>　　c) 如果我們把激光器與攝像機(jī)固定安放在在同一平臺(tái)上的時(shí)候，那么通過(guò)自動(dòng)跟蹤技術(shù)就可以維持目標(biāo)始終處于激光光斑位置，也即保持激光能夠始終打在運(yùn)動(dòng)目標(biāo)上，這樣就可以實(shí)現(xiàn)激光制導(dǎo)、測(cè)距等功能。</p><p>　　由此可見(jiàn)，自動(dòng)跟蹤技術(shù)在視頻監(jiān)視領(lǐng)域具有很重要的意義，可應(yīng)用于下面一些領(lǐng)域：</p><p>　?。?）機(jī)載光電觀瞄系統(tǒng)</p

6、><p>　　（2）車(chē)載光電跟蹤系統(tǒng)</p><p>　?。?） 艦船光電跟蹤系統(tǒng)</p><p>　　（4） 火箭發(fā)射、飛機(jī)起降、實(shí)時(shí)炮彈自動(dòng)視頻跟蹤系統(tǒng)</p><p>　?。?） 監(jiān)視，如邊防監(jiān)視跟蹤系統(tǒng)</p><p>　?。?） 炸彈等武器系統(tǒng)目標(biāo)指示</p><p>　?。?） 武器系統(tǒng)

7、評(píng)估</p><p><b>　?。?） 模擬器系統(tǒng)</b></p><p><b>　　（9） 軌跡分析</b></p><p><b>　?。?0）圖像匹配</b></p><p>　?。?1）跟蹤系統(tǒng)自動(dòng)校準(zhǔn)</p><p>　?。?2）激光系統(tǒng)對(duì)

8、齊</p><p>　?。?3）目標(biāo)空間測(cè)量</p><p><b>　?。?4）生物分析</b></p><p><b>　　2．視頻拼接技術(shù)</b></p><p>　　視頻拼接是通過(guò)圖像處理算法，對(duì)一組視頻畫(huà)面進(jìn)行矯正配準(zhǔn)無(wú)縫拼接成一個(gè)更大視場(chǎng)的視頻畫(huà)面。這一組視頻，可能是來(lái)自由多個(gè)小視場(chǎng)攝像

9、機(jī)組成的對(duì)一個(gè)大視場(chǎng)的完整監(jiān)視，這稱為多鏡頭視頻拼接；也可能是來(lái)自單個(gè)攝像機(jī)，這個(gè)攝像機(jī)通過(guò)轉(zhuǎn)動(dòng)實(shí)現(xiàn)對(duì)一個(gè)大視場(chǎng)的掃描監(jiān)視，這稱為單鏡頭視頻拼接。</p><p><b>　　多鏡頭拼接示意圖：</b></p><p>　　圖2 多鏡頭拼接示意圖</p><p><b>　　1：監(jiān)視器</b></p><

10、;p>　　2：多鏡頭視頻拼接設(shè)備</p><p><b>　　3：轉(zhuǎn)動(dòng)攝像機(jī)</b></p><p><b>　　單鏡頭拼接示意圖：</b></p><p><b>　　圖3 單鏡頭拼接</b></p><p><b>　　1：監(jiān)視器</b><

11、/p><p>　　2：?jiǎn)午R頭視頻拼接設(shè)備</p><p><b>　　3：轉(zhuǎn)動(dòng)攝像機(jī)</b></p><p>　　多鏡頭拼接演示視頻：多鏡頭視頻拼接.mp4，多鏡頭視頻拼接二.mpg</p><p>　　單鏡頭拼接演示視頻：?jiǎn)午R頭視頻拼接.mpg</p><p>　　視頻拼接技術(shù)將多個(gè)較小視場(chǎng)的畫(huà)面拼

12、接成更大的視場(chǎng)的畫(huà)面，使得我們看得更廣。它給我們帶來(lái)如下好處：</p><p>　?。?） 增強(qiáng)對(duì)監(jiān)視區(qū)域或周?chē)鷳B(tài)勢(shì)的視覺(jué)感知能力。超寬監(jiān)視視角，360度的全景視頻盡收眼底，全局感、方位感大為增強(qiáng)，并消滅了監(jiān)視死角。</p><p>　?。?） 虛擬PTZ技術(shù)。采用虛擬PTZ技術(shù)，可以放大或放大監(jiān)視視場(chǎng)內(nèi)的圖像區(qū)域，當(dāng)改變方向觀察另一個(gè)圖像區(qū)域時(shí)，不會(huì)發(fā)出任何噪音，隱秘且不易察覺(jué)。由于沒(méi)有

13、機(jī)械移動(dòng)部件，不需要時(shí)刻進(jìn)行機(jī)械轉(zhuǎn)動(dòng)，無(wú)磨損，結(jié)實(shí)耐用，壽命長(zhǎng)。與機(jī)械PTZ不同，虛擬PTZ可以同時(shí)觀察多個(gè)不同的區(qū)域。</p><p>　　（3） 相對(duì)于由魚(yú)眼鏡頭實(shí)現(xiàn)的全景視頻，通過(guò)拼接技術(shù)構(gòu)建的全景視頻，克服了魚(yú)眼鏡頭只能看近距離（一般用于室內(nèi)）的缺陷，可以看得更遠(yuǎn)更清楚，且沒(méi)有像素限制，更不會(huì)存在中間與邊緣分辨率差距巨大的問(wèn)題。</p><p><b>　　視頻拼接可應(yīng)用

14、于：</b></p><p>　?。?）軍事上，飛機(jī)、裝甲車(chē)、艦船等周?chē)鷳B(tài)勢(shì)的視覺(jué)感知。</p><p>　?。?）公安領(lǐng)域，警車(chē)、巡邏車(chē)、反恐、押運(yùn)等特種車(chē)輛。</p><p>　?。?）邊海防視頻監(jiān)視</p><p>　?。?）廣場(chǎng)、運(yùn)動(dòng)場(chǎng)等大范圍公共場(chǎng)所監(jiān)視</p><p>　?。?）交通樞紐、港口碼

15、頭、停車(chē)場(chǎng)、銀行、加油站等視頻監(jiān)視。</p><p><b>　　3．視頻增強(qiáng)技術(shù)</b></p><p>　　在惡劣氣象條件下，如霧霾、雨雪、光線昏暗、煙、水氣、沙塵等，攝像機(jī)產(chǎn)生的視頻圖像質(zhì)量會(huì)嚴(yán)重下降，圖像模糊不清，視頻增強(qiáng)技術(shù)是通過(guò)圖像處理算法，對(duì)這類劣質(zhì)視頻圖像進(jìn)行有效處理，從而顯著改善視覺(jué)效果，提高畫(huà)面清晰度，提高攝像機(jī)的探測(cè)能力。</p>

16、<p>　　圖4 視頻增強(qiáng)示意圖</p><p>　　圖5 雪天視頻增強(qiáng)效果圖</p><p>　　圖6 霧天視頻增強(qiáng)效果圖</p><p>　　圖7 霧霾天視頻增強(qiáng)效果圖</p><p>　　圖8 沙塵暴視頻增強(qiáng)效果圖</p><p>　　增強(qiáng)演示視頻：增強(qiáng)演示視頻一.mpg，增強(qiáng)演示視頻二.mpg，增強(qiáng)演

17、示視頻三.mpg，增強(qiáng)演示視頻四.mpg</p><p><b>　　視頻增強(qiáng)可應(yīng)用于：</b></p><p>　　（1）飛機(jī)、艦船、車(chē)輛等的光電系統(tǒng)</p><p>　?。?）邊海防、交通等安防監(jiān)視</p><p><b>　　（3）視頻后期處理</b></p><p>

18、<b>　　4．電子穩(wěn)像技術(shù)</b></p><p>　　在很多視頻監(jiān)視場(chǎng)合，往往存在機(jī)械震動(dòng)，如攝像機(jī)安裝在飛機(jī)、車(chē)、船、空調(diào)、PTZ云臺(tái)、加熱通風(fēng)設(shè)備等上，還有室外刮風(fēng)、車(chē)輛行駛等都會(huì)造成攝像機(jī)晃動(dòng)，尤其是在高倍鏡頭監(jiān)視情況下，抖動(dòng)就更為嚴(yán)重。通過(guò)圖像處理算法，可以有效地去除這些抖動(dòng)，使得視頻圖像更易于觀察監(jiān)視。</p><p>　　圖10 電子穩(wěn)像示意圖<

19、/p><p>　　電子穩(wěn)像演示視頻：電子穩(wěn)像演示視頻一.mpg ，電子穩(wěn)像演示視頻二.avi ，電子穩(wěn)像演示視頻三.mpg ，電子穩(wěn)像演示視頻四.wmv。</p><p>　　電子穩(wěn)像技術(shù)的應(yīng)用可以消除視頻的抖動(dòng)，而抖動(dòng)的危害有：</p><p>　?。?）抖動(dòng)的視頻無(wú)法讓人看清細(xì)節(jié)，從而影響視頻監(jiān)視的質(zhì)量。</p><

20、p>　?。?） 抖動(dòng)的視頻是非常令人生厭的，并極易引起視覺(jué)疲勞。</p><p>　?。?）抖動(dòng)的視頻對(duì)后端的壓縮非常不利，并會(huì)導(dǎo)致壓縮碼流急劇上升，不利于存儲(chǔ)和網(wǎng)絡(luò)傳輸。</p><p>　?。?）抖動(dòng)的視頻，不利于后端視頻分析設(shè)備的處理。</p><p><b>　　電子穩(wěn)像的應(yīng)用：</b></p><p>　

21、　（1）飛機(jī)、車(chē)輛、艦船等交通工具上的視頻監(jiān)視。</p><p>　　（2）邊海防監(jiān)視，尤其是多風(fēng)的海邊。</p><p>　?。?）道路交通監(jiān)視：道路、橋梁、隧道。</p><p>　?。?）有如空調(diào)、風(fēng)機(jī)等大型機(jī)器震動(dòng)場(chǎng)合的監(jiān)視，如廠、礦。</p><p>　?。?）視頻后期處理。</p><p><b>

22、;　　5．視頻融合技術(shù)</b></p><p>　　視頻融合技術(shù)是將不同類型的光電成像傳感器獲取的同一景物圖像進(jìn)行幾何配準(zhǔn)，然后采用一定的算法將各圖像中所含信息優(yōu)勢(shì)或互補(bǔ)性有機(jī)結(jié)合起來(lái)，產(chǎn)生新的圖像，提高了光電系統(tǒng)的識(shí)別探測(cè)能力。</p><p>　　如圖11為熱像儀夜間圖像，由于熱像成像機(jī)制是對(duì)熱的反應(yīng)，而對(duì)可見(jiàn)光并沒(méi)有反應(yīng)，因此看不到村莊的燈光，將這個(gè)熱像圖像，與可見(jiàn)光傳感

23、器如CCD的圖像融合到一起，就可以獲得融合后的圖像如圖12和圖13所示，顯然，融合后的圖像信息大為豐富。</p><p>　　圖11 熱像儀的夜間圖像</p><p>　　圖12 CCD與熱像儀的圖像融合后的圖像</p><p>　　圖13 CCD與熱像儀的圖像融合后的圖像</p><p>　　可見(jiàn)，由于增加了圖像的信息量，因此，視頻融合技術(shù)

24、可以帶來(lái)如下好處：</p><p>　?。?）改善圖像的可視性和可信度，減少圖像信息的模糊不確定性。</p><p>　?。?）提高系統(tǒng)的作用范圍和全天候的工作能力。</p><p>　　視頻融合技術(shù)的應(yīng)用：</p><p>　?。?）機(jī)載、車(chē)輛、艦船上的光電探測(cè)。</p><p>　?。?）邊海防視頻監(jiān)視。</

25、p><p>　?。?）重點(diǎn)場(chǎng)所的視頻監(jiān)視。</p><p><b>　　6．超分辨率技術(shù)</b></p><p>　　超分辨率技術(shù)在視頻中的應(yīng)用，一般是利用多幀視頻圖像，進(jìn)行配準(zhǔn)插值和圖像放大，以獲得更為精細(xì)的超高分辨率圖像，以增加探測(cè)距離。</p><p>　　圖13 超分辨率重構(gòu)示例圖</p><p&

26、gt;　　超分辨率演示視頻：超分辨率演示視頻一.mpg</p><p>　　超分辨率技術(shù)的應(yīng)用：</p><p>　?。?） 機(jī)載、車(chē)輛、艦船上的光電探測(cè)。</p><p>　?。?）邊海防視頻監(jiān)視系統(tǒng)。</p><p>　　（3） 公安偵查鑒定。</p><p>　?。?）銀行、證券等部門(mén)的安全監(jiān)控系統(tǒng)中</p