1、3D視頻節(jié)目處理打破了傳統(tǒng)的二維視頻的概念,該技術(shù)通過(guò)同時(shí)傳輸左右兩路視頻,在終端,用戶(hù)通過(guò)佩戴3D眼鏡觀看,使得左右兩幅圖像可以在人腦中融合,從而形成立體視覺(jué),使得人們能夠真正欣賞到沉浸感極強(qiáng)的三維視頻。深度圖像的獲取是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)基礎(chǔ)課題,其由于包含了場(chǎng)景中豐富的立體結(jié)構(gòu)信息,被廣泛的應(yīng)用于虛擬視點(diǎn)繪制(Synthesized View Rendering)、物體識(shí)別(Object Recognition),場(chǎng)景三維重建(3

2、D Reconsturction)等領(lǐng)域。在這些應(yīng)用中,深度圖像便顯得至關(guān)重要,深度圖像的質(zhì)量將會(huì)直接決定任務(wù)的成功與否。
　　本文研究?jī)?nèi)容包括主動(dòng)式設(shè)備獲取(Active Depth Senseing)的深度圖像中噪聲的分析及修復(fù),以及三視點(diǎn)圖像序列的被動(dòng)視差估計(jì)(Passive Disparity Acquiring)算法兩種情況。主動(dòng)式的深度圖像獲取技術(shù)已經(jīng)比較成熟,如采用Microsoft Kinect深度攝像機(jī)進(jìn)行拍攝,

3、利用配套的MS Kinect SDK獲取其深度數(shù)據(jù)。論文針對(duì)Kinect所獲深度圖像中存在的孔洞問(wèn)題,通過(guò)研究國(guó)內(nèi)外研究者對(duì)于 Kinect深度孔洞的修復(fù)方法的優(yōu)勢(shì)與不足,提出了一種基于平面擬合和區(qū)域一致性測(cè)度(Region Consistency Metric)的深度圖像修復(fù)方案。該方案通過(guò)將具有相似顏色信息像素分割為同一平面,并將其擬合為空間中的3D平面,來(lái)對(duì)丟失信息的像素進(jìn)行信息填補(bǔ);在此基礎(chǔ)上,本文通過(guò)在傳統(tǒng)的聯(lián)合雙邊濾波器中加

4、入了區(qū)域一致性測(cè)度項(xiàng),能夠有效地填補(bǔ)深度圖像中的剩余孔洞,并能夠較好地恢復(fù)出深度圖像細(xì)節(jié)。最后,文章通過(guò)實(shí)驗(yàn)證明,在填補(bǔ)由主動(dòng)式設(shè)備獲取的深度圖像中存在的孔洞時(shí),本文算具有較好地的應(yīng)用效果。
　　對(duì)于被動(dòng)視差估計(jì)算法,論文提出了一種基于馬爾科夫隨機(jī)場(chǎng)(Markov Random Field, MRF)上全局能量?jī)?yōu)化框架下的三視點(diǎn)視差序列提取算法。在本文算法中,明確地提出了遮擋信息及時(shí)空域約束,并將其加入匹配函數(shù)中,作為軟性約束在一

5、個(gè)迭代的框架內(nèi)進(jìn)行優(yōu)化。視差圖像通過(guò)AD-Census匹配代價(jià)以及置信傳播算法進(jìn)行初始化,隨后,利用基于多參數(shù)Meanshift平面分割的平面融合技術(shù)進(jìn)行平面約束。進(jìn)一步地,本文考慮了三視點(diǎn)視差圖像應(yīng)滿(mǎn)足的空間域一致性要求來(lái)進(jìn)行結(jié)果優(yōu)化。為了使我們的算法更加有效,我們將其實(shí)現(xiàn)在一個(gè)迭代框架內(nèi),進(jìn)行遮擋區(qū)域和視差圖像的迭代更新;對(duì)于時(shí)域約束,算法利用光流法尋找到相鄰幀之間的匹配點(diǎn),然后將其視差變化作為約束加入了我們的能量函數(shù)中。最后,我們

6、利用亞像素估計(jì)算法得到最終的視差圖像序列。本文所提算法將低紋理區(qū)域、遮擋區(qū)域、時(shí)空域約束等進(jìn)行統(tǒng)一考慮,并加入到了一個(gè)統(tǒng)一的迭代更新框架內(nèi),提高了實(shí)驗(yàn)結(jié)果全局尋優(yōu)的能力。實(shí)驗(yàn)結(jié)果表明,本文算法能夠獲取在時(shí)空域上準(zhǔn)確而連續(xù)的視差序列,并且保持清晰、銳利的視差邊緣。通過(guò)在Middlebury數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn),證明了本文算法提取視差圖像具有較高的準(zhǔn)確性。在時(shí)域約束方面,通過(guò)利用本文算法所提出的時(shí)域約束對(duì)視差圖像序列進(jìn)行優(yōu)化,并利用優(yōu)化后的視差