1、朱慶生，胡章平，劉然，等：立體圖像對的極線校正200930(17)40270引言在計(jì)算機(jī)立體視覺研究領(lǐng)域，立體圖像對的特征點(diǎn)匹配一直是一個(gè)關(guān)鍵問題[12]。它的目的是從立體圖像對的兩幅圖像中找出對應(yīng)的特征點(diǎn)。目前大多數(shù)匹配算法都是基于這樣一個(gè)假設(shè)前提：立體圖像對的兩幅圖像對應(yīng)的特征點(diǎn)在同一掃描線上[3]。這樣就將匹配的搜索范圍從二維降到了一維，加快了匹配速度，提高了匹配精度[4]。有些文獻(xiàn)將滿足這一假設(shè)前提稱為滿足掃描線特性[5]。但是

2、，現(xiàn)實(shí)中得到的大多數(shù)立體圖像對不滿足掃描線特性，對應(yīng)的特征點(diǎn)往往存在垂直視差，并且大多數(shù)點(diǎn)對的垂直視差也不是一個(gè)相同的值，不能通過平移圖像來達(dá)到消除垂直視差的目的。針對這種情況，有些學(xué)者提出采用極線校正的方法使立體圖像對的兩幅圖像滿足掃描線特性。極線校正又稱為圖像校正[6]、投影校正[37]，指的是對兩幅圖像各進(jìn)行一次投影變換，使得兩幅圖像對應(yīng)的極線在同一條掃描線上[14]，從而滿足掃描線特性。目前已有許多極線校正方法。Seitz等人給

3、出了兩幅圖像滿足掃描線特性的充要條件，并據(jù)此給出了一種確定投影變換矩陣的方法[8]；Francesco等人提出了一種無需基本矩陣的極線校正方法，該方法只依賴于圖像匹配點(diǎn)的坐標(biāo)，利用線性最小二乘估計(jì)和非線性最優(yōu)化方法來計(jì)算投影變換矩陣[3]；Mallon等人給出了一種僅依賴于基本矩陣的方法，該方法根據(jù)基本矩陣求出極點(diǎn)，然后將極點(diǎn)旋轉(zhuǎn)到X軸，接著將極點(diǎn)投影到無窮遠(yuǎn)處，最后使得兩幅圖像對應(yīng)的極線在同一條掃描線上[7]；林國余等人在Hartle

4、y和Francesco算法的基礎(chǔ)上進(jìn)行了改進(jìn)，給出了一種有效的魯棒性極線校正方法，并使其適合兩個(gè)平行放置的攝像機(jī)之間具有較小移動的情況[1]。以上方法各有優(yōu)點(diǎn)和局限。本文在無需基本矩陣的方法基礎(chǔ)上，引入了深度旋轉(zhuǎn)等約束，采用完全基于基本矩陣的方法計(jì)算出投影變換矩陣的初始值，再代入目標(biāo)函數(shù)進(jìn)行最優(yōu)化，從而克服了最優(yōu)化時(shí)對初始值敏感的特點(diǎn)，同時(shí)又不過分依賴基本矩陣的計(jì)算。1極線幾何設(shè)立體圖像對的兩幅圖像分別是I0和I1，F(xiàn)是其對應(yīng)的基本矩陣

5、，則對每一對匹配點(diǎn)u0∈I0和u1∈I1，有u1TFu0=0(1)收稿日期：20080923；修訂日期：20081116。基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目(60773082F0205)；國家863高技術(shù)研究發(fā)展計(jì)劃基金項(xiàng)目(2006AA10Z233)；重慶大學(xué)研究生科技創(chuàng)新基金項(xiàng)目(200701Y1A0080194)。作者簡介：朱慶生(1956－)，男，安徽人，教授，博士生導(dǎo)師，研究方向?yàn)閿?shù)字農(nóng)業(yè)、圖形圖像學(xué)等；胡章平(1982－)，男，

6、四川人，碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺；劉然(1978－)，男，湖南人，博士，研究方向?yàn)橛?jì)算機(jī)視覺；許小艷(1980－)，女，湖南人，博士研究生，研究方向?yàn)橛?jì)算機(jī)視覺。Email：hzhping350@立體圖像對的極線校正朱慶生，胡章平，劉然，許小艷(重慶大學(xué)計(jì)算機(jī)學(xué)院，重慶400044)摘要：將Seitz方法和Francesco方法結(jié)合起來，給出了一種改進(jìn)的極線校正方法。該方法利用改進(jìn)的八點(diǎn)算法算出基本矩陣，根據(jù)基本矩陣采用Seit

7、z方法計(jì)算投影變換矩陣，最后以算出的投影變換矩陣為初值采用Francesco方法對其進(jìn)行最優(yōu)化，從而有效地避免了最優(yōu)化時(shí)陷入局部最優(yōu)的可能，同時(shí)又不過分依賴基本矩陣的精度。通過對Francesco方法、Mallon方法和該方法進(jìn)行對比實(shí)驗(yàn)，可以發(fā)現(xiàn)該方法具有更高的校正精度，圖像的扭曲也比較小。關(guān)鍵詞：極線幾何極線校正立體圖像對圖像校正投影校正中圖法分類號：TP391文獻(xiàn)標(biāo)識碼：A文章編號：10007024(2009)17402704Ep

8、ipolarlinerectificationfstereopairsZHUQingshengHUZhangpingLIURanXUXiaoyan(CollegeofComputerScienceChongqingUniversityChongqing400044China)Abstract：CombiningSeitzmethodwithFrancescomethodaimprovedmethodtorectifyepipolarli

9、nesfstereopairsisintroduced.InthismethodthefundamentalmatrixiscalculatedusingtheimprovedeightpointalgithmthenasaninputfSeitzmethodtogettheprojectivetransfmationmatrices.FinallythesematricesareusedtoinitializetheFrancesco

10、methodfoptimizationavoidinginthiswaylocalminimaaswellasthedependenceontheprecisionofthefundamentalmatrix.ExperimentalresultsshowthatthepresentedmethodwksmeaccuratelywithlowimagedisttionincontrasttoFrancescomethodMallonme

11、thod.Keywds：epipolargeometryepipolarlinerectificationstereopairsimagerectificationprojectiverectification多媒體技術(shù)計(jì)算機(jī)工程與設(shè)計(jì)ComputerEngineeringDesign朱慶生，胡章平，劉然，等：立體圖像對的極線校正200930(17)40292.2對齊極線由2.1節(jié)可知，Rd00I0和Rd11I1的圖像平面是相互平行的，

12、并且各自的極線是平行的。但是這些極線通常與x軸存在夾角，因此下一步就是將這些極線旋轉(zhuǎn)至水平。預(yù)先設(shè)R=cossin0sincos0001(11)其中=arctan。如圖2所示，在Rd00I0中，所有的極線都平行于oe0，因此極線需要旋轉(zhuǎn)的角度為0，旋轉(zhuǎn)變換矩陣為R0。R0不影響Rd00I0中的點(diǎn)的第3個(gè)坐標(biāo)分量。對于Rd11I1，也需做類似的旋轉(zhuǎn)[11]，旋轉(zhuǎn)的角度為1，對應(yīng)的矩陣為R1。將上述一系列變換矩陣代入式(4)，可知此時(shí)基本矩

13、陣已變?yōu)镕=((R11)T((Rd11)1)T)F((Rd00)1R10)(12)由式(10)、(11)可知，(Rd00)T=(Rd00)1，(Rd11)T=(Rd11)1，R1=RT=R，因此式(12)可化簡為F=R1R11FR00R0(13)F是兩個(gè)圖像平面變成平行平面、并且極線水平之后的基本矩陣。但此時(shí)對應(yīng)的極線不一定在同一掃描線上。因此必須對其中一幅圖像進(jìn)行變換，使對應(yīng)的極線縱坐標(biāo)相同。假設(shè)以I0為參考圖像，則I1與之相比需要先

14、進(jìn)行y軸方向的比例變換(設(shè)比例變換因子為a)，然后進(jìn)行y軸方向的平移(設(shè)平移量為b)，才能將對應(yīng)的掃描線對齊。0=1(14)其中：0、1——I0和I1中對應(yīng)點(diǎn)的縱坐標(biāo)。對應(yīng)的變換矩陣是T=1000001(15)因此，H1=TR1R11。將其代入式(4)，聯(lián)立式(13)，可得F=0000010(16)式(17)說明，參數(shù)、由F決定。當(dāng)0時(shí)，兩幅圖像中極線的上下順序是相反的，也就是圖像顛倒了，此時(shí)1需增加，對應(yīng)的矩陣為R1=R1。綜上，兩幅

15、圖像的投影變換矩陣為H0=R0R00H1=TR1R11(17)H0和H1的值只取決于P0的選擇。文獻(xiàn)[11]給出了一組最優(yōu)值，即0=002020=00202(18)2.3求解H如上所述，在已知F的情況下，Hi可僅由ei的坐標(biāo)計(jì)算出來。不過，采用最優(yōu)化式(9)的方法來確定Hi時(shí)，是要避開使用F的。這樣，依賴于F的參數(shù)1、1、、均不能用ei的坐標(biāo)計(jì)算求解。因此，在引入式(17)所示的約束和式(18)的最優(yōu)值以后，式(9)中未知參數(shù)的個(gè)數(shù)減為

16、8個(gè)；又由于(1)2(1)2=1，設(shè)1=cos，則1=sin。因此未知參數(shù)可減為7個(gè)，它們是、、、、(=01)。只要已知7對或7對以上的匹配點(diǎn)的坐標(biāo)，就可以通過最小化的方法確定Hi。最小化是一個(gè)非線性最小二乘最優(yōu)化問題。這里采用LevenbergMarquardt算法對最小化[3]。由于該算法對初始值很敏感，因此可以先采用Hartley的改進(jìn)的八點(diǎn)算法算出F，進(jìn)而算出、、、、的值，然后將這些值作為初始值，采用LevenbergMarqu

17、ardt算法對進(jìn)行最小化，從而保證7個(gè)參數(shù)收斂于正確解。值得注意的是，如果的初始值0小于0，則需用1代替1進(jìn)行計(jì)算。最后，利用最優(yōu)化后得到的7個(gè)參數(shù)的值按照2.1節(jié)和2.2節(jié)描述的步驟計(jì)算出Hi。采用LevenbergMarquardt算法得到Hi以后，還需驗(yàn)證最后得到的是否與0符號一致。如果不一致則需要調(diào)整算法的參數(shù)重新計(jì)算。一般情況下，LevenbergMarquardt算法會讓最終收斂于0附近，從而保證與0的符號一致。2.4生成校

18、正后的圖像如圖3所示，得到Hi之后，對Ii實(shí)施變換Hi便可得到校正后的圖像HiIi。但是這樣做會使得新圖像HiIi中的某些點(diǎn)不能在Ii中找到對應(yīng)的點(diǎn)，從而產(chǎn)生“空洞(holes)”現(xiàn)象。采用下面逆向映射的方法能夠消除空洞：(1)計(jì)算圖像HiIi；(2)求解HiIi的最小邊界矩形i；(3)對i進(jìn)行平移，使i左上角的點(diǎn)平移到坐標(biāo)系的positivedirection圖2兩圖像分別繞d0和d1旋轉(zhuǎn)后得到的平行視圖directionofrota