1、<p><b>　　畢業(yè)設(shè)計(jì)（論文）</b></p><p>　　專 業(yè)：電子信息科學(xué)與技術(shù) </p><p>　　題 目：圖像拼接技術(shù)研究 </p><p>　　2014年 6 月12日</p><p>　　本科畢業(yè)設(shè)計(jì)（論文）任務(wù)書</p><p>

2、;　?、?畢業(yè)設(shè)計(jì)（論文）題目</p><p>　　中文：圖像拼接技術(shù)研究</p><p>　　英文：Research on Image Mosaic Technology</p><p><b>　?、?原始資料</b></p><p>　　[1] 朱廣新.基于特征點(diǎn)匹配的圖像拼接以及醫(yī)學(xué)應(yīng)用[D].南京理工大學(xué)碩

3、士學(xué)位論文，</p><p><b>　　2007:3-4.</b></p><p>　　[2] L.G. Brown. A survey of image registration techniques [J].ACM Computing </p><p>　　Surveys, 1992, 24(4):325-376.</p>

4、;<p>　　[3] B. Zitova, J. Flusser. Image registration methods: a survey [J].Image and Vision </p><p>　　Computing, 2003, 21(11):977- 1000. </p><p>　　[4] R. Szeliski. Image

5、 Alignment and stitching: A Tutorial[R].Preliminary </p><p>　　Draft, Technical Report, 2005.</p><p>　　[5] Richard Szeliski. Video Mosaics for Virtual Environments [J].IEEE Computer </p>

6、<p>　　Graphics and Applications, 1996, 16(2):22-30.</p><p>　　Ⅲ 畢業(yè)設(shè)計(jì)（論文）任務(wù)內(nèi)容</p><p><b>　　1、課題研究的意義</b></p><p>　　圖像拼接的研究意義在于通過(guò)技術(shù)手段實(shí)現(xiàn)全景圖像，而不需要對(duì)圖像采集設(shè)備的硬件性能提出過(guò)高的要求。事實(shí)

7、上，在現(xiàn)實(shí)生活中，專業(yè)的用于拍攝全景圖像的相機(jī)的成本太大，而用普通的攝像機(jī)是不能得到全景圖像的。通過(guò)圖像拼接的算法，可以用一個(gè)普通的攝像機(jī)得到同一副場(chǎng)景的不同區(qū)域的圖像，同時(shí)相鄰區(qū)域之間有交疊，這樣就可以利用交疊區(qū)域的匹配，將多幅同一場(chǎng)景下的圖像拼接成一副全景圖像。</p><p>　　圖像拼接在實(shí)際應(yīng)用中使用非常廣泛。遙感圖片在軍事目標(biāo)監(jiān)視、陸地水資調(diào)查、土地資源調(diào)查、植被資源調(diào)查、環(huán)境監(jiān)測(cè)和規(guī)劃管理等方面都得

8、到了廣泛的應(yīng)用。隨著科學(xué)技術(shù)的發(fā)展以及人類認(rèn)知范圍的擴(kuò)大，圖像拼接在航空航天領(lǐng)域也有著很大的發(fā)展和應(yīng)用前景。圖像拼接在國(guó)民生產(chǎn)和生活中發(fā)揮的作用也將越來(lái)越大，如在農(nóng)業(yè)上，可以通過(guò)圖像拼接的方法，對(duì)某一片區(qū)域的全景圖像描繪出來(lái)，可以得到某一片的地形地貌和區(qū)域環(huán)境，對(duì)農(nóng)業(yè)生產(chǎn)和生活提供指導(dǎo)。</p><p>　　2、本課題研究的主要內(nèi)容：</p><p>　　通過(guò)圖像特征點(diǎn)的匹配使多幅圖像拼接

9、成一副全景圖像。其要過(guò)程為：圖像采集、圖像預(yù)處理、特征點(diǎn)提取、圖像匹配和圖像融合。</p><p><b>　　3、提交的成果：</b></p><p>　　（1）畢業(yè)設(shè)計(jì)（論文）正文；</p><p>　?。?）仿真圖和代碼；</p><p>　　（3）至少一篇引用的外文文獻(xiàn)及其譯文；</p><p

10、>　?。?）附不少于10篇主要參考文獻(xiàn)的題錄及摘要。</p><p>　　指導(dǎo)教師（簽字） </p><p><b>　　教研室主任（簽字）</b></p><p>　　批 準(zhǔn) 日 期2014年1月4日</p><p>　　接受任務(wù)書日期2014年1月10日</p><p>　　完 成

11、 日 期2014年6月12日</p><p>　　接受任務(wù)書學(xué)生（簽字）</p><p><b>　　圖像拼接技術(shù)研究</b></p><p><b>　　摘 要</b></p><p>　　圖像拼接技術(shù)就是將數(shù)張有重疊部分的圖像拼接成一副大型的全景圖像的技術(shù)。圖像拼接的研究意義在于通過(guò)技術(shù)手

12、段獲得全景圖像，降低了對(duì)圖像采集設(shè)備的硬件性能的要求。圖像拼接技術(shù)融合了多個(gè)學(xué)科，涉及多個(gè)領(lǐng)域，在實(shí)際生活中的應(yīng)用非常的廣泛，研究圖像拼接技術(shù)具有非常重要的意義。</p><p>　　本設(shè)計(jì)的主要內(nèi)容是通過(guò)圖像特征點(diǎn)的匹配使多幅圖像拼接成一副全景圖像。其主要流程：首先，將待拼接的圖像進(jìn)行預(yù)處理，消除噪聲等干擾因素，同時(shí)利用Harris角點(diǎn)檢測(cè)算法提取圖像特征點(diǎn)。其次，利用塊匹配法對(duì)圖像角點(diǎn)匹配，利用重疊區(qū)域等長(zhǎng)法

13、來(lái)消除誤匹配。最后，利用加權(quán)平均法進(jìn)行圖像融合，完成全景圖像的拼接。實(shí)驗(yàn)結(jié)果表明，此法得到了較為滿意的結(jié)果，實(shí)現(xiàn)全景圖像無(wú)縫拼接。</p><p>　　圖像拼接在實(shí)際應(yīng)用中使用非常廣泛。遙感圖片在軍事目標(biāo)監(jiān)視、陸地水資調(diào)查、土地資源調(diào)查、植被資源調(diào)查、環(huán)境監(jiān)測(cè)和規(guī)劃管理等方面都得到了廣泛的應(yīng)用。隨著科學(xué)技術(shù)的發(fā)展以及人類認(rèn)知范圍的擴(kuò)大，圖像拼接在生活中會(huì)有著更大的發(fā)展和應(yīng)用前景。</p><p

14、>　　關(guān)鍵字：圖像拼接；Harris角點(diǎn)；特征點(diǎn)提??；圖像匹配；重疊區(qū)域等長(zhǎng)法</p><p>　　Research on Image Mosaic Technology</p><p><b>　　Abstract</b></p><p>　　Image stitching is the technology that splices

15、several overlapping images into a large-scale panoramic image. The research significance of image mosaic is that it could obtain panoramic image by means of a technology and reduces the hardware requirement of image acqu

16、isition equipment. Image mosaic technology combines multiple subjects, involving many fields, so its applications are very extensive in real life and it is very important to research the image mosaic technology.</p>

17、;<p>　　The main content of the design is that it can splice several images into a panoramic image through matching feature points. The main processes are as follows: firstly, the image that will be spliced is pret

18、reated so as to eliminate noise and other interference factors. At the same time, image feature points are extracted by using the Harris corner detection algorithm. Secondly, the block matching method is used to match im

19、age points, then overlapping area equal length method is used to eliminate</p><p>　　Image mosaic is widely used in practical application. It is widely applied to remote sensing images in military survei

20、llance, land water resources survey, land resource investigation, vegetation resources investigation, environment monitoring and management etc. With the development of science and technology and the scope’s amplificatio

21、n of human cognition, image mosaic will have larger development and wider application prospect in life.</p><p>　　Keywords: image mosaic; Harris corner; feature extraction; image matching;

22、 overlapping area equal length method</p><p><b>　　目錄</b></p><p><b>　　引言- 1 -</b></p><p>　　第1章 緒論- 2 -</p><p>　　1.1課題的研究背景及意義- 2 -&l

23、t;/p><p>　　1.2 國(guó)內(nèi)外研究現(xiàn)狀- 2 -</p><p>　　1.2.1 國(guó)外研究現(xiàn)狀- 3 -</p><p>　　1.2.2 國(guó)內(nèi)研究現(xiàn)狀- 4 -</p><p>　　1.3 本課題研究的主要內(nèi)容- 5 -</p><p>　　第2章 圖像拼接的基本理論- 6 -</p><

24、;p>　　2.1 圖像采集和預(yù)處理- 6 -</p><p>　　2.2.1 圖像采集- 6 -</p><p>　　2.1.2 圖像預(yù)處理- 7 -</p><p>　　2.2 圖像特征點(diǎn)提取- 7 -</p><p>　　2.2.1 SIFT算子- 7 -</p><p>　　2.2.2 SUSAN

25、檢測(cè)算子- 9 -</p><p>　　2.3 圖像匹配- 11 -</p><p>　　2.3.1 歸一化互相關(guān)（NCC）算法- 11 -</p><p>　　2.3.2 序列相似性（SSDA）算法- 12 -</p><p>　　2.4 圖像融合- 13 -</p><p>　　2.4.1 平均值法-

26、13 -</p><p>　　2.4.2 小波變換法- 13 -</p><p>　　2.4.3 多頻帶融合法- 13 -</p><p>　　第3章 基于Harris算法的圖像特征提取- 14 -</p><p>　　3.1 Harris算法原理分析- 14 -</p><p>　　3.2 圖像特征點(diǎn)提取結(jié)果

27、- 15 -</p><p>　　第4章 圖像特征點(diǎn)匹配- 16 -</p><p>　　4.1 特征點(diǎn)初次匹配- 16 -</p><p>　　4.2 消除誤匹配- 17 -</p><p>　　4.3 特征點(diǎn)匹配結(jié)果與分析- 17 -</p><p>　　第5章 圖像融合- 19 -</p>

28、<p>　　5.1 加權(quán)平均法原理- 19 -</p><p>　　5.2 圖像融合區(qū)域分析- 20 -</p><p>　　5.3 圖像融合結(jié)果與分析- 21 -</p><p>　　總結(jié)與展望- 24 -</p><p><b>　　致謝- 25 -</b></p><p&

29、gt;　　參考文獻(xiàn)- 26 -</p><p>　　附錄A 實(shí)驗(yàn)仿真結(jié)果圖- 28 -</p><p>　　附錄B 引用外文文獻(xiàn)及其譯文- 30 -</p><p>　　附錄C 10篇參考文獻(xiàn)的題錄及摘要- 37 -</p><p>　　附錄D 主要源程序- 42 -</p><p><b>　　插

30、圖清單</b></p><p>　　圖2- 1 圖像拼接的流程圖- 6 -</p><p>　　圖2- 2 DOG尺度空間的構(gòu)造- 8 -</p><p>　　圖2- 3 尺度空間極值點(diǎn)的構(gòu)造- 8 -</p><p>　　圖2- 4 SUSAN模板離散圓與核- 9 -</p><p>　　圖2-

31、5 模板圓和模板核在典型圖像的不同位置的USAN變化- 10 -</p><p>　　圖2- 6 相似度（y軸）與像元之間的差值（x軸）之間的關(guān)系圖- 11 -</p><p>　　圖3- 1 Harris算法對(duì)圖像特征提取的結(jié)果圖- 15 -</p><p>　　圖4- 1 角點(diǎn)鄰域像素分布圖- 16 -</p><p>　　圖4-

32、 2 待匹配簡(jiǎn)圖- 17 -</p><p>　　圖4- 3 圖像特征點(diǎn)匹配結(jié)果圖- 18 -</p><p>　　圖5- 1 重疊區(qū)域及加權(quán)漸變- 19 -</p><p>　　圖5- 2 全局重疊圖- 20 -</p><p>　　圖5- 3 局部重疊圖- 20 -</p><p>　　圖5- 4 補(bǔ)零后

33、的局部重疊圖- 21 -</p><p>　　圖5- 5 三種重疊情況的圖像拼接結(jié)果- 23 -</p><p><b>　　引言</b></p><p>　　在實(shí)際生活和工作中常常需要獲得大視角、高分辨率的全景圖像，但由于攝像設(shè)備硬件的性能限制，一般只能得到局部的圖像，而得到全景圖像的硬件設(shè)備一般比較昂貴，不適合普遍使用，于是人們提出了利

34、用計(jì)算機(jī)軟件進(jìn)行圖像拼接來(lái)獲得全景圖的方法。目前圖像拼接技術(shù)已廣泛應(yīng)用于數(shù)字視頻、運(yùn)動(dòng)分析、虛擬現(xiàn)實(shí)技術(shù)、醫(yī)學(xué)圖像分析、遙感圖像處理等一系列領(lǐng)域。</p><p>　　在現(xiàn)實(shí)環(huán)境中，由于圖像采集設(shè)備的限制，想要獲得一副場(chǎng)景的全景圖像是不可能的。為了能夠獲得同一幅場(chǎng)景的完整景象，人們嘗試了不同的方法，如擴(kuò)大圖像采集設(shè)備的視場(chǎng)角。但是這種方法帶來(lái)的問(wèn)題是，視場(chǎng)角過(guò)大的圖像會(huì)有很明顯的畸變，同時(shí)圖像的分辨率沒(méi)有提高，所

35、得到的的寬視角的圖像分辨率很低，因此為了解決這個(gè)問(wèn)題，人們考慮采用圖像拼接的方法，對(duì)采集到的圖像采取適當(dāng)?shù)钠ヅ渌惴?，利用軟件自?dòng)完成對(duì)多幅圖像的無(wú)縫拼接，以生成全視角的高清晰的圖像。</p><p>　　基于特征點(diǎn)匹配的圖像拼接算法是目前圖像拼接算法的研究熱門。由于基于特征的圖像拼接算法具有一系列的優(yōu)勢(shì)，因此國(guó)際上有許多針對(duì)此類特征的算法的研究。Harris特征點(diǎn)檢測(cè)提取算法是最早提出的算法模型。該算法的特征是具

36、有旋轉(zhuǎn)不變性。在光照和噪聲不強(qiáng)的情況下也有很好的適應(yīng)能力。后來(lái)有人提出基于Harris特征點(diǎn)的歸一化函數(shù)來(lái)提取圖像中的特征點(diǎn)，然后通過(guò)匹配的算法進(jìn)行求精。基于尺度不變變換特征的算法，是由David G Love提出的算法，其本人在后續(xù)的算法中進(jìn)行了改進(jìn)和總結(jié)?；诔叨炔蛔冏儞Q特征的算法具有很好的旋轉(zhuǎn)不變性。其對(duì)圖像的平移、旋轉(zhuǎn)和縮放等操作都具有較好的魯棒性。該算法同時(shí)對(duì)由光照和噪聲引起的干擾也具有很好的適應(yīng)程度。因此在進(jìn)行圖像拼接的時(shí)候

37、，如果圖像的質(zhì)量沒(méi)有達(dá)到很好的效果，在采用其他拼接算法不能取得很好的效果的時(shí)候，采用基于尺度不變特征的算法的時(shí)候，也能夠很好的效果。不過(guò)由于該算法的數(shù)學(xué)計(jì)算量大，這也是該算法本身所固有的缺點(diǎn)，因此影響了該算法的整體速度。</p><p>　　本設(shè)計(jì)的主要是通過(guò)圖像特征點(diǎn)的匹配使多幅圖像拼接成一副全景圖像。實(shí)驗(yàn)結(jié)果表明，此法得到了較為滿意的結(jié)果，實(shí)現(xiàn)全景圖像無(wú)縫拼接。</p><p><

38、;b>　　第1章 緒論</b></p><p>　　1.1課題的研究背景及意義</p><p>　　視覺(jué)是人類獲得外界信息的主要手段,圖像是視覺(jué)系統(tǒng)對(duì)客觀世界的直接反映。由于設(shè)備以及感官的限制,得到的圖像的視野是有限的。在許多研究和應(yīng)用領(lǐng)域,經(jīng)常需要獲得視野大、分辨率高的全景圖像進(jìn)行分析處理,但是由于硬件設(shè)備以及技術(shù)或者成本方面的問(wèn)題,不能獲取比較滿意的大視野圖像。在實(shí)際

39、中要想獲得寬視野、高分辨率的圖像,通常可以通過(guò)兩種途徑實(shí)現(xiàn):一種方式是購(gòu)買特殊的設(shè)備,但是此類設(shè)備價(jià)格都相當(dāng)昂貴,并且獲得的圖像也有不盡如人意的地方;另一種方式是利用多圖像的拼接技術(shù),其中每幅圖像都可以通過(guò)普通手持相機(jī)獲取,這樣就大大降低了成本,也能滿足我們的需求,因此圖像拼接技術(shù)成為各個(gè)領(lǐng)域研究的熱點(diǎn)。</p><p>　　圖像拼接的研究意義在于通過(guò)技術(shù)手段實(shí)現(xiàn)全景圖像，而不需要對(duì)圖像采集設(shè)備的硬件性能提出過(guò)高

40、的要求。事實(shí)上，在現(xiàn)實(shí)生活中，專業(yè)的用于拍攝全景圖像的相機(jī)的成本太大，而用普通的攝像機(jī)是不能得到全景圖像的。通過(guò)圖像拼接的算法，可以用一個(gè)普通的攝像機(jī)得到同一副場(chǎng)景的不同區(qū)域的圖像，同時(shí)相鄰區(qū)域之間有交疊，這樣就可以利用交疊區(qū)域的匹配，將多幅同一場(chǎng)景下的圖像拼接成一副全景圖像。</p><p>　　圖像拼接在實(shí)際應(yīng)用中使用非常廣泛。遙感圖片在軍事目標(biāo)監(jiān)視、陸地水資源調(diào)查、土地資源調(diào)查、植被資源調(diào)查、環(huán)境監(jiān)測(cè)和規(guī)劃

41、管理等方面都得到了廣泛的應(yīng)用。隨著科學(xué)技術(shù)的發(fā)展以及人類認(rèn)知范圍的擴(kuò)大，圖像拼接在航空航天領(lǐng)域也有著很大的發(fā)展和應(yīng)用前景。圖像拼接在國(guó)民生產(chǎn)和生活中發(fā)揮的作用也將越來(lái)越大，如在農(nóng)業(yè)上，可以通過(guò)圖像拼接的方法，對(duì)某一片區(qū)域的全景圖像描繪出來(lái)，可以得到某一片的地形地貌和區(qū)域環(huán)境，對(duì)農(nóng)業(yè)生產(chǎn)和生活提供指導(dǎo)。</p><p>　　圖像拼接在虛擬現(xiàn)實(shí)的實(shí)現(xiàn)方面也有著十分廣泛的應(yīng)用。首先全景圖像的生成是通過(guò)圖像拼接，將一幅幅

42、圖像拼接而成。然后將拼接而成的多幅全景圖像通過(guò)適當(dāng)?shù)目臻g映射，生成最終的虛擬全景，最終形成虛擬現(xiàn)實(shí)的效果。目前，已經(jīng)有部分基于虛擬現(xiàn)實(shí)的軟件的產(chǎn)生，這些軟件主要可以用于在虛擬環(huán)境下進(jìn)行購(gòu)物、旅游等活動(dòng)?？梢灶A(yù)見(jiàn)，在不久的將來(lái)，隨著技術(shù)的不斷發(fā)展，會(huì)有越來(lái)越多的基于圖像拼接的虛擬現(xiàn)實(shí)軟件的產(chǎn)生，將極大的改變?nèi)藗兊纳罘绞健?lt;/p><p>　　圖像拼接技術(shù)在醫(yī)學(xué)成像方面同樣有著非常廣闊的前景。傳統(tǒng)的醫(yī)學(xué)成像方法，是

43、通過(guò)射線、超聲波等醫(yī)學(xué)成像手段，將人體的某個(gè)部位拍攝成圖像進(jìn)行觀察。但是此時(shí)獲得的僅僅是某一部分的圖像，很難對(duì)病變得周圍組織信息以及病變的整體情況獲得一個(gè)準(zhǔn)確而全面的把握。因此在現(xiàn)有的醫(yī)學(xué)條件下，沒(méi)有重大的技術(shù)突破，為了獲得完整的病變組織的整天信息，得到完整的網(wǎng)絡(luò)圖或者超聲波圖像，需要通過(guò)對(duì)從不同角度、不同方向獲得圖像進(jìn)行拼接，從而形成完整的圖像信息，醫(yī)生可以在此基礎(chǔ)上，對(duì)圖像進(jìn)行全面的分析，得到對(duì)患者疾病的更進(jìn)一步的認(rèn)識(shí)和全面的把握。

44、為后續(xù)的病情醫(yī)治提供更加可靠和精確的數(shù)據(jù)。可以預(yù)見(jiàn)，在不久的將來(lái)，隨著技術(shù)的不斷發(fā)展，會(huì)有越來(lái)越多的基于圖像拼接的醫(yī)學(xué)成像技術(shù)的產(chǎn)生，將極大的改變?nèi)藗兊纳罘绞胶歪t(yī)生的就診方式[1]。</p><p>　　1.2 國(guó)內(nèi)外研究現(xiàn)狀</p><p>　　在傳統(tǒng)相機(jī)的時(shí)代，獲得全景照片是比較困難的，除非你擁有一臺(tái)昂貴的全景照相機(jī)，否則就只能靠暗房技術(shù)和手工拼接的方法來(lái)完成。進(jìn)入數(shù)字化時(shí)代，借助數(shù)

45、碼相機(jī)等設(shè)備，數(shù)碼照片的獲取變得非常容易。借助數(shù)字計(jì)算機(jī)實(shí)現(xiàn)大量數(shù)字圖像的快速、準(zhǔn)確、自動(dòng)拼接，成為國(guó)內(nèi)外數(shù)字圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)。特別是近20年來(lái)，每年都有大量的圖像拼接相關(guān)論文發(fā)表。多種圖像拼接的理論和算法被提出和應(yīng)用，各種方法都是面向一定的應(yīng)用領(lǐng)域，具有各自的特點(diǎn)，但目前還沒(méi)有通用的拼接技術(shù)和方法使得人們可以快速高效地實(shí)現(xiàn)圖像的拼接。</p><p>　　圖像配準(zhǔn)和圖像融合是數(shù)字圖像拼接技術(shù)的兩個(gè)關(guān)鍵

46、技術(shù)。圖像配準(zhǔn)是指將同一場(chǎng)景的兩幅或多幅具有重疊區(qū)域的圖像進(jìn)行對(duì)準(zhǔn)，得到圖像之間的運(yùn)動(dòng)關(guān)系，以便于將圖像旋轉(zhuǎn)到統(tǒng)一坐標(biāo)系下進(jìn)行后續(xù)的融合操作。圖像融合技術(shù)是將經(jīng)過(guò)配準(zhǔn)的圖像的重疊區(qū)域合成一副無(wú)縫圖像，用來(lái)消除由于幾何失真、關(guān)照變化等引起的相鄰圖像間的灰度或顏色不連續(xù)問(wèn)題?？梢?jiàn)，圖像配準(zhǔn)較圖像融合計(jì)算復(fù)雜度和耗時(shí)要大的多，可以說(shuō)圖像配準(zhǔn)直接關(guān)系到圖像拼接的速度和成功率。因此，圖像拼接算法的發(fā)展主要與圖像配準(zhǔn)理論的發(fā)展密切相關(guān)。</p

47、><p>　　1.2.1 國(guó)外研究現(xiàn)狀</p><p>　　在國(guó)外，對(duì)于圖像拼接技術(shù)的研究比我國(guó)要早，Richard Szeliski教授和Sevket Gumusteki博士是比較具有權(quán)威性的研究人員。Richard Szeliski教授針對(duì)的是手持?jǐn)z像機(jī)拍攝的圖像的拼接情況，要求在拍攝圖像序列的時(shí)候基本保持光心不發(fā)生變化，可以根據(jù)需求拼接出不同形狀的全景圖。Sevket Gumusteki

48、博士的研究重點(diǎn)則是放在了透視變換上面，深入地研究了由于攝像機(jī)繞光心旋轉(zhuǎn)而造成的投射變換的消除方法。Stein在求解攝像機(jī)焦距和幀間偏移量時(shí)加入了對(duì)紋理特征的跟蹤，使得求解精度有所提高，但同時(shí)也加大了計(jì)算量。J Davis在1998年提出了在靜態(tài)場(chǎng)景中加入動(dòng)態(tài)物體的全景圖像拼接方法。Apple公司研制開(kāi)發(fā)了一個(gè)圖像拼接的軟件—Quiktime VR系統(tǒng)，它所拼接的圖像是通過(guò)攝像機(jī)固定在三腳架上旋轉(zhuǎn)360度獲得的，對(duì)旋轉(zhuǎn)的角度有嚴(yán)格的要求，

49、并且要求相鄰圖像間在2/3以上的重疊區(qū)域，因此需要高端的拍攝器材和嚴(yán)格的校準(zhǔn)工作。</p><p>　　1992年，劍橋大學(xué)的Lisa Gottesfeld Brown 提出了圖像配準(zhǔn)技術(shù)的基本理論以及主要方法[2]。2003年，Zitova等人綜述了隨后10年的圖像配準(zhǔn)領(lǐng)域的相關(guān)方法[3]。</p><p>　　2005年，Szeliski詳細(xì)全面地介紹了圖像拼接的理論架構(gòu)和主要方法[4

50、]。</p><p>　　縱觀近年來(lái)發(fā)表的關(guān)于圖像拼接和圖像配準(zhǔn)的論文，其中提出的相關(guān)理論和算法大致可分為兩類：基于特征的方法和基于區(qū)域的方法。</p><p>　　基于特征的方法首先從待配準(zhǔn)圖像中提取特征，利用特征的對(duì)應(yīng)關(guān)系進(jìn)行特征匹配，通過(guò)特征匹配實(shí)現(xiàn)全局匹配。基于特征的方法利用了圖像的顯著特征，如角點(diǎn)、特征點(diǎn)和輪廓等，具有計(jì)算量小，速度快的特點(diǎn)，對(duì)于圖像的噪聲、畸變、遮擋等具有一定的

51、魯棒性，但是它的匹配性能在很大程度上取決于特征選取的合理性和特征提取的質(zhì)量。</p><p>　　美國(guó)微軟研究院的Richard Szeliski教授對(duì)數(shù)字圖像拼接理論做出了巨大的貢獻(xiàn)。1996年，Richard Szeliski提出了一種2D空間八參數(shù)投影變換模型，將圖像之間的剛性和仿射變換歸結(jié)為一個(gè)八參數(shù)線性變換。手工選取n大于等于4對(duì)匹配點(diǎn)，得到2n個(gè)方程，通過(guò)采用Levenberg-Marquardt迭代

52、非線性最小化方法求出圖像間的幾何變換參數(shù)來(lái)進(jìn)行圖像匹配[5]。這種方法在處理具有平移、旋轉(zhuǎn)、尺度關(guān)系以及仿射等多種變換的待拼接圖像方面效果好，收斂速度快，因此成為圖像拼接領(lǐng)域的經(jīng)典算法。許多后續(xù)的研究工作都是基于Szeliski的理論體系展開(kāi)的。多種特征點(diǎn)的自動(dòng)提取和匹配算法被應(yīng)用到圖像拼領(lǐng)域。典型的特征點(diǎn)自動(dòng)提取算法有以下三種：</p><p>　　1988年，Harris提出了Harris角點(diǎn)檢測(cè)器[6]。該

53、方法使用自相關(guān)函數(shù)來(lái)確定信號(hào)發(fā)生二維變化的位置，提取的角點(diǎn)被證明具有旋轉(zhuǎn)、平移不變性。Harris角點(diǎn)檢測(cè)算法對(duì)存在旋轉(zhuǎn)、縮放和光照變化時(shí)仍有較好的魯棒性，但缺點(diǎn)是對(duì)噪聲比較敏感。</p><p>　　1997年，英國(guó)牛津大學(xué)的Smith和Brady提出了最小單值分割相似核（Smallest Univalue Segment Assimilating Nucleus：SUSAN算法）角點(diǎn)檢測(cè)算法[7]。</

54、p><p>　　1999年，David G.Lowe提出SIFT（Scale Invariant Feature Transform）特征點(diǎn)匹配算法，并于2004年完善總結(jié)[8]。該算法利用圖像關(guān)鍵點(diǎn)的SIFT特征向量進(jìn)行匹配，對(duì)信號(hào)的旋轉(zhuǎn)、平移、尺度關(guān)系、噪聲、關(guān)照變化、仿射乃至透射變換都具有較高的魯棒性[9]。SIFT特征配準(zhǔn)是目前國(guó)內(nèi)外特征點(diǎn)配準(zhǔn)領(lǐng)域的研究點(diǎn)。</p><p>　　除了特

55、征點(diǎn)，輪廓特征也被用來(lái)進(jìn)行圖像配準(zhǔn)。輪廓的匹配準(zhǔn)則可以選取鏈碼相關(guān)或者其他一些相似性準(zhǔn)則，如主軸和不變矩等。</p><p>　　基于區(qū)域的方法主要包括模板匹配法和頻域法。</p><p>　　1972年，Barmea和Silverman[10]提出的序貫相似檢測(cè)法就是一種經(jīng)典的模板匹配算法。模板匹配算法是一種全搜索算法，通過(guò)匹配選定的圖像模板來(lái)實(shí)現(xiàn)兩幅圖像的全局配準(zhǔn)。這類算法冗余度高、計(jì)

56、算量非常大，計(jì)算速度慢，而且僅僅適用于圖像間的平移檢測(cè)。對(duì)圖像間的旋轉(zhuǎn)和尺度關(guān)系無(wú)能為力。</p><p>　　1975年，由Kuglin和Hines提出相位相關(guān)法。借助傅里葉變換將兩幅待配準(zhǔn)的圖像變換到頻域，然后利用互功率譜直接計(jì)算出兩幅圖像間的平移量[11]。</p><p>　　1987年，De Castro和Morandi發(fā)現(xiàn)利用傅里葉變換的性質(zhì)，進(jìn)行旋轉(zhuǎn)配準(zhǔn)與平移配準(zhǔn)一樣有效，提

57、出了擴(kuò)展相位相關(guān)法[12]。</p><p>　　隨著快速傅里葉變換算法的提出以及信號(hào)處理領(lǐng)域?qū)Ω道锶~變換的成熟應(yīng)用，1996年，Reddy和Chatterji改進(jìn)了De Castro的方法，提出基于快速傅里葉變換進(jìn)行圖像配準(zhǔn)的方法，大大提高了運(yùn)算速度，同時(shí)，采用對(duì)數(shù)據(jù)坐標(biāo)變量分離技術(shù)，將頻域配準(zhǔn)技術(shù)成功的應(yīng)用于存在平移、旋轉(zhuǎn)和尺度的圖像配準(zhǔn)問(wèn)題上[13]。</p><p>　　隨著極坐標(biāo)

58、Fourier變換計(jì)算方法的改進(jìn)，Keller等人利用偽極坐標(biāo)Fourier變換技術(shù)改進(jìn)了圖像平移、旋轉(zhuǎn)和尺度的檢測(cè)穩(wěn)定性[14]。</p><p>　　1.2.2 國(guó)內(nèi)研究現(xiàn)狀</p><p>　　在國(guó)內(nèi)，對(duì)重疊區(qū)域的邊界確定這方面，華中科技大學(xué)和CAD&CG以及模式識(shí)別兩個(gè)國(guó)家重點(diǎn)實(shí)驗(yàn)室分別提出了截然不同的方法。華中科技大學(xué)主要利用相鄰圖像間對(duì)應(yīng)圖形存在數(shù)學(xué)關(guān)系，通過(guò)識(shí)別同名點(diǎn)

59、紅日校正幾何變形來(lái)確定匹配區(qū)域。CAD&CG以及模式識(shí)別兩個(gè)實(shí)驗(yàn)室則是搜索的方式，利用模板進(jìn)行匹配搜索以得到最佳配準(zhǔn)位置，這種算法容易實(shí)現(xiàn)，但計(jì)算量相對(duì)較大且容易產(chǎn)生錯(cuò)誤匹配。計(jì)算量和拼接精度間的矛盾，清華大學(xué)將兩者進(jìn)行折中，要求攝像機(jī)在垂直于地面上的方向上做水平旋轉(zhuǎn)運(yùn)動(dòng)，對(duì)具體的旋轉(zhuǎn)角度不作要求。2002年，杜威和李華視頻紋理加入到全景圖拼接當(dāng)中，實(shí)現(xiàn)了動(dòng)態(tài)全景圖。</p><p>　　國(guó)內(nèi)外對(duì)圖像拼接

60、的研究中，主要的研究重點(diǎn)大部分都放在圖像配準(zhǔn)這一圖像拼接關(guān)鍵技術(shù)上，配準(zhǔn)速度快和配準(zhǔn)精度高是國(guó)內(nèi)外研究人員尋求的目標(biāo)。因此，產(chǎn)生了圖像配準(zhǔn)方法，將這些圖像配準(zhǔn)方法按照匹配方法可分為兩類：</p><p>　　第一類是基于灰度信息的圖像拼接方法</p><p>　　圖像的灰度信息是最直接且最容易利用的信息，到目前已經(jīng)發(fā)展的較好?；趫D像的灰度信息的方法是從一副圖像中選取一塊區(qū)域，根據(jù)區(qū)域的灰

61、度陣列的相似屬性在另一副圖中進(jìn)行搜索，尋找相似度最高的相匹配區(qū)域。根據(jù)模板的選取方式的不同可以分為三種匹配方式即塊匹配、比值匹配和網(wǎng)格匹配。塊匹配方法就是從重疊區(qū)域中選取一個(gè)窗口作為匹配模板，在另一幅圖像的重疊區(qū)域中進(jìn)行搜索相似度最高的窗口，這種方法雖然計(jì)算量較大，可是精確度比較高。比值匹配方法就是設(shè)定一個(gè)固定的距離間隔，選取間隔為一個(gè)距離的兩列的比值作為匹配模板，它是從塊匹配的基礎(chǔ)上做的改進(jìn)，從而減少了計(jì)算量，但是同時(shí)也降低了精確度。

62、網(wǎng)格匹配時(shí)粗匹配與精匹配的結(jié)合，定義一個(gè)步長(zhǎng)，每次水平或垂直移動(dòng)一個(gè)步長(zhǎng)的距離并記錄下最好的位置，從這個(gè)位置出發(fā)，步長(zhǎng)減半然后進(jìn)行匹配，如此反復(fù)循環(huán)知道使步長(zhǎng)為零。</p><p>　　第二類是基于特征的圖像拼接方法</p><p>　　基于特征的圖像拼接方法是目前圖像配準(zhǔn)領(lǐng)域中占主導(dǎo)地位的圖像拼接方法，它將提取出在圖像中灰度變化較顯著的特征，如點(diǎn)、線、面等作為特征樣本集，通過(guò)一定的算法挑

63、選出正確的對(duì)應(yīng)對(duì)作為匹配樣本集。圖像特征提取的算法包括Moravec算子、Forstner算子、Harris算子、Canny算子、SIFT特征提取算法等，我們可以根據(jù)實(shí)際的需要進(jìn)行對(duì)算法的選擇。</p><p>　　圖像拼接技術(shù)經(jīng)過(guò)幾十年的研究已經(jīng)取得了很大的進(jìn)展和廣泛的應(yīng)用。但是，由于拍攝環(huán)境復(fù)雜多變，沒(méi)有一種算法能夠解決所有的圖像拼接問(wèn)題。現(xiàn)有的算法各有其優(yōu)缺點(diǎn)，如果能綜合利用這些方法的優(yōu)點(diǎn)將會(huì)取得更好的拼接

64、效果。</p><p>　　1.3 本課題研究的主要內(nèi)容</p><p>　　本設(shè)計(jì)的主要內(nèi)容是通過(guò)圖像特征點(diǎn)的匹配使多幅圖像拼接成一副全景圖像，其中包括特征點(diǎn)提取、圖像匹配和圖像融合。</p><p>　　利用Harris角點(diǎn)檢測(cè)算法提取圖像特征點(diǎn)，通過(guò)塊匹配法實(shí)現(xiàn)圖像匹配，利用加權(quán)平均法進(jìn)行圖像融合，完成全景圖像的拼接。</p><p>

65、　　第2章 圖像拼接的基本理論</p><p>　　本設(shè)計(jì)主要介紹了基于角點(diǎn)匹配的圖像拼接。本章主要介紹了圖像拼接的基本過(guò)程，其包括圖像采集、圖像預(yù)處理、特征點(diǎn)提取、特征點(diǎn)匹配和圖像融合。圖像拼接的流程如圖2-1所示：</p><p>　　圖2- 1 圖像拼接的流程圖</p><p>　　2.1 圖像采集和預(yù)處理</p><p>　　2.2.

66、1 圖像采集</p><p>　　圖像采集是圖像拼接的第一步，目的是獲取場(chǎng)景的原始圖像，為圖像拼接提供原始的圖像素材。原始圖像素材的質(zhì)量的高低直接決定著全景圖像拼接的效果，因此在圖像采集階段要盡量的使用高性能的圖像采集設(shè)備，獲取高質(zhì)量的原始圖像。原始圖像的采集方式有很多種，必須根據(jù)不同的環(huán)境采取不同的圖像采集方法，如醫(yī)學(xué)圖像采集就必須使用顯微鏡等?？偟膩?lái)說(shuō)，原始圖像的獲取主要有三種途徑[15]：</p>

67、;<p><b>　　旋轉(zhuǎn)式相機(jī)拍攝</b></p><p>　　首先將三腳架放置在一個(gè)平面上，然后將三腳架調(diào)節(jié)到合適的高度，在放置好三腳架后，將攝像機(jī)固定到三腳架上，攝像機(jī)只能圍繞一個(gè)固定的軸旋轉(zhuǎn)，當(dāng)攝像機(jī)拍攝完一張圖像后需要將攝像機(jī)旋轉(zhuǎn)一定的角度拍攝下一張圖像。攝像機(jī)旋轉(zhuǎn)的角度不應(yīng)過(guò)大，要保證相鄰圖像之間有足夠的重疊區(qū)域，一般來(lái)說(shuō)，重疊區(qū)域要占圖像的1/3左右，最后一幅圖像

68、和第一幅圖像的重疊區(qū)域應(yīng)足夠大，要保證他們的重疊區(qū)域超過(guò)圖像50%[16]，這樣才能保證場(chǎng)景360度信息的完整性。在使用旋轉(zhuǎn)式相機(jī)采集圖像的過(guò)程中，要盡量避免攝像機(jī)鏡頭的偏移和俯仰。</p><p>　　2. 手持式相機(jī)拍攝</p><p>　　旋轉(zhuǎn)式相機(jī)拍攝的圖像在豎直方向上幾乎沒(méi)有位移，但是旋轉(zhuǎn)式相機(jī)攜帶不方便，因此，人們通常使用普通的照相機(jī)對(duì)場(chǎng)景進(jìn)行旋轉(zhuǎn)拍攝，手持式相機(jī)拍攝對(duì)圖像要求

69、不如旋轉(zhuǎn)式相機(jī)拍攝時(shí)嚴(yán)格，它允許相機(jī)有微小的位移和抖動(dòng)。</p><p>　　3. 平移式相機(jī)拍攝</p><p>　　平移式相機(jī)拍攝時(shí)，相機(jī)必須在平行于場(chǎng)景的平面上進(jìn)行拍攝，具體的拍攝方法如下：首先將相機(jī)固定在平面上，然后將相機(jī)沿著此平面移動(dòng)，最終將獲得一系列描述場(chǎng)景的原始圖像。這種情況下拼接出來(lái)的全景圖像三維感覺(jué)沒(méi)有采用旋轉(zhuǎn)式相機(jī)采集圖像拼接出的全景圖像的效果好。物體和相機(jī)的距離，拍攝

70、物體的大小都會(huì)影響全景圖像的拼接結(jié)果。</p><p>　　2.1.2 圖像預(yù)處理</p><p>　　圖像預(yù)處理工作的目的在于保證匹配精度和提高匹配效率。總的來(lái)說(shuō)，由于圖像自身特點(diǎn)、噪聲及應(yīng)用的情形不同，需要根據(jù)實(shí)際情況來(lái)選擇預(yù)處理的方法。</p><p>　　保證高準(zhǔn)確性的圖像預(yù)處理工作主要分為圖像校正和去噪。由于光學(xué)成像或電子掃描系統(tǒng)的原因而產(chǎn)生圖像的幾何畸變

71、會(huì)給圖像的配準(zhǔn)帶來(lái)很大的困難。根據(jù)失真原因建立相應(yīng)的數(shù)學(xué)模型，由模型設(shè)計(jì)濾波器，由失真圖像計(jì)算真實(shí)圖像的估值，從而獲得盡可能接近真實(shí)圖像的數(shù)據(jù)。</p><p>　　在圖像的采集、輸入等環(huán)節(jié)中都會(huì)引入噪聲，噪聲會(huì)影響拼接效果，抑噪去噪一直是圖像處理領(lǐng)域長(zhǎng)期研究的問(wèn)題。</p><p>　　另外，由于彩色信息不能明顯提高匹配性能，我們可將彩色圖像轉(zhuǎn)換為灰度圖像，并在灰度空間內(nèi)進(jìn)行后續(xù)的匹配操

72、作，這樣，灰度圖像的轉(zhuǎn)換使圖像匹配耗時(shí)大大降低。</p><p>　　總之，根據(jù)拼接圖像的各種情況采用的預(yù)處理方法能有效的提高拼接的質(zhì)量與速度。</p><p>　　2.2 圖像特征點(diǎn)提取</p><p>　　特征點(diǎn)也稱角點(diǎn)，目前常見(jiàn)的角點(diǎn)檢測(cè)算子主要有基于邊緣的檢測(cè)和基于圖像灰度的檢測(cè)?；谶吘壍臋z測(cè)方法是由Rosenfeld和Freeman早期提出的，該方法需要

73、對(duì)圖像邊緣編碼，而此很大程度上依賴圖像的分割效果和邊緣提取質(zhì)量，因此需要很大的計(jì)算量，同時(shí)具有一定的難度，而且如果檢測(cè)的目標(biāo)發(fā)生了局部變換也可能導(dǎo)致檢測(cè)的失敗?；趫D像灰度的檢測(cè)方法恰恰避免了基于邊緣檢測(cè)的缺點(diǎn)，成為目前研究的熱點(diǎn)。該方法是通過(guò)將圖像的梯度和曲率作為判斷角點(diǎn)是否存在的標(biāo)準(zhǔn)，主要算法有SIFT算子、SUSAN算子和Harris算子等。這里將對(duì)前兩者作介紹，Harris算子將在后續(xù)作詳細(xì)介紹。</p><

74、p>　　2.2.1 SIFT算子</p><p>　　SIFT算子[17]是由D.G.Lowe于1999年提出，并于2004年完善總結(jié)的。SIFT算法由于具有尺度、旋轉(zhuǎn)、視角、仿射、光照不變性，對(duì)目標(biāo)的運(yùn)動(dòng)、噪聲等因素也保持較好的匹配性，所以有較高的準(zhǔn)確性。在航空、醫(yī)學(xué)圖像的匹配性能上，明顯優(yōu)越于其他算法，適合應(yīng)用在全景圖像的拼接上。它的主要思想是：建立圖像的多尺度空間，在不同尺度、不同分辨率下檢測(cè)到高斯差

75、分圖像的極值點(diǎn)。</p><p><b>　　(1)建立尺度空間</b></p><p>　　尺度空間理論目的是模擬圖像數(shù)據(jù)的多尺度特征。其主要思想是利用不同的卷積核對(duì)原始圖像進(jìn)行尺度變換，獲得圖像多尺度下的尺度空間表示序列。Koenderink與Lindeberg的研究表明高斯核是唯一可能的線性尺度核。具有線性、對(duì)稱性和可分離性等良好性質(zhì)。</p>&

76、lt;p>　　構(gòu)建尺度空間是為了檢測(cè)出尺度空間的極值，即特征點(diǎn)?？梢酝ㄟ^(guò)構(gòu)造高斯差分金子塔，并在構(gòu)造的尺度空間上尋找極值的方法獲得。高斯差分金字塔可以通過(guò)高斯函數(shù)反復(fù)卷積原始圖像并構(gòu)造差分序列。</p><p>　　若一副圖像，變尺度高斯核函數(shù),圖像的多尺度空間即為和的卷積，定義為：</p><p><b>　?。?-1）</b></p><

77、p>　　其中： ，為像素點(diǎn)坐標(biāo)，為尺度空間因子。的大小決定圖像的平滑程度，大尺度對(duì)應(yīng)圖像的概貌特征，小尺度對(duì)應(yīng)圖像的細(xì)節(jié)特征。圖像金字塔共O組，每組有S層，圖2-2由兩組高斯尺度空間示例金字塔的構(gòu)建，第二組的第一幅圖像由第一組的第一幅到最后一幅圖像由一個(gè)因子2降采樣得到。作為同一分辨率下的一幅圖像可改變尺度因子，得到同階相鄰的n層尺度圖像。相鄰的圖像相減就產(chǎn)生了相應(yīng)的n-1層DOG圖像，下一組的圖像由上一組圖像將采樣得到。<

78、/p><p>　　圖2- 2 DOG尺度空間的構(gòu)造</p><p><b>　　（2-2）</b></p><p>　　其中可視為相鄰尺度空間的比例。由此就形成尺度空間的第一階，將原圖像以2降采樣方法得到第二階的最底層圖像，同樣進(jìn)行卷積，相減得到尺度空間的第二階，完成了尺度空間的建立。</p><p>　　(2)檢測(cè)尺度空間

79、的極值點(diǎn)</p><p>　　為了檢測(cè)的局部極值點(diǎn)，需要比較DOG圖像中每個(gè)像素與其同層及上下層26個(gè)近鄰像素值。如圖2-3所示：若像素是一個(gè)可能的SIFT特征點(diǎn)，則它必須在它周圍的26個(gè)近鄰像素中為最大值或最小值，即極值點(diǎn)時(shí)，就認(rèn)為改點(diǎn)為圖像在該尺度下的一個(gè)特征點(diǎn)。</p><p>　　圖2- 3 尺度空間極值點(diǎn)的構(gòu)造</p><p>　　由于DOG值對(duì)噪聲和邊緣

80、較敏感，在這里為了去除邊界響應(yīng)點(diǎn)，計(jì)算特征點(diǎn)處的Hessian矩陣H：</p><p><b>　?。?-3）</b></p><p>　　如果點(diǎn)滿足，則改點(diǎn)保留為特征點(diǎn)，否則被視為響應(yīng)點(diǎn)被排除。其中： ，，一般取值為10。</p><p>　　2.2.2 SUSAN檢測(cè)算子</p><p>　　SUSAN[18]是（最

81、小核值相似區(qū)）Smallest Univalue Segment Assimilating Nucleus的縮寫，是由牛津大學(xué)的Smith等提出的。SUSAN使用一個(gè)圓形模板和一個(gè)圓的中心點(diǎn)，通過(guò)圓中心點(diǎn)像元值與模板圓內(nèi)其他像元值的比較，統(tǒng)計(jì)出與圓中心點(diǎn)像元值相似的像元數(shù)量，當(dāng)這樣的像元數(shù)量小于某一個(gè)閥值時(shí)，就被認(rèn)為是要檢測(cè)的角點(diǎn)。</p><p>　　定義一個(gè)半徑為3.4個(gè)像元的圓，對(duì)于離散圖像而言，這個(gè)圓共有

82、37個(gè)像元。圓的中心像元稱為模板的核，如圖2-4所示，粗線包圍的區(qū)域?yàn)殡x散圓。</p><p>　　圖2- 4 SUSAN模板離散圓與核</p><p>　　在模板圓內(nèi)，將與模板核像元值相似的像元數(shù)量或面積稱為USN（核值相似區(qū)，Univalue Segment Assimilating Nucleus）面積，如圖2-5所示，當(dāng)模板圓在典型圖像上移動(dòng)時(shí)，在圓內(nèi)，USAN面積是完全不同的。從

83、圖可以看出，當(dāng)模板圓的核移動(dòng)到A點(diǎn)時(shí)。USAN的面積最小，其他依次分別是按D、B、C、E排列。由此，我們可以看出，當(dāng)圓形模板在接近、進(jìn)入、移出圖像角點(diǎn)時(shí)，USAN面積經(jīng)歷了一個(gè)由大到小，再由小到大的過(guò)程。這一個(gè)變化特點(diǎn)我們檢測(cè)角點(diǎn)所必須的。</p><p>　　將圓形模板在被檢測(cè)的圖像上逐個(gè)像元移動(dòng)，圓形模板內(nèi)的像元值與核像元值進(jìn)行比較。比較可用下式簡(jiǎn)單地描述：</p><p>　　1

84、 如果</p><p><b>　?。?-4）</b></p><p>　　0 如果 </p><p>　　其中，表示模板核在二維圖像中的位置，表示模板內(nèi)其他任意位置。表示圖像在處的像元值，表示圖像在處的像元值。為核像元與其他像元相似度的閥值。當(dāng)模板圓內(nèi)的所有像元比較完成后，對(duì)結(jié)果進(jìn)行

85、累加，即</p><p><b>　?。?-5）</b></p><p>　　圖2- 5 模板圓和模板核在典型圖像的不同位置的USAN變化</p><p>　　就是模板核在處模板內(nèi)圖像USAN的像元數(shù)量，也即是模板核在處圖像USAN的面積，它在角點(diǎn)處其值應(yīng)該達(dá)到局部小。</p><p>　　為了進(jìn)行非最大值抑制，需要計(jì)算

86、角點(diǎn)的響應(yīng)。我們定義角點(diǎn)響應(yīng)為：</p><p><b>　　如果</b></p><p><b>　?。?-6）</b></p><p><b>　　其他</b></p><p>　　式中：固定閥值，通常=。這樣，當(dāng)USAN的面積達(dá)到最小值時(shí)，就達(dá)到最大。為了得到更穩(wěn)定的結(jié)果

87、，避免相似度函數(shù)在閥值邊界發(fā)生突變，將式（2-4）變更為下列等式：</p><p><b>　?。?-7）</b></p><p>　　式（2-7）的曲線如圖2-6中b所示。為了計(jì)算的快速性，我們可以將式（2-7）做成一個(gè)索引表：事先將值計(jì)算完成，在需要時(shí)通過(guò)索引找到其對(duì)應(yīng)的值。</p><p>　　使用SUSAN進(jìn)行角點(diǎn)檢測(cè)時(shí)，有兩個(gè)重要參數(shù)

88、需要確定。一個(gè)是式（2-6）的值，一個(gè)是式（2-7）的值。閥值決定了USAN區(qū)域的最大值，也就是說(shuō)，只要圖像中像素具有比小的USAN區(qū)域，該點(diǎn)就判定為角點(diǎn)。的大小不僅決定了可以從圖像中提取角點(diǎn)的多少，而且還決定了所檢測(cè)到的角點(diǎn)的尖銳程度。當(dāng)確定了所要提取角點(diǎn)的尖銳程度，的值就可以取一個(gè)固定不變的值。閥值表示所能檢測(cè)角點(diǎn)的最小對(duì)比度，調(diào)節(jié)這個(gè)參數(shù)，一方面可以抑制噪聲，另一方面它還決定了角點(diǎn)提取的數(shù)量。值越小，可以從低對(duì)比度的圖像中提取角點(diǎn)

89、，而且，提取的角點(diǎn)數(shù)量也越多。所以，對(duì)于不同對(duì)比度和噪聲的圖像，應(yīng)取不同的值。</p><p>　　圖2- 6 相似度（y軸）與像元之間的差值（x軸）之間的關(guān)系圖</p><p>　　SUSAN角點(diǎn)檢測(cè)的一個(gè)突出優(yōu)點(diǎn)是對(duì)局部的噪聲不敏感，抗干擾能力強(qiáng)。另外，USAN區(qū)域是由模板內(nèi)與模板中心像元具有相似密度值的像元累積而得到的，這一累積過(guò)程實(shí)際上是一個(gè)積分的過(guò)程，對(duì)于高斯噪聲有較好的抑制效果

90、。</p><p>　　總結(jié)SUSAN角點(diǎn)檢測(cè)算子，我們可以將其歸納為如下四步：</p><p>　　對(duì)于圖像中的每個(gè)像元，將核放在該像元上；</p><p>　　利用式（2-4）計(jì)算在模板圓內(nèi)像元與核像元相似的像元數(shù)量，該像元數(shù)量即為USAN；</p><p>　　使用等式（2-5）計(jì)算角點(diǎn)的相應(yīng)值；</p><p>

91、;　　使用非最大值抑制，找出角點(diǎn)集。</p><p><b>　　2.3 圖像匹配</b></p><p>　　圖像特征匹配的目的是尋找在不同地點(diǎn)或者不同角度或者不同環(huán)境下拍攝的兩張圖像之間的幾何變換關(guān)系。在計(jì)算機(jī)視覺(jué)領(lǐng)域中，經(jīng)常會(huì)使用圖像特征匹配確定圖像像素之間的對(duì)應(yīng)關(guān)系。</p><p>　　如果直接使用圖像像素值進(jìn)行特征匹配，可能會(huì)得到大

92、量的誤匹配，而且魯棒性不強(qiáng)，容易受到光照等條件的影響。為了提高圖像特征匹配算法的魯棒性，一般使用圖像局部特征的描述符進(jìn)行匹配。基于塊的匹配[19]，基于比值匹配[20]和基于網(wǎng)格的快速匹配方法是三類常用的基于特征圖像的匹配算法。其中，比較常用的基于圖像特征匹配算法有NCC算法，SSDA算法。</p><p>　　2.3.1 歸一化互相關(guān)（NCC）算法</p><p>　　歸一化互相關(guān)(No

93、rmalized Cross Corretion Method,NCC)技術(shù)是一種廣泛應(yīng)用在導(dǎo)航制導(dǎo)中的技術(shù)[21]，在噪聲的環(huán)境中，NCC算法也能準(zhǔn)確的匹配圖像的局部特征，即NCC算法能有效的消除噪聲的影響。</p><p>　　NCC算法使用模板完成圖像之間的匹配工作。因此，我們首先要確定模板的規(guī)模，設(shè)模板T的長(zhǎng)和寬分別為M和N即模板尺寸為，模板覆蓋到圖像上的中心的坐標(biāo)為，我們將搜索模板所覆蓋的圖像記作，使用

94、公式(2-8)計(jì)算模板和的相關(guān)系數(shù)，我們將搜索圖中和模板T相關(guān)系數(shù)最大的像素點(diǎn)作為匹配點(diǎn)。</p><p><b>　　(2-8)</b></p><p>　　其中，表示搜索圖像中點(diǎn)（m，n）的像素值，表示搜索圖像中以為中心的模板大小為所覆蓋的像素的平均值。的計(jì)算公式如下：</p><p><b>　　(2-9)</b>&

95、lt;/p><p>　　在圖像灰度值變化和圖像幾何畸變不大的情況下，NCC算法具有很高匹配精度。但是由于計(jì)算互相關(guān)系數(shù)時(shí)，需要多次搜索整個(gè)搜索圖，計(jì)算量很大，算法的效率比低，匹配速度比較慢。該方法還有一個(gè)比較讓人詬病的缺點(diǎn)—對(duì)光照變化非常敏感。</p><p>　　2.3.2 序列相似性（SSDA）算法</p><p>　　1972年Barnea和Silverman在總

96、結(jié)了已有的圖像特征匹配算法的基礎(chǔ)上，提出了一種新的圖像特征匹配算法—序貫相似性檢測(cè)算法（SSDA）。該算法速度很快，科研工作者已經(jīng)通過(guò)實(shí)踐證明，它的處理速度比FFT相關(guān)算法快一個(gè)到兩個(gè)數(shù)量級(jí)[22]。</p><p>　　設(shè)基準(zhǔn)圖像長(zhǎng)和寬分別為和即模板為，我們使用表示模板覆蓋待匹配圖像的那塊子圖，其中，，和分別表示子圖和模板中位于位置處的像素值。</p><p><b>　　1.

97、定義絕對(duì)誤差：</b></p><p><b>　　(2-10)</b></p><p>　　其中： </p><p>　　2.設(shè)置閥值，一旦被設(shè)置，就不應(yīng)當(dāng)改變。</p><p>　　3.隨機(jī)選擇子圖窗口區(qū)域中的一個(gè)像素點(diǎn)，使用公式（2-9）計(jì)算該像素點(diǎn)和模板T中對(duì)應(yīng)像素點(diǎn)的誤差值

98、，然后將該像素點(diǎn)上的誤差值和其他點(diǎn)的誤差值相加，并使累加次數(shù)R加1.如果累計(jì)誤差超過(guò)，則記錄下累加的次數(shù)R，并停止計(jì)算下一像素點(diǎn)的誤差值，將SSDA的檢測(cè)曲面定義為：</p><p><b>　　(2-11)</b></p><p>　　利用公式（2-11）計(jì)算點(diǎn)的值，如果某點(diǎn)的值最大，則將該點(diǎn)定義為匹配點(diǎn)。因?yàn)樵谶@點(diǎn)上需要經(jīng)過(guò)多次誤差累加后，總的誤差才能超過(guò)。<

99、;/p><p>　　在SSDA算法中，當(dāng)總誤差大于預(yù)設(shè)的閥值時(shí)，我們就認(rèn)為該點(diǎn)不是匹配點(diǎn)，因此在實(shí)際的計(jì)算中，有可能不需要計(jì)算模板覆蓋區(qū)域所有像素的誤差。當(dāng)總誤差超過(guò)閥值時(shí)，立即停止該位置的計(jì)算，開(kāi)始測(cè)試下一個(gè)位置，直到找到匹配點(diǎn)。</p><p><b>　　2.4 圖像融合</b></p><p>　　圖像拼接的前一步需要把待拼接的圖像全部投影

100、至同一個(gè)平面上，此時(shí)會(huì)通過(guò)計(jì)算到平移參數(shù)把全部圖像進(jìn)行累加，圖像累加完成后，有一處比較明顯的邊界部分出現(xiàn)在拼接處，這種方式得到的拼接圖像整體視覺(jué)效果不太理想，因?yàn)槠唇雍蠛圹E比較明顯。對(duì)于“鬼影”的消除，當(dāng)前已經(jīng)有很多種的方法，主要有：加權(quán)平均法、算術(shù)平均法[23]、小波變換法[24]和多頻帶融合法[24]。下面將會(huì)對(duì)后三種作介紹，本設(shè)計(jì)主要使用的是加權(quán)平均法，在后面將對(duì)其作詳細(xì)介紹。</p><p>　　2.4.

101、1 平均值法</p><p>　　令、、分別表示第一幅圖像、第二幅圖像和融合后圖像在點(diǎn)處的像素值，則融合圖像中的各點(diǎn)的像素值按下式確定：</p><p><b>　　(2-12)</b></p><p>　　式中： 表示第一幅圖像中去掉重疊部分剩下的圖像區(qū)域?qū)?yīng)像素值；表示第一幅圖像和第二幅圖像重疊的圖像區(qū)域?qū)?yīng)像素值；表示第二幅圖像中去掉重疊

102、部分剩下的圖像區(qū)域?qū)?yīng)像素值 。雖然用平均值法很快，但是效果不能令人滿意，在融合部分由明顯的帶狀感覺(jué)，而且有明顯的縫合線。</p><p>　　2.4.2 小波變換法</p><p>　　依據(jù)圖像的頻域特性把圖像分為幾個(gè)頻域段，這種操作方法稱為小波變換方法，圖像的拼接和融合過(guò)程主要完成在各個(gè)頻域段上，最終能夠?qū)⒏黝l域段上的圖像融合為一幅無(wú)痕完整的圖像。小波變換的方式可以確保圖像的像素及能量

103、仍然完整，而且分辨率的拼接過(guò)程降低了子圖之間相互影響的可能，拼接成的圖像效果也會(huì)比較好[25]。</p><p>　　2.4.3 多頻帶融合法</p><p>　　多頻帶融合法是將圖像在頻域上進(jìn)行分解，這一點(diǎn)上和小波變換法相似，但是他們之間的不同是用了不同的金字塔結(jié)構(gòu)，且圖像的重疊邊界使用了多頻帶融合法的加權(quán)平均法。</p><p>　　多頻帶融合法和小波變換法相同

104、，它們都有較高的精確度要求，而且計(jì)算量都很大。</p><p>　　第3章 基于Harris算法的圖像特征提取</p><p>　　1998年，C.Harris和M.J.Stephens在Moravec算子的基礎(chǔ)上進(jìn)行改進(jìn)，提出的Harris算法。這種算法與Moravec算法區(qū)別在于它用基于邊界曲率的檢測(cè)方法代替了常用的一階偏導(dǎo)數(shù)來(lái)描述灰度的變化。通過(guò)計(jì)算圖像邊界的曲率，找出像素灰度變化極

105、值，再通過(guò)閥值技術(shù)來(lái)進(jìn)行特征點(diǎn)檢測(cè)。本章主要介紹了Harris算法的原理，并通過(guò)實(shí)驗(yàn)驗(yàn)證算法的可行性。</p><p>　　3.1 Harris算法原理分析</p><p>　　Harris角點(diǎn)檢測(cè)原理[17]：通過(guò)判斷某一點(diǎn)向任意方向小小偏移都是否會(huì)引起灰度的很大變化，如果是就說(shuō)明該點(diǎn)是角點(diǎn)。它的具體算法是通過(guò)分析像素周圍區(qū)域的自相關(guān)函數(shù)的自相關(guān)矩陣特征值來(lái)判斷某一點(diǎn)是否是角點(diǎn)。這個(gè)局部

106、自相關(guān)函數(shù)C定義為[18]：</p><p><b>　　(3-1)</b></p><p>　　式中：，為，方向上的微小偏移量。是像素點(diǎn)上的灰度值，為有微小偏移量后的灰度值。是以點(diǎn)為中心窗口，為加權(quán)函數(shù)，它既可以是常數(shù)，也可以是高斯加權(quán)函數(shù)：。為簡(jiǎn)化起見(jiàn)，將表示為。</p><p>　　根據(jù)泰勒展開(kāi)，對(duì)圖像在平移后進(jìn)行一階近似：</p&

107、gt;<p><b>　　(3-2)</b></p><p>　　式中：、是圖像的偏導(dǎo)數(shù)。這樣，式(3-1)近似為：</p><p><b>　　(3-3)</b></p><p><b>　　其中 </b></p><p>　　也就是說(shuō)圖像在點(diǎn)處平移后的自相關(guān)函

108、數(shù)可近似為：</p><p><b>　　(3-4)</b></p><p>　　設(shè)、是矩陣的兩個(gè)特征值，則、可表示局部自相關(guān)函數(shù)的曲率。通過(guò)對(duì)矩陣的兩個(gè)特征值分析，我們可大致對(duì)角點(diǎn)進(jìn)行檢測(cè)，但實(shí)際運(yùn)用中用來(lái)計(jì)算角點(diǎn)的響應(yīng)函數(shù)：</p><p><b>　　(3-5)</b></p><p>　　式

109、中：為矩陣的行列式，為矩陣的跡，按經(jīng)驗(yàn)一般取值0.04。其判斷標(biāo)準(zhǔn)為：設(shè)定一個(gè)合理的閥值，當(dāng)實(shí)際計(jì)算出來(lái)的大于該閥值時(shí)，則表示找到了一個(gè)角點(diǎn)，否則就不是。</p><p>　　根據(jù)以上討論，可以將Harris圖像角點(diǎn)檢測(cè)算法歸納如下，共分為五步：</p><p>　　(1)計(jì)算圖像在X和Y兩個(gè)方向的梯度、。</p><p><b>　　，</b>

110、;</p><p>　　(2)計(jì)算圖像兩個(gè)方向梯度的乘積。</p><p>　　(3)使用高斯函數(shù)對(duì)、和進(jìn)行高斯加權(quán)，生成矩陣的元素、和。</p><p>　　(4)計(jì)算每個(gè)像素的Harris相應(yīng)值，并對(duì)小于某一閥值的為零。</p><p>　　(5)在3x3或5x5的鄰域內(nèi)進(jìn)行非最大值抑制，局部最大值點(diǎn)即為圖像中的角點(diǎn)。</p>