1、場景理解作為計算機視覺研究領(lǐng)域中極其重要的基礎(chǔ)問題和終極目標(biāo)，其研究成果已廣泛應(yīng)用于機器人導(dǎo)航、安防、醫(yī)療、網(wǎng)絡(luò)搜索等眾多民生領(lǐng)域，彰顯出重要的學(xué)術(shù)研究價值和現(xiàn)實意義。圍繞“分而治之”的指導(dǎo)思想，場景理解的各分支任務(wù)，如目標(biāo)檢測、圖像分割、場景分類等都已取得了突破性進展。但是整體場景理解的目標(biāo)遠未實現(xiàn)。近些年圍繞“合而為一”的指導(dǎo)思想，學(xué)者們提出了“語義分割”的研究思路，研究如何將這些分支任務(wù)融為一體，以實現(xiàn)場景理解的最終目標(biāo)，并據(jù)此提

2、出“聯(lián)合目標(biāo)檢測和語義分割”。語義分割不僅在一定程度上實現(xiàn)了對視覺場景的理解，更是推理出其他高層語義的基礎(chǔ)；聯(lián)合目標(biāo)檢測和語義分割則是在完成語義分割的同時，定位到每個物體并獲得目標(biāo)的數(shù)量信息。但是目前已有研究成果并不令人滿意。因此，本文著眼于目標(biāo)檢測，語義分割，聯(lián)合目標(biāo)檢測和語義分割等研究熱點和難點，采用概率圖模型，針對已有研究中的不足開展研究并提出了相應(yīng)的解決方法。本文主要內(nèi)容和貢獻如下：
　　1．研究了如何構(gòu)建先進的條件隨機場

3、模型，使其準(zhǔn)確反映現(xiàn)實視覺場景中的約束條件，從而提升語義分割性能。提出了三種模型：
　?。?）基于擴充紋元圖的點對條件隨機場模型（下稱模型I）。該模型由一元項和成對項組成，其中一元項由聯(lián)合自舉分類器構(gòu)成，成對項反映了相鄰像素間的平滑約束。該模型表達形式簡單，簡化了模型參數(shù)的學(xué)習(xí)過程。為更好地描述紋理特征，利用LBP、SIFT和Color SIFT等局部特征描述子擴充了原始紋元圖；為獲得更具區(qū)分力的特征表達，在擴充紋元圖的基礎(chǔ)上定義

4、了紋理空間濾波器，引入了形狀、位置和上下文信息，并將其作為聯(lián)合自舉分類器的弱分類器。實驗結(jié)果表明，該模型得到了較好的語義分割效果。
　　（2）基于全局同主題約束的高階條件隨機場模型（下稱模型II）。為了克服模型I自身的局限性，引入了反映全局同主題約束的高階項，構(gòu)建出高階條件隨機場模型。首先采用規(guī)范化分割對輸入圖像進行多次分割，其次利用主題模型發(fā)現(xiàn)同主題分割塊，然后在同主題分割塊上定義高階項，最后與模型I加權(quán)混合得到高階條件隨機場模

5、型。該模型不僅考慮了局部紋理特征對于像素類別的約束，而且反映了同主題分割塊類別一致性的全局約束，在實驗中取得了良好的語義分割效果。
　?。?）融合了像素和分割塊兩種基本處理單元的分層條件隨機場模型。該模型由觀察數(shù)據(jù)層、像素層、分割層三層組成。觀察數(shù)據(jù)層即原始圖像；以像素作為基本處理單元的模型I構(gòu)成像素層，反映了局部紋理特征對于像素類別的約束以及像素間平滑約束；以分割塊作為基本處理單元的模型I構(gòu)成分割層，反映了分割區(qū)域的描述特征對于

6、分割塊類別的約束、區(qū)域一致性約束、以及分割塊間平滑性約束。該模型在分割塊和塊內(nèi)像素上定義了關(guān)聯(lián)能量項，對兩者進行了融合，克服了單獨使用一種處理單元的缺陷。本文分別采用了基于多分割圖模式和基于約束參數(shù)最小割兩種方式來獲得分割層。此外，本文還提出了一種新的一二階合并方法來獲得更為穩(wěn)定可靠的分割區(qū)域的描述特征。
　　2．提出了一種基于偏最小二乘分析的目標(biāo)檢測方法。首先對輸入圖像進行多尺度滑窗搜索，通過密集采樣獲得滑窗的高維特征描述。其次

7、利用偏最小二乘方法從原始高維特征中抽取出少量潛在成分組成低維特征向量空間，從而得到新的目標(biāo)特征表達。接著提出了一種利用模型質(zhì)量比值確定最佳潛在成分數(shù)量的方法。最后利用基于高斯核的均值漂移算法進行最大值抑制，去除重疊檢測邊界框，得到最終的目標(biāo)檢測結(jié)果。實驗結(jié)果表明：降維性能優(yōu)于 PCA，能夠獲得更具區(qū)分力的低維特征表達；目標(biāo)檢測性能優(yōu)于Dalal提出的經(jīng)典算法。
　　3．提出了一種新的高階條件隨機場模型，以解決聯(lián)合目標(biāo)檢測與語義分割

8、問題。基本思想是：在模型 II的基礎(chǔ)上，引入目標(biāo)檢測高階能量項，將基于目標(biāo)檢測器對搜索窗內(nèi)像素類別的判斷作為一種約束條件反映到能量方程中，與局部紋理特征、像素間平滑先驗、分割塊內(nèi)像素類別一致性等約束條件一起“競爭”，共同決定像素的類別歸屬。此外，提出了兩種目標(biāo)檢測能量項生成方法：一是直接利用目標(biāo)檢測器的檢測結(jié)果生成能量項；二是同時提取邊界框中的全局形狀特征和局部紋理特征，并通過特征的一二階合并方法獲得更具魯棒性的特征表達，再利用邏輯斯蒂