時(shí)間：TIME\@"yyyy'年'M'月'd'日'"2022年3月29日學(xué)海無(wú)涯頁(yè)碼：第1-頁(yè)共1頁(yè)基于改進(jìn)局部一致性約束的立體匹配算法雙目立體視覺(jué)模擬人的視覺(jué)系統(tǒng)，通過(guò)對(duì)同一場(chǎng)景下不同角度的兩張圖像進(jìn)行圖像處理重建三維結(jié)構(gòu)［1］，而立體匹配是其中最為核心的技術(shù)。立體視覺(jué)是指在同一場(chǎng)景中不同位置的兩個(gè)相機(jī)獲得左右兩張圖像，通過(guò)計(jì)算視圖中同名像素點(diǎn)的視差獲得深度信息［2］。近年來(lái)，研究者盡管對(duì)立體匹配進(jìn)行了深入的研究，但在復(fù)雜環(huán)境下（如噪聲腐蝕，光度畸變等）仍然難以獲得精確匹配［3］。立體匹配在三維重建、目標(biāo)檢測(cè)［4］等領(lǐng)域的廣泛應(yīng)用［5］使之成為研究熱點(diǎn)。目前立體匹配算法主要分為傳統(tǒng)算法［6］和深度學(xué)習(xí)算法［7-8］。

傳統(tǒng)方法一般分為代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算、視差優(yōu)化4個(gè)步驟［9］，主要分為全局方法和局部方法［10］。全局方法采用全局優(yōu)化理論建立一個(gè)全局能量函數(shù)，函數(shù)最小值即最優(yōu)的視差值。主要方法有信念傳播［11］和動(dòng)態(tài)規(guī)劃［12-13］。全局方法準(zhǔn)確率較高，但是計(jì)算量大，不適合實(shí)時(shí)應(yīng)用［14］。相比之下，局部方法的目標(biāo)函數(shù)只包含測(cè)量部分，其計(jì)算量較少，匹配速度快。常見(jiàn)的有Census變換［15-16］、SAD、PatchMatch等算法。此外，Hirschmüller提出半全局立體匹配算法（Semi-GlobalMatching，SGM）［17］，該算法在計(jì)算函數(shù)能量最小化時(shí)使用一維最優(yōu)近似二維最優(yōu)，使算法效率得到極大提升。

基于深度學(xué)習(xí)［18］的立體匹配算法將推導(dǎo)視差圖的過(guò)程視為分類問(wèn)題或回歸問(wèn)題。例如，Zbontar［8］使用卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）估計(jì)圖像塊的相似性，Nahar［19］提出了無(wú)監(jiān)督的預(yù)訓(xùn)練網(wǎng)絡(luò)估計(jì)分層特征。雖然深度學(xué)習(xí)方法準(zhǔn)確度較高，但是目前的大多數(shù)方案使用的監(jiān)督學(xué)習(xí)方法均是假設(shè)真實(shí)的視差值已知，而該假設(shè)在一些情況下是不成立的［20］。此外，深度學(xué)習(xí)方法在訓(xùn)練時(shí)需要大量的數(shù)據(jù)和時(shí)間，對(duì)算力要求較高，對(duì)于沒(méi)有被訓(xùn)練過(guò)的陌生環(huán)境效果較差，并且不能很好地被移植到機(jī)器人和嵌入式系統(tǒng)中［21］。

與深度學(xué)習(xí)方法相比，傳統(tǒng)方法遇到這類問(wèn)題時(shí)的匹配效果更好。文獻(xiàn)［22-23］等的算法均在與深度學(xué)習(xí)算法的比較中取得了優(yōu)勢(shì)。傳統(tǒng)算法不用進(jìn)行訓(xùn)練，計(jì)算開(kāi)銷較低。因此，本文對(duì)傳統(tǒng)算法進(jìn)行了改進(jìn)。PMS［24］作為經(jīng)典的傳統(tǒng)算法使用隨機(jī)初始化生成任意的平面參數(shù)來(lái)實(shí)現(xiàn)傾斜平面。雖然可以處理實(shí)際傾斜表面，但是該處理方法需要多次迭代，導(dǎo)致計(jì)算量極大且誤匹配率較高。為解決這一問(wèn)題，首先，本文通過(guò)稀疏匹配得到支撐點(diǎn)。其次，利用三角剖分劃分支撐點(diǎn)為每個(gè)像素找到逼近正確解的平面參數(shù)。最后，為了得到更準(zhǔn)確的視差，在代價(jià)聚合階段采用迭代傳播的方式構(gòu)建出局部一致性平行窗口模型，減少了迭代次數(shù)同時(shí)降低了誤匹配率。

2算法描述

2.1算法流程

本文算法流程圖如圖1所示。

圖1本文算法流程圖

Fig.1Algorithmflowchartofthispaper

下載:原圖|高精圖|低精圖

詳細(xì)步驟如下：

Step1：將輸入的左圖像等步長(zhǎng)選取特征點(diǎn)進(jìn)行稀疏匹配得到魯棒性高的支撐點(diǎn)集。

Step2：對(duì)點(diǎn)集進(jìn)行三角剖分，為每個(gè)像素點(diǎn)找到一個(gè)平面，將平面參數(shù)賦給該像素點(diǎn)。

Step3：將像素點(diǎn)及平面參數(shù)多次進(jìn)行代價(jià)聚合即迭代傳播，找到更加準(zhǔn)確的平面參數(shù)。

Step4：通過(guò)像素點(diǎn)的平面參數(shù)以及橫縱坐標(biāo)求該點(diǎn)的視差值。

Step5：對(duì)視差圖進(jìn)行視差后處理。

2.2算法思路及主要公式

本文算法采用傾斜窗口代替固定式窗口。對(duì)任意像素p，算法會(huì)尋找一個(gè)平面fp，該像素的視差值dp計(jì)算公式如式（1）所示：

dp=afppx+bfppy+cfp

，（1）

式中：afp、bfp和cfp為fp的平面參數(shù)，px與py為像素p的橫縱坐標(biāo)。匹配過(guò)程轉(zhuǎn)換為尋找每個(gè)像素的最優(yōu)平面參數(shù)，每個(gè)像素對(duì)應(yīng)的最小聚合代價(jià)的平面為：

fp=argminf∈Fm(p,f)

，（2）

式中：F表示一個(gè)無(wú)邊界的平面集合，m(p,f)為像素p對(duì)應(yīng)平面f的聚合代價(jià)。m（p，f）表達(dá)式為：

m(p,f)=∑q∈Wpw(p,q)?ρ(q,q?(afqx+bfqy+cy)),

（3）

式中：Wp是中心像素為p的正方形匹配窗口，q為窗口內(nèi)一像素點(diǎn)。采用自適應(yīng)權(quán)重函數(shù)w(p,q)克服邊緣擴(kuò)脹（Edge-Dilated）問(wèn)題，該點(diǎn)色彩相似度越高，則權(quán)重值也越大，計(jì)算公式如式（4）所示：

w(p,q)=e?∥Ip?Iq∥γ

’（4）

式中：γ為自定義參數(shù)；∥IP?Iq∥定義為RGB彩色空間中p點(diǎn)與q點(diǎn)的距離，即|r?r|+|g?g|+|b?b|。公式（3）中ρ(q,q)為度量q點(diǎn)與q點(diǎn)間差異性的函數(shù)，結(jié)合公式（1）可得q=q?d，即參考圖的點(diǎn)q在目標(biāo)圖上偏移d個(gè)像素單位后對(duì)應(yīng)的像素點(diǎn)記為q，其計(jì)算公式如式（5）所示：

ρ(q,q)=(1?α)?min(∥Iq?Iq∥,τcol)+α?min(∥Iq?Iq∥,τgrad),

（5）

式中：∥Iq?Iq∥為q點(diǎn)與q點(diǎn)間灰度梯度值差的絕對(duì)值；α為平衡顏色代價(jià)和梯度代價(jià)的自定義參數(shù)；τcol和τgrad為截?cái)嗪瘮?shù)，使遮擋區(qū)域代價(jià)值在一個(gè)合理局部范圍。

傾斜窗口的匹配算法雖然優(yōu)于傳統(tǒng)立體匹配算法，但是如果不能為像素找到一個(gè)正確的傾斜窗口，不僅導(dǎo)致后續(xù)步驟存在大量的迭代，還會(huì)導(dǎo)致得到的視差值不準(zhǔn)確。本文從這一問(wèn)題出發(fā)，通過(guò)稀疏匹配得到強(qiáng)魯棒性支撐點(diǎn)，再利用三角剖分使每個(gè)像素得到一個(gè)接近真實(shí)值的平面參數(shù)，最后通過(guò)改進(jìn)后的迭代傳播構(gòu)建出局部一致性平行窗口模型。

3本文方法

3.1稀疏匹配特征點(diǎn)

PMS算法為每個(gè)像素都計(jì)算一個(gè)視差平面，這一做法忽略了立體匹配中連續(xù)性約束的重要假設(shè)，而且逐個(gè)像素計(jì)算也會(huì)增加計(jì)算量。為了解決這一問(wèn)題，本文算法采用精匹配獲得特征點(diǎn)，并通過(guò)這些特征點(diǎn)求得其他像素的視差平面。本文所用方法不僅符合連續(xù)性約束的假設(shè)，而且能快速準(zhǔn)確地找到正確解。

首先通過(guò)稀疏匹配，在左圖像中以步長(zhǎng)為5獲取候選特征點(diǎn)，得到特征點(diǎn)后根據(jù)視差范圍(Dmin~Dmax)在右圖中搜索每個(gè)視差值對(duì)應(yīng)的點(diǎn)，再計(jì)算曼哈頓距離獲得匹配代價(jià)，計(jì)算公式如式（6）所示：

c=|x1?x2|+|y1?y2|

，（6）

式中：c為曼哈頓距離，x1、x2為2個(gè)點(diǎn)的橫坐標(biāo)，y1、y2為2個(gè)點(diǎn)的縱坐標(biāo)。通過(guò)式（6）這一公式找到在視差范圍內(nèi)最小匹配代價(jià)對(duì)應(yīng)的點(diǎn)，然后以其周圍4個(gè)點(diǎn)的匹配代價(jià)的均值代替其代價(jià)值，將左右圖像調(diào)換位置重復(fù)上述步驟。最后執(zhí)行左右一致性檢驗(yàn)，將剩下的點(diǎn)作為本次稀疏匹配的特征點(diǎn)。通過(guò)這樣的特征點(diǎn)求得的視差平面更接近于正確解。

3.2通過(guò)三角剖分構(gòu)建局部一致性

在計(jì)算平面參數(shù)階段，PMS算法采用隨機(jī)初始化的方法。使用隨機(jī)函數(shù)得到一個(gè)在視差范圍內(nèi)的隨機(jī)視差d，記為z0，與當(dāng)前像素的橫縱坐標(biāo)組成三維點(diǎn)P=(x0,y0,z0)，再用隨機(jī)函數(shù)生成單位法向量n?=(nx,ny,nz)，最后根據(jù)點(diǎn)法式平面方程計(jì)算出平面參數(shù)。

這種方法無(wú)法保證每個(gè)像素得到正確（或近似正確）的平面參數(shù)，從而需要多次迭代以確保正確的平面參數(shù)傳遞到其他像素。如果鄰域像素的平面參數(shù)都與真實(shí)值偏差過(guò)大，則無(wú)論迭代多少次都無(wú)法回歸到正確的平面。

針對(duì)上文提到的PMS算法的缺陷，本文算法采用三角剖分劃分特征點(diǎn)的方法來(lái)為像素點(diǎn)找到一個(gè)視差平面。這樣得到的平面接近正確解。本文對(duì)3.1節(jié)中得到的特征點(diǎn)執(zhí)行三角剖分得到三角平面集合，根據(jù)連續(xù)性約束認(rèn)為每個(gè)三角平面中的像素視差是一致或者近似的，構(gòu)建局部一致性窗口，計(jì)算每個(gè)三角平面參數(shù)并分配給其中的像素。由于支撐點(diǎn)是通過(guò)精匹配得到的強(qiáng)魯棒點(diǎn)，其視差置信度高，因此計(jì)算得到的平面參數(shù)最接近真實(shí)值，為后續(xù)的迭代傳播過(guò)程提供了良好的初始依據(jù)，使其經(jīng)過(guò)更少的迭代次數(shù)便能回歸到精確解。

本文算法使用的是分治法三角剖分，以10點(diǎn)垂直分割法為例，流程如下：

Step1：將10個(gè)點(diǎn)按x坐標(biāo)作升序排序，當(dāng)x坐標(biāo)相同時(shí)，按y坐標(biāo)排序。如圖2（i）所示。

圖2三角剖分步驟

Fig.2Triangulationstep

下載:原圖|高精圖|低精圖

Step2：用遞歸方法將排序后的點(diǎn)劃分為數(shù)量近似的兩個(gè)子集，直到點(diǎn)數(shù)≤3，最后得到4個(gè)二級(jí)子集，如圖2（ii）所示。

Step3：將4個(gè)二級(jí)子集合并成兩個(gè)一級(jí)子集，如圖2（iii）所示。

Step4：通過(guò)三角剖分的空?qǐng)A特性及最大化最小角原則將2個(gè)一級(jí)子集進(jìn)行合并，如圖2（iv）所示。

最終圖像中的像素點(diǎn)會(huì)分成若干三角平面，再通過(guò)每個(gè)三角平面的3個(gè)頂點(diǎn)計(jì)算平面參數(shù)并分給該三角形內(nèi)其余點(diǎn)。

本文具體步驟如下：

Step1：等步長(zhǎng)選取候選特征點(diǎn)；

Step2：稀疏匹配候選特征點(diǎn)，并執(zhí)行左右一致性校驗(yàn)，將剩余點(diǎn)作為強(qiáng)魯棒性的支撐點(diǎn)集S={s1,s2,…,sM}，支撐點(diǎn)sM=[um,vm,dm]T；

Step3：對(duì)支撐點(diǎn)集S執(zhí)行三角剖分，獲得三角平面集合T；

Step4：根據(jù)三角平面集合T計(jì)算當(dāng)前平面的平面參數(shù)，如T的3個(gè)頂點(diǎn)坐標(biāo)分別為s1={u1,v1,d1}T、s4={u4,v4,d4}T和s9={u9,v9,d9}T，則平面參數(shù)為：

?????d1=afu1+bfv1+cfd4=afu4+bfv4+cfd9=afu9+bfv9+cf??????afbfcf

.（7）

Step5：令T平面內(nèi)像素的平面都等于（af，bf,cf)，重復(fù)步驟4、5，直至T內(nèi)最后一個(gè)三角平面。

3.3迭代傳播

3.3.1局部一致性平行窗口模型

迭代傳播指的是圖像重復(fù)進(jìn)行代價(jià)聚合過(guò)程，目的是把隨機(jī)視差平面中正確的視差平面?zhèn)鞑ブ镣灰暡钇矫鎯?nèi)的其他像素。本文算法對(duì)迭代傳播進(jìn)行了優(yōu)化，將迭代次數(shù)減少為兩次，并舍棄了平面?zhèn)鞑ズ蜁r(shí)序傳播兩個(gè)傳播過(guò)程。為了驗(yàn)證優(yōu)化的正確性，本文提出了兩種模型。因?yàn)镻MS算法使用的是傾斜窗口，本文為與原算法保持一致，將包含平面?zhèn)鞑ゲ襟E的模型稱為局部一致性傾斜窗口模型，將缺少平面?zhèn)鞑ゲ襟E的模型稱為局部一致性平行窗口模型即本文算法。

本文用一張概念圖來(lái)表示本文的局部一致性窗口與隨機(jī)傾斜窗口的區(qū)別，如圖3所示。其中Ω1、Ω2和Ω3平面為局部一致性窗口，Ω4空間和Ω5空間為隨機(jī)傾斜窗口。在Ω1、Ω2和Ω3平面中，處于同一平面的像素具有相同的平面參數(shù)，保證了立體匹配的連續(xù)性約束條件。而在Ω4空間和Ω5空間中，每個(gè)像素的平面參數(shù)各異，不滿足連續(xù)性約束條件，需多次迭代傳播才能回歸到正確值。

圖3局部一致性與隨機(jī)傾斜窗口對(duì)比

Fig.3Comparisonoflocalconsistencyandrandomwindow

下載:原圖|高精圖|低精圖

3.3.2空間傳播

空間傳播假設(shè)空間上鄰近點(diǎn)的像素很有可能處于同一平面內(nèi)。本文通過(guò)空間傳播使當(dāng)前像素得到鄰域像素中代價(jià)最小的平面參數(shù)，具體步驟如下：

Step1：對(duì)于當(dāng)前像素p(x,y)，其鄰近像素分別記為q(x?1,y)與q(x,y?1)，其平面分別記為fp、fq和fq；

Step2：基于平面計(jì)算匹配代價(jià)值m(p,fp)、m(p,fq)與m(p,fq)，分別記為p、p和p；

Step3：選取最小匹配代價(jià)min{m,m,m}代替像素p(x,y)點(diǎn)原匹配代價(jià)，并將平面參數(shù)更新為最小匹配代價(jià)的平面參數(shù)。

在左右視圖的每個(gè)像素點(diǎn)逐次重復(fù)上述4步，直至圖像最后一個(gè)像素點(diǎn)?？臻g傳播是將鄰域內(nèi)可能正確的平面參數(shù)傳遞給空間鄰近的像素，因此需要多次迭代才能將正確的平面參數(shù)賦給鄰域內(nèi)的所有像素。

3.3.3視圖傳播

視圖傳播假設(shè)雙目視圖的左右圖像上的同名點(diǎn)不僅具有相同的視差值，而且匹配點(diǎn)間可能具有相似的視差平面。對(duì)于所有參考圖像素點(diǎn)p，比較其與目標(biāo)圖上同名點(diǎn)的平面的代價(jià)值。本文算法通過(guò)視圖傳播使像素獲得同名點(diǎn)間最優(yōu)平面參數(shù)。

Step1：取參考圖像素p(xl,yl)，其平面方程為：

d=apxl+bpyl+cp

.（8）

Step2：若p點(diǎn)視差為dp則目標(biāo)圖上同名點(diǎn)坐標(biāo)為p(xl?dp,yl)，將其帶入式（8）中，則有：

dp=?apxl?bpyl?(cp+apdp)

.（9）

Step3：通過(guò)公式（9）可得目標(biāo)圖上同名點(diǎn)p的平面參數(shù)為(?ap,?bp,?(cp+apdp))。

Step4：計(jì)算p點(diǎn)在2個(gè)平面下的匹配代價(jià)，若m(p,fp)m(p,fp)，則更新匹配代價(jià)，并令fp=fp。反之，則保持原平面不變。

在這個(gè)過(guò)程中，通過(guò)計(jì)算得到的目標(biāo)圖同名點(diǎn)p坐標(biāo)如果不是整數(shù)則需要四舍五入映射到最鄰近的圖像坐標(biāo)，這也是同名點(diǎn)間的平面相似而非相同的原因。

3.3.4視差后處理

在經(jīng)過(guò)迭代傳播后，通過(guò)像素點(diǎn)的平面參數(shù)計(jì)算其視差值，可表示為：

dp=afppx+bfppy+cfp

，（10）

式中：afp，bfp和cfp為fp的平面參數(shù)，px與py為像素p的橫縱坐標(biāo)。

在視差優(yōu)化階段，本文算法采取左右一致性校驗(yàn)、視差填充和濾波等后處理步驟來(lái)提高視差圖的精度。

首先，通過(guò)左右一致性校驗(yàn)剔除誤匹配點(diǎn)。分別求出左右視差圖，對(duì)參考圖上的像素點(diǎn)p與目標(biāo)圖上匹配的像素點(diǎn)p，執(zhí)行|dp?dp|≤1的條件檢驗(yàn)，剔除不滿足條件的點(diǎn)。

然后，對(duì)于被剔除的異常點(diǎn)p，在其鄰域內(nèi)搜索最鄰近像素點(diǎn)q，將q點(diǎn)的坐標(biāo)和它在左右視圖上的平面flq、frq分別帶入公式（1）得到兩個(gè)視差值，取較小的視差值作為p點(diǎn)的視差。這種處理方法更符合實(shí)際情況，且當(dāng)處理的圖像為視頻流的一幀時(shí)，該方案能為遮擋區(qū)域的像素分配更合理的平面參數(shù)，使其能有效應(yīng)用于下一幀圖像。

最后，為削弱視差填充的負(fù)面影響，使用加權(quán)中值濾波來(lái)結(jié)合多方向視差信息。其中強(qiáng)魯棒點(diǎn)在濾波時(shí)會(huì)被直接跳過(guò)，算法轉(zhuǎn)而繼續(xù)尋找下一個(gè)誤匹配點(diǎn)執(zhí)行濾波操作。

4測(cè)量實(shí)驗(yàn)與結(jié)果

本文采用Middlebury測(cè)試［25］平臺(tái)提供的第三版標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。其中樣本包括15組雙目視覺(jué)圖像對(duì)。編程語(yǔ)言為C++，硬件環(huán)境為Intel（R）Core（TM）i7-9750CPU，16GB內(nèi)存，系統(tǒng)為Windows10。實(shí)驗(yàn)參數(shù)設(shè)置為γ=10.0，α=0.9，τcol=10.0，τgrad=2.0。其中γ為自適應(yīng)權(quán)重函數(shù)w(p,q)中自定義參數(shù)；α為ρ(q,q)中平衡顏色代價(jià)和梯度代價(jià)的自定義參數(shù)；τcol和τgrad為ρ(q,q)中截?cái)嗪瘮?shù)，使遮擋區(qū)域代價(jià)值在一個(gè)合理局部范圍。

客觀評(píng)價(jià)標(biāo)準(zhǔn)采用誤匹配率（bad，Ebad）與絕對(duì)值均差（avgErr，Eavg）。評(píng)價(jià)指標(biāo)bad的含義是當(dāng)真值圖和視差圖結(jié)果相差1pixel以上時(shí)，判定為誤匹配點(diǎn)，表達(dá)式如式（11）所示：

Ebad=nN×100%

，（11）

式中：N為有效點(diǎn)總和，n為超出誤差線的匹配點(diǎn)總和。本文中non表示非遮擋區(qū)域，all表示全部區(qū)域。

評(píng)價(jià)指標(biāo)avgErr是計(jì)算非遮擋區(qū)域的真值圖的值gt與匹配點(diǎn)視差d（包含誤匹配點(diǎn)）的差的絕對(duì)值，最后統(tǒng)計(jì)絕對(duì)值與有效點(diǎn)的百分比，表達(dá)式如式（12）所示：

Eavg=∑i∣∣di?gti∣∣N?Inf×100%

，（12）

式中：Inf為無(wú)效點(diǎn)總和。

4.1算法對(duì)比

4.1.1本文算法與PMS算法對(duì)比

圖4為PMS算法與本文算法主觀效果圖，紅框內(nèi)區(qū)域?yàn)樾Ч嵘黠@區(qū)域。其中，PMS算法在Adirondack、Piano等圖像中出現(xiàn)零值區(qū)域，在ArtL、Playtable圖像中出現(xiàn)不連續(xù)區(qū)域、輪廓變形現(xiàn)象。相比而言，本文算法處理后的效果圖如Artl，PlaytableP，Adirondack等在邊緣、紋理、輪廓方面均有顯著提升。

圖4不同算法在Middlebury3.0圖像對(duì)上的實(shí)驗(yàn)結(jié)果。（a）參考圖像；（b）真實(shí)視差圖；（c）PMS算法；（d）本文算法。

Fig.4LiftingeffectcomparisonchartsofdifferentalgorthmsonMiddlebry3.0imagepairs.（a）Referenceimage；（b）Truthgraph；（c）PMSalgorithm；（d）Proposedalgorithm.

下載:原圖|高精圖|低精圖

表1為本文算法與PMS算法在非遮擋區(qū)域、全部區(qū)域誤匹配率以及絕對(duì)值均差的對(duì)比結(jié)果，表中數(shù)據(jù)為第3次迭代結(jié)果。其中PMS、Prop-sla和Prop-par分別表示PMS算法、局部一致性傾斜窗口和局部一致性平行窗口即本文算法，加粗?jǐn)?shù)據(jù)為對(duì)同一圖像處理效果的最優(yōu)數(shù)據(jù)。

表1本文算法與PMS算法結(jié)果對(duì)比

Tab.1ComparisonoftheresultsofthealgorithminthispaperandthePMSalgorithm

Datanamenon/%all/%Eavg/%

PMSProp-slaProp-ParPMSProp-slaProp-ParPMSProp-slaProp-Par

Adirondack22.0921.276.66924.6823.6110.411.931.90.63

ArtL15.4814.1413.2525.4224.8227.231.361.231.19

Jadeplant24.9524.9345.6639.8539.3255.794.084.3415.36

Motorcycle14.4913.7311.6721.6821.0918.61.121.091.01

MotorcycleE19.9317.5113.9227.2224.6420.841.41.291.18

Piano27.0325.9525.6734.9533.5233.161.591.461.45

PianoL43.5643.8234.135048.841.953.183.112.33

Pipes17.7616.9415.3930.9730.128.552.031.882.01

Playroom31.9930.7527.1542.7741.4639.042.912.822

Playtable19.5319.817.5425.9426.4624.891.191.251.13

PlaytableP12.4811.910.718.718.2517.050.650.640.54

Recycle21.4221.316.6525.1125.419.721.571.591.01

Shelves49.8649.7646.6356.3456.1152.824.594.553.23

Teddy6.8097.6096.03714.8114.4613.910.640.650.48

Vintage29.729.5140.2634.6734.0544.052.152.114.67

下載:導(dǎo)出CSV

實(shí)驗(yàn)結(jié)果顯示，與PMS算法相比，在非遮擋區(qū)域，本文提出的局部一致性平行窗口和局部一致性傾斜窗口分別能取得13、12組的優(yōu)勢(shì)結(jié)果；在全部區(qū)域，能取得12組的優(yōu)勢(shì)結(jié)果；對(duì)于avgErr指標(biāo)，分別能取得14、11組的優(yōu)勢(shì)結(jié)果。同時(shí)，在非遮擋區(qū)域，本文算法有13組的最優(yōu)數(shù)據(jù)，這13組數(shù)據(jù)與PMS算法相比，總的誤匹配率降低了57%，平均誤匹配率降低4.39%，其中對(duì)單張圖像誤匹配率降低最多可達(dá)到15.42%（Adirondack）。在全部區(qū)域，本文算法有12組的最優(yōu)數(shù)據(jù)，這12組數(shù)據(jù)與PMS算法相比，總的誤匹配率降低了52%，平均誤匹配率降低4.33%，其中對(duì)單張圖像誤匹配率降低最多可達(dá)到14.27%，說(shuō)明本文算法在降低誤匹配率方面效果顯著。

4.1.2本文所提兩種模型對(duì)比

為說(shuō)明本文算法舍棄平面?zhèn)鞑サ脑?，本文?duì)局部一致性平行窗口模型和局部一致性傾斜窗口模型進(jìn)行了對(duì)比，結(jié)果如圖5所示。實(shí)線為不包括平面?zhèn)鞑サ木植恳恢滦云叫写翱谀Ｐ图幢疚乃惴?，虛線為包括平面?zhèn)鞑サ木植恳恢滦詢A斜窗口模型。

圖5本文提出的兩種模型對(duì)比

Fig.5Comparisonofthetwomodelsproposedinthispaper

下載:原圖|高精圖|低精圖

結(jié)合圖5和表1的數(shù)據(jù)可以看出，本文提出的局部一致性平行窗口模型在與包含平面?zhèn)鞑サ膬A斜窗口的對(duì)比中優(yōu)勢(shì)明顯。其原因是三角剖分使用的點(diǎn)集是由魯棒性高的支撐點(diǎn)組成，所以根據(jù)這些點(diǎn)進(jìn)行三角剖分得到的平面參數(shù)接近于正確解。而本文舍棄的平面?zhèn)鞑ナ峭ㄟ^(guò)設(shè)置視差和法向量變化范圍并隨機(jī)生成增量的方式來(lái)找一個(gè)代價(jià)更小的平面。這時(shí)平面?zhèn)鞑ハ喈?dāng)于一個(gè)噪聲敏感模型，既當(dāng)前像素及其周圍像素的平面參數(shù)與正確解偏離極小，平面?zhèn)鞑ブ须S機(jī)獲取視差增量及法向量增量的過(guò)程相當(dāng)于噪聲擾動(dòng)，當(dāng)鄰域內(nèi)都是“正確”解時(shí)，擾動(dòng)極易在圖像內(nèi)傳播，導(dǎo)致誤匹配率偏高。而且在相同迭代傳播次數(shù)的前提下，平行窗口因缺少平面?zhèn)鞑ミ^(guò)程，其效率比傾斜窗口更高。因此局部一致性平行窗口模型性能更優(yōu)。

4.1.3本文算法與其他算法對(duì)比

為驗(yàn)證本文算法的優(yōu)越性，本文將實(shí)驗(yàn)結(jié)果與傳統(tǒng)算法和新穎算法做對(duì)比，其中GA-Net［26］（Guidedaggregationnet）為基于CNN的新穎立體匹配算法，ELASF［22］為基于ELAS的新穎立體匹配算法，而傳統(tǒng)算法使用的是將局部立體匹配算法和半全局立體匹配算法相結(jié)合的AD-Census［27］算法。相同情況下，圖6、圖7、圖8和表2是相同情況下本文算法與對(duì)比算法的主觀效果和客觀效果對(duì)比圖。

圖6不同算法在Middlebury3.0圖像對(duì)上的實(shí)驗(yàn)結(jié)果。（a）參考圖像；（b）真實(shí)視差圖；（c）AD-Census算法；（d）ELASF算法；（e）GA-Net算法；（f）本文算法。

Fig.6ExperimentalresultsofdifferentalgorithmsonMiddlebury3.0imagepairs.（a）Referenceimage；（b）Realdisparitymap；（c）AD-Censusalgorithm；（d）ELASFalgorithm；（e）GA-Netalgorithm；（f）Algorithminthispaper.

下載:原圖|高精圖|低精圖

圖7本文方法與對(duì)比算法在非遮擋區(qū)域的對(duì)比

Fig.7Comparisonofthemethodinthispaperandthecomparisonalgorithminthenon-occludedarea

下載:原圖|高精圖|低精圖

圖8本文方法與對(duì)比算法在全部區(qū)域的對(duì)比

Fig.8Comparisonofthemethodinthispaperandthecomparisonalgorithminallareas

下載:原圖|高精圖|低精圖

表2對(duì)比算法在不同區(qū)域的平均誤匹配率

Tab.2Averagemismatchratesofalgorithmsindifferentregions(%)

Ebad/%AD-censusELASFGA-netProposed

non26.1922.2326.9121.89

all34.5930.5330.1729.71

下載:導(dǎo)出CSV

圖6為不同算法的主觀效果圖，紅框內(nèi)區(qū)域?yàn)樾Ч嵘黠@區(qū)域。其中AD-Census算法的整體表現(xiàn)較差，如Artl、PlaytableP等出現(xiàn)紋理模糊、邊緣效果差的問(wèn)題。而ELASF算法對(duì)輪廓處理效果較差，如Pinao紋理不清晰，Vintage陰影處理較差。GA-Net算法視差圖視差值偏小導(dǎo)致整體亮度較暗，對(duì)紋理邊緣處理效果較差，如Japeplant。

圖7和圖8為本文算法與3種對(duì)比算法的對(duì)比圖，如圖所示，與對(duì)比算法相比，本文算法在大部分圖像中都能取得優(yōu)勢(shì)。其中，本文算法在非遮擋區(qū)域與全部區(qū)域與GA-Net算法對(duì)比分別在13、10組數(shù)據(jù)上取得優(yōu)勢(shì)，平均值如表2所示，分別提高約5.02%、0.46%。分析認(rèn)為，雖然GA-Net使用訓(xùn)練好的模型，但是當(dāng)應(yīng)用本文使用的數(shù)據(jù)集時(shí)，由于缺少特征信息導(dǎo)致切換場(chǎng)景時(shí)匹配效果下降，深度學(xué)習(xí)算法在陌生場(chǎng)景效果較差。而本文算法不需要進(jìn)行訓(xùn)練且能取得較好效果。

另外，本文算法與AD-Census與ELAF兩個(gè)傳統(tǒng)算法相比同樣能取得顯著優(yōu)勢(shì)。本文算法在非遮擋區(qū)域與全部區(qū)域與AD-Census算法相比都能在12組數(shù)據(jù)上取得優(yōu)勢(shì)，經(jīng)對(duì)15組數(shù)據(jù)計(jì)算，誤匹配率總降低分別為68.15%、73.11%，平均降低分別為4.3%、4.9%。對(duì)于ELASF算法，本文算法在非遮擋區(qū)域與全部區(qū)域分別能取得9、10組優(yōu)勢(shì)數(shù)據(jù)，經(jīng)對(duì)全部的15組數(shù)據(jù)計(jì)算，誤匹配率總降低分別為5.23%、12.22%。

4.2不同迭代次數(shù)對(duì)比

為說(shuō)明本文算法效率上的提升，圖9給出了本文算法與PMS算法迭代11次的結(jié)果，其中紅色表示本文算法逐次迭代結(jié)果，其他顏色表示PMS算法的逐次迭代結(jié)果。兩種方法采用堆疊的方式顯示，直觀上當(dāng)條形柱全都被紅色覆蓋時(shí)，表示本文算法誤匹配率高于PMS的誤匹配率；反之，則低于PMS的誤匹配率。

圖9本文算法與PMS算法的11次迭代結(jié)果

Fig.9Resultsof11iterationsofthealgorithminthispaperandthePMSalgorithm

下載:原圖|高精圖|低精圖

由圖9可知，本文算法在多次迭代過(guò)程中不僅與PMS算法同樣保證了收斂性，而且效果更優(yōu)。對(duì)于多數(shù)圖像對(duì)，局部一致性平行窗口模型在完成第一次迭代時(shí)誤匹配率就已經(jīng)低于PMS的誤匹配率，這表明本文算法在更少的計(jì)算開(kāi)銷下，達(dá)到了更優(yōu)于PMS算法的性能。

表3對(duì)比了本文算法與PMS算法前3次迭代結(jié)果，加粗?jǐn)?shù)據(jù)項(xiàng)表示該次迭代最優(yōu)值。由表可知，無(wú)論使用PMS算法還是本文算法，第二次迭代傳播的誤匹配率會(huì)顯著降低。而在第二次迭代傳播的結(jié)果中，與PMS算法相比，局部一致性平行窗口取得了13組的優(yōu)勢(shì)（與第三次迭代結(jié)果相同），局部一致性傾斜窗口取得了12組的優(yōu)勢(shì)；同時(shí)局部一致性平行窗口有11組最優(yōu)數(shù)據(jù)（與第三次迭代結(jié)果相同），局部一致性傾斜窗口只有兩組最優(yōu)。通過(guò)第三次迭代結(jié)果減去第二次迭代結(jié)果可知，本文算法誤匹配率在MotorcycleE組升高最多為0.35%，在ArtL組降低最多為0.29%，誤匹配率平均降低0.1%；PMS算法在Adirondack組升高最多為0.74%，在MotorcycleE組降低最多為0.37%，誤匹配率平均上升0.01%。既PMS算法迭代3次時(shí)，其誤匹配率不會(huì)明顯升高，而局部一致性平行窗口也未有明顯變化。因此，相對(duì)于PMS算法提出的3次迭代達(dá)到最好的效果，本文算法則提出進(jìn)行2次迭代效果最好，且減少迭代次數(shù)能夠減少計(jì)算量從而提高算法效率。

表3不同迭代次數(shù)的誤匹配率

Tab.3Mismatchratefordifferentiterations(%)

Dataname第一次迭代第2次迭代第3次迭代

PMSProp-slaProp-