基于全卷積神經(jīng)網(wǎng)絡(luò)的端到端立體密集匹配研究康俊華

長安大學(xué)地質(zhì)工程與測繪學(xué)院，陜西西安710064

立體匹配是計(jì)算機(jī)視覺的一項(xiàng)關(guān)鍵技術(shù)，它能夠模擬人類視覺的方法，通過左右影像匹配快速獲取三維場景深度信息。近年來，國內(nèi)外學(xué)者針對(duì)立體密集匹配開展了廣泛而深入的研究，但由于各種因素的影響，仍然存在著具有挑戰(zhàn)性的研究問題。論文針對(duì)傳統(tǒng)立體匹配方法，在弱紋理區(qū)域、視差不連續(xù)區(qū)域、遮擋區(qū)域存在的匹配困難和誤匹配問題，設(shè)計(jì)了一個(gè)基于全卷積神經(jīng)網(wǎng)絡(luò)的端到端立體匹配網(wǎng)絡(luò)，將傳統(tǒng)密集立體匹配問題轉(zhuǎn)化成一個(gè)視差學(xué)習(xí)和優(yōu)化的任務(wù)問題。論文主要研究內(nèi)容和研究結(jié)論如下。

(1)基于擴(kuò)張卷積的多尺度特征提取。為降低弱紋理或重復(fù)紋理區(qū)域匹配二義性問題所帶來的影響，引入擴(kuò)張卷積進(jìn)入特征提取模塊。與傳統(tǒng)的卷積相比，擴(kuò)張卷積能夠在不增加學(xué)習(xí)參數(shù)的前提下，擴(kuò)大卷積核的感受視野。采用多層并行的擴(kuò)張卷積，設(shè)計(jì)基于擴(kuò)張卷積的空間金字塔池化結(jié)構(gòu)，對(duì)圖像特征進(jìn)行提取，獲取多尺度的特征圖，為網(wǎng)絡(luò)的視差預(yù)測提供豐富的上下文語義信息。包含大量弱紋理和重復(fù)紋理的試驗(yàn)數(shù)據(jù)集(Monkaa)的測試結(jié)果顯示，增加擴(kuò)張卷積的模型視差預(yù)測結(jié)果在該數(shù)據(jù)集上的誤匹配率降低28%，平均誤差降低18%，表明論文提出的多尺度特征提取方法能夠有效提高在弱紋理區(qū)域或重復(fù)紋理區(qū)域的視差預(yù)測精度。

(2)大視差范圍的匹配代價(jià)體構(gòu)建。為獲得左右影像匹配代價(jià)先驗(yàn)信息，基于左右影像特征圖，利用特征移位、深度可分離卷積及逐視差堆疊步驟構(gòu)建三維匹配代價(jià)體，獲取左右影像在特征空間的先驗(yàn)對(duì)應(yīng)關(guān)系。在計(jì)算左影像和移位的右影像特征圖深度可分離卷積結(jié)果時(shí)，增加右影像特征圖平移步長值，增大視差處理范圍。大視差范圍的試驗(yàn)數(shù)據(jù)集(Sintel)的測試結(jié)果顯示，通過改進(jìn)匹配代價(jià)體后的網(wǎng)絡(luò)模型視差預(yù)測結(jié)果在該數(shù)據(jù)集上的誤匹配率降低32%，平均誤差降低40%，表明論文提出的網(wǎng)絡(luò)能夠有效地處理更大視差范圍內(nèi)的視差預(yù)測。

(3)基于梯度信息的規(guī)則化視差估計(jì)。在網(wǎng)絡(luò)視差估計(jì)模塊，提出規(guī)則化視差估計(jì)方法，采用編碼-解碼的對(duì)稱結(jié)構(gòu)來恢復(fù)由粗到細(xì)的多尺度視差圖。引入視差梯度信息作為損失項(xiàng)，讓網(wǎng)絡(luò)不僅學(xué)習(xí)每一個(gè)像素點(diǎn)視差，同時(shí)也要約束當(dāng)前像素點(diǎn)與周圍像素點(diǎn)視差的變化值，從而規(guī)則化視差不連續(xù)區(qū)域。定量和定性的試驗(yàn)結(jié)果表明，論文基于梯度信息的規(guī)則化方法生成的視差圖能夠提高視差預(yù)測精度，同時(shí)保留清晰視差邊緣，避免深度不連續(xù)區(qū)域的過度平滑。

(4)幾何約束信息引導(dǎo)的視差精化。針對(duì)初始視差圖在局部細(xì)小區(qū)域預(yù)測不準(zhǔn)確的問題，提出幾何約束信息引導(dǎo)的精化網(wǎng)絡(luò)來優(yōu)化初始視差圖。首先，利用與初始視差網(wǎng)絡(luò)共享的底層左右特征圖，在視差殘差范圍內(nèi)構(gòu)建殘差匹配代價(jià)體，為視差精化網(wǎng)絡(luò)提供更詳細(xì)的匹配點(diǎn)之間的對(duì)應(yīng)關(guān)系。其次，利用視差左右一致性原則，在左右特征圖之間構(gòu)建影像重建誤差體，為精化網(wǎng)絡(luò)提供視差改正信息。最后，利用這兩類幾何約束信息引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)視差的殘差值，優(yōu)化初始視差。試驗(yàn)結(jié)果顯示，模型加入視差精化子網(wǎng)絡(luò)后，在多個(gè)測試數(shù)據(jù)集上的視差預(yù)測精度都有明顯提高，在大于1個(gè)像素的誤匹配率指標(biāo)上最高能提高43%。這些結(jié)果表明論文提出的精化網(wǎng)絡(luò)能夠極大改正初始視差預(yù)測錯(cuò)誤的區(qū)域，獲得亞像素級(jí)別的視差圖。

(5)不同遷移學(xué)習(xí)策略下的視差網(wǎng)絡(luò)泛化能力評(píng)估。為了能夠?qū)⒄撐奶岢龅囊暡顚W(xué)習(xí)網(wǎng)絡(luò)應(yīng)用于不同場景數(shù)據(jù)集，針對(duì)不同目標(biāo)數(shù)據(jù)集是否包含可訓(xùn)練標(biāo)簽數(shù)據(jù)樣本，提出采用直接遷移、模型微調(diào)等遷移策略來評(píng)估模型的泛化能力，分別對(duì)網(wǎng)絡(luò)在街景數(shù)據(jù)集和航空影像數(shù)據(jù)集的立體匹配性能進(jìn)行評(píng)估。試驗(yàn)結(jié)果表明