基于全卷積神經網絡的端到端立體密集匹配研究康俊華

長安大學地質工程與測繪學院，陜西西安710064

立體匹配是計算機視覺的一項關鍵技術，它能夠模擬人類視覺的方法，通過左右影像匹配快速獲取三維場景深度信息。近年來，國內外學者針對立體密集匹配開展了廣泛而深入的研究，但由于各種因素的影響，仍然存在著具有挑戰(zhàn)性的研究問題。論文針對傳統(tǒng)立體匹配方法，在弱紋理區(qū)域、視差不連續(xù)區(qū)域、遮擋區(qū)域存在的匹配困難和誤匹配問題，設計了一個基于全卷積神經網絡的端到端立體匹配網絡，將傳統(tǒng)密集立體匹配問題轉化成一個視差學習和優(yōu)化的任務問題。論文主要研究內容和研究結論如下。

(1)基于擴張卷積的多尺度特征提取。為降低弱紋理或重復紋理區(qū)域匹配二義性問題所帶來的影響，引入擴張卷積進入特征提取模塊。與傳統(tǒng)的卷積相比，擴張卷積能夠在不增加學習參數的前提下，擴大卷積核的感受視野。采用多層并行的擴張卷積，設計基于擴張卷積的空間金字塔池化結構，對圖像特征進行提取，獲取多尺度的特征圖，為網絡的視差預測提供豐富的上下文語義信息。包含大量弱紋理和重復紋理的試驗數據集(Monkaa)的測試結果顯示，增加擴張卷積的模型視差預測結果在該數據集上的誤匹配率降低28%，平均誤差降低18%，表明論文提出的多尺度特征提取方法能夠有效提高在弱紋理區(qū)域或重復紋理區(qū)域的視差預測精度。

(2)大視差范圍的匹配代價體構建。為獲得左右影像匹配代價先驗信息，基于左右影像特征圖，利用特征移位、深度可分離卷積及逐視差堆疊步驟構建三維匹配代價體，獲取左右影像在特征空間的先驗對應關系。在計算左影像和移位的右影像特征圖深度可分離卷積結果時，增加右影像特征圖平移步長值，增大視差處理范圍。大視差范圍的試驗數據集(Sintel)的測試結果顯示，通過改進匹配代價體后的網絡模型視差預測結果在該數據集上的誤匹配率降低32%，平均誤差降低40%，表明論文提出的網絡能夠有效地處理更大視差范圍內的視差預測。

(3)基于梯度信息的規(guī)則化視差估計。在網絡視差估計模塊，提出規(guī)則化視差估計方法，采用編碼-解碼的對稱結構來恢復由粗到細的多尺度視差圖。引入視差梯度信息作為損失項，讓網絡不僅學習每一個像素點視差，同時也要約束當前像素點與周圍像素點視差的變化值，從而規(guī)則化視差不連續(xù)區(qū)域。定量和定性的試驗結果表明，論文基于梯度信息的規(guī)則化方法生成的視差圖能夠提高視差預測精度，同時保留清晰視差邊緣，避免深度不連續(xù)區(qū)域的過度平滑。

(4)幾何約束信息引導的視差精化。針對初始視差圖在局部細小區(qū)域預測不準確的問題，提出幾何約束信息引導的精化網絡來優(yōu)化初始視差圖。首先，利用與初始視差網絡共享的底層左右特征圖，在視差殘差范圍內構建殘差匹配代價體，為視差精化網絡提供更詳細的匹配點之間的對應關系。其次，利用視差左右一致性原則，在左右特征圖之間構建影像重建誤差體，為精化網絡提供視差改正信息。最后，利用這兩類幾何約束信息引導網絡學習視差的殘差值，優(yōu)化初始視差。試驗結果顯示，模型加入視差精化子網絡后，在多個測試數據集上的視差預測精度都有明顯提高，在大于1個像素的誤匹配率指標上最高能提高43%。這些結果表明論文提出的精化網絡能夠極大改正初始視差預測錯誤的區(qū)域，獲得亞像素級別的視差圖。

(5)不同遷移學習策略下的視差網絡泛化能力評估。為了能夠將論文提出的視差學習網絡應用于不同場景數據集，針對不同目標數據集是否包含可訓練標簽數據樣本，提出采用直接遷移、模型微調等遷移策略來評估模型的泛化能力，分別對網絡在街景數據集和航空影像數據集的立體匹配性能進行評估。試驗結果表明