立體匹配算法研究的國內(nèi)外文獻(xiàn)綜述近幾十年來，國內(nèi)外的許多學(xué)者專家對立體匹配算法進(jìn)行了深入的研究，立體匹配技術(shù)發(fā)展迅速。國外在這方面的研究起步較早，在上世紀(jì)60年代便對立體匹配的技術(shù)進(jìn)行了初始探索[5]。隨著我國科學(xué)技術(shù)的迅猛發(fā)展，我國在立體匹配技術(shù)的研究上也取得了飛速發(fā)展。Daniel等人[6]將立體匹配的算法過程分為四個步驟：匹配代價(jià)計(jì)算(matchingcostcomputation)，代價(jià)聚合(costaggregation)，視差計(jì)算(disparitycomputation)和視差優(yōu)化(disparityrefinement)。并且根據(jù)他們的總結(jié)，立體匹配算法根據(jù)視差選取方式的不同，可以分為全局和局部兩類匹配算法。隨著研究的發(fā)展，還出現(xiàn)了半全局和深度學(xué)習(xí)等立體匹配算法。全局立體匹配全局立體匹配算法通過構(gòu)建一個有一定約束的全局能量函數(shù)，經(jīng)過多次迭代優(yōu)化分配的視差值，使得全局能量函數(shù)最小化[7]。全局立體匹配在對弱紋理區(qū)域、深度不連續(xù)區(qū)域的處理有一定的優(yōu)勢，可獲得相對較低的誤匹配率，匹配精度較高、效果和魯棒性較好，但是算法參數(shù)設(shè)置繁瑣、復(fù)雜度高，通常運(yùn)算量較大、運(yùn)行時(shí)間較長，難以滿足實(shí)時(shí)性需求，不適用于大部分的實(shí)際工程。主要算法包括置信度傳播法(BeliefPropagation,BP)[8]、圖割法(GraphCut,GC)[9]和動態(tài)規(guī)劃法(DynamicProgramming,GP)[10]等。Ohta和Kanade等人[11]最先在立體匹配算法中引入動態(tài)規(guī)劃思想，動態(tài)規(guī)劃的搜索空間也由二維引升到三維，匹配效率在一定程度上得到了提高，所得到的視差圖精確度較高，并且減少了特殊區(qū)域的誤匹配。Birchfield和Tomasi等人[12]解決了大量無紋理和遮擋問題，主要通過使用樣本的研究節(jié)點(diǎn)和像素差異測量進(jìn)行動態(tài)規(guī)劃的加速，但是該方法的計(jì)算時(shí)間較長。Roy和Cox等人[13]首次在立體匹配算法中引入圖割法理論，該方法不僅得到的視差圖精度較高，而且避免了視差在臨近極線處不連續(xù)的問題，在遮擋區(qū)域有明顯的效果。ChiZhang和ZhiweiLi等人[14]提出了基于切割法的匹配算法，該算法首先利用圖割法求得初始視差，再由切割法求取最終視差。孫堅(jiān)等人[15]將稠密視差圖當(dāng)作為一個馬爾科夫隨機(jī)場，并首次在全局立體匹配算法中引入置信傳播算法，有效地解決了遮擋和弱紋理問題，得到了不錯的實(shí)驗(yàn)效果。近幾年，針對立體影像密集匹配精度和匹配速度相矛盾的問題，黃旭等人[16]提出一種基于全局代價(jià)積聚路徑的立體影像快速密集匹配方法，試驗(yàn)結(jié)果表明：該算法與傳統(tǒng)的半全局密集匹配算法的匹配時(shí)間基本一致，但匹配精度和匹配完整度均優(yōu)于半全局密集匹配算法。針對現(xiàn)有立體匹配算法在非平行平面區(qū)域匹配中出現(xiàn)“階梯效應(yīng)”的問題，曹曉倩等人[17]提出一種斜面參數(shù)優(yōu)化的全局立體匹配算法，實(shí)驗(yàn)結(jié)果表明，該算法在有效消除“階梯效應(yīng)”的同時(shí)降低了誤匹配率。局部立體匹配局部立體匹配是通過計(jì)算圖像中每個單獨(dú)像素點(diǎn)的視差，給每一個像素點(diǎn)都建立一個合適形狀、大小和權(quán)重的窗口，之后對窗口內(nèi)的視差值進(jìn)行加權(quán)平均來得到視差信息的一種算法，僅利用某一像素點(diǎn)領(lǐng)域的顏色、灰度、梯度等信息來計(jì)算匹配代價(jià)，算法相較簡單、復(fù)雜度較低，適于實(shí)時(shí)的應(yīng)用，但其對視差不連續(xù)、低紋理區(qū)域、遮擋區(qū)域和重復(fù)紋理區(qū)域[18]的匹配效果并不好，導(dǎo)致整體匹配精度不高。Bolles等人提出NCC(NormalizedCrossCorrelation)算法，該算法是對左右圖像的像素都建立一個匹配窗口，然后對窗口內(nèi)像素的相似性進(jìn)行判斷，算法雖簡單但效果較差。Kanada等人利用匹配窗口內(nèi)像素的灰度值差的絕對值來進(jìn)行立體匹配，提出了更為簡單的SAD(SumofAbsoluteDifferences)局部匹配算法。Zabin和Woodfill等人[19]提出了Census變換和Rank變換：兩種非參數(shù)化的局部立體匹配算法，該算法采用二進(jìn)制碼串來替代灰度信息，算法簡單、魯棒性好。對于遮擋和視差不連續(xù)等問題，固定窗口匹配并不能進(jìn)行有效應(yīng)對，O.Veksler[20]提出精確度高、誤匹配率低的緊湊窗口匹配方法，但有算法復(fù)雜、運(yùn)算時(shí)間長等缺點(diǎn)。Heo和Lee等人[21]根據(jù)像素不同自適應(yīng)形狀大小不同的匹配窗口，該算法精度較高但效率低下。顧征等人[22]在三目視覺的基礎(chǔ)上，將雙目立體匹配技術(shù)中的自適應(yīng)權(quán)值算法引入到三目中，實(shí)驗(yàn)表明，該算法有效解決了由于遮擋而造成的誤匹配問題。Baydoun和Alaoui等人[23]采用分類器來對遮擋區(qū)域進(jìn)行處理，解決了匹配準(zhǔn)確率的問題，但準(zhǔn)確率會受到光照強(qiáng)度的影響。針對傳統(tǒng)立體匹配算法容易受光照和紋理結(jié)構(gòu)等變化的影響，孫延坤等人[24]提出一種融合絕對誤差和(SAD)與Census變換的雙目立體圖像匹配算法，適用于復(fù)雜場景中高質(zhì)量視差圖的生成。針對傳統(tǒng)的Census立體匹配在視差不連續(xù)的區(qū)域會出現(xiàn)的誤匹配問題，賈克斌等人[25]提出基于鄰域信息約束與自適應(yīng)窗口的立體匹配算法，實(shí)驗(yàn)表明，該方法能夠有效降低圖像對高斯噪聲的敏感性。針對傳統(tǒng)局部立體匹配算法未能充分利用圖像的邊緣紋理信息，程德強(qiáng)等人[26]提出融合邊緣保持與改進(jìn)代價(jià)聚合的立體匹配算法，邊緣處的匹配精度得到了有效提升，在視差不連續(xù)與非遮擋區(qū)域的誤匹配率得到了有效的降低。半全局立體匹配除了全局和局部立體匹配算法，Hirschmuller[27]于2008年提出了另外一種算法——半全局算法。半全局立體匹配算法與上述兩種算法不同，該算法使用一維路徑聚合的方法來相仿全局算法的二維最優(yōu)化，將二維圖像的優(yōu)化問題轉(zhuǎn)化為了多路徑的一維優(yōu)化問題，較全局算法計(jì)算效率更高，與此同時(shí)還做到了與其相當(dāng)?shù)钠ヅ湫Ч?。顧夢嬌等人[28]將自適應(yīng)窗口與Census變換相結(jié)合,得到了改進(jìn)版的自適應(yīng)窗口，將其加入到了半全局的立體匹配算法中，實(shí)驗(yàn)結(jié)果表明了該算法對于不同的圖片可以自主對匹配速度進(jìn)行調(diào)節(jié)?；谏疃葘W(xué)習(xí)的立體匹配基于深度學(xué)習(xí)的立體匹配算法是近年來興起的一種算法，可分為兩類，一類是傳統(tǒng)算法與深度學(xué)習(xí)相結(jié)合的，一類是端到端的。深度學(xué)習(xí)與傳統(tǒng)算法相結(jié)合的方法是將深度學(xué)習(xí)算法應(yīng)用于傳統(tǒng)匹配算法的步驟中，讓計(jì)算機(jī)自動學(xué)習(xí)匹配代價(jià)、代價(jià)聚合等，減少了人為設(shè)計(jì)造成的誤差。基于端到端的方法直接以左右兩張圖像為輸入，視差圖作為輸出，利用深度算法學(xué)習(xí)原始數(shù)據(jù)到期望輸出的映射。文獻(xiàn)[29]第一次用深度學(xué)習(xí)做立體匹配，用CNN計(jì)算Cost。文獻(xiàn)[30]用合成的數(shù)據(jù)集來訓(xùn)練端到端的視差估計(jì)網(wǎng)絡(luò)。由于基于卷積神經(jīng)網(wǎng)絡(luò)的立體匹配方法未充分利用圖像中各個層級的特征圖信息，造成對圖像在不適定區(qū)域的特征提取能力較差，王金鶴等人[31]提出一種融合多尺度與多層級特征的立體匹配方法。在保證匹配效果和匹配速度的前提下，深入分析并比較各類立體匹配算法的優(yōu)缺點(diǎn)后，本文最終選擇的Census算法作為主要研究對象。本文研究內(nèi)容本課題主要是對基于傳統(tǒng)Census變換的立體匹配算法進(jìn)行研究，提出改進(jìn)的Census變換的立體匹配算法，旨在進(jìn)一步提高立體匹配算法的匹配精度。本文的主要研究內(nèi)容由以下幾個方面組成：查閱立體匹配相關(guān)的文獻(xiàn)資料，歸納總結(jié)立體匹配的研究背景、目的和意義，分析當(dāng)前立體匹配的國內(nèi)外研究現(xiàn)狀并列出各類立體匹配算法的優(yōu)缺點(diǎn)。對傳統(tǒng)Census變換立體匹配出現(xiàn)誤差的原因進(jìn)行分析，并改進(jìn)傳統(tǒng)Census立體匹配算法。使用Middlebury評估網(wǎng)提供的圖像在VisualStudio2019平臺上對本課題的算法進(jìn)行實(shí)驗(yàn)。參考文獻(xiàn)A.Howard,"Real-timestereovisualodometryforautonomousgroundvehicles,"2008IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems,Nice,France,2008,pp.3946-3952,doi:10.1109/IROS.2008.4651147.S.Shen,"AccurateMultipleView3DReconstructionUsingPatch-BasedStereoforLarge-ScaleScenes,"inIEEETransactionsonImageProcessing,vol.22,no.5,pp.1901-1914,May2013,doi:10.1109/TIP.2013.2237921.陳雙玉,王海暉,吳云韜,孫志宏.基于雙目立體視覺和SVM算法行人檢測方法[J].華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,43(S1):140-143.孫明珠.面向低紋理區(qū)域的局部立體匹配算法研究[D].河北:燕山大學(xué),2018.馬頌德，張正友.計(jì)算機(jī)視覺—計(jì)算理論與算法基礎(chǔ)[M].第一版.北京:科學(xué)版社，2003:5-7.D.Scharstein,R.SzeliskiandR.Zabih,"Ataxonomyandevaluationofdensetwo-framestereocorrespondencealgorithms,"ProceedingsIEEEWorkshoponStereoandMulti-BaselineVision(SMBV2001),Kauai,HI,USA,2001,pp.131-140,doi:10.1109/SMBV.2001.988771.吳文歡.計(jì)算機(jī)視覺中立體匹配相關(guān)問題研究[D].西安理工大學(xué),2020.P.F.FelzenszwalbandD.R.Huttenlocher,"Efficientbeliefpropagationforearlyvision,"Proceedingsofthe2004IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2004.CVPR2004.,Washington,DC,USA,2004,pp.I-I,doi:10.1109/CVPR.2004.1315041.BleyerM,GelautzM.Graph-cut-basedstereomatchingusingimagesegmentationwithsymmetricaltreatmentofocclusions[J].SignalProcessing:ImageCommunication,2007,22(2):127-143.JaeChulKim,KyoungMuLee,ByoungTaeChoiandSangUkLee,"Adensestereomatchingusingtwo-passdynamicprogrammingwithgeneralizedgroundcontrolpoints,"2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR'05),SanDiego,CA,USA,2005,pp.1075-1082vol.2,doi:10.1109/CVPR.2005.22.Y.OhtaandT.Kanade,"StereobyIntra-andInter-ScanlineSearchUsingDynamicProgramming,"inIEEETransactionsonPatternAnalysisandMachineIntelligence,vol.PAMI-7,no.2,pp.139-154,March1985,doi:10.1109/TPAMI.1985.4767639.S.BirchfieldandC.Tomasi,"Depthdiscontinuitiesbypixel-to-pixelstereo,"SixthInternationalConferenceonComputerVision(IEEECat.No.98CH36271),Bombay,India,1998,pp.1073-1080,doi:10.1109/ICCV.1998.710850.S.RoyandI.J.Cox,"Amaximum-flowformulationoftheN-camerastereocorrespondenceproblem,"SixthInternationalConferenceonComputerVision(IEEECat.No.98CH36271),Bombay,India,1998,pp.492-499,doi:10.1109/ICCV.1998.710763.C.Zhang,Z.Li,Y.Cheng,R.Cai,H.ChaoandY.Rui,"MeshStereo:AGlobalStereoModelwithMeshAlignmentRegularizationforViewInterpolation,"2015IEEEInternationalConferenceonComputerVision(ICCV),Santiago,Chile,2015,pp.2057-2065,doi:10.1109/ICCV.2015.238.JianSun,Nan-NingZhengandHeung-YeungShum,"Stereomatchingusingbeliefpropagation,"inIEEETransactionsonPatternAnalysisandMachineIntelligence,vol.25,no.7,pp.787-800,July2003,doi:10.1109/TPAMI.2003.1206509.黃旭,劉璐,周剛,等.基于全局代價(jià)積聚路徑的立體影像快速密集匹配方法[C].//第四屆高分辨率對地觀測學(xué)術(shù)年會.2017:1-13.曹曉倩,孫連山,李健.斜面參數(shù)優(yōu)化全局立體匹配算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2018,54(17):198-201,213.DOI:10.3778/j.issn.1002-8331.1705-0271.朱海天.雙目立體視覺測距中的立體匹配算法研究[D].西安電子科技大學(xué),2015.ZabihR,WoodfillJ.Non-parametriclocaltransformsforcomputingvisualcorrespondence[C]//Europeanconferenceoncomputervision.Springer,Berlin,Heidelberg,1994:151-158.O.Veksler,"Fastvariablewindowforstereocorrespondenceusingintegralimages,"2003IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2003.Proceedings.,Madison,WI,USA,2003,pp.I-I,doi:10.1109/CVPR.2003.1211