#基于雙目視覺的三維重建原理分析概述目錄TOC\o"1-3"\h\u18917基于雙目視覺的三維重建原理分析概述 1202601.1雙目視覺成像模型 253151.2基于雙目視覺實現(xiàn)三維重建步驟 219191.1.1四個坐標(biāo)系 3228971.1.2相機(jī)標(biāo)定 5180091.1.3極線校正 6296591.1.4雙目立體匹配 7310591.1.5三維重建 7160951.3雙目立體匹配算法 8114121.3.1雙目立體匹配的分類 9102021.3.2雙目立體匹配約束 9108881.3.3雙目立體匹配評價標(biāo)準(zhǔn) 11人眼之所以看到的物體成像呈立體化，這是因為雙眼從不同的視角上看物體時，在人雙眼視網(wǎng)膜的圖像上是存在些許不同的，然后人的大腦會將這些差異信息經(jīng)過處理，使之成像立體化。而基于雙目視覺的三維信息測量是指雙目相機(jī)模擬人類觀察物體的視角，采集左右視圖來感知被測目標(biāo)物所處的三維世界，并根據(jù)左右視圖所存在的視差來獲取物體所處場景的三維幾何參數(shù)。本章先是闡述了雙目立體視覺成像模型的概念，隨后闡述了相機(jī)標(biāo)定技術(shù)、極線的矯正處理、雙目立體匹配算法以及三維重建實現(xiàn)原理。最后重點(diǎn)介紹了基于雙目視覺進(jìn)行三維重建的核心內(nèi)容：立體匹配技術(shù)。1.1雙目視覺成像模型雙目視覺是模擬人的雙眼來獲取目標(biāo)物體所處場景的三維幾何參數(shù)，也可以說是雙眼成像的一個逆處理過程。雙目成像模型如圖1.1所示，從一直參數(shù)的左右兩個相機(jī)從不同視角拍攝被測物體P，會在左右相機(jī)成像平面呈pl和pr兩像素點(diǎn)，再根據(jù)左右兩圖像間的視差差關(guān)系以及空間三角幾何相似原理，就可以算出P點(diǎn)的三維坐標(biāo)。具體實現(xiàn)原理及其步驟，下文會逐一闡述。圖1.1雙目成像模型Fig.1.1Binocularimagingmodel1.2基于雙目視覺實現(xiàn)三維重建步驟基于雙目立體視覺的三維圖像重建工作流程框圖結(jié)構(gòu)如下圖1.2所示,第一步要確定相機(jī)所處三維世界的相對位置、兩攝像頭之間的相對位置以及相機(jī)具體的焦距、畸變參數(shù)的數(shù)據(jù)。為此用到了相機(jī)的標(biāo)定技術(shù)。接下來對所采集的圖片進(jìn)行擺正操作，這樣可以使得雙目相機(jī)采集到的左右兩個圖像都放置在同一個水平極線上、隨后將擺正后的圖像進(jìn)行立體匹配算法的計算，求得左右圖片在水平線上對應(yīng)像素點(diǎn)的橫向視差距離值，最后將相機(jī)之間的位置、焦距等參數(shù)依據(jù)幾何學(xué)原理，實現(xiàn)對其目標(biāo)及周圍環(huán)境實現(xiàn)三維重建。圖1.2基于雙目立體視覺的三維圖像重建工作流程框圖Fig.1.23Dreconstructionworkflowdiagram1.1.1四個坐標(biāo)系如何通過二維圖像的計算上升到對三維物體位姿測量，需要建立坐標(biāo)系之間的三維位置對應(yīng)關(guān)系。相機(jī)成像主要涉及到如下4個坐標(biāo)系，如圖1.3為4個坐標(biāo)系之間轉(zhuǎn)換示意圖。圖1.3四個坐標(biāo)系Fig.1.3Fourcoordinatesystems其中，f為相機(jī)焦距，θ為u軸和v軸夾角，圖像坐標(biāo)系O-uv、成像平面坐標(biāo)系Ol-xy、相機(jī)坐標(biāo)系Oc-XcYcZc及其世界坐標(biāo)系OW-XWYWZW。(1)圖像坐標(biāo)系圖像坐標(biāo)系O-uv是最基礎(chǔ)的坐標(biāo)系，它是以相機(jī)所采集圖片左下位置像素點(diǎn)作為該坐標(biāo)系的原點(diǎn)，而原點(diǎn)O處像素點(diǎn)的行和列作為橫縱軸。(2)成像平面坐標(biāo)系為了準(zhǔn)確表示一個參考像素點(diǎn)相對應(yīng)的一個目標(biāo)像素點(diǎn)實際所在位置,則我們認(rèn)為有必要搭建一種成像點(diǎn)在二維平面上的坐標(biāo)系Ol-xy，該坐標(biāo)系原點(diǎn)處于Ol為相機(jī)光軸與uv平面的投影點(diǎn)。其在圖像坐標(biāo)系下的標(biāo)準(zhǔn)位置坐標(biāo)為(u0,v0)，u和v之間夾角θ為90°，每個像素點(diǎn)在u、v兩周軸的幾何長度為ux和uy，由此可推得圖像中任意一像素點(diǎn)p(u,v)的關(guān)系式表示為（1.1）：(1.1)那么圖像坐標(biāo)(u,v,1)T和平面成像坐標(biāo)(x,y,1)T的對應(yīng)關(guān)系可以表示為（1.2）：(1.2)(3)相機(jī)坐標(biāo)系相機(jī)坐標(biāo)系Oc-XcYcZc原點(diǎn)Oc設(shè)為相機(jī)內(nèi)部光心所在位置，Zc空間軸方向與相機(jī)光軸重合，則XcYc平面與xy平面時互相平行的空間位置關(guān)系，距離為相機(jī)內(nèi)部參數(shù)焦距f，進(jìn)而可得平面成像坐標(biāo)(x,y,1)T和相機(jī)坐標(biāo)(Xc,Yc,Zc,1)T的對應(yīng)的齊次關(guān)系可表示為（1.3）：(1.3)(4)世界坐標(biāo)系在圖1.3中以O(shè)W為原點(diǎn)的坐標(biāo)系為世界坐標(biāo)系，相機(jī)坐標(biāo)系通過相機(jī)所處三維世界的相對位置、兩攝像頭之間的相對位置,即相機(jī)的外部參數(shù)（R、T）來進(jìn)行世界坐標(biāo)系的對應(yīng)關(guān)系的轉(zhuǎn)換，其中R和T可由相機(jī)標(biāo)定得出，下文會詳細(xì)闡述。由此可得相機(jī)坐標(biāo)(Xc,Yc,Zc,1)T和世界坐標(biāo)系下的世界坐標(biāo)(XW,YW,ZW,1)T之間所對應(yīng)的齊次關(guān)系可以表示為公式（1.4）：(1.4)綜上以上三種坐標(biāo)轉(zhuǎn)換關(guān)系合在一起就可以換算出圖像像素點(diǎn)(u,v,1)T所處三維空間的具體位置，關(guān)系式如（1.5）所示：(1.5)其中A為相機(jī)標(biāo)定所得相機(jī)內(nèi)部參數(shù)，R、T為相機(jī)標(biāo)定所得外部參數(shù)。因此只需要通過相機(jī)標(biāo)定獲取其相機(jī)內(nèi)外參數(shù)，就可以依據(jù)左右圖片像素的匹配關(guān)系完成三維位姿參數(shù)的逆求解。1.1.2相機(jī)標(biāo)定為了獲取目標(biāo)所在空間三維位置，需要建立攝像機(jī)坐標(biāo)系和世界坐標(biāo)系之間的三維位置對應(yīng)關(guān)系。本文采用Zhang的平面模板計算方法完成攝像機(jī)的位置標(biāo)定[28]。首先，假設(shè)在世界坐標(biāo)系下一個世界坐標(biāo)點(diǎn)P=[X,Y,Z,1]T，P所與之對應(yīng)的相機(jī)平面的像素坐標(biāo)m=[u,v,1]T，此時圖像的平面與標(biāo)定所用的棋盤格的平面之間所呈現(xiàn)的一個單應(yīng)性關(guān)系公式(1.6)所示:(1.6)其中，s為世界坐標(biāo)系到圖像坐標(biāo)系尺度因子；令矩陣A表示為（1.7）：(1.7)其中，(u0,v0)為光心在成像平面的投影，α和β為焦距與像素橫縱比的融合，γ為徑向畸變參數(shù)。令棋盤格平面在世界坐標(biāo)系的z坐標(biāo)等于零，則公式（1.7）可以轉(zhuǎn)化為（1.8）：(1.8)這里，我們令H=A[r1r2t]，作為單應(yīng)性矩陣，則式（1.8）轉(zhuǎn)換為（1.9）:(1.9)其中H=[h1h2h3]=λA[r1r2t],H為齊次矩陣。通過B=A-TA-1對稱陣特性運(yùn)算，隨后進(jìn)行喬里斯基方法進(jìn)行化解，以此方式計算出相機(jī)的內(nèi)參矩陣A。然后，利用內(nèi)參矩陣計算相機(jī)外參數(shù)轉(zhuǎn)換公式為（1.10）：(1.10)其中，R=[r1,r2,r3]，T=t。這樣我們根據(jù)Zhang的平面標(biāo)定算法完成了相機(jī)相對位置以及內(nèi)部參數(shù)的獲取，再結(jié)合下文的立體匹配算法得到圖像匹配關(guān)系就可以對目標(biāo)場景實現(xiàn)三維重建。1.1.3極線校正為了提升立體匹配配準(zhǔn)精度，要使相機(jī)所拍攝的左右圖像中匹配的相應(yīng)像素點(diǎn)的要位于在同一條極線。因而極線的校正處理在雙目視覺中是一個不可缺少的預(yù)處理部分。從圖1.1可知，OclOcr為基線，即左右兩攝像頭之間的間距；POclOcr為極平面，即左右攝像頭光心與空間點(diǎn)P所組成的平面；el和er為極點(diǎn)，即基線在三維空間下與圖像平面相交的點(diǎn)；lpl、lpr為極線，即圖像平面與極平面兩平面的交線。pl處于交線lpl上，而pr處于交線lpr上，那么已知pl坐標(biāo)，可以通過求其極平面POclOcr方程求其另一圖像對應(yīng)點(diǎn)pr，pr所在極線方程可由相機(jī)成像平面與極平面相交得出，這樣為下文雙目立體匹配搜索范圍實現(xiàn)了降維操作，不僅降低了誤配率而且減少了計算量。通過上文相機(jī)標(biāo)定所得參數(shù)信息，因此極平面方程可表示為公式（1.11）：(1.11)其中，S為反對稱矩陣，可以用平移矢量T=[txtytz]T定義如公式（1.12）：(1.12)從而可通過已知的左圖像的像素點(diǎn)pl，由其所對應(yīng)匹配點(diǎn)pr必在極線lpr的原理，把pl代入式（1.11）便能算出pr所在極線方程，從而將相機(jī)所拍攝左圖像的某一像素點(diǎn)和其對應(yīng)匹配點(diǎn)控制在到同一直線上，搜索范圍實現(xiàn)了維度上的降維操作，這樣就大幅度提升了下文雙目立體匹配的配準(zhǔn)效率。1.1.4雙目立體匹配雙目立體匹配就是通過已知圖像的像素點(diǎn)尋其已知對應(yīng)的待匹配點(diǎn)的過程，這是雙目立體視覺進(jìn)行三維重建最為關(guān)鍵步驟。P(X,Y,Z)為投影在空間中某一點(diǎn)，通過上文極線校正可知其像點(diǎn)縱坐標(biāo)yl=yr。選其左相機(jī)所拍攝圖像作為參考圖像，則有xR=xl，那么由相機(jī)所采集圖像作為目標(biāo)圖像，則有xT=xr。而雙目立體匹配的目的就是找到參考圖中的每個像素點(diǎn)pR=(xR,yR)，在目標(biāo)圖同行上求其對應(yīng)的匹配像素點(diǎn)pT=(xT,yT)，求其視差值d=xR-xT。計算出與同行對應(yīng)像素點(diǎn)之間的視差關(guān)系就可以得出該像素點(diǎn)的三維的坐標(biāo)。由于雙目立體匹配算法是進(jìn)行三維重建的關(guān)鍵步驟，也是本文重點(diǎn)研究內(nèi)容，具體原理及其介紹會在本章最后一節(jié)進(jìn)行詳細(xì)闡述。1.1.5三維重建圖1.4為簡單平視雙目立體成像圖，調(diào)整雙目相機(jī)放置位置，使其基線與光軸保持互相垂直的狀態(tài)，由此左右圖像平面不會產(chǎn)生旋轉(zhuǎn)，只存在水平方向的位移。鑒于實際環(huán)境的拍攝，誤差的產(chǎn)生是不可控制得，但是本文采用極線校正，此問題可以得到化解。圖1.4平視的雙目立體成像圖Fig.1.4Schematicdiagramofheadupbinocularstereoimaging其中，參考圖像（ReferenceImage）為相機(jī)拍攝左圖片，目標(biāo)圖像（TargetImage）為相機(jī)拍攝右圖片。f為光心到圖像平面的焦距，基線距離為B。在世界坐標(biāo)系下的目標(biāo)點(diǎn)P坐標(biāo)為(X,Y,Z)，pR為P在左圖像平面上的投影的像素坐標(biāo)點(diǎn)(xR,yR)，pT為P在右圖像平面上的投影的像素坐標(biāo)點(diǎn)(xT,yT)，根據(jù)yR=yT=y，可由三角相似原理得到公式（1.13）：(1.13)那么P點(diǎn)在世界坐標(biāo)系下的公式（1.14）可由公式（1.13）得出：(1.14)基線距離B與焦距f可由相機(jī)的標(biāo)定獲取到，因此只需求得已知參考圖像一像素點(diǎn)坐標(biāo)pR=(xR,yR)和其對應(yīng)的匹配點(diǎn)像素點(diǎn)坐標(biāo)pT=(xT,yT)，即可求得P對應(yīng)空間點(diǎn)的三維坐標(biāo)。通過定義xR-xT為視差值，可得公式（1.15）：(1.15)通過公式（1.15），公式（1.14）可轉(zhuǎn)化為公式（1.16）：(1.16)上文提到過，雙目立體匹配的最終目標(biāo)就是求得視差d，通過三角相似得幾何原理來計算目標(biāo)物坐標(biāo)。通過公式（1.16）可得出空間點(diǎn)和相機(jī)平面上的點(diǎn)已構(gòu)成三角關(guān)系，那么就可以通過像素點(diǎn)得匹配對應(yīng)關(guān)系和已知相機(jī)之間的參數(shù)關(guān)系，就能得出空間點(diǎn)所在場景得三維坐標(biāo)信息。1.3雙目立體匹配算法上文介紹了基于雙目視覺實現(xiàn)對目標(biāo)場景的三維重建的原理及其系統(tǒng)的初步實現(xiàn)，其中雙目立體匹配是本文重點(diǎn)研究內(nèi)容之一，因此本小節(jié)重點(diǎn)介紹立體匹配算法的基本原理、分類及其相關(guān)的評價標(biāo)準(zhǔn)。1.3.1雙目立體匹配的分類立體匹配算法是基于相機(jī)所拍攝的左、右圖片的匹配基元，來尋找其彼此對應(yīng)關(guān)系的方法。隨著研究人員對雙目立體匹配的深入研究，將匹配基元劃分為基于區(qū)塊、特征以及相位的匹配方法。其中，基于區(qū)塊的立體匹配的匹配基元主要選取圖像區(qū)域的像素值，匹配點(diǎn)通過比對窗口內(nèi)像素灰度值的方法實現(xiàn)立體匹配[29]。而基于特征的立體匹配的匹配基元選取圖像中的特征點(diǎn)、線或者面，此方法在紋理特征變化明顯的圖像中有著不錯的匹配效果[30]。而基于相位的立體匹配以局部相位為匹配基元，得出的視差圖比較稠密，且受光照條件影響較小[31]。上述講述這些都是基于稀疏匹配，隨著科技的不斷發(fā)展和硬件計算能力的提升，稠密立體匹配逐漸映入為研究人員的視野，根據(jù)匹配的策略不同。將其劃分為兩種匹配方式：(1)局部立體匹配該類算法一般通過圖像像素點(diǎn)鄰域的信息作匹配計算，算法思想以及具體實現(xiàn)不繁瑣。但其整體匹配準(zhǔn)確性較差，在薄弱紋理區(qū)域以表現(xiàn)較差，會產(chǎn)生誤配的情況。局部立體所呈現(xiàn)最終結(jié)果的好壞較大程度歸咎于于聚合方法和鄰域窗口的構(gòu)建。(2)全局立體匹配算法全局立體匹配算法通過構(gòu)建并計算一個全局的能量函數(shù)，根據(jù)相關(guān)的約束項，來計算函數(shù)的最優(yōu)值以獲得最終的視差值。該種類算法在其算法復(fù)雜度相對于局部式立體匹配算法來說更為復(fù)雜，但配準(zhǔn)精度比較好。一般的全局能量函數(shù)如公式（1.17）：(1.17)其中，變量d代表圖片中某一點(diǎn)所處的視差值；Esmooth(d)表示描述圖像像素點(diǎn)與鄰域像素點(diǎn)的平滑程度的約束項；Edata(d)為用來描述匹配點(diǎn)相似程度的數(shù)據(jù)約束項；λ是權(quán)重系數(shù)，作為調(diào)節(jié)匹配約束項和平滑約束項之間的比例。主流的全局立體匹配算法上文已經(jīng)提到過。其中動態(tài)規(guī)劃在匹配效率上表現(xiàn)較好，但精確度不如置信度傳播算法。1.3.2雙目立體匹配約束在雙目立體匹配過程中，相機(jī)在采集圖像過程中很可能受周圍環(huán)境因素影響，比如說，遮擋、噪聲以及光照條件等等。所以在立體匹配階段需要利用約束條件來減少以上等影響而造成的誤配率，既降低了搜索范圍又提升了配準(zhǔn)效率。常用立體匹配約束有如下幾種：(1)極線約束極線約束上文已應(yīng)用到三維重建的系統(tǒng)中，通過對圖像進(jìn)行校正是其極線在同一水平面掃描線上來提升匹配的速度和精度。(2)唯一性約束在實際雙目相機(jī)拍攝兩幅圖片時，很可能收到周圍環(huán)境的影響造成遮擋，使其某一像素點(diǎn)只存在于左圖像中或右圖像中，進(jìn)而導(dǎo)致誤無法找到對應(yīng)的匹配點(diǎn)。唯一性約束就是用來保證在理想狀況下任意一像素點(diǎn)有相對的匹配點(diǎn)。(3)相似性約束受到光照、噪聲、光源顏色和環(huán)境因素等的影響很有可能會導(dǎo)致其左右圖像之間存在著較大的差異，而相似性約束根據(jù)待配像素點(diǎn)的相似程度來判斷是否為正確的匹配點(diǎn)，很大程度決定著最終匹配效果的好壞?；诖?，很多算法提出了不同方式的相似性約束方法。圖1.5為相似性約束的示意圖：(a)參考圖像R(b)目標(biāo)圖像T圖1.5相似性約束的示意圖Fig.1.5Schematicdiagramofsimilarityconstraint在同一水平極線上分別從參考圖像以及目標(biāo)圖像選用某一像素點(diǎn)作為中心搭建相同尺寸的窗WR=WT。再根據(jù)相似性代價函數(shù)比較兩窗口之間的相似程度，匹配點(diǎn)擇優(yōu)取之。常見代價函數(shù)有像素點(diǎn)灰度差絕對值之和（SAD）如公式（1.18）所示；零均值的灰度差絕對值之和（ZSAD）如公式（1.19）所示；像素點(diǎn)灰度差平方和（SSD）如公式（1.20）所示；零均值灰度差平方和（ZSSD）如公式（1.21）所示。(1.18)(1.19)(1.20)(1.21)其中，IR為參考圖像像素點(diǎn)灰度值，IT為目標(biāo)圖像像素點(diǎn)灰度值。SAD代價函數(shù)與SSD代價函數(shù)相對簡單一些，而ZSAD與ZSSD是上文兩種做出了改進(jìn)，選用了歸一化處理的方式，使得其算子魯棒性的能力得到提升。但代價函數(shù)算法復(fù)雜度相對較高。(4)連續(xù)性約束在三維空間中，一般認(rèn)為同一