第第水下雙目成像基本理論概述目錄TOC\o"1-3"\h\u7466水下雙目成像基本理論概述 1149501.1引言 168691.2非線性成像模型 1308631.3雙目成像理論 6112611.3.1立體匹配原理 637921.3.2深度值重建 915861.4水下光線折射分析 10150801.4.1相機置于水體中 1073941.4.2相機置于水體外 121.1引言本章主要針對非線性成像模型、水下光線折射原理以及雙目成像基本理論進行闡述。相機標定是實現(xiàn)雙目成像和測距的前提，非線性成像模型用于求解相機標定參數(shù)，建立起世界坐標系與像素坐標系之間的橋梁。進而，詳細描述了空氣中雙目成像的立體匹配及深度重建原理，針對水下成像所面臨的折射問題，從相機與水體的位置關系入手，簡要推導了折射對水下成像帶來的影響，為后續(xù)章節(jié)的等效折射模型及水下測距實驗奠定基礎。1.2非線性成像模型非線性成像模型主要用于描述世界坐標系到像素坐標系之間的轉換。成像過程主要包括、、、以及，彼此之間的轉換過程示意圖如圖1.1所示[30-32]。圖1.1相機成像過程中的坐標系轉換Fig.1.1Coordinatesystemconversionduringcameraimaging具體的坐標轉換關系如下：①世界坐標系到至相機坐標系轉換，其本質(zhì)為剛體變換。首先在三維世界坐標系下任取一點，假設轉換到相機坐標系下的點為，轉換過程會經(jīng)歷旋轉和平移操作，如圖1.2所示。圖1.2世界坐標系到相機坐標系Fig.1.2Worldcoordinatesystemtocameracoordinatesystem旋轉變換即是方位角度變換，而平移則對應距離的移動。旋轉變換包含三個方位角的轉換，這里以Z角度為例，通過旋轉世界坐標系的Zw軸，使其與相機坐標系的Zc軸重合，如圖1.3所示。圖1.3世界坐標系與相機坐標系Z軸重合示意圖Fig.1.3SchematicdiagramofworldcoordinatesystemandcameracoordinatesystemZ-axiscoincidence假設旋轉角度為，則對應的X和Y兩坐標的變換關系為： (1.1)為方便運算，引入齊次坐標，則有： (1.2)同理可得，旋轉對應的Y，X兩個坐標軸，分別得到轉換矩陣為： (1.3)(1.4)再納入平移矩陣，則點在相機坐標下的坐標可以由矩陣的旋轉和平移變換得到： (1.5)式中：，，，為其列向量；；為世界坐標系下P點的坐標；為相機坐標系下的P點坐標。②相機坐標系到圖像坐標系稱為透視關系，由圖1.1中的通過相機小孔成像轉換到像平面的。通常情況下，由于光學透鏡的存在，這種轉換并非完全線性，透視過程中的物像轉換往往存在畸變。圖1.4相機坐標系到圖像坐標系Fig.1.4Cameracoordinatesystemtoimagecoordinatesystem如圖1.4式的所示透視關系圖，針孔平面的左右兩個三角形存在相似，依據(jù)三角形相似定理可得： (1.6)式中：為點到光軸的垂直距離；為點到到光軸的垂直距離。為方便計算，引入齊次運算矩陣運算，在不考慮畸變的情況下得到如下坐標轉換關系：(1.7)式中：為比例因子；為有效焦距；為物理坐標系下的坐標。小孔成像的畸變主要包括徑向畸變和切向畸變，理想點與真實點的偏移關系如下。： (1.8)： (1.9)即坐標與坐標之間的轉換關系為：(1.10)式中：；為偏差修正值；為徑向畸變系數(shù)；為切向畸變系數(shù)。③最后進行的坐標轉換就是二次轉換，詳見圖1.1所示的像平面。如圖1.5所示，為世界坐標系下的某一點，映射到圖像坐標系下定為點。其中。圖像坐標系下的原點在像素坐標系下的坐標為。假設圖像坐標與像素坐標對應的橫、縱坐標都互相平行，轉換關系如下所示：圖1.5圖像坐標系到像素坐標系Fig.1.5Imagecoordinatesystemtopixelcoordinatesystem (1.11)再次引入奇次矩陣，式(1.11)演變?yōu)椋? (1.12)式中：；；表示單位像素在Y軸上的物理尺寸；。最終相機成像模型為如下所示： (1.13)1.3雙目成像理論1.3.1立體匹配原理雙目測距分為相機標定、立體匹配、深度值重建三個步驟，運用圖像視差、相機基線、相機焦距與深度值建立對應模型。相機標定用于實現(xiàn)相機基線、焦距參數(shù)的求解，圖像視差指同一物點在左、右視差成像點的橫坐標之差。視差求解的關鍵環(huán)節(jié)是立體匹配，實現(xiàn)立體匹配要求雙目相機所拍攝的圖像處于同一平面且行對準，再采用動態(tài)規(guī)劃的思想對左、右圖像進行匹配[33-35]。如圖1.6所示，實際雙目測距相機存在畸變且拍攝的圖像不對準，相機標定的畸變參數(shù)用于圖像矯正，并對左、右圖像進行立體校正，使其共面行對準。圖1.6雙目校正原理圖Fig.1.6Principlediagramofbinocularcorrection校正過程中，先進行共面校正，使雙目圖像處于同一平面。利用相機標定的外參，即，分別分解為左、右相機的與： (1.14)，，即可實現(xiàn)共面。共面后再通過行對準，采用Bouguet極線校正的思想，對極點進行約束。所謂極點，是指雙目機原點連線與圖像平面的交點。行對準時，極點應位于無窮遠處：即滿足同一像素點在左、右圖像的連線與雙目坐標系的原點連線平行。建立雙目相機平移向量方向上的行對準矩陣為： (1.15)式中：，為平移向量同方向的極點；，為圖像方向的向量；。則雙目左、右相機的行對準轉換矩陣與對應為： (1.16)左相機旋轉，右相機旋轉，實現(xiàn)行對準，雙目圖像則可進行匹配。立體匹配是雙目成像的重要環(huán)節(jié)，主要運用其相應匹配算法，從而實現(xiàn)左、右圖像特征點的匹配，進而計算視差，并重建深度值，達到重建的目的。在實際運用中，常見的立體匹配算法主要包含以下兩種：①全局立體匹配算法，利用左圖的某一像素點去匹配右圖的所有像素點，實現(xiàn)左圖最相似像素點的查找。由于該匹配算法以像素點為單位進行匹配，考慮因素多，相對運算量大，因而不適應對實時性要求較高的場合。但該類算法相比局部立體算法而言，誤差較小，匹配精度更高。該類算法主要通過優(yōu)化含數(shù)據(jù)項和平滑項的全局能量函數(shù)對視差進行求解。其能量函數(shù)通常定義為： (1.17)式中：，；前者用于判別圖像匹配過程中的相似性程度，后者用于約束圖像匹配過程中的連續(xù)性。常見的全局立體匹配算法主要為模擬退火、動態(tài)規(guī)劃、信念傳播等[36]。由于計算機性能的不斷提高，全局匹配算法中運行速度也得到相應的提升。在綜合考慮實時性和精度的基礎上，半全局立體匹配算法就應運而生，它以動態(tài)規(guī)劃為基礎，把多維問題轉為一維問題，在運行速度和精度上實現(xiàn)了均衡，獲得了較好的匹配效果[37]。②局部立體匹配算法，則是利用左圖像素塊來代替中間像素點，去匹配右圖的像素塊。相比全局立體算法，相對精度較低，但運行速度遠高于后者。該算法無需考慮像素之間的連續(xù)性，主要以像素塊為單位進行動態(tài)規(guī)劃。利用塊匹配來代替點匹配，匹配數(shù)量可以大幅降低，動態(tài)規(guī)劃效率則大幅提升，因而局部匹配方法整體計算速度顯著優(yōu)于全局類匹配方法。如圖1.7所示，局部立體匹配算法需要進行像素塊的計算與匹配。針對對于全局立體匹配算法來講，需要點對點進行匹配，即左圖黑色像素點IL(q)匹配右圖黑色像素點IR(qd)，而后遍歷整幅圖像逐點匹配。對于局部立體匹配算法而言，則是以塊為單位，利用左圖中的灰色區(qū)域塊N(p)，匹配右圖的灰色區(qū)域塊N(pd)，其計算量明顯降低，但誤差也相應變大。局部立體匹配算法流程圖如圖1.8所示。圖1.7代價聚合原理圖Fig.1.7Schematicofcostaggregation圖1.8局部立體匹配流程圖Figure1.8Flowchartoflocalstereomatching圖1.8所示流程圖中，聚合指標為立體匹配的基礎，用于評價左、右視圖像素塊匹配效果，聚合指標最小，匹配效果最優(yōu)。對于不同的場合往往可以選用不同類型的聚合指標函數(shù)，從而獲得匹配精度的提升。常見的相關指標函數(shù)有：： (1.18)： (1.19)：(1.20)式中：、分別指左、右視圖所對應的灰色區(qū)域像素值；、分別指左、右視圖的像素；、分別為左、右視圖所對應的灰色區(qū)域像素塊。在全局立體匹配算法中，對應的像素塊退化為像素點，無需進行求和、取均值，直接在動態(tài)規(guī)劃中進行視差計算。視差計算是立體匹配算法的最后一步。對于半全局或全局匹配算法，利用聚合指標函數(shù)得到匹配的代價值后，即可計算視差。在視差搜索范圍內(nèi)，運用其聚合指標最優(yōu)的點作為對應匹配點，對應的左圖像素塊與右圖匹配的像素塊橫坐標之差即為所求的視差，即： (1.21)式中：為左視圖像素塊橫坐標，為匹配的右視圖像素塊橫坐標。1.3.2深度值重建視差圖是深度值重建的前提，而水下測距可等效為物體到雙目相機的深度值計算。對于世界坐標系的任意一點，實現(xiàn)立體匹配之后，就會搜索到相機左、右圖像上的對應像點，從而形成三角形。深度值求解示意圖如圖1.9所示。圖1.9深度值求解原理圖Fig.1.9Schematicdiagramofdepthvaluesolution在世界坐標系中取一點，在左右相機平面的投影分別為和。以相機光心為坐標原點，并聯(lián)立像素坐標，則有到左相機平面光心距離為，到左相機平面光心距離為。結合三角形相似原理可得： (1.22)(1.23)式中：為左、右像素點橫坐標之差，為基線距離，為深度值，為相機焦距。由式(1.22)、(1.23)得：(1.24)再聯(lián)立公式(1.11)得：(1.25)式中：為相機像素單元尺寸。則：(1.26)令： (1.27)深度值Z為：(1.28)1.4水下光線折射分析1.4.1相機置于水體中相機置于空氣中時，光線傳播的介質(zhì)主體為空氣。而相機置于水中，光線傳播路徑的介質(zhì)主體為水。如圖1.10所示的光線傳播示意圖，一束來源于空氣中的光線通過氣水交界處時，受水介質(zhì)特性的影響，且水介質(zhì)折射率不同于空氣折射率，光線不會繼續(xù)沿直線傳播，在氣水交界處將會發(fā)生折射和反射現(xiàn)象[38]。圖1.10光線折射傳播示意圖Figure1.10Schematicdiagramoflightrefractionpropagation在如上圖所示的折射光線傳播中，存在： (1.29)式中:，；，分別為水介質(zhì)折射率與空氣介質(zhì)折射率。空氣中的光學成像模型已經(jīng)得以廣泛的運用，對于水中成像的研究相對較少。在空氣中，光線傳播路徑為空氣透鏡相機；而水下成像則經(jīng)歷水透鏡相機的折射過程。不同介質(zhì)中，光線折射程度將發(fā)生改變，在透視變換過程中會形成不同的畸變參數(shù)。因此，空氣中的相機標定參數(shù)不能直接運用于水下測量中，需重新梳理光線的折射路徑和成像模型。本文從相機置于水中和水外分別進行考慮：當相機置于水體中時，其位置關系示意圖如圖1.11所示，此處將相機鏡頭簡化為凸透鏡，分析相機在空氣介質(zhì)與水介質(zhì)中的成像規(guī)律。圖1.11相機置于水體中Fig.1.11Theillustrationofcamerawithinwater根據(jù)斯涅耳定理，不難得到，當相機置于水中時，光線的折射角： (1.30)而空氣中傳播的折射角為： (1.31)其中：=1.33。顯然，光線進入凸透鏡后，水下介質(zhì)的折射程度相比空氣中更深。相機置于水體中時，針對同一物點而言，在不同介質(zhì)中的光線傳播路線如圖1.12所示。同一物點在水介質(zhì)中傳播時，相對空氣中而言，成像點的位置會后移，導致透鏡有效焦距增加。圖1.12兩介質(zhì)光線傳播路徑Fig.1.12Two-mediumlightpropagationpath1.4.2相機置于水體外相機置于水體外時，其位置關系示意圖如圖1.13所示，此處將鏡頭簡化為凸透鏡。相對于相機置于水體中而言，情況更為復雜。實際應用時，水下相機通常會使用透明玻璃將相機與水體隔離，進行水下成像時還需考慮隔水玻璃對光線傳播的具體影響。此時情況分為兩種：忽略隔水玻璃，光線傳播