棱鏡單目立體視覺系統(tǒng)的參數(shù)最優(yōu)化趙越;魏永濤;崔笑宇【摘要】針對基于棱鏡的單目立體視覺系統(tǒng)，提出了一種分析和選擇系統(tǒng)參數(shù)的最優(yōu)化方法.該方法可以使系統(tǒng)拍攝到的圖像以最佳的位置滿足立體視覺算法處理的需要.從系統(tǒng)的建立和參數(shù)的選擇角度分析了單目立體視覺系統(tǒng)的組成.引入了一種計(jì)算系統(tǒng)成像區(qū)域的數(shù)學(xué)方法，使用空間直線來表示光線的傳播，利用光的折射定理的向量計(jì)算方法，解出光線經(jīng)過棱鏡折射后的直線方程，通過空間直線的關(guān)系確定系統(tǒng)的成像區(qū)域.通過對該系統(tǒng)成像區(qū)域的重新定義，將成像區(qū)域與捕獲的圖像聯(lián)系起來，從而選擇最佳系統(tǒng)參數(shù)配置.【期刊名稱】《東北大學(xué)學(xué)報(bào)(自然科學(xué)版)》【年(卷)，期】2013(034)006【總頁數(shù)】4頁(P802-805)【關(guān)鍵詞】單目立體視覺;棱鏡;成像區(qū)域;系統(tǒng)參數(shù);最優(yōu)化【作者】趙越;魏永濤;崔笑宇【作者單位】東北大學(xué)中荷生物醫(yī)學(xué)與信息工程學(xué)院，遼寧沈陽110819;東北大學(xué)中荷生物醫(yī)學(xué)與信息工程學(xué)院，遼寧沈陽110819;東北大學(xué)中荷生物醫(yī)學(xué)與信息工程學(xué)院，遼寧沈陽110819【正文語種】中文【中圖分類】TP11將攝像機(jī)鏡頭前放置棱鏡，利用光的折射原理獲得物體不同角度的像，從而完成立體視覺的匹配和重建.這種方法與多相機(jī)的方法相比，有著低成本、易于同步等優(yōu)點(diǎn)，在近十年中發(fā)展十分迅速[1-3].FOV(fieldofview)是指相機(jī)可以捕獲圖像的區(qū)域.立體視覺中的FOV表示兩臺或者多臺相機(jī)成像區(qū)域的交匯范圍.多相機(jī)立體視覺系統(tǒng)的FOV與基于棱鏡的單相機(jī)立體視覺系統(tǒng)的FOV有著很大的不同[4-5].影響棱鏡成像FOV的因素很多，包括折射率、棱鏡角度、棱鏡與相機(jī)光心距離，以及相機(jī)焦距等因素.實(shí)際上，棱鏡成像FOV對整個系統(tǒng)的建立起著至關(guān)重要的作用[6-8].本文詳細(xì)分析系統(tǒng)各個參數(shù)對FOV的影響、FOV與圖像之間關(guān)系，以及如何根據(jù)FOV建立基于棱鏡的立體視覺系統(tǒng).FOV的兩種可能情況棱鏡成像的實(shí)質(zhì)是光線由空間一點(diǎn)發(fā)出，經(jīng)過棱鏡的兩次折射后，投影到相機(jī)成像平面的過程.若取圖像平面邊界點(diǎn)，那么這些點(diǎn)在空間所成直線即可表示FOV.將圖像平面劃分為左右兩部分，如圖1所示，藍(lán)色框表示左圖像平面，紅色框表示右圖像平面.這樣一來，整個圖像平面被分為l1，l2，l3,l4四條邊界像素列.為了直觀起見，分別取這四條邊界線上中點(diǎn)即y=0點(diǎn)D1，D2，D3，D4，由這四個點(diǎn)發(fā)出的光線，經(jīng)過棱鏡的折射，在空間形成四條光線R1，R2，R3,R4.其中，R1，R3之間的區(qū)域?yàn)橛覉D像平面成像范圍，R2，R4之間區(qū)域?yàn)樽髨D像平面成像范圍，而R2,R3之間區(qū)域S即為整個系統(tǒng)的FOV.當(dāng)且僅當(dāng)物體在S范圍內(nèi)時(shí)，才可以同時(shí)在左、右圖像平面上捕獲物體圖像.圖1不同F(xiàn)OV情況以及系統(tǒng)捕獲到圖像Fig.1CapturedimagefordifferentconditionofFOV(a)一無效FOV;(b)—有效FOV.因?yàn)槭窃跇?biāo)準(zhǔn)情況下的系統(tǒng)設(shè)置，所以直線R1,R2,R3,R4都同時(shí)位于同一平面y=0上，又因?yàn)槔忡R的對稱性，僅考慮左半部分直線R1,R2.因?yàn)镽1,R2共面，所以它們之間的位置關(guān)系為平行或者相交.在相交的情況下，又可以根據(jù)交點(diǎn)與棱鏡后平面的位置關(guān)系分為視野內(nèi)相交、視野外相交兩種.本文根據(jù)R1，R2的關(guān)系將FOV分為兩種情況：當(dāng)R1，R2關(guān)系為視野外相交時(shí)（圖1a），稱為無效FOV；當(dāng)R1，R2關(guān)系為平行或者視野內(nèi)相交時(shí)（圖1b），稱為有效FOV.第一種情況所表示的FOV，對成像平面的利用率往往很低，而且只能在極其有限的范圍內(nèi)測量小體積物體.視差也很大，增加匹配的難度.而在參數(shù)配置合理的情況下，第二種情況卻可以充分利用圖像平面.在無效FOV情況下，若物體的垂直切面剛好位于位置AD，相機(jī)所捕獲的圖像如圖1a所示.因?yàn)镕OV的范圍沒有包含全部物體，所以左、右圖像平面均只能捕獲物體的部分像.若物體位于BC位置，雖然FOV的范圍包含了全部物體，左右圖像平面捕獲完整的物體的像，但是這個像也只能占據(jù)整個圖像平面很小的一部分，也就是說相機(jī)圖像平面完全沒有得到充分利用.這相當(dāng)于雙目立體視覺中，左、右兩個相機(jī)光心軸夾角為鈍角的情況.因此，在這種情況下的FOV不適合立體視覺的應(yīng)用，在配置系統(tǒng)參數(shù)時(shí)應(yīng)該避免這種情況的發(fā)生.在有效FOV情況下，若物體的垂直切面剛好位于AD，相機(jī)所捕獲的圖像如圖1b所示.可以看出，這種情況下的FOV不僅包含了需要觀測的全部物體，而且物體圖像也充分占據(jù)了兩個圖像平面.這樣就可以利用獲得的圖像進(jìn)行后續(xù)處理工作.實(shí)際上，在這種情況下，當(dāng)R1，R2平行時(shí)，相當(dāng)于雙目立體視覺中，左、右兩個相機(jī)水平放置，光心軸平行；而R1，R2相交時(shí)，相當(dāng)于最常見的兩個相機(jī)交叉放置的情況.所以在第二種情況下，才是棱鏡單相機(jī)立體視覺系統(tǒng)的合理FOV配置.引入一個“有效區(qū)間”的概念.定義設(shè)系統(tǒng)參數(shù)配置下FOV符合第二種情況（圖2），那么直線R1，R2必相交于-點(diǎn)M，R3，R4相交于一點(diǎn)N.以直線MN為基準(zhǔn)，在平面y=0上，分別沿著z軸正方向和負(fù)方向作MN平行線.若沿z軸負(fù)方向的平行線PQ與R1,R2分別相交于P,Q兩點(diǎn)，且滿足xq/xp泌，其中xq,xp分別為Q,P兩點(diǎn)x軸坐標(biāo)，中稱為利用率，稱PQ位于下有效區(qū)間3d內(nèi).同理，若3U表示上有效區(qū)間，則有3uU3d=3稱為FOV的有效區(qū)間其中，F(xiàn)c表示焦距；Tp表示相機(jī)光心到棱鏡后平面的距離邙表示棱鏡角度；Tu,Td,To分別表示相機(jī)光心到各平行線FG,PQ,MN的距離；To表示最優(yōu)距離.圖2有效FOV情況下定義有效區(qū)間的俯視圖Fig.2Topviewofthedefinationofvalidregion這樣一來，在有效FOV情況下，每一個系統(tǒng)參數(shù)配置下的FOV都會對應(yīng)一個有效區(qū)間.可以看出，有效區(qū)間實(shí)際上是表示了當(dāng)前系統(tǒng)參數(shù)配置和最佳測量距離范圍的關(guān)系利用有效區(qū)間的定義，可以根據(jù)當(dāng)前參數(shù)設(shè)置，計(jì)算出最佳測量范圍；也可以根據(jù)實(shí)際應(yīng)用中測量范圍的需要，合理地配置系統(tǒng)參數(shù).FOV的計(jì)算本文使用空間直線來表示光線的傳播，利用光的折射定律的向量計(jì)算方法，解出光線經(jīng)過棱鏡折射后的直線方程，通過空間直線的關(guān)系，確定FOV.使用這個方法還可以得到系統(tǒng)參數(shù)與FOV的關(guān)系.設(shè)L(P,V)表示空間一直線，其中P(px,py,pz)為直線上一點(diǎn)坐標(biāo)，V(vx,vy,vz)為該直線的方向向量.設(shè)S(O,N)表示空間一平面，其中O(ox,oy,oz)為平面上一點(diǎn)坐標(biāo)，N(nx,ny,nz)為平面的法向量.可以將棱鏡的三個平面分為Sl(Ol,Nl),Sr(Or,Nr),Sb(Ob,Nb)，并且將光線經(jīng)過棱鏡的兩次折射過程分成L1(P1,V1),L2(P2,V2),L3(P3,V3)三條線段，根據(jù)光的折射定律向量表示[9-10],n1,n2分別表示光線由空氣進(jìn)入棱鏡材質(zhì)和由棱鏡材質(zhì)進(jìn)入空氣的折射率,可得(1)式(1)說明在系統(tǒng)參數(shù)確定的情況下，根據(jù)輸入光線方向向量可以求出折射光線方向向量，而直線上的點(diǎn)坐標(biāo)可以根據(jù)空間直線與平面的交點(diǎn)方程求出.利用前面所述方法即可求出FOV的有效區(qū)間.FOV與有效區(qū)間的關(guān)系影響棱鏡單相機(jī)立體視覺系統(tǒng)FOV的參數(shù)很多，包括棱鏡角度、棱鏡體積、棱鏡到相機(jī)焦點(diǎn)距離、相機(jī)焦距、圖像傳感器大小，以及棱鏡材質(zhì)在空氣中對光的折射率等.可以將這些參數(shù)分為棱鏡參數(shù)和相機(jī)參數(shù)兩類.3.1相機(jī)的選擇相機(jī)的參數(shù)包括分辨率、像素深度、像元尺寸等.根據(jù)不同的應(yīng)用需求可以選擇不同規(guī)格的相機(jī).因?yàn)槔忡R單相機(jī)立體視覺系統(tǒng)是使用一個圖像傳感器來完成多相機(jī)系統(tǒng)中兩個或多個圖像傳感器的任務(wù)，所以需盡量選擇高分辨率的相機(jī)，來彌補(bǔ)單一圖像傳感器的缺點(diǎn).3.2棱鏡大小選擇棱鏡的尺寸的選擇需要綜合考慮實(shí)際應(yīng)用中對于整個系統(tǒng)寬度和長度的要求.當(dāng)棱鏡的尺寸確定之后，棱鏡與相機(jī)鏡頭之間存在一個距離范圍.如果設(shè)從棱鏡的寬度為dp，相機(jī)的焦距為fc，相機(jī)圖像傳感器的長度為dc，則有(2)其中tb表示相機(jī)的圖像傳感器到棱鏡后平面所允許的最大距離.3.3棱鏡角度選擇.棱鏡角度的大小影響整個FOV的變化，應(yīng)根據(jù)實(shí)際應(yīng)用范圍來選擇棱鏡角度.為了直觀起見，通過設(shè)置一些參數(shù)值來計(jì)算角度對最優(yōu)深度的影響.相機(jī)像素為1280x1024，像元尺寸為0.00465mmx0.00465mm,棱鏡尺寸100mmx100mm,選擇相機(jī)焦距為8,16,25mm,利用式(2)求得這三個焦距分別對應(yīng)的最大距離為134,268,420.根據(jù)圖3所顯示的角度距離關(guān)系，可以根據(jù)對測量深度的要求合理選擇棱鏡參數(shù)和相機(jī)參數(shù).圖3a~3c分別為相機(jī)焦距為8,16,25mm的情況下，棱鏡角度與最佳深度的關(guān)系.圖3在110mm處最優(yōu)距離對應(yīng)于不同棱鏡角度的變化規(guī)律Fig.3Changingregularityofoptimumdistanceat110mm(a)—相機(jī)焦距為8mm;(b)一相機(jī)焦距為16mm;(c)一相機(jī)焦距為25mm.4結(jié)論針對基于棱鏡的單相機(jī)立體視覺系統(tǒng)，通過定義最優(yōu)區(qū)間，給出了關(guān)于立體匹配的最佳參數(shù)對應(yīng)關(guān)系，并且提出了一種簡單直觀的計(jì)算最優(yōu)區(qū)間的方法.從試驗(yàn)結(jié)果中可以看出，本文的分類方法與現(xiàn)有的方法相比，更加適合于棱鏡成像，而且使用本文的方法建立棱鏡立體視覺系統(tǒng)，拍攝的圖像可以滿足立體視覺的需要，有著很高的利用率.本文方法不僅可以用于理想模式下有效區(qū)間的計(jì)算，還可以應(yīng)用于任何坐標(biāo)系下FOV的計(jì)算.參考文獻(xiàn)：CuiXY,LimKB,GuoQY,etal.Accurategeometricalopticsmodelforsingle-lensstereovisionsystemusingaprism[J].JournaloftheOpticalSocietyofAmericaA:Optics,ImageScience&Vision,2012,29(9):1828-1837.GluckmanJS,NayarSK.Catadioptricstereousingplanarmirrors[J].InternationalJournalofComputerVision,2001,44(1):65-79.LeeDH,KweonIS.Anovelstereocamerasystembyabiprism[J].IEEETransactionsonRoboticsandAutomation,2000,16(5):528-541.LimKB,ZhaoMJ,KeeWL.Geometrical-analysis-basedalgorithmforstereomatchingofsingle-lensbinocularandmulti-ocularstereovisionsystem[J].JournalofElectronicScienceandTechnology，2012，10(2):107-112.XiaoY，LimKB.Aprism-basedsingle-lensstereovisionsystem:fromtrinoculartomulti-ocular[J].ImageandVisionComputing，2007，25(11):1725-1736.XiaoY，LimKB.Virtualstereovisionsystem:newunderstandingonsingle-lensstereovisionusingabiprism[J].JournalofElectronicImaging，2005，14(4):1-11.KeeWL，LimKB，WangDL.Virtualepipolarlineconstructionofsingle-lensbi-prismstereovisionsystem[J].JournalofElectronicScienceandTechnology，201