定焦數(shù)碼像機(jī)的基于預(yù)檢校的自愈校方法

0內(nèi)方位元素的提取fa濫風(fēng)、吉野和hartey提出了自學(xué)學(xué)校的概念，并證明可以通過圖像中直接提取內(nèi)聯(lián)元素。這方面的研究現(xiàn)在是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向。自學(xué)校正的方法不需要定義一個(gè)控制單元。只需要從不同角度獲取同一物體的多個(gè)相位的圖像。利用相位之間的核線關(guān)系恢復(fù)內(nèi)方聯(lián)系元素。自學(xué)校正方法靈活實(shí)用，在實(shí)踐中非常廣泛。然而，總的來說，自學(xué)校正的結(jié)果并不穩(wěn)定。即使圖像噪聲較低，分辨率也與實(shí)際值有很大不同。如何改進(jìn)自學(xué)校正方法的魯棒性已成為研究的重點(diǎn)和難點(diǎn)。基于積極視覺的方法可以提高自學(xué)校正結(jié)果的穩(wěn)定性，但這種方法對(duì)實(shí)驗(yàn)條件的要求非常高，不適合普通的近距離攝影。在這項(xiàng)工作中，我們提出了一種基于預(yù)檢測(cè)的自我校正方法。該方法利用了定焦相機(jī)相機(jī)相機(jī)的光學(xué)結(jié)構(gòu)變化不隨主距的變化而變化的特點(diǎn)，并通過預(yù)檢測(cè)器獲得了內(nèi)方環(huán)境元素的變化規(guī)律。該變化規(guī)律用于減少自學(xué)校正的未知數(shù)量，簡化自學(xué)校正模型。此外，利用預(yù)檢測(cè)器發(fā)現(xiàn)鏡頭畸變變化規(guī)律，可以在獨(dú)立校正過程中引入變形參數(shù)，以提高基于kruppa方程的自我校正精度。1攝相機(jī)中主點(diǎn)和主距的估計(jì)自檢校的方法很多,但大多數(shù)都和Kruppa方程有關(guān).Manbank首先利用射影空間中虛圓的不變性推導(dǎo)出關(guān)于內(nèi)部參數(shù)的Kruppa方程,該方法計(jì)算復(fù)雜,對(duì)噪音敏感.Luong利用迭代的擴(kuò)展卡爾曼濾波得出較為魯棒的估計(jì).Hartley則提出了一個(gè)基于基本矩陣(FundamentalMatrix)的奇異值分解的Kruppa方程的簡單形式.為了討論方便,下面介紹利用Kruppa方程進(jìn)行自檢校的原理.以左片為參考,設(shè)立體模型右片針對(duì)左片的相對(duì)運(yùn)動(dòng)參數(shù)為(R,t),相機(jī)內(nèi)方位元素矩陣為K,則立體模型的基本矩陣有如下形式:F=λ1K-T[t]XRK-1,(1)這里,λ1為常數(shù)因子,R為旋轉(zhuǎn)矩陣,t=(tX,tY,tZ)為偏移量.t=(tXtYtΖ)?Κ=[fxsx0fyy01],[t]X=[0-tΖtYtΖ0-tX-tYtX0].t=???tXtYtZ????K=???fxsfyx0y01???,[t]X=???0tZ?tY?tZ0tXtY?tX0???.矩陣K中,(x0,y0)為相機(jī)主點(diǎn)坐標(biāo),fx,fy分別為針對(duì)影像橫、縱坐標(biāo)的主距,s為橫、縱坐標(biāo)軸不垂直度的量.設(shè)C=KKT,那么Kruppa方程可以用矩陣形式表達(dá)為FCFΤ=λ2[e′]XC[e′]ΤXFCFT=λ2[e′]XC[e′]TX,(2)式中,λ為常數(shù)因子,e′為右核點(diǎn),e′=λ2Kt.FCFΤ?λ2[e′]XC[e′]ΤXFCFT?λ2[e′]XC[e′]TX2個(gè)矩陣各項(xiàng)均可表示為向量c=(c1,c2,c3,c4,c5)T的線性函數(shù),即FCFΤ=[Μ1(c)Μ2(c)Μ3(c)Μ2(c)Μ4(c)Μ5(c)Μ3(c)Μ5(c)Μ6(c)]?λ2[e′]XC[e′]ΤX=[m1(c)m2(c)m3(c)m2(c)m4(c)m5(c)m3(c)m5(c)m6(c)]FCFT=???M1(c)M2(c)M3(c)M2(c)M4(c)M5(c)M3(c)M5(c)M6(c)????λ2[e′]XC[e′]TX=???m1(c)m2(c)m3(c)m2(c)m4(c)m5(c)m3(c)m5(c)m6(c)???,其中,M(c),m(c)均為的線性函數(shù),因此矩陣方程(2)等價(jià)于下述方程組:λ2=Μ1(c)m1(c)=Μ2(c)m2(c)=?=Μ6(c)m6(c)λ2=M1(c)m1(c)=M2(c)m2(c)=?=M6(c)m6(c),(3)式(3)就是攝相機(jī)自檢校文獻(xiàn)中經(jīng)常提及的Kruppa方程.方程中,已知量為基本矩陣F,核點(diǎn)e′為FTx=0的一個(gè)非零解,未知量為向量c=(c1,c2,c3,c4,c5)T.上述方程組中最多僅有2個(gè)獨(dú)立的方程,因此至少需要有攝相機(jī)在不同位置上拍攝的3對(duì)圖像對(duì),才能求解攝相機(jī)的內(nèi)參數(shù)矩陣K.基本矩陣F的解算需要至少8個(gè)同名像點(diǎn),具體方法可參考文獻(xiàn),本文不再贅述.式(3)是一個(gè)二次方程,由于數(shù)據(jù)誤差等原因在數(shù)學(xué)上無法直接求解,即使采用數(shù)學(xué)規(guī)劃法也不魯棒.另外,從相機(jī)內(nèi)方位元素矩陣的形式也可看出,Kruppa方程沒有考慮鏡頭的畸變差,而實(shí)際的攝影測(cè)量應(yīng)用中,鏡頭的畸變差是不能忽略的.為了有效解算Kruppa方程,本文的思想是減少所需計(jì)算的未知數(shù).分析K中的未知數(shù)意義可知,fx/fy為CCD像素橫、縱方向大小的比例,s為CCD橫、縱方向坐標(biāo)軸不垂直度的量.由于這兩個(gè)量僅和CCD相關(guān),如果對(duì)相機(jī)進(jìn)行精確的預(yù)檢校,則相機(jī)的自檢校參數(shù)可以減少到3個(gè),即主點(diǎn)(x0,y0)和主距f.另外,對(duì)于定焦鏡頭而言,在對(duì)焦過程中,改變的只是像距,鏡頭內(nèi)部光學(xué)結(jié)構(gòu)不變,因此鏡頭畸變差可認(rèn)為是主距f的函數(shù).再者,如果能歸納出主點(diǎn)(x0,y0)隨主距f變化的規(guī)律,則自檢校的參數(shù)個(gè)數(shù)可減少到1個(gè),即主距f.這樣,可以利用一維搜索法直接從式(3)中解算出主距f.2內(nèi)方位元素的計(jì)算為簡化Kruppa方程,減少檢校的未知參數(shù),必須得到內(nèi)方位元素隨主距的變化規(guī)律.本文采用嚴(yán)格的方法檢校不同主距下相機(jī)的內(nèi)方位元素,并用統(tǒng)計(jì)的方法歸納出內(nèi)方位元素的變化規(guī)律.在進(jìn)行預(yù)檢校實(shí)驗(yàn)時(shí),對(duì)不同的距離使用了不同的檢校策略.近距離時(shí),我們從不同角度對(duì)精確繪制網(wǎng)格進(jìn)行攝影,然后用基于平面控制場(chǎng)的光束法來計(jì)算內(nèi)方位元素的值.遠(yuǎn)距離時(shí),因難以布設(shè)大型精密控制場(chǎng),我們選擇具有3個(gè)互相垂直墻面的建筑物,利用建筑物表面的直線關(guān)系來計(jì)算內(nèi)方位元素.2.1x-x0、xs3、zzs3x-xs評(píng)分文獻(xiàn)提出了基于平面網(wǎng)格求解內(nèi)方位元素的光束法算法.該算法使用二維網(wǎng)格控制場(chǎng)(圖3),利用同形矩陣獲取未知數(shù)的初值,然后用光束法嚴(yán)格模型(式4)進(jìn)行最小二乘平差.計(jì)算流程如圖1所示.由于CCD橫、縱方向坐標(biāo)軸不垂直度s一般很小,式(4)中未考慮.x-x0-Δx=-fxa1(X-Xs)+b1(Y-Ys)+c1(Ζ-Ζs)a3(X-Xs)+b3(Y-Ys)+c3(Ζ-Ζs)?y-y0-Δy=-fya2(X-Xs)+b2(Y-Ys)+c2(Ζ-Ζs)a3(X-Xs)+b3(Y-Ys)+c3(Ζ-Ζs)?(4)x?x0?Δx=?fxa1(X?Xs)+b1(Y?Ys)+c1(Z?Zs)a3(X?Xs)+b3(Y?Ys)+c3(Z?Zs)?y?y0?Δy=?fya2(X?Xs)+b2(Y?Ys)+c2(Z?Zs)a3(X?Xs)+b3(Y?Ys)+c3(Z?Zs)?(4)其中,Δx=(x-x0)·(k1r2+k2r4),Δy=(y-y0)·(k1r2+k2r4),r2=(x-x0)2+(y-y0)2,k1,k2為鏡頭徑向畸變差系數(shù).2.2布署中的畸變參數(shù)計(jì)算遠(yuǎn)距離拍攝時(shí),本文選擇3個(gè)墻面互相垂直的建筑物解求內(nèi)方位元素的值.根據(jù)文獻(xiàn),如果拍攝的場(chǎng)景中可以找到互為垂直的三個(gè)方向上的滅點(diǎn),就可以利用這些滅點(diǎn)來計(jì)算出主距的值.此外,根據(jù)直線在投影變換中的不變性,可以用攝影場(chǎng)景中存在的直線關(guān)系來恢復(fù)出相片的畸變參數(shù).計(jì)算過程:①?跟據(jù)直線解求畸變參數(shù);②?對(duì)像點(diǎn)坐標(biāo)進(jìn)行改正;③?利用平行直線計(jì)算滅點(diǎn)并求內(nèi)方位元素.2.3定焦影像中畸變差的擬合如果能夠計(jì)算出主距變化范圍內(nèi)盡可能多的主點(diǎn),則可能擬合主點(diǎn)隨主距變化的規(guī)律.本文限于實(shí)驗(yàn)條件的限制,沒有做主點(diǎn)擬合的研究,其將在今后進(jìn)一步研究時(shí)考慮.對(duì)于定焦鏡頭,光學(xué)徑向畸變差Δr可表示為Δr=r-f·tanα,(5)式中,r為半徑,f為主距,α為物點(diǎn)入射角.可以認(rèn)為對(duì)于固定的入射角α,畸變角度為常數(shù),因而畸變差與主距f成線性關(guān)系.為了驗(yàn)證這一點(diǎn),本文計(jì)算了不同主距下的畸變差并對(duì)其按主距變化進(jìn)行擬合.3基于名點(diǎn)的修正圖2所示的是一個(gè)迭代的計(jì)算過程.利用預(yù)檢校的結(jié)果,可以把自檢校的未知數(shù)減少為3個(gè).由于主點(diǎn)值較小且利用直線約束檢校值不很穩(wěn)定,在目前的實(shí)驗(yàn)中忽略了主點(diǎn),而把問題集中在主距和畸變差的解算上.由于忽略了主點(diǎn),并且其它參數(shù)已經(jīng)預(yù)檢校,故實(shí)際自檢校的參數(shù)只有主距,因此可以在預(yù)估的主距范圍內(nèi)直接按給定步距搜索主距值,使Kruppa方程的殘差最小.在量測(cè)同名像點(diǎn)坐標(biāo)后,自檢校迭代計(jì)算如下:①?利用同名點(diǎn)計(jì)算基本矩陣;②?從基本矩陣按Kruppa方程解算出主距近似值;③?把主距近似值代入畸變規(guī)律公式得到畸變參數(shù)的值;④?根據(jù)計(jì)算的畸變參數(shù)值來對(duì)像點(diǎn)坐標(biāo)進(jìn)行糾正.⑤?重復(fù)步驟①至④直到主距值收斂.4實(shí)驗(yàn)實(shí)驗(yàn)中采用的數(shù)碼相機(jī)是NikonD1H專業(yè)數(shù)碼相機(jī),配備的是28mm定焦鏡頭,影像大小為2000×1312.4.1立法確定的依據(jù)本文在遠(yuǎn)近不同距離獲得了4組內(nèi)方位元素值.圖3為近距離光束法檢校時(shí)使用的平面網(wǎng)格,實(shí)際拍攝了5張相片.表1為在不同距離下拍攝的2組相片的光束法自檢校結(jié)果.遠(yuǎn)距離時(shí)選擇了如圖6的大型建筑并采用滅點(diǎn)法和直線約束法進(jìn)行檢校.從表1可以看出fx,fy之比接近于1.因此,用滅點(diǎn)法檢校時(shí)認(rèn)為fx,fy相同.表2為滅點(diǎn)法檢校的主距值和用平行直線求得的畸變差系數(shù).4個(gè)不同主距下的畸變差如圖4所示.可以看出在半徑小于700像素的情況下,畸變差的大小基本與主距成線性變化.大于700像素時(shí)不成比例的原因是,在700像素以上的控制點(diǎn)較少.4.2krappa方程由于預(yù)檢校時(shí)已解算了fx,fy的變化率和畸變差,而主點(diǎn)坐標(biāo)較小且較難用滅點(diǎn)法精確求解,坐標(biāo)軸不垂直度很小可以忽略.因此,自檢校時(shí)主要考慮主距.圖5為主距為在內(nèi)變化時(shí),Kruppa方程的殘差值曲線.可以看出,殘差值存在一個(gè)明顯的最小值,該最小值對(duì)應(yīng)的即為所求主距.因此,Kruppa方程的解算在此簡化成最小殘差值的一維搜索問題.在圖6的立體模型上量測(cè)若干同名點(diǎn),根據(jù)8點(diǎn)法解算的基本矩陣值為F=[3.351?18e-73.351?18e-70.002?142?88.554?65e-71.430?29e-7-0.002?565-0.002?565-0.002?5652.039?77],搜索最小殘差,得到主距f=2248.747.根據(jù)鏡頭畸變差與主距的關(guān)系,求得此時(shí)的畸變差參數(shù)值為:k1=-3.036e-8,k2=9.948e-15.消除像點(diǎn)坐標(biāo)畸變差,重新計(jì)算基本矩陣,再次搜索得主距值為f=2036.457.迭代3次后收斂,得到f=2036.369.與滅點(diǎn)法的結(jié)果比較(第4組),忽略畸變差時(shí)的主距相差189個(gè)象素;改正畸變差并迭代收斂后,與滅點(diǎn)法主距值的差減小到22個(gè)像素.4.3重建模型的修正利用4.2中的檢校結(jié)果,對(duì)同一主距下拍攝的立體對(duì)(圖7)進(jìn)行模型重建.在VirtuoZo中量測(cè)了建筑物的3個(gè)主要墻面.圖8和圖9分別顯示了基于重建模型的俯視圖.從圖8可以看出,不顧及畸變差時(shí),重建模型的墻面不垂直,夾角為94°和95°.而從圖9可以看出,顧及畸變差后,重建模型的墻面接近垂直,夾角接近90°.因此,對(duì)相機(jī)進(jìn)行預(yù)檢校,可以改善自檢校結(jié)果.5實(shí)驗(yàn)結(jié)果和討論本文針對(duì)目前基于Kruppa方程的自檢校方法解算復(fù)雜、結(jié)果不穩(wěn)定而且沒有引入畸變系數(shù)的問題,提出了基于預(yù)檢校的自