1、攝像機(jī)標(biāo)定和三維重建,胡占義 中國(guó)科學(xué)院自動(dòng)化研究所 模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室,主要內(nèi)容,1、引言 2、圖象的形成過(guò)程 3、傳統(tǒng)標(biāo)定方法 DLT方法，RAC方法和簡(jiǎn)易標(biāo)定方法 4、 預(yù)備知識(shí) 5、攝像機(jī)自標(biāo)定 6、基于主動(dòng)視覺(jué)的攝像機(jī)標(biāo)定 7、分層重建理論 8、多視點(diǎn)幾何,引言,幾個(gè)問(wèn)題 什么是攝像機(jī)標(biāo)定 ？ 為什么要對(duì)攝像機(jī)進(jìn)行標(biāo)定 ？ 為什么要研究不同的攝像機(jī)標(biāo)定方法？ 什么是三維重建 ？ 為什么要進(jìn)行三維重建 ？,引言,三維重建是人類視覺(jué)的主要目的，也是計(jì)算機(jī)視覺(jué)的最主要的研究方向. (Marr 1982) 所謂三維重建就是指從二幅和二幅以上圖象恢復(fù)空間點(diǎn)三維坐標(biāo)的過(guò)程。 三維重建的三個(gè)關(guān)

2、鍵步驟 圖象對(duì)應(yīng)點(diǎn)的確定 攝像機(jī)標(biāo)定 二圖象間攝像機(jī)運(yùn)動(dòng)參數(shù)的確定,三維重建示意圖,圖象的形成過(guò)程 和 攝像機(jī)針孔模型,1、世界坐標(biāo)系： 2、攝像機(jī)坐標(biāo)系： 3、圖像坐標(biāo)系:,坐標(biāo)系,攝像機(jī)光學(xué)成像過(guò)程的四個(gè)步驟,1、剛體變換公式,齊次坐標(biāo)形式,f=OB 為透鏡的焦距 m=OC 為像距 n=AO 為物距,一般地由于 于是 這時(shí)可以將透鏡成像模型近似地用小孔模型代替,2、透視投影透鏡成像原理圖,寫(xiě)成齊次坐標(biāo)形式為,2、透視投影小孔成像模型,寫(xiě)成齊次坐標(biāo)形式為,2、中心透視投影模型,Position with distortion,Ideal Position,dr :radial distort

3、ion dt :tangential distortion,3、畸變校正徑向和切向畸變,徑向畸變 離心畸變 薄透鏡畸變,徑向失真 切向失真,3、畸變校正其它畸變類型,桶形畸變a和枕形畸變b,薄棱鏡畸變,在 中的坐標(biāo)為 象素在軸上的物理尺寸為,Affine Transformation :,4、圖像數(shù)字化,齊次坐標(biāo)形式:,其中,攝像機(jī)的內(nèi)參數(shù)矩陣 K,線性攝像機(jī)成像模型,圖像物理坐標(biāo)系,圖像像素坐標(biāo)系,攝像機(jī)坐標(biāo)系,世界坐標(biāo)系,圖像像素坐標(biāo)系,世界坐標(biāo)系,最終得到：,這是忽略畸變的線性成像模型,傳統(tǒng)的攝像機(jī)標(biāo)定方法,特點(diǎn) 要求攝像機(jī)標(biāo)定塊，算法復(fù)雜，精度高,直接線性變換（DLT變換）,DLT:

4、Direct Linear Transformation,Abdal-Aziz和Karara于70年代初提出了直接 線性變換像機(jī)定標(biāo)的方法，他們從攝影測(cè)量 學(xué)的角度深入的研究了像機(jī)圖像和環(huán)境物體 之間的關(guān)系，建立了像機(jī)成像幾何的線性模 型，這種線性模型參數(shù)的估計(jì)完全可以由線 性方程的求解來(lái)實(shí)現(xiàn)。,直接線性變換是將像點(diǎn)和物點(diǎn)的成像幾何關(guān)系在齊次坐標(biāo)下寫(xiě)成透視投影矩陣的形式：,其中 為圖像坐標(biāo)系下的點(diǎn)的齊次坐標(biāo)， 為 世界坐標(biāo)系下的空間點(diǎn)的歐氏坐標(biāo)， 為 的透視投影矩 陣， 為未知尺度因子。,消去 ，可以得到方程組:,當(dāng)已知 個(gè)空間點(diǎn)和對(duì)應(yīng)的圖像上的點(diǎn)時(shí)，可以得到一個(gè)含有2* 個(gè)方程的方程組：,其

5、中 為 的矩陣， 為透視投影矩陣元素組成的 向量 。,像機(jī)定標(biāo)的任務(wù)就是尋找合適的 ，使得 為最小，即,給出約束：,為 的前11個(gè)元素組成的向量， 為 前11列組成的矩陣， 為 第12列組成的向量。,是否合理？,約束 不具有旋轉(zhuǎn)和平移的不變性,解將隨著世 界坐標(biāo)系的選取不同而變化.,證明： 世界坐標(biāo)系作剛性坐標(biāo)變換,則,顯然在一般的情況下,另一個(gè)約束 具有旋轉(zhuǎn)和平移的不變性,由,向量 , , 是兩兩 垂直的單位向量,R. Tsai 的 RAC的定標(biāo)算法,80年代中期Tsai提出的基于RAC的定標(biāo)方法是計(jì)算機(jī)視覺(jué)像機(jī)定標(biāo)方面的一項(xiàng)重要工作，該方法的核心是利用徑向一致約束來(lái)求解除 （像機(jī)光軸方向的

6、平移）外的其它像機(jī)外參數(shù)，然后再求解像機(jī)的其它參數(shù)?；赗AC方法的最大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性，因此其定標(biāo)過(guò)程快捷，準(zhǔn)確。,簡(jiǎn) 介,像機(jī)模型 徑向一致約束 定標(biāo)算法,主要內(nèi)容,世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的關(guān)系,像機(jī)模型,攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系的關(guān)系,像機(jī)模型,理想圖像坐標(biāo)到實(shí)際圖像坐標(biāo)的變換（只考慮徑向偏差）,像機(jī)模型,從實(shí)際圖像坐標(biāo)到數(shù)字圖像坐標(biāo)的變換,像機(jī)模型,徑向一致約束,徑向一致約束:,定標(biāo)算法,2.求解有效焦距 、 方向上的平移和畸變參數(shù),定標(biāo)算法步驟一,1.求解外像機(jī)參數(shù)旋轉(zhuǎn)矩陣 和 、 方向上的平移,由一個(gè)空間點(diǎn) 和其圖像投影點(diǎn) ,根據(jù)徑

7、向一致約束性 可以得到下面的方程,其中,定標(biāo)算法步驟一,如果得到一系列數(shù)目大于7個(gè)的標(biāo)志點(diǎn)和它們的對(duì)應(yīng)投影 圖像點(diǎn)，就變成了一個(gè)過(guò)限制方程組，可以由最小二乘法,解出以下的7個(gè)變量,2.計(jì)算,由,定標(biāo)算法步驟一,4.計(jì)算旋轉(zhuǎn)矩陣 和 ，并確定 的符號(hào),先假定取正號(hào)，由以下的公式可以計(jì)算出旋轉(zhuǎn)矩陣 和,定標(biāo)算法步驟一,取世界坐標(biāo)系中任一標(biāo)志點(diǎn) ,則可以計(jì)算出其在,像機(jī)坐標(biāo)系中的坐標(biāo),同時(shí)取這個(gè)坐標(biāo)點(diǎn)在圖像上的投影點(diǎn),在實(shí)際像機(jī)系統(tǒng)中， 應(yīng)該 和同號(hào)，如果計(jì)算出兩者異號(hào)，,則 取為負(fù)號(hào)。最后求解,定標(biāo)算法步驟二,對(duì)于一個(gè)標(biāo)志點(diǎn)，可以得到以下的兩個(gè)方程,當(dāng)不存在徑向畸變時(shí)， 。,式變?yōu)?式,定標(biāo)算法步

8、驟二,對(duì)于一系列的標(biāo)志點(diǎn)，則形成了一個(gè)超定的方程組，可以,用線性最小二乘法求出 和 。,當(dāng)存在徑向畸變時(shí)，仍應(yīng)用式 求出 和 的初始值，然后,將求出的 和 連同 作為條件，對(duì)式 進(jìn)行非線性優(yōu)化，,估計(jì)出 、 和 的真實(shí)值。,張正友的平面標(biāo)定方法,張正友的平面標(biāo)定方法,基本原理：,在這里假定模板平面在世界坐標(biāo)系 的平面上 其中， 為攝像機(jī)的內(nèi)參數(shù)矩陣， 為模板平面上點(diǎn)的齊次坐標(biāo)， 為模板平面上點(diǎn)投影到圖象平面上對(duì)應(yīng)點(diǎn)的齊次坐標(biāo)， 和 分別是攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量,其中,根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即 和 ，每幅圖象可以獲得以下兩個(gè)對(duì)內(nèi)參數(shù)矩陣的基本約束,由于攝像機(jī)有5個(gè)未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)目大于等于3時(shí)，就可以線性唯一求解出,張正友的平面標(biāo)定方法,張正友方法所用的平面模板,張正友的平面標(biāo)定方法,算法描述,張正友的平面標(biāo)定方法,打印一張模板并貼在一個(gè)平面上 從不同角度拍攝若干張模板圖象 檢測(cè)出圖象中的特征點(diǎn) 求出攝像機(jī)的內(nèi)參數(shù)和外參數(shù) 求出畸變系數(shù) 優(yōu)化求精,張正友的平面標(biāo)定方法,張正友的平面標(biāo)定方法是介于傳統(tǒng)標(biāo)定方