1、1、引言：什么是攝像機(jī)標(biāo)定、引言：什么是攝像機(jī)標(biāo)定2、攝像機(jī)標(biāo)定方法的分類、攝像機(jī)標(biāo)定方法的分類3、傳統(tǒng)攝像機(jī)標(biāo)定方法、傳統(tǒng)攝像機(jī)標(biāo)定方法攝像機(jī)標(biāo)定攝像機(jī)標(biāo)定攝像機(jī)標(biāo)定的目的：三維重建攝像機(jī)標(biāo)定的目的：三維重建三維重建：攝像機(jī)標(biāo)定的主要目的，也是計(jì)算機(jī)視覺的最三維重建：攝像機(jī)標(biāo)定的主要目的，也是計(jì)算機(jī)視覺的最主要的研究方向主要的研究方向. (Marr 1982)，所謂三維重建就是指從圖象，所謂三維重建就是指從圖象出發(fā)恢復(fù)出空間點(diǎn)三維坐標(biāo)的過程。出發(fā)恢復(fù)出空間點(diǎn)三維坐標(biāo)的過程。攝像機(jī)標(biāo)定：建立攝像機(jī)圖像像素位置與場景點(diǎn)位置之間攝像機(jī)標(biāo)定：建立攝像機(jī)圖像像素位置與場景點(diǎn)位置之間的關(guān)系，其途徑是根據(jù)

2、攝像機(jī)模型，由已知特征點(diǎn)的圖像的關(guān)系，其途徑是根據(jù)攝像機(jī)模型，由已知特征點(diǎn)的圖像坐標(biāo)求解攝像機(jī)的模型參數(shù)。坐標(biāo)求解攝像機(jī)的模型參數(shù)。三維重建的三個關(guān)鍵步驟三維重建的三個關(guān)鍵步驟攝像機(jī)標(biāo)定：單個像機(jī)攝像機(jī)標(biāo)定：單個像機(jī)圖象對應(yīng)點(diǎn)的確定：雙目圖象對應(yīng)點(diǎn)的確定：雙目二圖象間攝像機(jī)運(yùn)動參數(shù)的確定：單個像機(jī)運(yùn)動二圖象間攝像機(jī)運(yùn)動參數(shù)的確定：單個像機(jī)運(yùn)動1、引言、引言O(shè) Ou ux xy yv vcXcZcY1OwXwZwYwOwwwZYX,cccZYX,vu,yx,坐標(biāo)系坐標(biāo)系sincot00dyyvvdxydxxuuddd1Ovu,00,vudydx,圖像數(shù)字化圖像數(shù)字化1O0udydx0vdYdX1

3、100sin/0cot100ddvuuyxvfuffvudyfdxfvu1,1攝像機(jī)的內(nèi)參數(shù)矩陣攝像機(jī)的內(nèi)參數(shù)矩陣 K1100sin/0cot100wwwvuuczyxvffuffffvuztRK 傳統(tǒng)攝像機(jī)標(biāo)定方法 基于交比不變的攝像機(jī)畸變系數(shù)標(biāo)定2、攝相機(jī)標(biāo)定方法分類、攝相機(jī)標(biāo)定方法分類1傳統(tǒng)的攝像機(jī)標(biāo)定方法傳統(tǒng)的攝像機(jī)標(biāo)定方法特點(diǎn)特點(diǎn)利用已知的景物結(jié)構(gòu)信息。常用到標(biāo)定塊。利用已知的景物結(jié)構(gòu)信息。常用到標(biāo)定塊。1傳統(tǒng)的攝像機(jī)標(biāo)定方法傳統(tǒng)的攝像機(jī)標(biāo)定方法優(yōu)點(diǎn)優(yōu)點(diǎn) 可以使用于任意的攝像機(jī)模型，標(biāo)定精度高可以使用于任意的攝像機(jī)模型，標(biāo)定精度高缺乏缺乏 標(biāo)定過程復(fù)雜，需要高精度的已知結(jié)構(gòu)信息。標(biāo)定

4、過程復(fù)雜，需要高精度的已知結(jié)構(gòu)信息。 在實(shí)際應(yīng)用中很多情況下無法使用標(biāo)定塊。在實(shí)際應(yīng)用中很多情況下無法使用標(biāo)定塊。 2基于交比不變的攝像機(jī)畸變系數(shù)標(biāo)定基于交比不變的攝像機(jī)畸變系數(shù)標(biāo)定 特點(diǎn)：將畸變參數(shù)單獨(dú)進(jìn)行標(biāo)定 優(yōu)點(diǎn)：算法簡單，與其它內(nèi)外部參數(shù)分離 缺陷：誤差受樣本點(diǎn)的影響3、攝像機(jī)傳統(tǒng)標(biāo)定方法、攝像機(jī)傳統(tǒng)標(biāo)定方法3.1、DLT方法方法3.2、RAC方法方法3.3、張正友的平面標(biāo)定方法、張正友的平面標(biāo)定方法(ICCV, 2019)Abdal-AzizAbdal-Aziz和和KararaKarara于于7070年代初提出了直接線性變年代初提出了直接線性變換像機(jī)定標(biāo)的方法，他們從攝影測量學(xué)的角度

5、深入換像機(jī)定標(biāo)的方法，他們從攝影測量學(xué)的角度深入的研究了像機(jī)圖像和環(huán)境物體之間的關(guān)系，建立了的研究了像機(jī)圖像和環(huán)境物體之間的關(guān)系，建立了像機(jī)成像幾何的線性模型，這種線性模型參數(shù)的估像機(jī)成像幾何的線性模型，這種線性模型參數(shù)的估計(jì)完全可以由線性方程的求解來實(shí)現(xiàn)。計(jì)完全可以由線性方程的求解來實(shí)現(xiàn)。 3.1、直接線性變換、直接線性變換DLT變換）變換） 直接線性變換是將像點(diǎn)和物點(diǎn)的成像幾何關(guān)系在齊次坐標(biāo)下直接線性變換是將像點(diǎn)和物點(diǎn)的成像幾何關(guān)系在齊次坐標(biāo)下寫成透視投影矩陣的形式：寫成透視投影矩陣的形式： DLTDLT變換變換11143wwwwwwZYXZYXvusPtRK其中其中 為圖像坐標(biāo)系下的點(diǎn)的

6、齊次坐標(biāo)，為圖像坐標(biāo)系下的點(diǎn)的齊次坐標(biāo)， 為為世界坐標(biāo)系下的空間點(diǎn)的歐氏坐標(biāo)，世界坐標(biāo)系下的空間點(diǎn)的歐氏坐標(biāo)， 為為 的透視投影的透視投影矩矩陣，陣， 為未知尺度因子。為未知尺度因子。 1 ,vuwwwZYX,Ps43DLTDLT變換變換0034333231242322213433323114131211vpvZpvYpvXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwww消去消去 ，可以得到方程組，可以得到方程組: :s34333231242322211413121143pppppppppppppijP343332312423222114131211pZpYpXps

7、pZpYpXpsvpZpYpXpsuwwwwwwwww當(dāng)已知當(dāng)已知 個空間點(diǎn)和對應(yīng)的圖像上的點(diǎn)時(shí)，可以得到一個個空間點(diǎn)和對應(yīng)的圖像上的點(diǎn)時(shí)，可以得到一個含有含有2 2* * 個方程的方程組：個方程的方程組： DLTDLT變換變換0AL其中其中 為為 的矩陣，的矩陣， 為透視投影矩陣元素組成的為透視投影矩陣元素組成的向量向量 。 12*2NLATpppppppppppp343332312423222114131211,NN0034333231242322213433323114131211vpvZpvYpvXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwwwDLTDLT

8、變換變換 像機(jī)定標(biāo)的任務(wù)就是尋找合適的 ，使得 為最小，即 | ALL|minALL給出約束：給出約束： 134pBCCCLTT1)(為為 的前的前1111個元素組成的向量，個元素組成的向量， 為為 前前1111列組成的矩列組成的矩陣，陣， 為為 第第1212列組成的向量。列組成的向量。LCABALL向量的比例有意義向量的比例有意義0034333231242322213433323114131211vpvZpvYpvXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwww攝像機(jī)內(nèi)外參數(shù)求解攝像機(jī)內(nèi)外參數(shù)求解100001000000133323123222113121100

9、333231242322211413121134zyxyxtrrrtrrrtrrrvupppppppppppp3334rpp3341pp是正交單位矩陣的第是正交單位矩陣的第三行，行列式為三行，行列式為1zTzyyTTyzxxTTxzTyTxTyxTTTtrtvtrvrtutrurtrtrtrvupppppp3030203013210032421413410010000001攝像機(jī)內(nèi)外參數(shù)求解攝像機(jī)內(nèi)外參數(shù)求解zTzyyTTyzxxTTxzTyTxTyxTTTtrtvtrvrtutrurtrtrtrvupppppp30302030132100324214134100100000013223431

10、234322343302031234330103343)()(ppppppppprrvrvppprruruppryxTTTyTTTx)()()()(024340143434302341301341vpptupptmtpvpprpuppryyxxzyxDLTDLT變換變換134p是否合理？是否合理？ 約束約束 不具有旋轉(zhuǎn)和平移的不變性不具有旋轉(zhuǎn)和平移的不變性, ,解將隨著世解將隨著世界坐標(biāo)系的選取不同而變化界坐標(biāo)系的選取不同而變化. .134p證明：證明：世界坐標(biāo)系作剛性坐標(biāo)變換世界坐標(biāo)系作剛性坐標(biāo)變換10tRPP那么那么3433323213134ptptptpp顯然在一般的情況下顯然在一般的情

11、況下3434pp另一個約束另一個約束 具有旋轉(zhuǎn)和平移的不變性具有旋轉(zhuǎn)和平移的不變性1233232231pppDLTDLT變換變換1coscoscos322212由1321R3P3R2R312111,rrr332313,rrr322212,rrr),(333231ppp向量向量 , , , , 是兩兩是兩兩垂直的單位向量垂直的單位向量1R2R3R3.2、R. Tsai 的的 RAC的定標(biāo)算法的定標(biāo)算法 80 80年代中期年代中期TsaiTsai提出的基于提出的基于RACRAC的定標(biāo)方法是計(jì)的定標(biāo)方法是計(jì)算機(jī)視覺像機(jī)定標(biāo)方面的一項(xiàng)重要工作，該方法的算機(jī)視覺像機(jī)定標(biāo)方面的一項(xiàng)重要工作，該方法的核心是

12、利用徑向一致約束來求解除核心是利用徑向一致約束來求解除 （像機(jī)光軸方（像機(jī)光軸方向的平移外的其它像機(jī)外參數(shù)，然后再求解像機(jī)向的平移外的其它像機(jī)外參數(shù)，然后再求解像機(jī)的其它參數(shù)?；诘钠渌鼌?shù)?；赗ACRAC方法的最大好處是它所使用的方法的最大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性，因此其定標(biāo)過程快捷，準(zhǔn)確。雜性，因此其定標(biāo)過程快捷，準(zhǔn)確。像機(jī)模型 徑向一致約束 定標(biāo)算法 理想圖像坐標(biāo)到數(shù)字圖像坐標(biāo)的變換理想圖像坐標(biāo)到數(shù)字圖像坐標(biāo)的變換（只考慮徑向偏差）（只考慮徑向偏差） 0221002210)(1)()(1)(vvvukv

13、vuuvukuudddddd像機(jī)模型(ud, vd)為一個點(diǎn)的數(shù)字化實(shí)際坐標(biāo)，（為一個點(diǎn)的數(shù)字化實(shí)際坐標(biāo)，（u, v為理想的數(shù)字化坐標(biāo)，（為理想的數(shù)字化坐標(biāo)，（u0, v0為畸變中為畸變中心心（u0, v0）(ud, vd)（u, v）徑向一致約束 在圖像平面上，點(diǎn)在圖像平面上，點(diǎn) ， 共線，與共線，與直線直線 平行或斜率相等平行或斜率相等.理想透視投影成像坐標(biāo)理想透視投影成像坐標(biāo)),(uuYXp真實(shí)透視投影成像坐標(biāo)真實(shí)透視投影成像坐標(biāo)),(ddYXp攝像機(jī)中坐標(biāo)攝像機(jī)中坐標(biāo)),(zyxp ),(uuYXp),(ddYXppo 世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的關(guān)系世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的關(guān)系像機(jī)模

14、型cox ozOwywzwxuvzwwwywwwxwwwTzryrxrzTzryrxryTzryrxrx987654321y由徑向約束由徑向約束ywwwxwwwddTzryrxrTzryrxrYXyx654321移項(xiàng)得：移項(xiàng)得：yddwdwdwxddwdwdwTXrXzrXyrXxTYrYzrYyrYx654321yTdydwydwydwyxdydwydwydwXTrXzTrXyTrXxTTYTrYzTrYyTrYx154321同除以同除以 得：得：dyyyyxyyydwdwdwddwdwdwXTrTrTrTTTrTrTrXzXyXxYYzYyYx/654321寫成矢量形式得：寫成矢量形式得：

15、 1010dxxddydus dXuvd Yv定標(biāo)算法 1.利用徑向一致約束來求解 和 yxTTR,s定標(biāo)步驟定標(biāo)步驟: :2.求解有效焦距 、 方向上的平移T3 和畸變參數(shù) fz1k1,0,0,0,0,00vfusfK123456/xyxyxyxxywidiwidiwididiwidiwidiwididiyyys r Ts rTs rTs TTx Yy Yz YYx Xy Xz XXrTrTrT定標(biāo)算法步驟一1.1.求解像機(jī)外參數(shù)旋轉(zhuǎn)矩陣求解像機(jī)外參數(shù)旋轉(zhuǎn)矩陣 和和 、 方向上的平移和方向上的平移和 Rxyxs 1010dxxddydus dXuvd Yv（1）（2）11,22,33,4,5

16、4,65,76,2221/21212121/25674562221/2456/()()()() | ()xyxyxyx xyyyyyyyyas rT as rT as rT as rTarT arT arTaaaTrTrTrTaaa令由于2221/24562221/2566()1|()yaaaTaaa根據(jù)正交性，即：，則有：2221/2123ys()|xaaaT（3）（4）1111221133144123155456166()/,()/()/,()/(),(),(),yxyxyxyxyxyxxyxxyxyywwwxyywwwxyyrTsrTsrTsrTsrTsrTsrTsrTsrTrTxrxr

17、 yr zTrTrTyr xr yr zTrTrT714825936rrrrrrryy （5） 確定確定 的符號并得到的符號并得到y(tǒng)TxTrr及91假定假定 為正，在標(biāo)定點(diǎn)中任意選取一個點(diǎn)，進(jìn)行如下計(jì)算為正，在標(biāo)定點(diǎn)中任意選取一個點(diǎn)，進(jìn)行如下計(jì)算yT假設(shè)假設(shè)符號為正，否則為負(fù)則符號相同與符號相同且與yddTyYxX,計(jì)算計(jì)算diiiYyfz00() ()idiidizfydy vvwdy vvT21217892456789()(1)()()(1)()wiwiwixdiwiwiwizwiwiwiYdiwiwiwizf rxr yrzTXkr xr yr zTf r xr yr zTYkr xr

18、yr zT定標(biāo)算法步驟二2. 求解求解Tz, f, k（1）（2）()()()()()()()()()()()()acbdbcadacbdbcadacbdbcadxxxxCRxxxxyyyyCRyyyyzzzzCRzzzzXxfzYyfz3.3、基于交比不變的攝像機(jī)畸變系數(shù)標(biāo)定、基于交比不變的攝像機(jī)畸變系數(shù)標(biāo)定 對于空間中同一直線上的四個點(diǎn)：對于空間中同一直線上的四個點(diǎn)：),(),(),(),(dddcccbbbaaazyxDzyxCzyxBzyxA、交比：交比：空間點(diǎn)透空間點(diǎn)透視關(guān)系：視關(guān)系：對于空間四個點(diǎn)對應(yīng)的理想圖像點(diǎn)為：對于空間四個點(diǎn)對應(yīng)的理想圖像點(diǎn)為：),(),(),(),(ddcc

19、bbaaYXYXYXYX、()()()()()()()()acbdbcadacbdbcadXXXXCRXXXXYYYYCRYYYY2221222(1),(1)XXk rrXYYYk r對于空間四個點(diǎn)對應(yīng)的實(shí)際圖像點(diǎn)為：對于空間四個點(diǎn)對應(yīng)的實(shí)際圖像點(diǎn)為：),(),(),(),(ddccbbaaYXYXYXYX、2222212222221222222122222212(1),(1),(1),(1),(1),(1),(1),(1),aaaaaaababbbbbbbbbcccccccccdddddddddXXk rYYk arXYXXk rYYk rrXYXXk rYYk rrXYXXk rYYk r

20、rXY張正友方法 0,YXMcXcZcYvum ,wXwZwYwOO3.4、張正友的平面標(biāo)定方法、張正友的平面標(biāo)定方法張正友方法基本原理：基本原理：110121321YXtrrKYXtrrrKvus 在這里假定模板平面在世界坐標(biāo)系 的平面上 其中， 為攝像機(jī)的內(nèi)參數(shù)矩陣， 為模板平面上點(diǎn)的齊次坐標(biāo)， 為模板平面上點(diǎn)投影到圖象平面上對應(yīng)點(diǎn)的齊次坐標(biāo)， 和 分別是攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量KTvum 1TYXM 1t321rrr0ZH21321trrKhhhH0211hKKhTT212111hKKhhKKhTTTT根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即 和和 ，每，每幅

21、圖象可以獲得以下兩個對內(nèi)參數(shù)矩陣的基本約束幅圖象可以獲得以下兩個對內(nèi)參數(shù)矩陣的基本約束021rrT121 rr由于攝像機(jī)有由于攝像機(jī)有5個未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)個未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)目大于等于目大于等于3時(shí)，就可以線性唯一求解出時(shí)，就可以線性唯一求解出K張正友方法2121111,1hKrhKr張正友方法所用的平面模板張正友方法算法描述張正友方法打印一張模板并貼在一個平面上從不同角度拍攝若干張模板圖象檢測出圖象中的特征點(diǎn)求出攝像機(jī)的內(nèi)參數(shù)和外參數(shù)求出畸變系數(shù)優(yōu)化求精張正友方法張正友方法張正友的平面標(biāo)定方法是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之張正友的平面標(biāo)定方法是介于傳統(tǒng)標(biāo)定

22、方法和自標(biāo)定方法之間的一種方法。它既避免了傳統(tǒng)方法設(shè)備要求高，操作繁瑣間的一種方法。它既避免了傳統(tǒng)方法設(shè)備要求高，操作繁瑣等缺點(diǎn)，又較自標(biāo)定方法精度高，符合辦公、家庭使用的桌等缺點(diǎn)，又較自標(biāo)定方法精度高，符合辦公、家庭使用的桌面視覺系統(tǒng)面視覺系統(tǒng)(DVS)(DVS)的標(biāo)定要求。的標(biāo)定要求。張的方法是需要確定模板上點(diǎn)陣的物理坐標(biāo)以及圖像和模板張的方法是需要確定模板上點(diǎn)陣的物理坐標(biāo)以及圖像和模板之間的點(diǎn)的匹配，這給不熟悉計(jì)算機(jī)視覺的使用者帶來了不之間的點(diǎn)的匹配，這給不熟悉計(jì)算機(jī)視覺的使用者帶來了不便。便。孟胡方法所用的模版3.5、孟曉橋、胡占義的圓標(biāo)定方法、孟曉橋、胡占義的圓標(biāo)定方法孟胡方法 從至

23、少三個不同方位拍攝模板圖象，根據(jù)射影不變性計(jì)算出每幅圖象上的圓環(huán)點(diǎn)像的坐標(biāo)，得到關(guān)于內(nèi)參數(shù)矩陣的至少六個方程，即可解出所有內(nèi)參數(shù)。孟胡方法 計(jì)算圓環(huán)點(diǎn)像的原理：)0 , 1 (i1B模板平面)0 , 1 (i)0 , 1 ( i1AO1B1C2A2B2C無窮遠(yuǎn)直線無窮遠(yuǎn)直線圓環(huán)點(diǎn)為無窮遠(yuǎn)點(diǎn)，它是絕圓環(huán)點(diǎn)為無窮遠(yuǎn)點(diǎn)，它是絕對二次曲線上的一對共軛點(diǎn)對二次曲線上的一對共軛點(diǎn)0, 00232221xxxx(1,i,0,0) (1,-i,0,0) 是一對圓環(huán)點(diǎn)是一對圓環(huán)點(diǎn)孟胡方法在圖像上，兩個圓環(huán)點(diǎn)的圖像 被計(jì)算出，則有：21, mm0111mKKmTT0212mKKmTT0 xxTTxxx),(321

24、x0, 00232221xxxxTTxxx)0 ,()0 ,(321xX3213210)(1xxxKRxxxtRKvu32111xxxRvuK01)1(1vuKKvuT孟胡方法 孟胡的方法與張的方法相比： 過程相似； 所用的模版不同，孟胡的方法基于曲線擬合穩(wěn)定），并且不需要任何匹配，而張的方法基于點(diǎn)，需要匹配模版的點(diǎn)和圖像點(diǎn)。吳等的標(biāo)定方法吳等的標(biāo)定方法 平行圓：同一個平面上的圓、或平行平面上的圓。平行圓：同一個平面上的圓、或平行平面上的圓。 原理：利用攝像機(jī)成像的準(zhǔn)仿射不變性，計(jì)算圖原理：利用攝像機(jī)成像的準(zhǔn)仿射不變性，計(jì)算圖像上二此曲線的交點(diǎn)，得到圓環(huán)點(diǎn)的圖像像上二此曲線的交點(diǎn)，得到圓環(huán)點(diǎn)的

25、圖像21, mm0111mKKmTT0212mKKmTT進(jìn)而：進(jìn)而：3.6、吳等的平行圓標(biāo)定方法、吳等的平行圓標(biāo)定方法該方法從平行圓的最小個數(shù)出發(fā)，基于準(zhǔn)仿射不該方法從平行圓的最小個數(shù)出發(fā)，基于準(zhǔn)仿射不變性，分析了所有可能情況的計(jì)算圓環(huán)點(diǎn)的方變性，分析了所有可能情況的計(jì)算圓環(huán)點(diǎn)的方法法吳等的標(biāo)定方法吳等的標(biāo)定方法a) The concentric caseThe line at infinityb) The inner-tangent caseThe line at infinityThe line at infinityc) The outer-tangent casee) The sepa

26、rate caseThe line at infinityThe line at infinityf) The enclosing but not concentric caseThe line at infinityd) The intersecting case共面分布：共面分布：吳等的標(biāo)定方法吳等的標(biāo)定方法以上可進(jìn)行推廣到非共面的平行圓的情形以上可進(jìn)行推廣到非共面的平行圓的情形1003042.3493772.138502194.5680417. 83835.1409K吳等的標(biāo)定方法吳等的標(biāo)定方法利用利用K重建一個垂直角；重建平行線之間的交角重建一個垂直角；重建平行線之間的交角重建的垂直角

27、重建的垂直角89.28重建的平行角重建的平行角0.0000475吳等的標(biāo)定方法吳等的標(biāo)定方法該方法和以往的基于圓的標(biāo)定方法相比該方法和以往的基于圓的標(biāo)定方法相比:(1). 從最小個數(shù)出發(fā)從最小個數(shù)出發(fā);(2). 計(jì)算圓環(huán)點(diǎn)圖像簡單計(jì)算圓環(huán)點(diǎn)圖像簡單;(3).只需要從擬合的二次曲線出發(fā)只需要從擬合的二次曲線出發(fā), 不需要任何匹配不需要任何匹配, 不需要計(jì)算圓心不需要計(jì)算圓心;(4). 應(yīng)用場合廣泛應(yīng)用場合廣泛, 不僅僅限于平面的情形不僅僅限于平面的情形. 可應(yīng)用可應(yīng)用基于轉(zhuǎn)盤的重構(gòu)?；谵D(zhuǎn)盤的重構(gòu)。H. Wu, Q. Chen, T. Wada, Visual Line Estimation f

28、rom a Single Image of Two Eyes. ICPR (3) 2019. 應(yīng)用于: G. Jiang, L. Quan, H.T. Tsui, Circular motion geometry by minimal 2 points in 4 images, ICCV2019.自動化所一角(1)視線定位視線定位(2)基于轉(zhuǎn)盤的重建基于轉(zhuǎn)盤的重建(3) 車輛機(jī)器車輛機(jī)器人等的定位人等的定位胡占義等的主動視覺標(biāo)定方法 基于平面單應(yīng)矩陣的正交運(yùn)動方法 基于外極點(diǎn)的正交運(yùn)動方法4、主動視覺標(biāo)定方法、主動視覺標(biāo)定方法胡主動視覺標(biāo)定方法 基于平面單應(yīng)矩陣的正交運(yùn)動方法原理 是攝像機(jī)一組

29、正交的平移運(yùn)動，兩個單應(yīng)矩陣： 滿足：)2()1(,tt)(1)1(11KdntKIHT)(1)2(22KdntKIHT0)()()()2()1(221221111TTTTnttndKIHKKIHK胡主動視覺標(biāo)定方法 基于平面單應(yīng)矩陣的正交運(yùn)動方法原理 即： ，其中 五組兩正交運(yùn)動可完全求解5個內(nèi)參數(shù)。 0)()(2211IHCIHT1KKCT胡主動視覺標(biāo)定方法 第1、2幅圖像在第0幅圖像的外極點(diǎn)分別是： 那么：22Kte11Kte111eKt212eKt基于外極點(diǎn)的正交運(yùn)動方法原理012胡主動視覺標(biāo)定方法 基于外極點(diǎn)的正交運(yùn)動方法原理 從而： 五組兩正交運(yùn)動可完全求解5個內(nèi)參數(shù)。012112

30、tteKKe胡主動視覺標(biāo)定方法 這兩種主動視覺標(biāo)定方法與最經(jīng)典的主動視覺標(biāo)定方法馬頌德的三正交運(yùn)動法相比，具有如下優(yōu)點(diǎn)： 照相機(jī)的二正交運(yùn)動比三正交運(yùn)動更容易實(shí)現(xiàn)。 可以求解攝像機(jī)的所有5個內(nèi)參數(shù)，馬頌德的 方法可以求解4個內(nèi)參數(shù)。5.1、預(yù)備知識：、預(yù)備知識： 什么是攝像機(jī)自標(biāo)定什么是攝像機(jī)自標(biāo)定 ？ 為什么要對攝像機(jī)進(jìn)行自標(biāo)定為什么要對攝像機(jī)進(jìn)行自標(biāo)定 ？ 對極幾何對極幾何 5.2、基于、基于Kruppa方程的自標(biāo)定方法方程的自標(biāo)定方法 5.3、基于絕對二次曲面、無窮遠(yuǎn)平面的自標(biāo)定方、基于絕對二次曲面、無窮遠(yuǎn)平面的自標(biāo)定方法法 5.4、幾種自標(biāo)定方程的關(guān)系、幾種自標(biāo)定方程的關(guān)系5、攝像機(jī)自

31、標(biāo)定方法、攝像機(jī)自標(biāo)定方法攝像機(jī)自標(biāo)定是指不需要標(biāo)定塊，僅僅通過圖象點(diǎn)之間的對應(yīng)關(guān)系對攝像機(jī)進(jìn)行標(biāo)定的過程。什么是自標(biāo)定？什么是自標(biāo)定？為什么要進(jìn)行自標(biāo)定？為什么要進(jìn)行自標(biāo)定？實(shí)際應(yīng)用的需求，主要應(yīng)用場所的轉(zhuǎn)移優(yōu)缺點(diǎn)：優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：靈敏，方便缺陷：精度不太高，魯棒性不足5.1、預(yù)備知識、預(yù)備知識自標(biāo)定的基本假設(shè)及任務(wù)自標(biāo)定的基本假設(shè)及任務(wù)1、假定圖象點(diǎn)之間的對應(yīng)關(guān)系已經(jīng)確定。2、一般來說，認(rèn)為在拍攝不同圖象時(shí)，攝像機(jī)的內(nèi)參數(shù)沒有發(fā)生變化3、所謂的自標(biāo)定，就是要標(biāo)定攝像機(jī)的內(nèi)參數(shù)矩陣K100000vfusfKvu一些預(yù)備知識一些預(yù)備知識1、點(diǎn)的齊次坐標(biāo)、點(diǎn)的齊次坐標(biāo)二個齊次坐標(biāo)如相差一個非零因子

32、，則這二二個齊次坐標(biāo)如相差一個非零因子，則這二個齊次坐標(biāo)相同個齊次坐標(biāo)相同1vuvu2、無窮遠(yuǎn)直線上的點(diǎn)、無窮遠(yuǎn)直線上的點(diǎn)如點(diǎn)如點(diǎn) 為無窮遠(yuǎn)直線上的點(diǎn)，那么為無窮遠(yuǎn)直線上的點(diǎn)，那么 t =0tvu一些預(yù)備知識一些預(yù)備知識3、通過二點(diǎn)的直線、通過二點(diǎn)的直線 假設(shè)假設(shè) 為二圖象點(diǎn)，則通過為二圖象點(diǎn)，則通過該二點(diǎn)的直線的參數(shù)向量為：該二點(diǎn)的直線的參數(shù)向量為：22221211,tvuxtuux21xxL0021xLxLTTLx1x2一些預(yù)備知識一些預(yù)備知識反對稱矩陣反對稱矩陣Anti-symmetric or Skew-Symmetric matrix) 給定向量 ，其對應(yīng)的反對稱矩陣定義為：321a

33、aaa 000121323aaaaaaa則對應(yīng)任意的向量 b, 有 baba一些預(yù)備知識一些預(yù)備知識對偶原理對偶原理假設(shè) C為一非退化的圖象二次曲線，即：0CxxJT0)(,CDetCCT0llT 那么 1C過x 處的切線參數(shù)向量為：CxxJl2那么 , 代入上式可得： lCx121對偶線坐標(biāo)曲線點(diǎn)坐標(biāo)曲線一些預(yù)備知識一些預(yù)備知識l1l2l3l1l2l3對偶曲線示意圖C點(diǎn)坐標(biāo)曲線對偶線坐標(biāo)曲線x1x2x3一些預(yù)備知識一些預(yù)備知識歐幾理得空間下的投影矩陣歐幾理得空間下的投影矩陣如果如果X 為空間某一點(diǎn)，兩攝像機(jī)間的坐標(biāo)變換為：為空間某一點(diǎn)，兩攝像機(jī)間的坐標(biāo)變換為： TRxxrlTRKPIKPEr

34、El0則歐幾理得空間下的兩投影矩陣為： K 為攝像機(jī)的內(nèi)參數(shù)矩陣為攝像機(jī)的內(nèi)參數(shù)矩陣11XPmXPmErrEll其中其中 X為空間點(diǎn)，為空間點(diǎn)，ml, mr 對應(yīng)于對應(yīng)于X 的一對圖象對應(yīng)點(diǎn)的一對圖象對應(yīng)點(diǎn)投影關(guān)系一些預(yù)備知識一些預(yù)備知識對極幾何對極幾何Epipolar Geometry)oIIMomm eel lNn一些預(yù)備知識一些預(yù)備知識基本矩陣的推導(dǎo)及形式基本矩陣的推導(dǎo)及形式 1110, 0)(),(,1,1RKTKFFmmmRKTKmRXTmKTTRXKmKXmXPmXPmTTTTErElF 的秩為的秩為2，F(xiàn)在相差一個常數(shù)因子下是唯一確定的。在相差一個常數(shù)因子下是唯一確定的。F 可以

35、通過可以通過8對圖象對應(yīng)點(diǎn)線性確定。對圖象對應(yīng)點(diǎn)線性確定。一些預(yù)備知識一些預(yù)備知識對極幾何的一些代數(shù)性質(zhì)對極幾何的一些代數(shù)性質(zhì)0FmnT基本矩陣和外極點(diǎn)的關(guān)系基本矩陣和外極點(diǎn)的關(guān)系0, 0eFFeT0)(iTFme所有的外極線都過對應(yīng)的外極點(diǎn)，外極點(diǎn)是光心連線所有的外極線都過對應(yīng)的外極點(diǎn)，外極點(diǎn)是光心連線與圖象平面的交點(diǎn)。對應(yīng)外極線束構(gòu)成一射影變換與圖象平面的交點(diǎn)。對應(yīng)外極線束構(gòu)成一射影變換nFlFmlT假設(shè)假設(shè) m位于極線位于極線l上，上，n 位于極線位于極線l上，上，m, n不一不一定是對應(yīng)點(diǎn)定是對應(yīng)點(diǎn),下述關(guān)系仍然成立：下述關(guān)系仍然成立：一些預(yù)備知識一些預(yù)備知識emnl0FmnT0Fmm

36、TnmFml一些預(yù)備知識一些預(yù)備知識中心投影下，如果中心投影下，如果射影平面與空間曲射影平面與空間曲線相切，則射影平線相切，則射影平面與圖象平面的交面與圖象平面的交線必與空間曲線在線必與空間曲線在圖象平面上的投影圖象平面上的投影曲線相切曲線相切圖象平面空間曲線一些預(yù)備知識一些預(yù)備知識絕對二次曲線絕對二次曲線 攝像機(jī)自標(biāo)定的參考標(biāo)定物攝像機(jī)自標(biāo)定的參考標(biāo)定物絕對二次曲線是無窮遠(yuǎn)平面上的一條二次曲線，它的絕對二次曲線是無窮遠(yuǎn)平面上的一條二次曲線，它的數(shù)學(xué)定義為：數(shù)學(xué)定義為：TTzyxXtXX00一些預(yù)備知識一些預(yù)備知識絕對二次曲線在圖象上投影的性質(zhì)絕對二次曲線在圖象上投影的性質(zhì)絕對二次曲線的象僅與攝像機(jī)的內(nèi)參數(shù)有關(guān)，與攝絕對二次曲線的象僅與攝像機(jī)的內(nèi)參數(shù)有關(guān)，與攝像機(jī)的運(yùn)動參數(shù)無關(guān)像機(jī)的運(yùn)動參數(shù)無關(guān)mKRXXTRKmT1,0從定義 XTX0 知，01mK