0機器人視覺第二章相機成像和投影理論1圖像函數(shù)數(shù)字圖像是二維數(shù)組2圖像函數(shù)圖像是定義在CCD陣列下的離散函數(shù)vu1,43,22,1154601黑白相機（灰度值）255,50,5013,200,34180,240,21彩色相機（RGB值）12005612322深度相機（深度值）3圖像函數(shù)圖像是定義在CCD陣列下的離散函數(shù)I:(u,v)[0,W-1][0,H-1]

q

RNq=I(u,v)4圖像函數(shù)圖像是定義在CCD陣列下的離散函數(shù)I:(u,v)[0,W-1][0,H-1]

q

RNq=I(x)5圖像函數(shù)圖像是定義在CCD陣列下的離散函數(shù)像素的位置，涵蓋了幾何信息同一個物理世界的點，成像到不同圖像位置，能夠反映空間關系像素的取值，涵蓋了灰度信息同一個物理世界的點，成像到不同圖像位置，對應灰度信息類似6成像原理在3D（物理世界）和2D（圖像）之間建立相機模型表面漫反射無法成像7成像原理在3D（物理世界）和2D（圖像）之間建立相機模型小孔成像原理8相機建模通常在小孔前建立坐標系虛擬坐標系9相機建模通常在小孔前建立坐標系圖像坐標系世界坐標系世界點P=(X,Y,Z)圖像點x10相機建模射影變換方程，二維世界（XZ平面）對一維圖像案例（u軸）Pxf圖像中心坐標系相機坐標系定義1：焦距用圖像坐標系表示，f=焦距/CCD一格的X方向寬度定義2：x定義在圖像中心坐標系。定義3：P定義在相機坐標系。11相機建模射影變換方程，二維世界（XZ平面）對一維圖像案例（u軸）P(X,Z)x(u)f圖像中心坐標系相機坐標系

12相機建模射影變換方程，同理對YZ平面-v軸

P(Y,Z)x(v)f圖像中心坐標系相機坐標系13相機建模射影變換方程，三維世界對二維圖像平面

14相機建模射影變換方程，三維世界對二維圖像平面CCD像素為矩形X

方向一格的寬度和Y

方向一個的寬度不同

15相機建模射影變換方程，三維世界對二維圖像平面圖像坐標系沒有定義在中心，CCD中心也不可能對準光心用????，????表示圖像坐標系下的光心

16相機建模射影變換方程，三維世界對二維圖像平面實際世界坐標系中心不在相機中心引入R，t表示實際世界坐標和相機中心之間的位姿

17相機模型完整相機模型內參矩陣K

外參矩陣T18相機模型鏡頭畸變19相機模型鏡頭畸變

20相機標定將內參矩陣K和畸變參數(shù)合稱為相機的內參，如何獲得？21相機標定將內參矩陣K和畸變參數(shù)合稱為相機的內參，如何獲得？相機標定，借助外部已知尺寸的物體，解算出內參張正友標定法22相機標定采用棋盤格作為已知尺寸的物體，利用平面特性方便求解棋盤格的角點檢測相對簡單，可靠性高世界坐標系23相機標定在棋盤格確定的世界坐標系下，得到多個位姿相機的觀測通過采集多張不同位姿的標定板圖像實現(xiàn)24相機標定在棋盤格確定的世界坐標系下，得到多個位姿相機的觀測考慮到世界坐標系下棋盤格點的第三個元素是0，存在H有8個自由度，可以用4個點進行求解

25相機標定每張圖片存在一個各自的H，可以分解為如下形式構造出如下的方程

26相機標定利用旋轉矩陣的正交特性，消去尺度因子，轉化為如下的方程B有對稱性，且2個元素為0通過該方程，可以用所有的H，借助最小二乘解得B的5個元素

27相機標定從B恢復出內參中的4個元素和1個尺度因子

28相機標定從B恢復出內參中的4個元素和1個尺度因子解得內參矩陣K

29相機標定由該方程恢復出所有的外參矩陣QED，得到了相機的內參，和所有圖片的相機外參

30相機標定利用解得的外參和內參將棋盤格的點投影到圖像，仍然有誤差，兩個原因分步求解有累積誤差沒有考慮畸變參數(shù)考慮包含畸變的相機模型，一個非線性方程，自變量為外參和內參，因變量為棋盤格點在圖像中的位置，并受到噪聲的干擾

31相機標定直接優(yōu)化非線性方程，減少誤差，提高自變量，也就是內參和外參的精度數(shù)值優(yōu)化，如高斯牛頓法，用上一步的結果作為初值

32相機標定直接優(yōu)化非線性方程，減少誤差，提高自變量，也就是內參和外參的精度數(shù)值優(yōu)化，如高斯牛頓法，用上一步的結果作為初值

33相機標定有現(xiàn)成工具箱，OpenCV34外參應用基于指定尺寸平面，可以估計出平面和相機的外參，也就是相機在世界坐標系下的位姿世界坐標系相機坐標系35外參應用基于指定尺寸平面，可以估計出平面和相機的外參，也就是相機在世界坐標系下的位姿如果在世界坐標系下，增加一個虛擬點，可以計算出在圖像中的成像世界坐標系相機坐標系36外參應用基于指定尺寸平面，可以估計出平面和相機的外參，也就是相機在世界坐標系下的位姿如果在世界坐標系下，增加一個虛擬點，可以計算出在圖像中的成像那么很多世界坐標系下的虛擬點？？？世界坐標系相機坐標系37外參應用38外參應用基于指定尺寸平面，可以估計出平面和相機的外參，也就是相機在世界坐標系下的位姿如果在世界坐標系下，增加一個虛擬點，可以計算出在圖像中的成像那么很多世界坐標系下的虛擬點如果是一段運動的點云？？？39外參應用40降維過程相機模型連接了世界坐標系中一點和圖像中一點三維到二維，Yes二維到三維，No成像是一個降維過程41降維過程降維損失，三維點到二維點，二維點對應了一條三維點到光心的射線42降維過程降維損失，三維點到二維點，二維點對應了一條三維點到光心的射線產(chǎn)生視覺錯覺的原因之一為什么在一般生活中，人不容易產(chǎn)生錯覺？43降維過程降維損失，三維點到二維點，二維點對應了一條三維點到光心的射線產(chǎn)生視覺錯覺的原因之一為什么在一般生活中，人不容易產(chǎn)生錯覺？能夠識別物體的語義，知道（至少大致）物體的三維信息是否可以根據(jù)已知物體的尺寸，測量未知物體的大??？44平面幾何平面上一條線過一個點的直線方程平面上兩個點，過各自的直線集合同時過兩點的直線

45平面幾何幾何解釋，兩個點對應的兩條射線構成一個過光心和兩個點的面面的法向量垂直于面上的直線，包括面和相平面的交線，即圖上的直線46平面幾何平面上兩條直線過同一個點交點可以表示為

47平面幾何幾何解釋，兩條線對應兩個過光心的面兩個面交于一線，并且該線過光心，該線與相平面的交點，即為圖上的點48平面幾何圖像中的點和線之間存在對偶關系，方便做運算49平面幾何無數(shù)種桌面能夠生成四個點人對桌子的識別，本質是在無數(shù)種桌面中選擇了存在兩對平行關系的桌面50平面幾何無數(shù)種桌面能夠生成四個點人對桌子的識別，本質是在無數(shù)種桌面中選擇了存在兩對平行關系的桌面通過一些列對平面的認知，以及平行和平面關系，可以構建三維byCornellUniversityCS567051平面幾何52平面幾何無數(shù)種桌面能夠生成四個點人對桌子的識別，本質是在無數(shù)種桌面中選擇了存在兩對平行關系的桌面通過一些列對平面的認知，以及平行和平面關系，可以構建三維三維中的平行關系，在圖像中相交53消失點理論空間中一條不經(jīng)過光心的直線，可以表示為當直線上一點趨向于無窮

54消失點理論無窮遠點在圖像上的成像位置是通過光心的射線，與該直線平行，該點稱為消失點

55消失點理論無窮遠點在圖像上的成像位置是通過光心的射線，與該直線平行，該點稱為消失點所有空間中的點，以同一方向趨于無窮的射線，在圖像中交于同一消失點形成了近大遠小的效果56消失點理論不同方向的兩條射線會導致兩個消失點地面上兩條不平行的線，會形成兩個消失點，兩個消失點形成的線？57消失點理論不同方向的兩條射線會導致兩個消失點地面上兩條不平行的線，會形成兩個消失點，兩個消失點形成的線？拍照形成地平線的原因58消失點理論平行關系是人類測量大小的重要線索，也是引起錯覺的來源byCornellUniversityCS567059視覺測量平行關系是人類測量大小的重要線索，也是視覺測量方法的基礎60視覺測量平行關系是人類測量大小的重要線索，也是視覺測量方法的基礎簡化為二維問題，CD是一把尺，或已知長度的參照物61視覺測量平行關系是人類測量大小的重要線索，也是視覺測量方法的基礎簡化為二維問題，CD是一把尺，或已知長度的參照物

消失點V62視覺測量平行關系是人類測量大小的重要線索，也是視覺測量方法的基礎簡化為二維問題，CD是一把尺，或已知長度的參照物

消失點V

F63視覺測量平行關系是人類測量大小的重要線索，也是視覺測量方法的基礎簡化為二維問題，CD是一把尺，或已知長度的參照物通過F點，可以算出DF與CD的比例，進而根據(jù)CD的長度算出DF，得到AB的長度64視覺測量平行關系是人類測量大小的重要線索，也是視覺測量方法的基礎簡化為二維問題，CD是一把尺，或已知長度的參照