魯鵬北京郵電大學(xué)

人工智能學(xué)院

智能科學(xué)與技術(shù)中心本課程所涉及的教學(xué)內(nèi)容與課件參考了CS231A，感謝CS231A課程團(tuán)隊(duì)在課程建設(shè)方面所做的工作！攝像機(jī)幾何攝像機(jī)幾何針孔模型&透鏡攝像機(jī)幾何其他攝像機(jī)模型攝像機(jī)幾何針孔模型&透鏡攝像機(jī)幾何其他攝像機(jī)模型我們?nèi)绾斡涗浭澜?？攝像機(jī)設(shè)計(jì)想法：將膠片直接放置在物體前方？物體膠片針孔攝像機(jī)添加屏障——減少模糊針孔物體膠片隔板fof=焦距o=光圈=針孔=攝像機(jī)中心針孔攝像機(jī)像平面虛擬像平面針孔f針孔攝像機(jī)攝像機(jī)坐標(biāo)系像平面坐標(biāo)系

f

針孔攝像機(jī)

相似三角形法攝像機(jī)坐標(biāo)系像平面坐標(biāo)系

f

針孔攝像機(jī)攝像機(jī)坐標(biāo)系像平面坐標(biāo)系

針孔攝像機(jī)Katelazuka

?物體膠片隔板光圈的尺寸重要嗎？縮小光圈隨著光圈減小，成像效果如何變化？（越來越清晰、越來越暗）如何應(yīng)對(duì)到達(dá)膠片的光線變少？針孔攝像機(jī)image攝像機(jī)&透鏡透鏡將多條光線聚焦到膠片上，增加了照片的亮度物體膠片透鏡

增加透鏡?。?！focal

pointf攝像機(jī)&透鏡透鏡將光線聚焦到膠片上所有平行于光軸的光線都會(huì)會(huì)聚到焦點(diǎn)，焦點(diǎn)到透鏡中心的距離稱為焦距。穿過中心的光線的方向不發(fā)生改變物體膠片透鏡fzo-z根據(jù)折射定律:

近軸折射模型物體膠片透鏡

失焦image

透鏡問題：失焦物體膠片透鏡

透鏡將光線聚焦到膠片上物體“聚焦”有特定距離景深透鏡問題：失焦透鏡將光線聚焦到膠片上物體“聚焦”有特定距離景深微距攝像！??！枕形桶形–徑向畸變:圖像像素點(diǎn)以畸變中心為中心點(diǎn),沿著徑向產(chǎn)生的位置偏差,從而導(dǎo)致圖像中所成的像發(fā)生形變沒有畸變透鏡問題:徑向畸變產(chǎn)生原因：光線在遠(yuǎn)離透鏡中心的地方比靠近中心的地方更加彎曲畸變像點(diǎn)相對(duì)于理想像點(diǎn)沿徑向向外偏移,遠(yuǎn)離中心畸變像點(diǎn)相對(duì)于理想點(diǎn)沿徑向向中心靠攏攝像機(jī)幾何針孔模型&透鏡攝像機(jī)幾何其他攝像機(jī)模型像素，左下角坐標(biāo)系像平面數(shù)字圖像像平面到像素平面ffxyxcycC’’=[cx,

cy]偏置像素坐標(biāo)系f

偏置單位變換單位:

k,l:pixel/m

f

:

mf像素坐標(biāo)系fxyxcycC’’=[cx,

cy]

偏置單位變換單位:

k,l:pixel/m

f

:

m

f像素坐標(biāo)系fxyxcycC’’=[cx,

cy]

偏置單位變換f

像素坐標(biāo)系f

xyxcycC’’=[cx,

cy]

圖像點(diǎn)的齊次坐標(biāo)空間點(diǎn)的齊次坐標(biāo)E→H齊次坐標(biāo)H→E

齊次歐式Ph

齊次坐標(biāo)系中的投影變換

攝像機(jī)的投影矩陣f注意：后續(xù)課程中沒有特殊說明，所有坐標(biāo)均采用齊次坐標(biāo)表示，因此，不再使用h下標(biāo)標(biāo)識(shí)。

yxcycC=[cx,

cy]

x

f攝像機(jī)偏斜f

攝像機(jī)偏斜yxcycC=[cx,

cy]

x

f

攝像機(jī)坐標(biāo)系下的攝像機(jī)模型

投影矩陣

攝像機(jī)內(nèi)參數(shù)矩陣內(nèi)參數(shù)決定了攝像機(jī)坐標(biāo)系下空間點(diǎn)到圖像點(diǎn)的映射！

f

攝像機(jī)坐標(biāo)系下的攝像機(jī)模型

投影矩陣

攝像機(jī)內(nèi)參數(shù)矩陣內(nèi)參數(shù)決定了攝像機(jī)坐標(biāo)系下空間點(diǎn)到圖像點(diǎn)的映射！

問題:K有多少個(gè)自由度？f

攝像機(jī)坐標(biāo)系下的攝像機(jī)模型

投影矩陣

攝像機(jī)內(nèi)參數(shù)矩陣內(nèi)參數(shù)決定了攝像機(jī)坐標(biāo)系下空間點(diǎn)到圖像點(diǎn)的映射！

問題:K有多少個(gè)自由度？

回答:5DOF

!P

'

M

P

M

規(guī)范化攝像機(jī)（一種特殊的攝像機(jī)）攝像機(jī)坐標(biāo)系描述三維物體的空間信息是否方便？如何將物體從世界坐標(biāo)系轉(zhuǎn)到攝像機(jī)坐標(biāo)系？世界坐標(biāo)系kwOwiwjwfR

,

T齊次坐標(biāo)系:

攝像機(jī)外參數(shù)kwOwiwjwR

,

Tf

世界坐標(biāo)系到攝像機(jī)坐標(biāo)系轉(zhuǎn)換！

攝像機(jī)外參數(shù)

外參數(shù)矩陣kwOwiwjwfR

,

T

齊次坐標(biāo)系:世界坐標(biāo)系到攝像機(jī)坐標(biāo)系轉(zhuǎn)換！攝像機(jī)幾何

外參矩陣內(nèi)參矩陣kwOwiwjwf完整的攝像機(jī)模型！R

,

T投影矩陣問題：各個(gè)符號(hào)的物理意義及其維度分別是什么？

問題：各個(gè)符號(hào)的物理意義及其維度分別是什么？

投影矩陣三維點(diǎn)在攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)三維點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)攝像機(jī)坐標(biāo)系相對(duì)世界坐標(biāo)系的旋轉(zhuǎn)與平移像素平面上的點(diǎn)的齊次坐標(biāo)

投影矩陣

投影矩陣

5個(gè)攝像機(jī)內(nèi)參數(shù)+6個(gè)攝像機(jī)外參數(shù)=11個(gè)自由度！

定理(Faugeras,

1993)點(diǎn)投影為點(diǎn)線投影為線近大遠(yuǎn)小角度不再保持平行線相交投影變換的性質(zhì)3D世界中的平行線在圖像中相交于“影消點(diǎn)”攝像機(jī)幾何針孔模型&透鏡攝像機(jī)幾何其他攝像機(jī)模型iwkwOwjwPP’f

透視投影攝像機(jī)R

,

Tp’q’r’ORQP透視投影攝像機(jī)

當(dāng)相對(duì)場景深度小于其與相機(jī)的距離時(shí)QPOp’q’r’Q_RR_P_弱透視投影攝像機(jī)

π

放大率

mO

p’q’r’Q_RR_QPP_

弱透視投影攝像機(jī)πOp’q’r’Q_RR_QP_P投影（透視）弱透視

弱透視投影攝像機(jī)

πEE透視

放大率弱透視

弱透視與透視投影攝像機(jī)攝像機(jī)中心到像平面的距離無限遠(yuǎn)時(shí)

正交投影攝像機(jī)正交投影更多應(yīng)用在建筑設(shè)計(jì)(AUTOCAD）或者工業(yè)設(shè)計(jì)行業(yè)弱透視投影在數(shù)學(xué)方面更簡單當(dāng)物體較小且較遠(yuǎn)時(shí)準(zhǔn)確，常用于圖像識(shí)別任務(wù)透視投影對(duì)于3D到2D映射的建模更為準(zhǔn)確用于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)或SLAM各種攝像機(jī)模型的應(yīng)用場合攝像機(jī)幾何針孔模型&透鏡（完）攝像機(jī)幾何（完）其他攝像機(jī)模型（完）補(bǔ)充知識(shí)線性方程組的最小二乘解齊次線性方程組的最小二乘解非線性方程組的最小二乘解補(bǔ)充知識(shí)線性方程組的最小二乘解齊次線性方程組的最小二乘解非線性方程組的最小二乘解線性方程組線性方程組的解

線性方程組線性方程組的解

線性方程組線性方程組的解

線性方程組線性方程組的最小二乘解

線性方程組的最小二乘解

線性方程組線性方程組的最小二乘解

線性方程組的最小二乘解

線性方程組線性方程組的最小二乘解

線性方程組的最小二乘解

補(bǔ)充知識(shí)線性方程組的最小二乘解齊次線性方程組的最小二乘解非線性方程組的最小二乘解線性方程組齊次線性方程組的解

線性方程組齊次線性方程組的解

線性方程組齊次線性方程組的解

線性方程組齊次線性方程組的最小二乘解

齊次線性方程組的最小二乘解

線性方程組齊次線性方程組的最小二乘解

齊次線性方程組的最小二乘解

線性方程組齊次線性方程組的最小二乘解

齊次線性方程組的最小二乘解

補(bǔ)充知識(shí)線性方程組的最小二乘解齊次線性方程組的最小二乘解非線性方程組的最小二乘解非線性方程組的最小二乘解

牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實(shí)際相距較遠(yuǎn)，可能會(huì)很慢估計(jì)解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計(jì)算一階導(dǎo)矩陣J（雅可比矩陣）,二階導(dǎo)矩陣H（海塞矩陣）L-M算法不用計(jì)算H

非線性方程組的最小二乘解

牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實(shí)際相距較遠(yuǎn)，可能會(huì)很慢估計(jì)解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計(jì)算一階導(dǎo)矩陣J（雅可比矩陣）,二階導(dǎo)矩陣H（海塞矩陣）L-M算法不用計(jì)算H

非線性方程組的最小二乘解