特征跟蹤和光流北京郵電大學這節(jié)課：恢復(fù)運動特征跟蹤提取視覺特征（角點、紋理區(qū)域）并在多個視頻幀上“跟蹤”它們光流從時空圖像亮度變化中恢復(fù)每個像素的運動信息兩個問題，一種配準方法B.LucasandT.Kanade.Aniterativeimageregistrationtechniquewithanapplicationtostereovision.InProceedingsoftheInternationalJointConferenceonArtificialIntelligence,pp.674–679,1981.特征跟蹤可以解決許多問題，例如運動恢復(fù)結(jié)構(gòu)需要匹配點如果運動很小，跟蹤是獲取它們的簡單方法特征跟蹤挑戰(zhàn)找出哪些特征可以跟蹤有效地跨幀跟蹤有些點可能會隨著時間的推移而改變外觀（例如，由于旋轉(zhuǎn)、移動到陰影中等）漂移：隨著外觀模型的更新，小誤差可能會累積點可能會出現(xiàn)或消失：需要能夠添加/刪除跟蹤點特征跟蹤給定兩個連續(xù)幀，估計點的移動Lucas-KanadeTracker的關(guān)鍵假設(shè)亮度恒定性：

同一點的投影在每一幀中看起來都相同小運動：點不會移動太遠空間連貫性：相鄰點的移動情況相似I(x,y,t)I(x,y,t+1)所以：亮度恒定性約束亮度恒定方程：在(x,y,t)處對

I(x+u,y+v,t+1)

進行泰勒展開以線性化右側(cè)：沿x的圖像導數(shù)幀間差異I(x,y,t)I(x,y,t+1)亮度恒定性約束每個像素有多少個方程和未知數(shù)？垂直于梯度（即平行于邊緣）的運動分量無法測量邊緣(u,v)(u',v')梯度(u+u',v+v')如果(u,v)滿足方程，

則(u+u',v+v‘)也滿足方程

一個方程（這是一個標量方程?。瑑蓚€未知數(shù)(u,v)我們可以使用這個方程來恢復(fù)每個像素的運動（u，v）嗎？孔徑問題實際運動孔徑問題感知運動旋轉(zhuǎn)柱錯覺/wiki/Barberpole_illusion旋轉(zhuǎn)柱錯覺/wiki/Barberpole_illusion解決歧義...如何獲得更多關(guān)于像素的約束方程？空間一致性約束

假設(shè)像素的鄰域具有相同的(u,v)如果我們使用5x5窗口，則每個像素有25個方程B.LucasandT.Kanade.Aniterativeimageregistrationtechniquewithanapplicationtostereovision.InProceedingsoftheInternationalJointConferenceonArtificialIntelligence,pp.674–679,1981.解決歧義...最小二乘問題：跨圖像匹配區(qū)塊超定線性方程組求和操作在KxK窗口中進行d的最小二乘解由下式給出可解的條件最優(yōu)(u,v)滿足Lucas-Kanade方程這讓你想起什么了嗎？這個問題什么時候可解？哪些是值得追蹤的特征點？ATA應(yīng)該是可逆的ATA不宜太小ATA的特征值

1和

2不能太小ATA

應(yīng)具備良好的條件

1/

2不宜太大（

1=較大的特征值）解釋特征值使用二階矩矩陣的特征值對圖像點進行分類：1個

2“角點

”

1

和

2較大，

1~2

1和2較小“邊緣”

1>>2“邊緣”

2>>1“平坦”區(qū)域可解的條件Harris角點檢測器的標準最優(yōu)(u,v)滿足Lucas-Kanade方程這讓你想起什么了嗎？這個問題什么時候可解？哪些是值得追蹤的特征點？ATA應(yīng)該是可逆的ATA不宜太小ATA的特征值

1和

2不能太小ATA

應(yīng)具備良好的條件

1/

2不宜太大（

1=較大的特征值）ATA的特征向量和特征值與邊緣方向和大小相關(guān)與強度變化最快方向上的較大特征值點相關(guān)的特征向量另一個特征向量與其正交M=ATA是二階矩矩陣?。℉arris角點探測器……）可解的條件低紋理區(qū)域梯度幅值較小

l1小,l2小邊緣區(qū)域

梯度非常大或非常小

l1大

,l2小復(fù)雜紋理區(qū)域梯度不同，幅度很大

l1大,l2大孔徑問題解決了實際運動孔徑問題解決了感知運動處理較大的運動：迭代優(yōu)化初始化(x',y')=(x,y)計算(u,v)通過將窗口移動(u,v)：x'=x'+u；y'=y'+v；重新計算

It重復(fù)步驟2

-

4直到發(fā)生微小變化對子像素值使用插值第一張圖像中特征塊的二階矩矩陣位移It=I(x',y',t+1)-I(x,y,t)原始(x,y)位置圖像一圖像J圖像1(t)的高斯金字塔圖像2(t+1)的高斯金字塔圖2圖1處理較大的運動：從粗到細的配準運行迭代L-K運行迭代L-K上采樣。。。Shi-Tomasi特征跟蹤器使用二階矩矩陣的特征值找到好的特征（例如，Harris檢測器或最小特征值的閾值）關(guān)鍵思想：要跟蹤的“好”特征是那些可以可靠估計其運動的特征使用Lucas-Kanade逐幀跟蹤這相當于假設(shè)一個幀到幀特征移動的平移模型通過對第一個觀察到的特征實例進行仿射配準來檢查軌跡的一致性仿射模型對于較大位移更準確與第一幀相比有助于最大限度地減少漂移J.ShiandC.Tomasi.GoodFeaturestoTrack.CVPR1994.跟蹤示例J.ShiandC.Tomasi.GoodFeaturestoTrack.CVPR1994.KLT跟蹤總結(jié)找到一個好的跟蹤點（harris角點）使用灰度二階矩矩陣和幀間差異來計算位移迭代并使用從粗到細的搜索來處理較大的運動處理長軌跡時，通過對比已配準的圖像塊與初始圖像塊的外觀特征，檢測并修正發(fā)生漂移的特征點實際應(yīng)用窗口尺寸小窗口對噪聲更敏感，可能會錯過較大的運動（沒有金字塔）大窗口更有可能穿過遮擋邊界（但是速度更慢）15x15至31x31是典型的窗口尺寸加權(quán)窗口通常應(yīng)用權(quán)重以使窗口中心更重要（例如，高斯加權(quán)）為什么不直接進行局部模板匹配呢？慢（需要計算更多的點）不提供子像素對齊（或變得慢得多）即使像素對準也可能不足以防止漂移如果有較大的移動，局部模板匹配可能難以有效跟蹤光流法時空圖像亮度變化的矢量場函數(shù)PicturecourtesyofSelimTemizer-LearningandIntelligentSystems(LIS)Group,MIT運動和感知有時，運動是唯一的信號運動和感知即使“貧乏”的運動數(shù)據(jù)也能喚起強烈的感知G.Johansson,“VisualPerceptionofBiologicalMotionandaModelForItsAnalysis",PerceptionandPsychophysics14,201-211,1973.運動和感知即使“貧乏”的運動數(shù)據(jù)也能喚起強烈的感知G.Johansson,“VisualPerceptionofBiologicalMotionandaModelForItsAnalysis",PerceptionandPsychophysics14,201-211,1973.運動的用途估計3D結(jié)構(gòu)根據(jù)運動線索分割對象學習和跟蹤動態(tài)模型識別事件和活動提高視頻質(zhì)量（運動穩(wěn)定）運動場運動場是3D場景運動到圖像中的投影光流定義：光流是圖像中亮度模式的表觀運動理想情況下，光流與運動場相同需要注意：表觀運動可能是由光照變化引起的，而沒有任何實際的運動例如固定照明下的均勻旋轉(zhuǎn)球體與移動照明下的靜止球體Lucas-Kanade光流法和Lucas-Kanade特征跟蹤相同，但其針對每個像素對于紋理像素效果更好操作可以一次一幀完成，而不是逐像素完成高效多分辨率LucasKanade算法

迭代優(yōu)化迭代Lukas-Kanade算法Kanade方程來估計每個像素的位移使用估計的光流場使I（t）向I（t+1）形變（Warp）-

圖像插值操作重復(fù)直到收斂*FromKhurramHassan-ShafiqueCAP5415ComputerVision2003圖像一圖像J圖像1(t)的高斯金字塔圖像2(t+1)的高斯金字塔圖2圖片1從粗到細的光流估計運行迭代L-K運行迭代L-K形變和上采樣。。。圖像一圖像H圖像1的高斯金字塔圖像2的高斯金字塔圖2圖片1u=10像素u=5像素u=2.5像素u=1.25像素從粗到細的光流估計例子*FromKhurramHassan-ShafiqueCAP5415ComputerVision2003多分辨率配準*FromKhurramHassan-ShafiqueCAP5415ComputerVision2003光流結(jié)果*FromKhurramHassan-ShafiqueCAP5415ComputerVision2003不使用金字塔的L-K光流對于運動較大的區(qū)域跟蹤失敗光流結(jié)果*FromKhurramHassan-ShafiqueCAP5415ComputerVision2003使用金字塔的L-K光流Lucas-Kanade的缺點運動幅度過大可能的解決方法：關(guān)鍵點匹配一個點與其鄰域運動不一致可能的解決方法：基于區(qū)域的匹配亮度恒定性不成立可能的解決方法：基于歸一化相關(guān)性的鄰域搜索概括Lucas、Tomasi、Kanade的主要貢獻特征點跟蹤光流法關(guān)鍵思想通過假設(shè)亮度恒定，截斷泰勒展開可以實現(xiàn)跨幀的快速區(qū)塊匹配由粗到細的求解過程卡爾曼濾波器和貝葉斯濾波器人工智能學院北京郵電大學基于貝葉斯濾波器的目標跟蹤IsardM,BlakeA.CONDENSATION—ConditionalDensityPropagationforVisualTracking[J].InternationalJournalofComputerVision,1998,29(1):5-28.今日主題貝葉斯濾波器卡爾曼濾波器粒子濾波器貝葉斯濾波器在貝葉斯框架下，融合預(yù)測信息與有噪聲的觀測信息實現(xiàn)目標狀態(tài)的估計稱為貝葉斯濾波。其中，預(yù)測信息記錄了目標狀態(tài)的先驗，觀測信息表達了目標狀態(tài)的似然。狀態(tài)與觀測狀態(tài)通常為位置、姿態(tài)、速度、加速度等觀測通常為位置、速度等可測量，但存在噪聲。Source:DerekHoiem貝葉斯濾波器求解的基本步驟

貝葉斯濾波器更新觀測標答Source:DerekHoiem動態(tài)模型<55

>

……動態(tài)模型<56

>動態(tài)模型隱馬爾可夫模型線性高斯模型非線性非高斯模型解碼問題卡爾曼濾波問題粒子濾波問題

……兩個基本假設(shè)

貝葉斯濾波器的遞歸

貝葉斯濾波器的遞歸

貝葉斯濾波算法

濾波結(jié)果：動態(tài)模型<61

>

……動態(tài)模型隱馬爾可夫模型線性高斯模型非線性非高斯模型解碼問題卡爾曼濾波問題粒子濾波問題今日主題貝葉斯濾波器卡爾曼濾波器粒子濾波器動態(tài)模型<63

>動態(tài)模型線性高斯模型非線性非高斯模型卡爾曼濾波問題粒子濾波問題

…卡爾曼濾波器

卡爾曼濾波器(1D)卡爾曼濾波器(1D)特殊情況：1.僅考慮預(yù)測2.僅考慮觀測卡爾曼濾波器(1D)特殊情況：1.僅考慮預(yù)測2.僅考慮觀測卡爾曼濾波器例子：卡爾曼濾波器NextFrame預(yù)測修正更新位置，速度等.觀測真實數(shù)據(jù)來源:DerekHoiem今日主題貝葉斯濾波器卡爾曼濾波器粒子濾波器動態(tài)模型

…動態(tài)模型線性高斯模型非線性非高斯模型卡爾曼濾波問題粒子濾波問題

貝葉斯濾波（回顧）

濾波結(jié)果：重要性采樣

蒙特卡洛采樣

重要性采樣

粒子濾波問題與重要性采樣

重要性采樣粒子濾波

粒子濾波器

此時推導可得

粒子濾波器

此時推導可得

問題：粒子權(quán)重退化粒子濾波器此時

解決方案：重采樣

問題：粒子權(quán)重退化之前粒子濾波算法粒子重采樣IsardM,BlakeA.CONDENSATION—ConditionalDensityPropagationforVisualTracking[J].InternationalJournalofComputerVision,1998,29(1):5-28.重采樣算法粒子濾波跟蹤展示IsardM,BlakeA.CONDENSATION—ConditionalDensityPropagationforVisualTracking[J].InternationalJournalofComputerVision,1998,29(1):5-28.北京郵電大學

人工智能學院

智能科學與技術(shù)中心本課程所涉及的教學內(nèi)容與課件參考了CS231A，感謝CS231A課程團隊在課程建設(shè)方面所做的工作！攝像機幾何攝像機幾何針孔模型&透鏡攝像機幾何其他攝像機模型攝像機幾何針孔模型&透鏡攝像機幾何其他攝像機模型我們?nèi)绾斡涗浭澜?？攝像機設(shè)計想法：將膠片直接放置在物體前方？物體膠片針孔攝像機添加屏障——減少模糊針孔物體膠片隔板fof=焦距o=光圈=針孔=攝像機中心針孔攝像機像平面虛擬像平面針孔f針孔攝像機攝像機坐標系像平面坐標系

f

針孔攝像機

相似三角形法攝像機坐標系像平面坐標系

f

針孔攝像機攝像機坐標系像平面坐標系

針孔攝像機Katelazuka

?物體膠片隔板光圈的尺寸重要嗎？縮小光圈隨著光圈減小，成像效果如何變化？（越來越清晰、越來越暗）如何應(yīng)對到達膠片的光線變少？針孔攝像機image攝像機&透鏡透鏡將多條光線聚焦到膠片上，增加了照片的亮度物體膠片透鏡

增加透鏡！?。ocal

pointf攝像機&透鏡透鏡將光線聚焦到膠片上所有平行于光軸的光線都會會聚到焦點，焦點到透鏡中心的距離稱為焦距。穿過中心的光線的方向不發(fā)生改變物體膠片透鏡fzo-z根據(jù)折射定律:

近軸折射模型物體膠片透鏡

失焦image

透鏡問題：失焦物體膠片透鏡

透鏡將光線聚焦到膠片上物體“聚焦”有特定距離景深透鏡問題：失焦透鏡將光線聚焦到膠片上物體“聚焦”有特定距離景深微距攝像?。?！枕形桶形–徑向畸變:圖像像素點以畸變中心為中心點,沿著徑向產(chǎn)生的位置偏差,從而導致圖像中所成的像發(fā)生形變沒有畸變透鏡問題:徑向畸變產(chǎn)生原因：光線在遠離透鏡中心的地方比靠近中心的地方更加彎曲畸變像點相對于理想像點沿徑向向外偏移,遠離中心畸變像點相對于理想點沿徑向向中心靠攏攝像機幾何針孔模型&透鏡攝像機幾何其他攝像機模型像素，左下角坐標系像平面數(shù)字圖像像平面到像素平面ffxyxcycC’’=[cx,

cy]偏置像素坐標系f

偏置單位變換單位:

k,l:pixel/m

f

:

mf像素坐標系fxyxcycC’’=[cx,

cy]

偏置單位變換單位:

k,l:pixel/m

f

:

m

f像素坐標系fxyxcycC’’=[cx,

cy]

偏置單位變換f

像素坐標系f

xyxcycC’’=[cx,

cy]

圖像點的齊次坐標空間點的齊次坐標E→H齊次坐標H→E

齊次歐式Ph

齊次坐標系中的投影變換

攝像機的投影矩陣f注意：后續(xù)課程中沒有特殊說明，所有坐標均采用齊次坐標表示，因此，不再使用h下標標識。

yxcycC=[cx,

cy]

x

f攝像機偏斜f

攝像機偏斜yxcycC=[cx,

cy]

x

f

攝像機坐標系下的攝像機模型

投影矩陣

攝像機內(nèi)參數(shù)矩陣內(nèi)參數(shù)決定了攝像機坐標系下空間點到圖像點的映射！

f

攝像機坐標系下的攝像機模型

投影矩陣

攝像機內(nèi)參數(shù)矩陣內(nèi)參數(shù)決定了攝像機坐標系下空間點到圖像點的映射！

問題:K有多少個自由度？f

攝像機坐標系下的攝像機模型

投影矩陣

攝像機內(nèi)參數(shù)矩陣內(nèi)參數(shù)決定了攝像機坐標系下空間點到圖像點的映射！

問題:K有多少個自由度？

回答:5DOF

!P

'

M

P

M

規(guī)范化攝像機（一種特殊的攝像機）攝像機坐標系描述三維物體的空間信息是否方便？如何將物體從世界坐標系轉(zhuǎn)到攝像機坐標系？世界坐標系kwOwiwjwfR

,

T齊次坐標系:

攝像機外參數(shù)kwOwiwjwR

,

Tf

世界坐標系到攝像機坐標系轉(zhuǎn)換！

攝像機外參數(shù)

外參數(shù)矩陣kwOwiwjwfR

,

T

齊次坐標系:世界坐標系到攝像機坐標系轉(zhuǎn)換！攝像機幾何

外參矩陣內(nèi)參矩陣kwOwiwjwf完整的攝像機模型！R

,

T投影矩陣問題：各個符號的物理意義及其維度分別是什么？

問題：各個符號的物理意義及其維度分別是什么？

投影矩陣三維點在攝像機坐標系下的齊次坐標三維點在世界坐標系下的齊次坐標攝像機坐標系相對世界坐標系的旋轉(zhuǎn)與平移像素平面上的點的齊次坐標

投影矩陣

投影矩陣

5個攝像機內(nèi)參數(shù)+6個攝像機外參數(shù)=11個自由度！

定理(Faugeras,

1993)點投影為點線投影為線近大遠小角度不再保持平行線相交投影變換的性質(zhì)3D世界中的平行線在圖像中相交于“影消點”攝像機幾何針孔模型&透鏡攝像機幾何其他攝像機模型iwkwOwjwPP’f

透視投影攝像機R

,

Tp’q’r’ORQP透視投影攝像機

當相對場景深度小于其與相機的距離時QPOp’q’r’Q_RR_P_弱透視投影攝像機

π

放大率

mO

p’q’r’Q_RR_QPP_

弱透視投影攝像機πOp’q’r’Q_RR_QP_P投影（透視）弱透視

弱透視投影攝像機

πEE透視

放大率弱透視

弱透視與透視投影攝像機攝像機中心到像平面的距離無限遠時

正交投影攝像機正交投影更多應(yīng)用在建筑設(shè)計(AUTOCAD）或者工業(yè)設(shè)計行業(yè)弱透視投影在數(shù)學方面更簡單當物體較小且較遠時準確，常用于圖像識別任務(wù)透視投影對于3D到2D映射的建模更為準確用于運動恢復(fù)結(jié)構(gòu)或SLAM各種攝像機模型的應(yīng)用場合攝像機幾何針孔模型&透鏡（完）攝像機幾何（完）其他攝像機模型（完）補充知識線性方程組的最小二乘解齊次線性方程組的最小二乘解非線性方程組的最小二乘解補充知識線性方程組的最小二乘解齊次線性方程組的最小二乘解非線性方程組的最小二乘解線性方程組線性方程組的解

線性方程組線性方程組的解

線性方程組線性方程組的解

線性方程組線性方程組的最小二乘解

線性方程組的最小二乘解

線性方程組線性方程組的最小二乘解

線性方程組的最小二乘解

線性方程組線性方程組的最小二乘解

線性方程組的最小二乘解

補充知識線性方程組的最小二乘解齊次線性方程組的最小二乘解非線性方程組的最小二乘解線性方程組齊次線性方程組的解

線性方程組齊次線性方程組的解

線性方程組齊次線性方程組的解

線性方程組齊次線性方程組的最小二乘解

齊次線性方程組的最小二乘解

線性方程組齊次線性方程組的最小二乘解

齊次線性方程組的最小二乘解

線性方程組齊次線性方程組的最小二乘解

齊次線性方程組的最小二乘解

補充知識線性方程組的最小二乘解齊次線性方程組的最小二乘解非線性方程組的最小二乘解非線性方程組的最小二乘解

牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實際相距較遠，可能會很慢估計解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計算一階導矩陣J（雅可比矩陣）,二階導矩陣H（海塞矩陣）L-M算法不用計算H

非線性方程組的最小二乘解

牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實際相距較遠，可能會很慢估計解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計算一階導矩陣J（雅可比矩陣）,二階導矩陣H（海塞矩陣）L-M算法不用計算H

非線性方程組的最小二乘解

牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實際相距較遠，可能會很慢估計解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計算一階導矩陣J（雅可比矩陣）,二階導矩陣H（海塞矩陣）L-M算法不用計算H

補充知識線性方程組的最小二乘解(完）齊次線性方程組的最小二乘解(完）非線性方程組的最小二乘解(完）北京郵電大學

人工智能學院

智能科學與技術(shù)中心本課程所涉及的教學內(nèi)容與課件參考了CS231A，感謝CS231A課程團隊在課程建設(shè)方面所做的工作！攝像機標定補充知識線性方程組的最小二乘解齊次線性方程組的最小二乘解非線性方程組的最好二乘解線性方程組線性方程組的解

線性方程組線性方程組的最小二乘解

線性方程組的最小二乘解

線性方程組齊次線性方程組的解

線性方程組齊次線性方程組的最小二乘解

齊次線性方程組的最小二乘解

非線性方程組的最小二乘解

牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實際相距較遠，可能會很慢估計解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計算一階導矩陣J（雅可比矩陣）,二階導矩陣H（海塞矩陣）L-M算法不用計算H

攝像機標定針孔模型&透鏡攝像機標定問題徑向畸變的攝像機標定攝像機標定針孔模型&透鏡攝像機標定問題徑向畸變的攝像機標定攝像機標定，即求解攝像機內(nèi)、外參數(shù)矩陣?什么是攝像機標定？Source:SilvioSavarese

攝像機內(nèi)、外參數(shù)矩陣描述了三維世界到二維像素的映射關(guān)系?為什么重要？Source:SilvioSavarese

目標：從1張或多張圖像中估算內(nèi)、外參數(shù)矩陣

內(nèi)參數(shù)矩陣外參數(shù)矩陣標定目標投影矩陣

標定問題jCpi標定裝置圖像jCpi標定裝置像素

標定問題圖像問題：攝像機投影矩陣有幾個未知量?像素

問題：攝像機投影矩陣有幾個未知量?像素

11個未知量！問題：求解投影矩陣需要多少對應(yīng)點?像素

11個未知量！

問題：求解投影矩陣需要多少對應(yīng)點?像素

最少6對點對應(yīng)！

11個未知量！

問題：求解投影矩陣需要多少對應(yīng)點?像素

最少6對點對應(yīng)！

11個未知量！實際操作中使用多于六對點來獲得更加魯棒的結(jié)果。

1x44x1已知標定問題

超定齊次線性方程組

未知線性方程組回顧：齊次線性方程組的最小二乘解

超定齊次線性方程組的最小二乘解

標定問題

標定問題

奇異值分解！?。∽钚《私?/p>

標定問題

奇異值分解?。?！最小二乘解

標定問題

奇異值分解?。?！最小二乘解

標定問題

奇異值分解?。。∽钚《私?/p>

內(nèi)參數(shù)外參數(shù)提取攝像機參數(shù)

內(nèi)參數(shù)

內(nèi)參數(shù)

定理(Faugeras,

1993)

內(nèi)參數(shù)

定理(Faugeras,

1993)

外參數(shù)

外參數(shù)

提取攝像機參數(shù)

外參數(shù)

內(nèi)參數(shù)

退化示例攝像機標定針孔模型&透鏡攝像機標定問題徑向畸變的攝像機標定枕形桶形–徑向畸變:圖像像素點以畸變中心為中心點,沿著徑向產(chǎn)生的位置偏差,從而導致圖像中所成的像發(fā)生形變沒有畸變透鏡問題:徑向畸變產(chǎn)生原因：光線在遠離透鏡中心的地方比靠近中心的地方更加彎曲畸變像點相對于理想像點沿徑向向外偏移,遠離中心畸變像點相對于理想點沿徑向向中心靠攏Source:SilvioSavarese

如何建模？徑向畸變圖像放大率隨距光軸距離的增加而減小

建模徑向特性多項式函數(shù)畸變因子

如何建模？

徑向畸變圖像放大率隨距光軸距離的增加而減小

徑向畸變

問題：這是線性方程組嗎？

徑向畸變

問題：這是線性方程組嗎？

徑向畸變不是！標定的一般問題

最小二乘解：牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實際相距較遠，可能會很慢估計解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計算一階導矩陣J（雅可比矩陣）,二階導矩陣H（海塞矩陣）L-M算法不用計算H

畸變因子投影矩陣標定的一般問題

最小二乘解：牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實際相距較遠，可能會很慢估計解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計算一階導矩陣J（雅可比矩陣）,二階導矩陣H（海塞矩陣）L-M算法不用計算H

畸變因子投影矩陣標定的一般問題

最小二乘解：牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實際相距較遠，可能會很慢估計解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計算一階導矩陣J（雅可比矩陣）,二階導矩陣H（海塞矩陣）L-M算法不用計算H

畸變因子投影矩陣標定的一般問題

最小二乘解：牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實際相距較遠，可能會很慢估計解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計算一階導矩陣J（雅可比矩陣）,二階導矩陣H（海塞矩陣）L-M算法不用計算H

畸變因子投影矩陣標定的一般問題

最小二乘解：牛頓法與列文伯格-馬夸爾特法（L-M方法）從初始解開始迭代，若初始解與實際相距較遠，可能會很慢估計解可能是初始解的函數(shù)（由于局部最小值）牛頓法需要計算一階導矩陣J（雅可比矩陣）,二階導矩陣H（海塞矩陣）L-M算法不用計算H

畸變因子投影矩陣求解系統(tǒng)的線性部分以找到近似解,使用該解作為整個系統(tǒng)的初始條件

求解線性部分

求解線性部分

求解線性部分

求解線性部分

牛頓法與列文伯格-馬夸爾特法（L-M方法）求解線性部分攝像機標定針孔模型&透鏡攝像機標定問題（完）徑向畸變的攝像機標定(完）北京郵電大學

人工智能學院

智能科學與技術(shù)中心本課程所涉及的教學內(nèi)容與課件參考了CS231A，感謝CS231A課程團隊在課程建設(shè)方面所做的工作！單視幾何視線

相機標定后…

答：一般情況不能，P可以位于C和p定義的直線上的任何位置。http://www.robots.ox.ac.uk/~vgg/projects/SingleView/models/hut/hutme.wrl從單張圖像恢復(fù)場景結(jié)構(gòu)補充知識2D平面上的變換3D空間中的變換補充知識2D平面上的變換3D空間中的變換2D平面上的歐式變換

等距變換是指保持距離不變的變換：

2D平面上的歐式變換

等距變換是指保持距離不變的變換：2D平面上的歐式變換

等距變換是指保持距離不變的變換：

歐式變換2D平面上的相似變換

均勻伸縮變化：2D平面上的相似變換

均勻伸縮變化：相似變換是指保持圖形相似的變換，可由縮放變換與歐式變換的合成

不變量：兩直線的夾角，長度的比值，面積的比值。四個自由度

不變量：平行性不變，面積的比值不變，平行線段長度的比值不變。六個自由度2D平面上的仿射變換仿射變換：

2D平面上的透視變換透視變換：

不變量：四共線點的交比八個自由度補充知識2D平面上的變換3D空間中的變換

3D空間中的歐式變換

不變量：點變換到點，線變換到線；保持點的共線（面）性、線的共面性；保持直線與直線、直線與平面、平面與平面的平行性不變；保持角度不變等七個自由度3D空間中的仿射變換

不變量：保持無窮遠平面不變（無窮遠點變換到無窮遠點），保持直線與直線、直線與平面、平面與平面的平行性不變十二個自由度3D空間中的透視變換

不變量：點變換到點，線變換到線，保持點的共線（面）性、線的共面性十五個自由度補充知識2D平面上的變換（完）3D空間中的變換（完）無窮遠點、無窮遠線與無窮遠平面影消點和影消線單視重構(gòu)單視測量無窮遠點、無窮遠線與無窮遠平面影消點和影消線單視重構(gòu)單視測量

2D平面上的直線

或者

2D平面上的直線交點

證明

注意：此點在歐氏坐標中位于無窮遠處。

2D平面上的無窮遠點

兩條平行直線交點：

證明:

無窮遠線可以認為是平面上線的“方向”的集合

2D平面上的無窮遠直線無窮遠點集位于稱為無窮遠線的一條線上yx

3D空間中的面

z

或者

3D空間中的直線空間中平行線的交點平行線無窮遠點世界

3D空間中的無窮遠點xyz

無窮遠平面平行平面在無窮遠處交于一條公共線，即無窮遠直線；兩條或多條無窮遠直線的集合定義為無窮遠平面

3D空間中的無窮遠平面無窮遠點、無窮遠線與無窮遠平面影消點和影消線單視重構(gòu)單視測量

2D平面上無窮遠點的變換透視仿射無窮遠點？無窮遠點？

點到點的變換公式：

2D平面上直線的變換

結(jié)論：

2D平面上無窮遠線的變換透視仿射

無窮遠線？無窮遠線？

線到線的變換公式：M世界p

平行線無窮遠點

影消點影消點：三維空間中的無窮遠點在圖像平面上的投影點影消點

CM證明:

影消點與直線方向

無窮遠點影消點

為影消點

圖像影消線（視平線）影消線

π

空間中無窮遠線

線到線的變換公式：哪一條是影消線？橙色的線是影消線！影消線例子圖像中兩條直線的交點如果在影消線上;則這兩條線是3D空間中的平行線識別影消線有助于重構(gòu)!人類已證實了這一點這兩條線是否平行？C

π

影消線與平面法向量

證明:

有助于估計相機參數(shù)有助于恢復(fù)三維場景結(jié)構(gòu)上述公式作用:總結(jié)

影消點內(nèi)參數(shù)矩陣直線方向平面法向量內(nèi)參數(shù)矩陣影消線

無窮遠點、無窮遠線與無窮遠平面影消點和影消線單視重構(gòu)單視測量Cd1v2v1d2

x1∞x2∞兩組平行線的夾角與影消點

Cd1v2v1d2

x1∞x2∞

兩組平行線的夾角與影消點

Cd1v2v1d2

x1∞x2∞兩組平行線的夾角與影消點

如果

的性質(zhì)

方形像素

對稱

零傾斜

攝像機內(nèi)參數(shù)矩陣內(nèi)參數(shù)決定了攝像機坐標系下空間點到圖像點的映射！

問題：給定這張圖像有足夠的約束條件去估計K嗎？(K有5自由度)單視圖標定

單視圖標定

v1v2

單視圖標定

v1v2

單視圖標定

v1v2

單視圖標定

v3

v1v2

單視圖標定

v3

K有5自由度

v1v2

單視圖標定

v3給定兩個假設(shè)：零傾斜正方形像素K有5自由度v1v2

單視圖標定

v3給定兩個假設(shè)：零傾斜正方形像素

相機參考系中的場景平面方向單視圖重構(gòu)

C單視圖恢復(fù)攝像機坐標系下的三維場景結(jié)構(gòu)注意：場景的實際比例無法恢復(fù)單視圖重構(gòu)Criminisi&Zisserman,

99http://www.robots.ox.ac.uk/~vgg/projects/SingleView/models/merton/merton.wrl單視圖重構(gòu)例圖手動選擇影消點與影消線；場景先驗信息（點對應(yīng)關(guān)系，線、面幾何信息等等）單視圖重構(gòu)–弊端無窮遠點、無窮遠線與無窮遠平面（完）影消點和影消線（完）單視重構(gòu)（完）單視測量計算機視覺相關(guān)課程視頻、課件及配套學習代碼歡迎訪問www.cv-xueba.club

網(wǎng)站，目前已有如下四門課程：1.計算機視覺基礎(chǔ)2.計算機視覺與深度學習3.計算機視覺之三維重建（精簡版）

4.計算機視覺之三維重建之深入淺出SfM與SLAM核心算法（建設(shè)中）需課外補充學習內(nèi)容（重要）課程后續(xù)三維重建系統(tǒng)的設(shè)計中涉及一些圖像匹配技術(shù)，請訪問www.cv-xueba.club

網(wǎng)站自學A01.《計算機視覺基礎(chǔ)》課程中的如下章節(jié)內(nèi)容：02.卷積03.邊緣提取04.擬合05.Harris角點06.尺度不變區(qū)域與sift特征09.識別任務(wù)與詞袋模型北京郵電大學

人工智能學院

智能科學與技術(shù)中心本課程所涉及的教學內(nèi)容與課件參考了CS231A，感謝CS231A課程團隊在課程建設(shè)方面所做的工作！三維重建基礎(chǔ)與極幾何三維重建基礎(chǔ)極幾何及基礎(chǔ)矩陣基礎(chǔ)矩陣估計今日主題三維重建基礎(chǔ)極幾何及基礎(chǔ)矩陣基礎(chǔ)矩陣估計今日主題為什么困難?從單張圖像恢復(fù)場景幾何OwPp場景標定裝置C攝像機

K單幅視圖2D到3D的映射具有多義性CourtesyslideS.

Lazebnik從單幅視圖恢復(fù)結(jié)構(gòu)困惑否？兩只眼睛……

三角化三角化O1O2

噪聲的存在，兩條直線通常不相交！三角化三角化O1O2

三角化三角化O1O2

三角化三角化O1O2

三角化三角化O1O2

三角化（線性解法）

方程數(shù)4個未知參數(shù)3個超定齊次線性方程組

三角化三角化O1O2

三角化（非線性）

O1O2PP*MP*M’P*

p’p

O1O2PP*MP*M’P*

p’p三角化（非線性）求解：牛頓法與列文伯格-馬夸爾特法（L-M方法）

實際應(yīng)用中三角化O1O2

未知未知

多視圖幾何的關(guān)鍵問題三維重建基礎(chǔ)極幾何及基礎(chǔ)矩陣基礎(chǔ)矩陣估計今日主題極幾何本質(zhì)矩陣基礎(chǔ)矩陣極幾何

極幾何描述了同一場景或者物體的兩個視點圖像間的幾何關(guān)系；

什么是極幾何？

極幾何O1O2

極幾何O1O2

極幾何極平面相交與基線極線相交于極點O1O2

極幾何O1O2

作用：將搜索范圍縮小到對應(yīng)的極線上。

極幾何特例：平行視圖O1O2Pe’pp’euuvv兩幅圖上極點的位置相同，極點稱作展開焦點(focusofexpansion)。極幾何特例2：前向平移（無旋轉(zhuǎn)）O2ee’PO1極幾何約束

極幾何約束

通過極幾何約束，將搜索范圍縮小到對應(yīng)的極線上。極線本質(zhì)矩陣對規(guī)范化攝像機拍攝的兩個視點圖像間的極幾何關(guān)系進行代數(shù)描述；

什么是本質(zhì)矩陣？

極幾何約束——本質(zhì)矩陣O1O2

極幾何約束——本質(zhì)矩陣O1O2

P

'

M

P

M

規(guī)范化投影變換攝像機坐標系下三維點的歐式（非齊次）坐標=圖像點的其次坐標極幾何約束——本質(zhì)矩陣O1O2

三維點的歐式（非齊次）坐標=圖像點的齊次坐標

極幾何約束——本質(zhì)矩陣問題：O1O2

極幾何約束——本質(zhì)矩陣

O1O2

叉乘的矩陣表示極幾何約束——本質(zhì)矩陣O1O2

極幾何約束-本質(zhì)矩陣

O1O2

基礎(chǔ)矩陣對一般的透視攝像機拍攝的兩個視點的圖像間的極幾何關(guān)系進行代數(shù)描述。

什么是基礎(chǔ)矩陣？

極幾何約束——基礎(chǔ)矩陣O1O2

極幾何約束——基礎(chǔ)矩陣O1O2

思路：變換到規(guī)范化攝像機！

極幾何約束——基礎(chǔ)矩陣O1O2

思路：變換到規(guī)范化攝像機！

極幾何約束——基礎(chǔ)矩陣O1O2

極幾何約束——基礎(chǔ)矩陣O1O2

極幾何約束——基礎(chǔ)矩陣

O1O2

基礎(chǔ)矩陣的作用

F刻畫了兩幅圖像的極幾何關(guān)系,即相同場景在不同視圖中的對應(yīng)關(guān)系F包含攝像機內(nèi)參數(shù)信息應(yīng)用:三維重構(gòu)多視圖匹配基礎(chǔ)矩陣小結(jié)三維重建基礎(chǔ)極幾何及基礎(chǔ)矩陣基礎(chǔ)矩陣估計今日主題

八點算法(Longuet-Higgins,

1981)估計FO1O2

F有7個自由度，理論上7個點即可求解F，但計算方法比較復(fù)雜。

選取8組對應(yīng)點

估計F估計F

F?

估計F

SVD最小二乘解

估計F

估計F

估計F尋找F最小化

估計F尋找F最小化

八點算法

W中各個元素的數(shù)值差異過大SVD分解有數(shù)值計算問題八點法存在的問題F?

SVD精度較低，10+的誤差！

歸一化八點法變化之前的坐標系T變化之后的坐標系

歸一化實例歸一化八點算法4. 逆歸一化

2.坐標歸一化：精度高，推薦使用！三維重建基礎(chǔ)（完）極幾何及基礎(chǔ)矩陣（完）基礎(chǔ)矩陣估計（完）今日主題單應(yīng)矩陣補充知識單應(yīng)矩陣——空間平面在兩個攝像機下的投影幾何補充知識：單應(yīng)矩陣

單應(yīng)矩陣推導

證明：單應(yīng)矩陣估計

8自由度的H我們至少需要4對點對應(yīng)，實際遠多于4對點對應(yīng)。單應(yīng)矩陣性質(zhì)

場景結(jié)構(gòu)基礎(chǔ)矩陣表示兩視圖間的對極約束與場景結(jié)構(gòu)無關(guān)，其僅依賴相機內(nèi)、外參數(shù)及相機間的旋轉(zhuǎn)和平移；單應(yīng)矩陣要求場景中的點位于同一個平面；或者是兩個相機之間只有旋轉(zhuǎn)而無平移。約束關(guān)系基礎(chǔ)矩陣建立點和極線的對應(yīng)關(guān)系；單應(yīng)矩陣建立點和點的對應(yīng)。單應(yīng)矩陣（完）補充知識北京郵電大學

人工智能學院

智能科學與技術(shù)中心本課程所涉及的教學內(nèi)容與課件參考了CS231A，感謝CS231A課程團隊在課程建設(shè)方面所做的工作！雙目立體視覺基于平行視圖的雙目立體視覺圖像校正對應(yīng)點搜索今日主題基于平行視圖的雙目立體視覺圖像校正對應(yīng)點搜索今日主題

極幾何特例：平行視圖

極幾何

O1O2

O1O2

極幾何

O1O2

極幾何

這個怎么來的？

O1O2

極幾何

O1O2

極幾何

O1O2

極幾何

O1O2

極幾何

平行視圖的基礎(chǔ)矩陣

平行視圖的基礎(chǔ)矩陣

平行視圖的極幾何

極線為?

平行視圖的極幾何

平行視圖的極幾何

三角測量三角化O1O2

平行視圖的三角測量

平行視圖的三角測量

視差與深度z成反比！

平行視圖的三角測量

視差

/stereo/立體圖像像對視差圖

/深度圖

視差圖

視差原理應(yīng)用

3D電影！視差與深度z成反比！

平行視圖的三角測量

視差

雙目立體視覺系統(tǒng)構(gòu)建的兩個核心問題：1.如何獲得平行視圖？2.如何建立點對應(yīng)關(guān)系？基于平行視圖的雙目立體視覺圖像校正對應(yīng)點搜索今日主題圖像校正

C2C1

圖像校正：令兩圖像“平行”平行視圖的極幾何

圖像校正

五步即可完成！圖像校正

五步即可完成！

圖像校正

五步即可完成！

a)b)c)圖像校正

五步即可完成！RichardHartley，AndrewZisserman,《MultipleViewGeometryinComputerVision》圖像校正

五步即可完成！圖像校正：令兩圖像“平行”

基于平行視圖的雙目立體視覺圖像校正對應(yīng)點搜索今日主題

給定3D點，在左右圖像中找到相應(yīng)觀測值，也稱雙目融合問題

對應(yīng)點問題

對應(yīng)點問題

對應(yīng)點問題——相關(guān)法左圖右圖

相關(guān)匹配

左圖右圖

10010010016018020010010020

四步：窗口中的像素的灰度值發(fā)生劇烈變化亮度/曝光變化匹配度計算:

歸一化相關(guān)匹配

左圖右圖

10010010016018020010010020

歸一化相關(guān)匹配

左圖右圖

10010010016018020010010020

左圖掃描線歸一化相關(guān)函數(shù)示例

右圖

較小的窗口細節(jié)豐富更多噪聲較大的窗口視差圖更平滑、噪聲更少細節(jié)丟失窗口大小=

3窗口大小=

20窗口大小的影響更多例子相關(guān)法標準答案左視圖右視圖存在更好的方法Graphcuts（圖割）Y.Boykov,O.Veksler,andR.Zabih,FastApproximateEnergyMinimizationviaGraphCuts,PAMI2001標準答案透視縮短遮擋OO’OO’相關(guān)法存在的問題為了減少透視縮短和遮擋的影響，希望有更小的

B/z（基線深度比）比值!但是，當B/z小時，測量值的小誤差意味著估算深度的大誤差OO’uu’

ue’OO’uu’

ue’大

B/z比值小B/z比值相關(guān)法存在的問題同質(zhì)區(qū)域不匹配相關(guān)法存在的問題重復(fù)模式相關(guān)法存在的問題遮擋透視縮短基線選擇同質(zhì)區(qū)域重復(fù)性模式對應(yīng)點問題遮擋透視縮短基線選擇同質(zhì)區(qū)域重復(fù)性模式對應(yīng)點問題依然是一個很難的問題！?。≌趽跬敢暱s短基線選擇同質(zhì)區(qū)域重復(fù)性模式引入更多的約束解決對應(yīng)點問題！??！對應(yīng)點問題依然是一個很難的問題?。?！左視圖右視圖違反了唯一性約束唯一性約束一張圖像中的任何點，在另一張圖像中最多只有一個匹配點其他約束唯一性約束一張圖像中的任何點，在另一張圖像中最多只有一個匹配點順序約束/單調(diào)性約束左右視圖中的對應(yīng)點次序一致其他約束唯一性約束一張圖像中的任何點，在另一張圖像中最多只有一個匹配點順序約束/單調(diào)性約束左右視圖中的對應(yīng)點次序一致其他約束違反了順序約束唯一性約束一張圖像中的任何點，在另一張圖像中最多只有一個匹配點順序約束/單調(diào)性約束左右視圖中的對應(yīng)點次序一致平滑性約束視差函數(shù)通常是平滑的（除了遮擋邊界）其他約束ComputerVision:AModernApproach(2ndEdition)基于平行視圖的雙目立體視覺（完）圖像校正（完）對應(yīng)點搜索（完）今日主題北京郵電大學

人工智能學院

智能科學與技術(shù)中心本課程所涉及的教學內(nèi)容與課件參考了CS231A，感謝CS231A課程團隊在課程建設(shè)方面所做的工作！

多視圖幾何（運動恢復(fù)結(jié)構(gòu)SfM）運動恢復(fù)結(jié)構(gòu)問題三種典型的運動恢復(fù)結(jié)構(gòu)任務(wù)歐式結(jié)構(gòu)恢復(fù)（攝像機內(nèi)參數(shù)已知，外參數(shù)未知）仿射結(jié)構(gòu)恢復(fù)（攝像機為仿射相機，內(nèi)、外參數(shù)均未知）透視結(jié)構(gòu)恢復(fù)（攝像機為透視相機，內(nèi)、外參數(shù)均未知）今日主題運動恢復(fù)結(jié)構(gòu)問題三種典型的運動恢復(fù)結(jié)構(gòu)任務(wù)歐式結(jié)構(gòu)恢復(fù)（攝像機內(nèi)參數(shù)已知，外參數(shù)未知）仿射結(jié)構(gòu)恢復(fù)（攝像機為仿射相機，內(nèi)、外參數(shù)均未知）透視結(jié)構(gòu)恢復(fù)（攝像機為透視相機，內(nèi)、外參數(shù)均未知）今日主題CourtesyofOxfordVisualGeometryGroupStructurefromMotion(SfM)運動恢復(fù)結(jié)構(gòu)問題通過三維場景的多張圖象，恢復(fù)出該場景的三維結(jié)構(gòu)信息以及每張圖片對應(yīng)的攝像機參數(shù)建筑場景的增量重構(gòu)Initialpair–2168&CompleteSet62,323points,160

imagesGolparvar-Fard.Pena-Mora,Savarese

2008重構(gòu)場景與攝像機位姿運動恢復(fù)結(jié)構(gòu)問題

結(jié)構(gòu)（structure）且

運動（motion）

因此，該類問題也稱為“運動恢復(fù)結(jié)構(gòu)問題”！運動恢復(fù)結(jié)構(gòu)問題三種典型的運動恢復(fù)結(jié)構(gòu)任務(wù)歐式結(jié)構(gòu)恢復(fù)（攝像機內(nèi)參數(shù)已知，外參數(shù)未知）仿射結(jié)構(gòu)恢復(fù)（攝像機為仿射相機，內(nèi)、外參數(shù)均未知）透視結(jié)構(gòu)恢復(fù)（攝像機為透視相機，內(nèi)、外參數(shù)均未知）今日主題運動恢復(fù)結(jié)構(gòu)問題三種典型的運動恢復(fù)結(jié)構(gòu)任務(wù)歐式結(jié)構(gòu)恢復(fù)（攝像機內(nèi)參數(shù)已知，外參數(shù)未知）仿射結(jié)構(gòu)恢復(fù)（攝像機為仿射相機，內(nèi)、外參數(shù)均未知）透視結(jié)構(gòu)恢復(fù)（攝像機為透視相機，內(nèi)、外參數(shù)均未知）今日主題

歐式結(jié)構(gòu)恢復(fù)問題且

圖像個數(shù)3D點個數(shù)三維重建之三角化

線性法：非線性法：三角化O1O2

R,

T

O1O2

R,

T

問題:

歐式結(jié)構(gòu)恢復(fù)（2視圖）

線性法：非線性法：三角化歐式結(jié)構(gòu)恢復(fù)（2視圖）

問題:

線性法：非線性法：三角化

求解步驟：1.求解基礎(chǔ)矩陣F（歸一化八點法）2.求解本質(zhì)矩陣

3.分解本質(zhì)矩陣4.三角化歐式結(jié)構(gòu)恢復(fù)（2視圖）

問題:

線性法：非線性法：三角化

求解步驟：1.求解基礎(chǔ)矩陣F（歸一化八點法）2.求解本質(zhì)矩陣

3.分解本質(zhì)矩陣4.三角化歐式結(jié)構(gòu)恢復(fù)（2視圖）

問題:

線性法：非線性法：三角化

求解步驟：1.求解基礎(chǔ)矩陣F（歸一化八點法）2.求解本質(zhì)矩陣

3.分解本質(zhì)矩陣4.三角化歐式結(jié)構(gòu)恢復(fù)（2視圖）

問題:

線性法：非線性法：三角化

求解步驟：1.求解基礎(chǔ)矩陣F（歸一化八點法）2.求解本質(zhì)矩陣

3.分解本質(zhì)矩陣4.三角化歐式結(jié)構(gòu)恢復(fù)（2視圖）

問題:

線性法：非線性法：三角化

本質(zhì)矩陣分解

叉乘的矩陣表示本質(zhì)矩陣分解

重要說明：

叉乘的矩陣表示本質(zhì)矩陣分解

定義兩個矩陣：

叉乘的矩陣表示本質(zhì)矩陣分解

定義兩個矩陣：

重要性質(zhì)：相差一個正負號的情況下

叉乘的矩陣表示

本質(zhì)矩陣分解定義兩個矩陣：

重要性質(zhì)：相差一個正負號的情況下

叉乘的矩陣表示本質(zhì)矩陣分解定義兩個矩陣：

重要性質(zhì)：相差一個正負號的情況下

不考慮符號、尺度

叉乘的矩陣表示本質(zhì)矩陣分解

本質(zhì)矩陣分解

SVD分解

本質(zhì)矩陣分解

SVD分解比較

同理：

本質(zhì)矩陣分解

本質(zhì)矩陣分解

選擇一個點三角化，正確的一組解能保證該點在兩個攝像機的z坐標均為正。對多個點進行三角化，選擇在兩個攝像機系下z坐標均為正的個數(shù)最多的那組R、T。（更魯棒）

（圖片來自于HartleyandZisserman書第260頁）本質(zhì)矩陣分解（總結(jié)）

步驟1：SVD分解

步驟2：步驟3：步驟4：通過重建單個或多個點找出正確解

求解步驟：1.求解基礎(chǔ)矩陣F（歸一化八點法）2.求解本質(zhì)矩陣

3.分解本質(zhì)矩陣4.三角化歐式結(jié)構(gòu)恢復(fù)（2視圖）

問題:

線性法：非線性法：三角化

例子：僅憑下圖能否估計場景的絕對尺度？歐式結(jié)構(gòu)恢復(fù)歧義例子：僅憑下圖能否估計場景的絕對尺度？歐式結(jié)構(gòu)恢復(fù)歧義顯然不能！歐式結(jié)構(gòu)恢復(fù)歧義例子：僅憑下圖能否估計場景的絕對尺度？需要其他先驗信息！歐式結(jié)構(gòu)恢復(fù)歧義R.HartleyandA.Zisserman,MultipleViewGeometryinComputerVision,2ndedition,

2003

歧義：恢復(fù)的結(jié)構(gòu)與真實場景之間相差一個相似變換（旋轉(zhuǎn)，平移，縮放）度量重構(gòu)：恢復(fù)的場景與真實場景之間僅存在相似變換的重構(gòu)。Similarity

代數(shù)方法(N視圖情況)

...增量法！恢復(fù)結(jié)構(gòu)和運動的非線性方法O2重構(gòu)點O1Om

最小化重投影誤差：...捆綁調(diào)整（BundleAdjustment）牛頓法與列文伯格-馬夸爾特法（L-M方法）參數(shù)測量值捆綁調(diào)整（BundleAdjustment）非線性最小化問題

牛頓法與列文伯格-馬夸爾特法（L-M方法）參數(shù)測量值捆綁調(diào)整（BundleAdjustment）非線性最小化問題優(yōu)勢同時處理大量視圖處理丟失的數(shù)據(jù)

牛頓法與列文伯格-馬夸爾特法（L-M方法）參數(shù)測量值捆綁調(diào)整（BundleAdjustment）非線性最小化問題優(yōu)勢同時處理大量視圖處理丟失的數(shù)據(jù)局限性大量參數(shù)的最小化問題需要良好的初始條件

牛頓法與列文伯格-馬夸爾特法（L-M方法）參數(shù)測量值捆綁調(diào)整（BundleAdjustment）非線性最小化問題優(yōu)勢同時處理大量視圖處理丟失的數(shù)據(jù)局限性大量參數(shù)的最小化問題需要良好的初始條件實際操作：常用作SfM的最后一步，分解或代數(shù)方法可作為優(yōu)化問題的初始解

運動恢復(fù)結(jié)構(gòu)問題（完）典型的運動恢復(fù)結(jié)構(gòu)任務(wù)（完）歐式結(jié)構(gòu)恢復(fù)（攝像機內(nèi)參數(shù)已知，外參數(shù)未知）今日主題補充知識：PnP問題補充知識：PnP問題已知攝像機位姿的視圖已重構(gòu)的3D點PnP求取新的攝像機位姿PnP（Perspective-n-Point）問題：

指通過世界中N個三維點坐標及其在圖像中N個像點坐標,計算出相機或物體位姿的問題。補充知識：PnP與三角化已知攝像機位姿的視圖已重構(gòu)的3D點PnP求取新的攝像機位姿PnP（Perspective-n-Point）問題：

指通過世界中N個三維點坐標及其在圖像中N個像點坐標,計算出相機或物體位姿的問題。已知:n個三維點在2張圖像中的對應(yīng)點的像素坐標2張圖像對應(yīng)的攝像機的內(nèi)參數(shù)矩陣已知

歐式結(jié)構(gòu)恢復(fù)問題（兩視圖）補充知識：PnP問題——P3PP3P：

通過世界中3個三維點與圖像中3個像點,

計算攝像機的位姿。

已知攝像機位姿的視圖已重構(gòu)的3D點PnP求取新的攝像機位姿PnP（Perspective-n-Point）問題：

指通過世界中N個三維點坐標及其在圖像中N個像點坐標,計算出相機或物體位姿的問題。P3P求解攝像機位姿P3P：

通過世界中的3個特征點與圖像成像中的3個像點,獲得相機位姿。

P3P求解攝像機位姿P3P：

通過世界中的3個特征點與圖像成像中的3個像點,獲得相機位姿。

P3P求解攝像機位姿P3P：

通過世界中的3個特征點與圖像成像中的3個像點,獲得相機位姿。

P3P求解攝像機位姿P3P：

通過世界中的3個特征點與圖像成像中的3個像點,獲得相機位姿。

P3P求解攝像機位姿P3P：

通過世界中的3個特征點與圖像成像中的3個像點,獲得相機位姿。

P3P求解攝像機位姿P3P：

通過世界中的3個特征點與圖像成像中的3個像點,獲得相機位姿。

北京郵電大學

人工智能學院

智能科學與技術(shù)中心本課程所涉及的教學內(nèi)容與課件參考了CS231A，感謝CS231A課程團隊在課程建設(shè)方面所做的工作！運動恢復(fù)結(jié)構(gòu)(SfM)系統(tǒng)解析——以O(shè)PENMVG為例單應(yīng)矩陣捆綁調(diào)整(BA)PnP與P3P回顧單應(yīng)矩陣捆綁調(diào)整(BA)PnP與P3P回顧單應(yīng)矩陣——空間平面在兩個攝像機下的投影幾何回顧：單應(yīng)矩陣

回顧：單應(yīng)矩陣

結(jié)論：平面π的單應(yīng)矩陣為回顧：單應(yīng)矩陣估計

8自由度的H我們至少需要4對點對應(yīng)，實際遠多于4對點對應(yīng)。回顧：本質(zhì)矩陣與單應(yīng)矩陣區(qū)別

場景結(jié)構(gòu)本質(zhì)矩陣：描述規(guī)范化攝像機下兩視圖間的對極約束與場景結(jié)構(gòu)無關(guān)，其僅依賴相機間的旋轉(zhuǎn)和平移；基礎(chǔ)矩陣：描述兩視圖間的對極約束與場景結(jié)構(gòu)無關(guān)，其僅依賴相機內(nèi)、外參數(shù)及相機間的旋轉(zhuǎn)和平移；單應(yīng)矩陣：要求場景中的點位于同一個平面；或者是兩個相機之間只有旋轉(zhuǎn)而無平移。約束關(guān)系本質(zhì)矩陣：建立規(guī)范化攝像機下點和極線的對應(yīng)關(guān)系；基礎(chǔ)矩陣：建立點和極線的對應(yīng)關(guān)系；單應(yīng)矩陣：建立點和點的對應(yīng)。

本質(zhì)矩陣基礎(chǔ)矩陣單應(yīng)矩陣捆綁調(diào)整(BA)PnP與P3P回顧恢復(fù)結(jié)構(gòu)和運動的非線性方法O2重構(gòu)點O1Om

最小化重投影誤差：...回顧：捆綁調(diào)整（BundleAdjustment）牛頓法與