魯鵬北京郵電大學

人工智能學院

智能科學與技術中心本課程所涉及的教學內容與課件參考了CS231A，感謝CS231A課程團隊在課程建設方面所做的工作！運動恢復結構(SfM)系統(tǒng)解析——以OPENMVG為例單應矩陣捆綁調整(BA)PnP與P3P回顧單應矩陣捆綁調整(BA)PnP與P3P回顧單應矩陣——空間平面在兩個攝像機下的投影幾何回顧：單應矩陣

回顧：單應矩陣

結論：平面π的單應矩陣為回顧：單應矩陣估計

8自由度的H我們至少需要4對點對應，實際遠多于4對點對應。回顧：本質矩陣與單應矩陣區(qū)別

場景結構本質矩陣：描述規(guī)范化攝像機下兩視圖間的對極約束與場景結構無關，其僅依賴相機間的旋轉和平移；基礎矩陣：描述兩視圖間的對極約束與場景結構無關，其僅依賴相機內、外參數(shù)及相機間的旋轉和平移；單應矩陣：要求場景中的點位于同一個平面；或者是兩個相機之間只有旋轉而無平移。約束關系本質矩陣：建立規(guī)范化攝像機下點和極線的對應關系；基礎矩陣：建立點和極線的對應關系；單應矩陣：建立點和點的對應。

本質矩陣基礎矩陣單應矩陣捆綁調整(BA)PnP與P3P回顧恢復結構和運動的非線性方法O2重構點O1Om

最小化重投影誤差：...回顧：捆綁調整（BundleAdjustment）牛頓法與列文伯格-馬夸爾特法（L-M方法）參數(shù)測量值非線性最小化問題

回顧：捆綁調整（BundleAdjustment）牛頓法與列文伯格-馬夸爾特法（L-M方法）參數(shù)測量值非線性最小化問題優(yōu)勢同時處理大量視圖處理丟失的數(shù)據(jù)

回顧：捆綁調整（BundleAdjustment）牛頓法與列文伯格-馬夸爾特法（L-M方法）參數(shù)測量值非線性最小化問題優(yōu)勢同時處理大量視圖處理丟失的數(shù)據(jù)局限性大量參數(shù)的最小化問題需要良好的初始條件

回顧：捆綁調整（BundleAdjustment）牛頓法與列文伯格-馬夸爾特法（L-M方法）參數(shù)測量值回顧：捆綁調整（BundleAdjustment）非線性最小化問題優(yōu)勢同時處理大量視圖處理丟失的數(shù)據(jù)局限性大量參數(shù)的最小化問題需要良好的初始條件實際操作：常用作SfM的最后一步，分解或代數(shù)方法可作為優(yōu)化問題的初始解

單應矩陣捆綁調整(BA)PnP與P3P回顧回顧：PnP問題已知攝像機位姿的視圖已重構的3D點PnP求取新的攝像機位姿PnP（Perspective-n-Point）問題：

指通過世界中N個三維點坐標及其在圖像中N個像點坐標,計算出相機或物體位姿的問題。已知攝像機位姿的視圖已重構的3D點PnP求取新的攝像機位姿PnP（Perspective-n-Point）問題：

指通過世界中N個三維點坐標及其在圖像中N個像點坐標,計算出相機或物體位姿的問題。P3P：

通過世界中3個三維點與圖像中3個像點,

計算攝像機的位姿。

回顧：P3P求解攝像機位姿P3P：

通過世界中的3個特征點與圖像成像中的3個像點,獲得相機位姿。

回顧：P3P求解攝像機位姿回顧：P3P求解攝像機位姿P3P：

通過世界中的3個特征點與圖像成像中的3個像點,獲得相機位姿。

單應矩陣捆綁調整(BA)PnP與P3P回顧單應矩陣（完）捆綁調整(BA)（完）PnP與P3P（完）回顧三維重建篇攝像機幾何攝像機標定單視幾何極幾何雙目立體視覺多視圖幾何SFM系統(tǒng)設計SLAM系統(tǒng)設計SfM系統(tǒng)輸入:多張圖片輸出:3D點云（structure）

攝像機位姿（motion）數(shù)據(jù)集fountain，選?LundUniversity開源的三維重建數(shù)據(jù)集(http://www.maths.lth.se/matematiklth/personal/calle/dataset/dataset.html）輸入輸出

回顧：歐式結構恢復且

？？？圖像個數(shù)3D點個數(shù)求解步驟：1.求解基礎矩陣F（歸一化八點法）2.求解本質矩陣

3.分解本質矩陣4.三角化回顧：歐式結構恢復（兩視圖）

問題:

歐式結構恢復問題且

？？？圖像個數(shù)3D點個數(shù)如何獲得？

歐式結構恢復問題且

？？？圖像個數(shù)3D點個數(shù)如何獲得？答：讀取相片的EXIF信息

歐式結構恢復問題且

？？？圖像個數(shù)3D點個數(shù)如何獲得？

SfM系統(tǒng)問題描述（歐式重構）

SfM系統(tǒng)（兩視圖）基于增量法的SfM系統(tǒng)——以OpenMVG為例（多視圖）今日主題SfM系統(tǒng)（兩視圖）基于增量法的SfM系統(tǒng)——以OpenMVG為例（多視圖）今日主題求解步驟：1.對應點計算

（圖像特征匹配）2.求解基礎矩陣F（歸一化八點法）3.求解本質矩陣

4.分解本質矩陣5.三角化歐式結構恢復（2視圖）

問題:

求解步驟：1.對應點計算

（圖像特征匹配）2.求解基礎矩陣F（歸一化八點法）3.求解本質矩陣

4.分解本質矩陣5.三角化歐式結構恢復（2視圖）

特征提取特征匹配

問題:

特征提取Source：S.LazebnikSIFT特征：一種經典的特征提取方法！輸入：圖片輸出：具有尺度不變性的特征點（位置+每個特征的128維數(shù)據(jù)描述）請訪問cv-xueba.club

學習A01.《計算機視覺基礎》第六章.尺度不變區(qū)域與sift特征特征提取Source：S.Lazebnik提取尺度不變區(qū)域歸一化尺寸旋轉歸一化計算特征表示描述符SIFT(Lowe’04)輸入：圖片輸出：具有尺度不變性的特征點（位置+每個特征的128維數(shù)據(jù)描述）請訪問cv-xueba.club

學習A01.《計算機視覺基礎》第六章.尺度不變區(qū)域與sift特征SIFT特征：一種經典的特征提取方法！02p特征匹配

求解步驟：1.對應點計算

（圖像特征匹配）2.求解基礎矩陣F（歸一化八點法）3.求解本質矩陣

4.分解本質矩陣5.三角化歐式結構恢復（2視圖）

問題:

問題：如何消除無匹配點對基礎矩陣F估計帶來的影響？隨機采樣一致性（RANSAC）隨機采樣一致性(Randomsampleconsensus,RANSAC):一種適用于數(shù)據(jù)受到異常值污染的模型擬合方法。隨機均勻采樣獲取模型求解所需的最小子集適用該子集估計模型參數(shù)計算剩余樣本與當前模型的一致性，統(tǒng)計滿足當前模型的點（內點）的個數(shù)，作為當前模型分數(shù)以設定的次數(shù)重復a)-c)，最終輸出分數(shù)最高的模型M.A.Fischler,R.C.Bolles.RandomSampleConsensus:AParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartography.Comm.oftheACM,Vol24,pp381-395,1981.

2025/10/2036輸入：所有圖像匹配獲得的所有點對輸出：基礎矩陣F隨機均勻采樣八對匹配點對基于采樣點對，使用歸一化八點法估計基礎矩陣F計算剩余匹配點對是否滿足當前點F，統(tǒng)計滿足當前F的匹配點對數(shù)量作為當前F分數(shù)以設定的次數(shù)重復a)-c)輸出分數(shù)最高的F2025/10/2037RANSAC估計基礎矩陣請訪問cv-xueba.club

學習A01.《計算機視覺基礎》第四章.擬合（RANSAC）求解步驟：1.對應點計算

（圖像特征匹配）2.求解基礎矩陣F（歸一化八點法）3.求解本質矩陣

4.分解本質矩陣5.三角化歐式結構恢復（2視圖）

問題:

求解步驟：1.對應點計算

（圖像特征匹配）2.求解基礎矩陣F（歸一化八點法）3.求解本質矩陣

4.分解本質矩陣5.三角化歐式結構恢復（2視圖）

步驟1：SVD分解

步驟2：步驟3：步驟4：通過重建單個或多個點找出正確解

問題:

求解步驟：1.對應點計算

（圖像特征匹配）2.求解基礎矩陣F（歸一化八點法）3.求解本質矩陣

4.分解本質矩陣5.三角化歐式結構恢復（2視圖）

問題:

線性法：非線性法：三角化求解步驟：1.對應點計算

（SIFT特征提取+近鄰匹配）2.求解基礎矩陣F（RANSAC+歸一化八點法）3.求解本質矩陣

4.分解本質矩陣5.三角化歐式結構恢復（2視圖）

問題:

SfM系統(tǒng)（兩視圖）基于增量法的SfM系統(tǒng)——以OpenMVG為例（多視圖）今日主題基于增量法的SfM系統(tǒng)（以OpenMVG為例）圖像特征點提取與匹配兩視圖重構初始點云增加視圖到系統(tǒng)實現(xiàn)多視圖重構輸入輸出OpenMVG系統(tǒng)系統(tǒng)流程

Moulon,P.,P.Monasse,andR.Marlet."AdaptiveStructurefromMotionwithacontrariomodelestimation."

AsianConferenceonComputerVision

SpringerBerlinHeidelberg,2012.輸入：圖像集輸出：幾何效驗后的特征點匹配結果1:計算潛在匹配對1）提取特征點并計算描述符2）利用近鄰的特征點匹配方法進行特征點匹配2:利用幾何一致性過濾誤匹配1）估計基礎矩陣F2）估計單應矩陣H預處理預處理主要工作：1.圖像特征點提取與近鄰匹配2.基于RANSAC的基礎矩陣或單應矩陣估計增量法求解SfM

增量法求解SfM

連通圖（共視圖）構建兩視圖重構初始點云增加視圖到系統(tǒng)實現(xiàn)多視圖重構增量法求解SfM

OpenMVG里只包含兩張圖的track會被剔除！計算對應點軌跡Tracks增量法求解SfM

n1n3n6n4n2n5聯(lián)通圖結點:圖?邊：匹配特征數(shù)量大于某個門限（如100），則存在一條邊增量法求解SfM

所有點對應點三角化時射線夾角中位數(shù)不大于60度不小于3度

增量法求解SfM

所有點對應點三角化時射線夾角中位數(shù)不大于60度不小于3度增量法求解SfM

兩視圖重構！增量法求解SfM

增量法求解SfM

增加視圖到系統(tǒng)實現(xiàn)多視圖重構增量法求解SfM

已重建點track點未重建點track點

增量法求解SfM

已重建點track點未重建點track點

增量法求解SfM

已知攝像機位姿的視圖已重構的3D點PnP求取新的攝像機位姿PnP（Perspective-n-Point）問題：

指通過世界中的N個特征點與圖像成像中的N個像點,計算出其投影關系,從而獲得相機或物體位姿的問題。增量法求解SfM

線性法：非線性法：三角化增量法求解SfM

增量法求解SfM

O2重構點O1Om

最小化重投影誤差：...