視覺SLAM十四講

從理論到實(shí)踐高翔清華大學(xué)2016年冬第五講相機(jī)與圖像Chapter5:CamerasandImages2第五講相機(jī)與圖像本講目標(biāo)理解理解針孔相機(jī)的模型、內(nèi)參與徑向畸變參數(shù)。理解一個(gè)空間點(diǎn)是如何投影到相機(jī)成像平面的。掌握OpenCV的圖像存儲(chǔ)與表達(dá)方式。學(xué)會(huì)基本的攝像頭標(biāo)定方法。3第五講相機(jī)與圖像上講回顧三維世界中剛體運(yùn)動(dòng)的描述：旋轉(zhuǎn)矩陣、旋轉(zhuǎn)向量、歐拉角、四元數(shù)等。以及優(yōu)化：李群與李代數(shù)。4我們清楚了運(yùn)動(dòng)方程與觀測(cè)方程中的x觀測(cè)方程由相機(jī)觀測(cè)模型組成5.1相機(jī)模型55.1相機(jī)模型我們?cè)诂F(xiàn)實(shí)生活中看到過大量的照片照片記錄了真實(shí)世界在成像平面上的投影這個(gè)過程丟棄了“距離”維度上的信息普通相機(jī)可以用針孔模型很好地近似65.1相機(jī)模型小孔成像模型7原始形式翻轉(zhuǎn)到前面整理之：5.1相機(jī)模型成像平面到像素坐標(biāo)8代入得5.1相機(jī)模型9矩陣形式展開形式左側(cè)是齊次坐標(biāo)右側(cè)是非齊次坐標(biāo)中間矩陣稱為內(nèi)參數(shù)內(nèi)參通常在相機(jī)生產(chǎn)之后就已固定傳統(tǒng)習(xí)慣5.1相機(jī)模型10改變Z時(shí)，投影點(diǎn)仍是同一個(gè)5.1相機(jī)模型除內(nèi)參外，相機(jī)坐標(biāo)系與世界坐標(biāo)系還相差一個(gè)變換：這里R,t或T稱為外參注：右側(cè)式子隱含了一次非齊次到齊次的變換（見書）外參是SLAM估計(jì)的目標(biāo)11先把P從世界坐標(biāo)變到相機(jī)坐標(biāo)系下5.1相機(jī)模型世界——相機(jī)——?dú)w一化平面——像素125.1相機(jī)模型畸變針孔前的鏡頭會(huì)引入畸變13廣角鏡頭畸變魚眼鏡頭畸變5.1相機(jī)模型主要的畸變類型：徑向畸變和切向畸變145.1相機(jī)模型數(shù)學(xué)模型畸變可以用歸一化坐標(biāo)的變換來描述15徑向畸變：多項(xiàng)式描述切向畸變：多項(xiàng)式描述放在一起：實(shí)際當(dāng)中可靈活保留各項(xiàng)系數(shù)5.1相機(jī)模型小結(jié)165.1相機(jī)模型雙目模型左右相機(jī)中心距離稱為基線左右像素的幾何關(guān)系：整理得17d稱為視差（disparity），描述同一個(gè)點(diǎn)在左右目上成像的距離d最小為1個(gè)像素，因此雙目能測(cè)量的z有最大值：fb雖然距離公式簡(jiǎn)單，但d不容易計(jì)算5.1相機(jī)模型RGB-D相機(jī)：物理手段測(cè)量深度ToF或結(jié)構(gòu)光兩種主要原理通常能得到與RGB圖對(duì)應(yīng)的深度圖185.2圖像相機(jī)成像后，生成了圖像圖像在計(jì)算機(jī)中以矩陣形式存儲(chǔ)（二維數(shù)組）需要對(duì)感光度量化成數(shù)值，例如