機(jī)器人視覺王越浙江大學(xué)·控制科學(xué)與工程學(xué)院機(jī)器人導(dǎo)論深度估計(jì)03當(dāng)相機(jī)僅能返回灰度時，如何恢復(fù)3D？模擬人的雙眼來自Fei-FeiLiCS131計(jì)算機(jī)視覺視覺傳感器恢復(fù)深度相機(jī)中心1相機(jī)中心2

P

為了后續(xù)處理方便，定義雙目重建雙模建模相機(jī)中心1相機(jī)中心2

P

為了后續(xù)處理方便，定義雙目重建雙模建模

P相機(jī)中心1相機(jī)中心2

雙目重建左目的點(diǎn)沒有深度，只能約束在極線上假設(shè)兩相機(jī)內(nèi)參一致

相機(jī)中心2到P的射線方向在相機(jī)1坐標(biāo)系下射線方向

相機(jī)中心1到相機(jī)中心2

P相機(jī)中心1相機(jī)中心2

雙目重建假設(shè)兩相機(jī)內(nèi)參一致

相機(jī)中心2到P的射線方向在相機(jī)1坐標(biāo)系下射線方向

相機(jī)中心1到相機(jī)中心2

P相機(jī)中心1相機(jī)中心2

雙目重建構(gòu)造垂直關(guān)系

P相機(jī)中心1相機(jī)中心2

垂直于極平面的向量相機(jī)中心1到P的射線方向

垂直關(guān)系

雙目重建構(gòu)造垂直關(guān)系

P相機(jī)中心1相機(jī)中心2

垂直于極平面的向量相機(jī)中心1到P的射線方向

垂直關(guān)系

雙目重建構(gòu)造垂直關(guān)系

P相機(jī)中心1相機(jī)中心2

垂直于極平面的向量相機(jī)中心1到P的射線方向

垂直關(guān)系

雙目重建本質(zhì)矩陣、基礎(chǔ)矩陣、極線

P相機(jī)中心1相機(jī)中心2

本質(zhì)矩陣

基礎(chǔ)矩陣

極線參數(shù)雙目重建相平面直線方程——極線方程雙目深度估計(jì)過程：計(jì)算基礎(chǔ)矩陣在左目上確定一點(diǎn)計(jì)算得到對應(yīng)右目的極線參數(shù)在極線上搜索右目的匹配點(diǎn)根據(jù)視差角計(jì)算深度如何匹配？來自Fei-FeiLiCS131計(jì)算機(jī)視覺雙目深度估計(jì)旋轉(zhuǎn)相機(jī)實(shí)現(xiàn)平行相機(jī)中心1相機(jī)中心2

P

雙目矯正矯正后雙目深度估計(jì)過程：在左目上確定一點(diǎn)在右目同一行上搜索匹配點(diǎn)根據(jù)視差角計(jì)算深度來自Fei-FeiLiCS131計(jì)算機(jī)視覺雙目深度估計(jì)雙目深度估計(jì)通過調(diào)用對應(yīng)的函數(shù)，能夠矯正雙目，也能夠進(jìn)行后續(xù)的雙目深度恢復(fù)例程：雙目匹配：https:///opencv/opencv/blob/master/samples/cpp/stereo_match.cpp雙目標(biāo)定：/opencv/opencv/blob/master/samples/cpp/stereo_calib.cpp如何匹配？利用一個窗口的像素衡量SSD，并限定搜索區(qū)域來自Fei-FeiLiCS131計(jì)算機(jī)視覺雙目匹配SSD的局限性無紋理重復(fù)紋理雙目匹配雙目匹配重建的結(jié)果左目右目真值重構(gòu)雙目匹配雙目本質(zhì)是利用已知的位姿關(guān)系，協(xié)助匹配，恢復(fù)深度和三維那么有沒有可能利用匹配，反求位姿關(guān)系，從而得到相機(jī)間的位姿關(guān)系，甚至推廣到相機(jī)運(yùn)動軌跡的恢復(fù)呢？運(yùn)動雙目謝謝王越浙江大學(xué)·控制科學(xué)與工程學(xué)院機(jī)器人導(dǎo)論旋轉(zhuǎn)相機(jī)實(shí)現(xiàn)平行，旋轉(zhuǎn)后的相機(jī)x軸與相機(jī)間相對位移共線

左目構(gòu)造該旋轉(zhuǎn)此時未旋轉(zhuǎn)的右目相對于旋轉(zhuǎn)后左目的位移

旋轉(zhuǎn)后右目與旋轉(zhuǎn)后左目一致

右目的旋轉(zhuǎn)量為

雙目矯正視差角計(jì)算簡化為XZ平面-u軸問題