1、雙目立體視覺系統(tǒng)雙目立體視覺系統(tǒng) 立體視覺是機(jī)器視覺的一個(gè)重要分支，立體視覺的研究目的是使機(jī)器具有通過二維圖像認(rèn)知三維環(huán)境信息的能力。 這種能力將不僅是機(jī)器能感知三維環(huán)境中物體的幾何信息（形狀、位置、姿態(tài)、運(yùn)動(dòng)等），而且還能對(duì)它們進(jìn)行描述、存儲(chǔ)、識(shí)別與理解，以滿足特定的需求。背景第1頁(yè)/共55頁(yè) 立體視覺通過設(shè)計(jì)和模仿人類視覺來獲得物體深度信息。 它在逆向工程、測(cè)試測(cè)量、文化產(chǎn)業(yè)、公共安全、視覺導(dǎo)航、地圖生成、航空勘測(cè)等領(lǐng)域都有很好的應(yīng)用價(jià)值。 二維信息與三維信息的結(jié)合，也為一些具體的工程問題提供了方法，如目標(biāo)識(shí)別的圖像分割。背景第2頁(yè)/共55頁(yè)1：雙目視覺系統(tǒng)模型2：雙目視覺系統(tǒng)關(guān)鍵技術(shù)系統(tǒng)

2、標(biāo)定立體匹配3D重建及后續(xù)處理 主要內(nèi)容第3頁(yè)/共55頁(yè)第4頁(yè)/共55頁(yè)第5頁(yè)/共55頁(yè)第6頁(yè)/共55頁(yè)第7頁(yè)/共55頁(yè)第8頁(yè)/共55頁(yè)第9頁(yè)/共55頁(yè)3D坐標(biāo)計(jì)算第10頁(yè)/共55頁(yè)光軸平行模型3D坐標(biāo)計(jì)算則三維坐標(biāo)為(X/W, Y/W, Z/W).第11頁(yè)/共55頁(yè)O，O分別為相機(jī)光心，光軸會(huì)聚模型 第12頁(yè)/共55頁(yè)11Zc111ZYXMvuleftO，O分別為相機(jī)光心，11Zc222ZYXMvuright光軸會(huì)聚模型3D坐標(biāo)計(jì)算（1） 第13頁(yè)/共55頁(yè)光軸會(huì)聚模型3D坐標(biāo)計(jì)算（1） 可以求解出X、Y、Z，在實(shí)際應(yīng)用中，由于數(shù)據(jù)總是有噪聲的，可以用最小二乘法求X、Y、Z。第14頁(yè)/共55

3、頁(yè)光軸會(huì)聚模型3D坐標(biāo)計(jì)算（2） 第15頁(yè)/共55頁(yè)光軸會(huì)聚模型3D坐標(biāo)計(jì)算（3） 兩個(gè)相機(jī)的光軸與基線形成的夾角兩個(gè)相機(jī)的光軸與基線形成的夾角 (1, 2)；基線是兩臺(tái)照相機(jī)物鏡光學(xué)中心的連線（基線是兩臺(tái)照相機(jī)物鏡光學(xué)中心的連線（B）；）；兩臺(tái)照相機(jī)的焦點(diǎn)兩臺(tái)照相機(jī)的焦點(diǎn)(f1 ,f 2)；第16頁(yè)/共55頁(yè)光軸會(huì)聚模型3D坐標(biāo)計(jì)算（3） 在在o1 o 2 P中有：中有： 在在PPo1中：中：最終得：最終得：其中，第17頁(yè)/共55頁(yè)1：雙目視覺系統(tǒng)模型2：雙目視覺系統(tǒng)關(guān)鍵技術(shù)系統(tǒng)標(biāo)定立體匹配3D重建及后續(xù)處理 主要內(nèi)容第18頁(yè)/共55頁(yè)雙目系統(tǒng)標(biāo)定 1：?jiǎn)蝹€(gè)攝像機(jī)標(biāo)定 2：系統(tǒng)標(biāo)定第19頁(yè)/

4、共55頁(yè)攝像機(jī)標(biāo)定第20頁(yè)/共55頁(yè)雙目系統(tǒng)標(biāo)定徑向畸變切向畸變第21頁(yè)/共55頁(yè)雙目系統(tǒng)標(biāo)定結(jié)構(gòu)有關(guān)，稱這些參數(shù)為攝像機(jī)內(nèi)部參數(shù)；M2 完全由攝像機(jī)相對(duì)于世界坐標(biāo)系的方位決定，稱為攝像機(jī)外部參數(shù)，確定某一攝像機(jī)的內(nèi)外參數(shù)，稱為攝像機(jī)定標(biāo)。只與攝像機(jī)內(nèi)部第22頁(yè)/共55頁(yè)雙目系統(tǒng)標(biāo)定用兩個(gè)攝像機(jī)同時(shí)觀察周圍環(huán)境，如果外參數(shù)分別用 R1 、 t 1與 R2 、t2 表示，則R1 、t1 表示C1 攝像機(jī)與世界坐標(biāo)系之間的相對(duì)位置，R2 、t2 表示 C2 攝像機(jī)與世界坐標(biāo)系的相對(duì)位置。對(duì)任意點(diǎn)P，如它在世界坐標(biāo)系、 C1 坐標(biāo)系與C2 坐標(biāo)系下的非齊次坐標(biāo)分別為Xw 、Xc1 、Xc2 ，則兩個(gè)

5、攝像機(jī)之間的幾何關(guān)系可以用以下R 和 t 表示：第23頁(yè)/共55頁(yè)1：雙目視覺系統(tǒng)模型2：雙目視覺系統(tǒng)關(guān)鍵技術(shù)系統(tǒng)標(biāo)定立體匹配3D重建及后續(xù)處理 主要內(nèi)容第24頁(yè)/共55頁(yè)立體匹配主要難點(diǎn)第25頁(yè)/共55頁(yè)立體匹配主要難點(diǎn)第26頁(yè)/共55頁(yè)立體匹配主要難點(diǎn)第27頁(yè)/共55頁(yè)立體匹配主要難點(diǎn)第28頁(yè)/共55頁(yè)立體匹配約束條件 匹配的約束條件，就是根據(jù)所選匹配基元將現(xiàn)實(shí)物理世界的某些固有屬性表示成匹配所必須遵循的若干規(guī)則，用以提高系統(tǒng)的去歧義匹配能力和計(jì)算效率。優(yōu)良的匹配算法口引應(yīng)能充分利用盡可能多的輔助信息或者約束條件來提高匹配的質(zhì)量。1：唯一性約束 也就是說一幅圖像上的一個(gè)像素在另一幅圖像上最

6、多只能對(duì)應(yīng)第二幅圖像中的一個(gè)像素。例外情況是存在遮擋條件下，將不存在對(duì)應(yīng)點(diǎn)。這條約束條件是立體匹配必須滿足的。第29頁(yè)/共55頁(yè)立體匹配約束條件2連續(xù)性約束(Continue Constraint) 物體表面一般都是光滑的，因此物體表面上各點(diǎn)在圖像上的投影是連續(xù)的，其視差也是連續(xù)的。但是，由于遮擋問題，在物體邊界處，比如邊界兩側(cè)的兩個(gè)點(diǎn)，連續(xù)性約束并不成立。3相似性約束(Feature Compatibility Constrain) 物體表面上一點(diǎn)在兩幅或多幅圖像上的投影在某些物體度量上(如灰度，灰度梯度變化等幾何形狀上)具有相似性。比如空間某一個(gè)點(diǎn)在一條直線上，它在圖像中的投影也應(yīng)該在一條

7、直線上。像。此約束限制了尋找對(duì)應(yīng)點(diǎn)時(shí)的搜索范圍。第30頁(yè)/共55頁(yè)立體匹配約束條件4順序一致性約束(Ordering Constraint) 因?yàn)閳D像是對(duì)現(xiàn)實(shí)世界的投影，因此假如在現(xiàn)實(shí)世界中，P點(diǎn)在Q點(diǎn)的左邊，則在圖像上，P點(diǎn)仍然在Q 點(diǎn)的左邊。但是，如果視點(diǎn)的方位變化很大，這個(gè)約束條件可能不被滿足。5互對(duì)應(yīng)約束(Mutual Correspondence Constraint) 假設(shè)搜索從左圖像點(diǎn)足開始，找到右圖像上對(duì)應(yīng)的點(diǎn)斥。如果任務(wù)反過來，搜索從只點(diǎn)丌始，但是沒能找到e，則匹配不可靠，應(yīng)該被排除。這個(gè)約束有助于排除由于遮擋，高光或噪聲原因而不存在對(duì)應(yīng)的那些點(diǎn)。6視差范圍約束(Dispar

8、ity Limit Constraint)7. 極線約束極線約束第31頁(yè)/共55頁(yè)交點(diǎn)；極線：極平面與圖像平面的交線。plprPOlOrelerPlPr極平面極平面極線極線極點(diǎn)極點(diǎn)基線基線第32頁(yè)/共55頁(yè)plprPOlOrelerPlPr極平面極平面極線極線極點(diǎn)極點(diǎn)第33頁(yè)/共55頁(yè)0)(lTrEpp第34頁(yè)/共55頁(yè)方程，因?yàn)橄鄬?duì)應(yīng)的匹配點(diǎn)在圖像相對(duì)應(yīng)的掃描線(Scan-line)上。第35頁(yè)/共55頁(yè)第36頁(yè)/共55頁(yè)第37頁(yè)/共55頁(yè)校正后第38頁(yè)/共55頁(yè)圖像匹配方法第39頁(yè)/共55頁(yè)第40頁(yè)/共55頁(yè))()()(dEdEdEsmoothdata第41頁(yè)/共55頁(yè)第42頁(yè)/共55頁(yè)第43頁(yè)/共55頁(yè)第44頁(yè)/共55頁(yè)第45頁(yè)/共55頁(yè)第46頁(yè)/共55頁(yè)l對(duì)于無紋理，紋理不明顯的圖像匹配效果不理想；l對(duì)光強(qiáng)、對(duì)比度、照明條件敏感。第47頁(yè)/共55頁(yè)第48頁(yè)/共55頁(yè)第49頁(yè)/