計(jì)算機(jī)視覺的三維感知第1頁，共33頁，2023年，2月20日，星期二7.1立體視覺一、概述立體視覺或雙目立體視覺（Stereo或binocularVision），或簡稱為體視。體視是人類獲取環(huán)境三維信息的主要途徑。人類視覺系統(tǒng)體視可經(jīng)受各種干擾，在各種光照條件和光度學(xué)及幾何學(xué)畸變的條件下仍能可靠地提供立體信息。體視可經(jīng)受對比度的變化，在一幅圖相對于另一幅圖有明顯的模糊或擴(kuò)展時，仍能工作良好。體視的處理是快速和實(shí)時的，并能很好地處理物體運(yùn)動的情況體視對深度信息檢測的分辨率很高。理想條件（孤立邊緣）下能可靠地分辨小于1秒弧的視差。這相當(dāng)于在1米的觀察距離上確定大約相距0.8毫米的兩個特征的相對深度，或在50厘米遠(yuǎn)處的0.2毫米的相對深度。第2頁，共33頁，2023年，2月20日，星期二

1、工作原理d---P點(diǎn)距透鏡中心的距離d＋---視差（disparity）f--透鏡的焦距，b--兩透鏡中心之間的距離（基線距離）圖7.1立體視覺原理第3頁，共33頁，2023年，2月20日，星期二

由上式可知，對于一組給定的攝象機(jī)參數(shù)，提高場景點(diǎn)深度計(jì)算精度的有效途徑是增長基線距離b，即增大場景點(diǎn)對應(yīng)的視差。同時也帶來一些問題，主要有： （1）隨著基線距離的增加，兩個攝象機(jī)的共同可視范圍減小； （2）場景點(diǎn)對應(yīng)的視差值增大，則搜索對應(yīng)點(diǎn)的范圍增大，出現(xiàn)多義性的機(jī)會也增大； （3）由于透視投影引起的變形導(dǎo)致兩個攝象機(jī)獲取的兩幅圖象中不完全相同，這就給確定共軛對帶來了困難。第4頁，共33頁，2023年，2月20日，星期二外極線幾何（Epipolargeometry)第5頁，共33頁，2023年，2月20日，星期二外極線幾何（Epipolargeometry)外極面(Epipolarplans)所有通過二個攝像機(jī)光心的平面每個空間點(diǎn)有一個外極面外極線(Epipolarlines)外極面與圖像的交線外極面上的空間點(diǎn)投影到每個圖像平面中的外極線上外極點(diǎn)（Epipoles)

每個圖像中的外極線都通過該圖像中的外極點(diǎn)外極點(diǎn)與另一個攝像機(jī)的光心的投影對應(yīng)立體視覺攝像機(jī)的光軸平行時外極點(diǎn)在無窮遠(yuǎn)處第6頁，共33頁，2023年，2月20日，星期二外極線--如果已知空間點(diǎn)在一個圖象平面中的成象點(diǎn)要尋找在另一圖象平面中的對應(yīng)點(diǎn)時，只需沿此圖象平面中的外極線搜索即可第7頁，共33頁，2023年，2月20日，星期二

圖示系統(tǒng)中，視差與光軸交角有關(guān)。對于任一光軸交角，在空間中總存在一個視差為零的表面。比這一表面遠(yuǎn)的物體，其視差大于零；比這一表面近的物體，其視差小于零。這三組視差可用于解決匹配不確定問題。第8頁，共33頁，2023年，2月20日，星期二距離和深度距離是指從觀察者到物體的客觀實(shí)際距離；深度（depth）是指由觀察者感覺到的主觀距離，通常是測量相對于定位點(diǎn)或某個空間點(diǎn)的距離。立體視覺處理的組成：尋找在兩幅圖象中都便于區(qū)分的特征，或用于匹配的基元（primitive）把左、右兩幅圖象中的有關(guān)特征進(jìn)行匹配，即解決特征匹配的方法問題確定攝象機(jī)的相對幾何位置和有關(guān)參數(shù)，即攝象機(jī)的校準(zhǔn)（Calibration）根據(jù)視差計(jì)算成象物體相對攝象機(jī)的距離深度信息內(nèi)插。（即：攝象機(jī)模型、特征提取、特征匹配、視差和深度計(jì)算、深度信息內(nèi)插五部分）第9頁，共33頁，2023年，2月20日，星期二

上圖是由兩個攝象機(jī)得到的真實(shí)圖象對。立體重建的關(guān)鍵是特征點(diǎn)匹配，從左圖中任取一點(diǎn)p1，計(jì)算機(jī)如何找到在右圖中與它的對應(yīng)點(diǎn)p2。即匹配問題。第10頁，共33頁，2023年，2月20日，星期二2、匹配基元的選擇搜索對應(yīng)點(diǎn)時的多義性的解決1.在單幅圖象作預(yù)處理時通過抽取圖象局部結(jié)構(gòu)較為豐富的描述來減少錯誤對應(yīng)的可能性2.在兩幅圖的對應(yīng)點(diǎn)間作匹配時應(yīng)用選擇性規(guī)則來限制搜索空間匹配基元的類型1.在所有圖象點(diǎn)上抽取的量測:

這類匹配基元一般是在每個象素位置處都產(chǎn)生一個描述。這些特征表示圖象中的局部結(jié)構(gòu)狀態(tài).屬于這類的匹配基元有以下幾種：(1)象素灰度(2)局部區(qū)域的灰度函數(shù)。在各種大小窗口中求得的灰度分布的導(dǎo)數(shù)可用于產(chǎn)生描述各點(diǎn)周圍結(jié)構(gòu)的矢量(3)卷積圖象的符號.把圖象與各種大小的算子卷積后，圖象中各點(diǎn)的符號可作為原始圖象特征的描述。第11頁，共33頁，2023年，2月20日，星期二

2.圖象特征這種匹配基元較為符號化，它檢測圖象中包含豐富信息的結(jié)構(gòu)所在的位置，例如圖象中的邊緣，這些邊緣可能與景物中表面之間的邊界相對應(yīng)。與象素相比圖象特征數(shù)量較少(1)卷積圖象中的過零點(diǎn)。這種方法是由Marr和Poggio，Marr和Hildreth提出和發(fā)展的。它雖然也可用于檢測邊緣，但是更確切說這種方法的目的是檢測穩(wěn)定的、稠密的表面標(biāo)志。按這種方法任何小的影調(diào)變化或小的紋理變化只要穩(wěn)定都是一個特征(2)邊緣。這種基元試圖抽取景物中表面之間或不同顏色區(qū)域之間的實(shí)際邊界。這種匹配基元上還可以帶有如邊緣方向、對比度、長度、邊緣曲率等附加信息第12頁，共33頁，2023年，2月20日，星期二

物體的外輪廓線一般不能作為匹配的特征，如右圖，曲面上的外輪廓線不是物體表面法線方向的不連續(xù)點(diǎn)，而是曲面可見部分與不可見部分的分界線。與視點(diǎn)有關(guān)。第13頁，共33頁，2023年，2月20日，星期二3、匹配規(guī)則（matchingrules）約束條件---這些約束條件是根據(jù)對匹配環(huán)境所作的假設(shè)產(chǎn)生的1.相容性（Compatibility）約束 如果兩個匹配基元確實(shí)是由同一物理標(biāo)記產(chǎn)生的，那么它們就可以匹配起來一種是基于光度學(xué)不變性的性質(zhì)另一種相似性的假設(shè)是根據(jù)幾何學(xué)不變性

2.唯一性約束

-圖象中的每個匹配基元最多只能有一個視差值

3.連續(xù)性約束

-視差值的變化在圖象中幾乎處處平滑第14頁，共33頁，2023年，2月20日，星期二

4.外極線約束 利用外極線約束可以將二維搜索問題變?yōu)橐痪S搜索問題。如圖，空間某一距離區(qū)間內(nèi)的一條直線段對應(yīng)外極線上的一個有限區(qū)間。第15頁，共33頁，2023年，2月20日，星期二圖7.3兩個視網(wǎng)膜上成象對應(yīng)關(guān)系的多義性第16頁，共33頁，2023年，2月20日，星期二體現(xiàn)約束條件的匹配規(guī)則1.對相似性測量的本質(zhì)作出規(guī)定的規(guī)則(1)區(qū)域的統(tǒng)計(jì)量(2)邊界的統(tǒng)計(jì)量(3)點(diǎn)的統(tǒng)計(jì)量2.視差梯度限制規(guī)則(1)排序約束(2)視差梯度范圍限制(3)由粗到細(xì)的匹配規(guī)則第17頁，共33頁，2023年，2月20日，星期二4、算法簡介立體視覺算法可分成兩大類：以密集的基元測量為基礎(chǔ)，稱為基于區(qū)域（area-based）的算法。這類算法的典型例子是利用小區(qū)域上的相關(guān)技術(shù)可得到較稠密的深度數(shù)據(jù),數(shù)據(jù)的精度較差適合于景物中的深度變化小的情形以在圖象中相對比較稀少的、較為符號化的特征為基礎(chǔ)，稱為基于特征（feature-based）的算法只能得到較稀疏的深度數(shù)據(jù)深度數(shù)據(jù)的精度較高可用于深度變化大的景物混合算法在匹配的不同階段分別使用上述兩類算法以期達(dá)到更高的性能第18頁，共33頁，2023年，2月20日，星期二邊緣匹配例

該算法使用的邊緣特征是通過高斯函數(shù)的一階導(dǎo)數(shù)獲得的。在有噪聲的情況下，使用高斯梯度來計(jì)算邊緣更加穩(wěn)定。使用邊緣匹配的立體視覺算法步驟如下： （1）用四個不同寬度的高斯濾波器對立體圖象對中的每一幅圖象進(jìn)行濾波，其中前一次濾波的寬度是下一次濾波器寬度的兩倍。這一計(jì)算可以反復(fù)通過對最小的濾波器進(jìn)行卷積來有效地實(shí)現(xiàn)； （2）在某一行上計(jì)算各邊緣的位置； （3）通過比較邊緣的方向和強(qiáng)度粗略地進(jìn)行邊緣匹配。顯然，水平邊緣是無法進(jìn)行匹配的； （4）通過在精細(xì)尺度上進(jìn)行匹配，可以得到精細(xì)的視差估計(jì)。第19頁，共33頁，2023年，2月20日，星期二二、Marr-Poggio-Grimson算法（MPG算法）以不同大小的算子與圖象卷積，并從中抽取過零點(diǎn)作為匹配基元；采用從粗到細(xì)的匹配策略，應(yīng)用在低分辨率下匹配得到的信息來限制高分分辨時匹配的搜索空間。這樣做的優(yōu)點(diǎn)是既具有較大的深度敏感范圍，又有較高的空間定位準(zhǔn)確性1.匹配基元的選擇2.匹配基元的屬性用過零點(diǎn)兩邊的符號變化和過零點(diǎn)輪廓來表示匹配基元的特征第20頁，共33頁，2023年，2月20日，星期二的選擇dmax=概率分布表明在的間距內(nèi)有另一個同符號過零點(diǎn)的概率低于0.05。這意味著如果圖象中這個區(qū)域的視差小于，那么在的范圍內(nèi)搜索時只發(fā)現(xiàn)正確的概率是0.95

如果搜索區(qū)域擴(kuò)大到，所有匹配中的50%是正確和無多義性的.但可利用連續(xù)性約束加以消除取后，我們在dmax的距離內(nèi)只能得到一個點(diǎn)的深度值。這只表示景物在粗通道時的深度圖4.粗通道信息對細(xì)通道匹配的導(dǎo)引第21頁，共33頁，2023年，2月20日，星期二圖7.6粗通道信息對細(xì)通道匹配的導(dǎo)引圖7.5特征點(diǎn)的匹配第22頁，共33頁，2023年，2月20日，星期二4.粗通道信息對細(xì)通道匹配的導(dǎo)引如果粗、細(xì)通道算子的寬度分別為和。那么在粗細(xì)通道中合適的搜索范圍分別為和。假設(shè)，那么要發(fā)現(xiàn)這點(diǎn)的視差只根據(jù)細(xì)通道的信息是不行的，因?yàn)槠ヅ潼c(diǎn)在搜索范圍以外。但匹配點(diǎn)將在粗匹配的范圍之內(nèi)。因此，這時可求得粗通道中的視差粗通道得到的匹配可為精確的視差提供一個近似的估計(jì)值。如果所選的濾波器的大小合適，則可保證相鄰?fù)ǖ乐g大致相隔一倍頻程，即，通道所用算子的寬度大致為63,35,17,9和4個象素第23頁，共33頁，2023年，2月20日，星期二三、Baker-Binford算法1.基于圖象灰度相關(guān)的相似性量測如窗口是M×N的矩形.設(shè)，左、右窗口中第i行、第j列象素的灰度分別為和差異性量測函數(shù)定義為

2.動態(tài)規(guī)劃（dynamicProgramming）匹配方法兩個波形之間的對應(yīng)關(guān)系可被概括成路徑規(guī)劃問題（圖7-7）第24頁，共33頁，2023年，2月20日，星期二路上處點(diǎn)P表示右圖在處的點(diǎn)與左圖處的點(diǎn)相匹配路徑成本可用前段中所述差異性量測函數(shù)來定義，把路徑成本定義為沿掃描線的積分圖7.7動態(tài)規(guī)劃匹配問題第25頁，共33頁，2023年，2月20日，星期二DP算法設(shè)，表示右圖中在處周圍灰度分布與左圖在處周圍灰度分布的相似性量測，路徑成本可定義為沿路徑的相似性量測之和。設(shè)是從起點(diǎn)到點(diǎn)最佳路徑的最小成本。DP算法可表示為(1)(2)第26頁，共33頁，2023年，2月20日，星期二3.（Baker-Binford）算法(1)基于邊緣的相關(guān)(2)基于灰度的相關(guān)圖7.9外極線上的邊緣以及灰度分布第27頁，共33頁，2023年，2月20日，星期二立體視覺研究中的新動向三目或多目立體視覺和全景視圖遮擋問題引入MarkovRandomFieldapproach第28頁，共33頁，2023年，2月20日，星期二立體視覺中的不連續(xù)性和遮擋問題O和O’是攝像機(jī)的光心不連續(xù)性發(fā)生在B’,C’,E’,F’遮擋發(fā)生在[A,C],[D,F]第29頁，共33頁，2023年，2月20日，星期二立體視覺處理中的困難噪聲：光照的變化，圖像的模糊，傳感器的噪聲無紋理的區(qū)域?yàn)榱说玫搅Ⅲw視覺的匹配，紋理區(qū)域的信息需要擴(kuò)展到無紋理區(qū)深度的不連續(xù)性信息的傳播應(yīng)不超越物體的邊界遮擋在參考視圖中被遮擋的象素不能與另一個視圖相匹配第30頁，共33頁，2023年，2月20日，星期二有遮擋時立體匹配的問題在一個臺階處出現(xiàn)的遮擋情況:前景－F;背景－B,C,D,E。按一般的SSD(Sum