1、計算機雙目立體視覺雙目立體視覺技術是仿照人類利用雙目線索感知深度信息的方法， 實現(xiàn)對三維信息的感 知。為解決智能機器人抓取物體、視覺導航、目標跟蹤等奠定基礎。雙目立體視覺( Binocular Stereo Vision )是機器視覺的一種重要形式，它是基于視差原 理并利用成像設備從不同的位置獲取被測物體的兩幅圖像， 通過計算圖像對應點之間的位置 偏差，來獲取物體三維幾何信息的方法。融合兩只眼睛獲取的圖像并觀察它們之間的差別， 使我們可以獲得明顯的深度感， 建立特征間的對應關系， 將同一空間物理點在不同圖像中的 映像點對應起來，這個差別，我們稱作為視差( Disparity )圖像。雙目立體視

2、覺系統(tǒng) 立體視覺系統(tǒng)由左右兩部攝像機組成，如圖，世界空間中的一點A(X,Y,Z)在左右攝像機的成像面 C1和Cr上的像點分別為 a(1 u1 , v1)和 a(r ur , vr)。這兩個像點是世界空間中同一個對象點 A 的像，稱為“共軛點” 。知道了這兩個共軛像點， 分別作它們與各自相機的光心 O1和 Or 的連線，即投影線 a1O1和 arOr，它們的交點即為世界空間中的對象點A。這就是立體視覺的基本原理。雙目立體視覺智能視頻分析技術恢復場景的 3D 信息是立體視覺研究中最基本的目標，為實現(xiàn)這一目標，一個完整的立體視 覺系統(tǒng)通常包含六個模塊：圖像獲取、攝像機標定、特征提取、立體匹配、三維恢

3、復和視頻 分析(運動檢測、運動跟蹤、規(guī)則判斷、報警處理)。圖像獲取( Image Acquisition ) 數(shù)字圖像的獲取是立體視覺的信息來源。 常用的立體視覺圖像一般為雙目圖像， 有的采用奪 目圖像。 圖像的獲取方式有很多種， 主要有具體運用的場合和目的決定。 立體圖像的獲取不 僅要滿足應用要求， 而且考慮視點差異、 光照條件、 攝像機的性能和場景特點等方面的影像。攝像機標定( Camera Calibration ) 圖像上每一點的亮度反映了空間物體表面某點反射光的強度， 而該點在圖像上的位置則與空 間物體表面相應點的幾何位置有關。 這些位置的相互關系由攝像機成像幾何模型來決定。 該 幾

4、何模型的參數(shù)稱為攝像機參數(shù)， 這些參數(shù)必須由實驗與計算來確定， 實驗與計算的過程稱 為攝像機定標。立體視覺系統(tǒng)攝像機標定是指對三維場景中對象點在左右攝像機圖像平面上的坐標位置a(1 u1, v1)和 a(r ur , vr)與其世界空間坐標 A(X, Y, Z)之間的映射關系的確立，是實現(xiàn)立體視 覺三維模型重構(gòu)中基本且關鍵的一步。特征提取( Feature Acquisition ) 特征提取的目的是獲取匹配得以進行的圖像特征， 圖像特征的性質(zhì)與圖像匹配的方法選擇有 著密切的聯(lián)系。 目前， 還沒有建立起一種普遍適用的獲取圖像特征的理論，因此導致了立體視覺研究領域中匹配特征的多樣化。像素相位匹配

5、是近二十年才發(fā)展起來的一類匹配算法。 相位作為匹配基元， 本身反映著信號的結(jié)構(gòu)信息， 對圖像的高頻噪聲有很好的一直作用， 適 于并行處理， 能獲得亞像素級精度的致密視差。 但存在相位奇點和相位卷繞的問題， 需加入 自適應濾波器解決。 或者是像素的集合， 也可以是它們的抽象表達，如圖像的結(jié)構(gòu)、圖像的 目標和關系結(jié)構(gòu)等。常用的匹配特征主要有點狀特征、線裝特征和區(qū)特征等幾種情形。一般而言， 尺度較大的圖像特征蘊含較多的圖片信息， 且特征本身的數(shù)目較少， 匹配效率高； 但特征提取和描述過程存在較大的困難， 定位精度也較差。 而對于尺度較小的圖像特征來說， 對其進行表達和描述相對簡單， 定位的精度高；

6、但由于特征本身數(shù)碼較多， 所包含的圖像信 息少，在匹配時需要采用較為嚴格的約束條件和匹配策略， 一盡可能的減少匹配歧義和提高 匹配效率。 總的來說，好的匹配特征應該具有要可區(qū)分性、不變性、唯一性以及有效解決匹 配歧義的能力。圖像匹配( Image Matching )在立體視覺中， 圖像匹配是指將三維空間中一點A(X, Y, Z)在左右攝像機的成像面 C1和 Cr上的像點 a(1 u1,v1)和 a(r ur , vr)對應起來。圖像匹配是立體視覺中最重要也是最困難的問 題，一直是立體視覺研究的焦點。 當空間三維場景經(jīng)過透視投影 ( Perspective Projection )變 換為二維

7、圖像時， 同一場景在不同視點的攝像機圖像平面上成像會發(fā)生不同程度的扭曲和變 形，而且場景中的光照條件、被測對象的幾何形狀和表面特性、噪聲干擾和畸變、 攝像機特 性等諸多因素的影響都被集中體現(xiàn)在單一的圖像灰度值中。顯然， 要包含了如此之多不利因素的圖像進行精準的匹配是很不容易的。根據(jù)匹配基元的不同，立體視覺匹配算法分為三大類：區(qū)域匹配、 特征匹配和相位匹配。這 三類算法因匹配基元的不同， 它們判斷對應點匹配的理論依據(jù)也有所不同， 同時匹配基元的 穩(wěn)定性、 致密性和歧義性程度直接決定了各類算法的基本特性。 另一方面， 對于不同的匹配 基元，相似性測度的算法模型可以是通用的， 比如都可以用距離測度來

8、進行匹配度量。 而且， 各類匹配算法中不乏一些共有的約束條件。特征點的定位 視差測距原理fblalbDisparity la -lb當攝像機的幾何位置固定時，視差就只與 d 有關三維恢復( 3D Reconstruction )在完成立體視覺系統(tǒng)的攝像機標定和圖像匹配工作以后就可以進行被測對象表面點的三維信息恢復。 影響三維測量精度的因素主要有攝像機標定誤差、CCD成像設備的數(shù)字量化效應、特征提取和匹配定位精度等。視頻分析(運動檢測、運動跟蹤、規(guī)則判斷、報警處理)通過視差計算， 得到全屏幕的視差圖像后， 采用背景建模的方式， 得到運動前景物的視差圖 像，再進行膨脹和腐蝕算法進行圖像的預處理，

9、得到完整的可供分析的前景運動物體視差圖。 采用運動跟蹤算法，全屏實時檢測物體的大小、運動軌跡，并與事先設置的規(guī)則進行對比， 如果有人進入或者離開設置的報警區(qū)域，系統(tǒng)則實時報警。視差： Disparity Xleft X rightI1=rgb2gray(imread('scene_left.jpg');I2=rgb2gray(imread('scene_right.jpg');subplot(131);imshow(I1);subplot(132);imshow(I2);d=disparity(I1,I2);subplot(133);imshow(d);I1=r

10、gb2gray(imread('scene_left.jpg');I2=rgb2gray(imread('scene_left.jpg'); subplot(131);imshow(I1); subplot(132);imshow(I2);d=disparity(I1,I2);subplot(133);imshow(d);極線：極平面與圖像平面的交線； 極平面：空間點、兩像機光心決定的平面；epipolarLine 計算兩幅圖像的極線load stereoPointPairsfLMedS,inliers=estimateFundamentalMatrix( ma

11、tchedPoints1, matchedPoints2, 'NumTrials', 4000);I1=imread('scene_left.jpg');figure; subplot(121);imshow(I1);title('Inliers and Epipolar Lines in First Image');hold on; plot(matchedPoints1(inliers,1),matchedPoints1(inliers,2),'go'); epiLines = epipolarLine(fLMedS'

12、,matchedPoints2(inliers,:);pts = lineToBorderPoints(epiLines,size(I1); line(pts(:,1,3)',pts(:,2,4)');% show the inliers in the second image. I2=imread('scene_right.jpg');subplot(122);imshow(I2);title('Inliers and Epipolar Lines in second Image'); hold on;plot(matchedPoints2(i

13、nliers,1),matchedPoints2(inliers,2),'go');epiLines = epipolarLine(fLMedS',matchedPoints1(inliers,:);pts = lineToBorderPoints(epiLines,size(I2); line(pts(:,1,3)',pts(:,2,4)');truesize;對應點的估計基礎矩陣 estimateFundamentalMatrix 左右兩幅圖像相對應的點之間的關系可以通過本質(zhì)矩陣或是基礎矩陣來表明。 本質(zhì)矩陣是攝像機標定的情況下用的，公式：(pr)

14、Epl 0其中 pr 和 pl 分別是兩個齊次攝像機的坐標向量。本質(zhì)矩陣是奇異矩陣，并有兩個相等的非 零奇異值，秩為 2.(qr ) Fql 0本質(zhì)矩陣是攝像機非標定的情況下用的，公式： 基礎矩陣的秩為 2.load stereoPointpairsF = estimateFundamentalMatrix( matchedPoints1, matchedPoints2) I1=imread('scene_left.jpg');I2=imread('scene_right.jpg');Image',cvexShowImagePair(I1,I2,'

15、;matchedPoints in Left Image','matchedPoints in Right 'MultipleColors',matchedPoints1,matchedPoints2);問題： cvexShowImagePair 在 matlab 中找不到源程序 .所以無法顯示匹配的點>> fourF =0.00000.0000 -0.0209-0.0000 0.0000 -0.02140.02020.01900.9992極點：基線與兩攝像機圖像平面的交點； 基線：左右兩相機光心的連線； 判斷圖像是否包含極點 isEpipoleIn

16、Image load stereoPointPairsF = estimateFundamentalMatrix( matchedPoints1, matchedPoints2); imageSize = 200 300;isIn,epipole=isEpipoleInImage(F,imageSize)isIn =0epipole =114.8720 222.6113 isIn 說明的是圖像是否包含極點， epipole 標準極點的位置?；陔p目立體視覺的物體深度信息提取系統(tǒng)研究 攝像機標定，圖像預處理，立體匹配以及深度信息提取 攝像機標定 圖像上每一個像素的灰度反映了空間物體表面某點的反射

17、光的強度， 而該點在圖像上的位置 則與空間物體表面對應點的幾何位置有關。 這些位置的相互關系， 由攝像機成像系統(tǒng)的幾何 投影模型所決定。I1=rgb2gray(imread('cup_left.jpg');subplot(321);imshow(I1);I2=rgb2gray(imread('cup_right.jpg');subplot(322); imshow(I2);%檢測特征點 pts1 = detectSURFFeatures(Iin);Pts2 = detectSURFFeatures(Iout);featuresIn, validPtsIn = e

18、xtractFeatures(I1, pts1); featuresOut, validPtsOut = extractFeatures(I2, pts2);%匹配特征點indexPairs = matchFeatures(features1, features2); matchedPts1 = validPts1(indexPairs(:,1);matchedPts2 = validPts2(indexPairs(:,2);subplot(323); showMatchedFeatures(Iin,Iout,matchedPts1,matchedPts2); title('Match

19、ed SURF points, including outliers');% Exclude the outliers and compute the transformation matrix tform,inlierPtsOut,inlierPtsIn = estimateGeometricTransform(. matchedPts2,matchedPts1,'similarity');subplot(324); showMatchedFeatures(Iin,Iout,inlierPts1,inlierPts2); title('Matched inli

20、er points');% Recover the original image I from IoutoutputView = imref2d(size(I1);Ir = imwarp(I2, tform, 'OutputView', outputView); subplot(325); imshow(Ir);returns an image that is SCALE times the size of A, which is a grayscale, RGB, or binary image.SURFPoints, extractFeatures, matchFeatures,detectBRISKFeatures, detectFASTFeatures, detectHarrisFeatures, detectMinEigenFeatures, detectMSERFeaturesdetectSURFFeaturesload stereoPointPairsfLMedS, inliers