1、Xiaogang WangYork UniversityVision-based NavigationXiaogang Wang背景 計算機視覺單目視覺雙目視覺 又稱為立體視覺，是機器視覺的一個重要分支，立體視覺的研究目的是使機器具有通過二維圖像認知三維環(huán)境信息的能力。 這種能力不僅使機器能感知三維環(huán)境中物體的幾何信息，而且還能對它們進行描述、存儲識別和理解，以滿足特定的需求。三目視覺Xiaogang WangYork University背景 立體視覺立體視覺通過設計和模仿人類視覺來獲得物體的深度信息；它在逆向工程、測試測量、文化產業(yè)、公共安全、視覺導航、地圖生成、航空勘測等領域都有很好的應

2、用價值；二維信息與三維信息的結合，也為一些具體的工程問題提供了方法，如目標識別的圖像分割。Xiaogang WangYork UniversityXiaogang WangYork UniversityMobile Robot System Hardware configuration Mobile robot ERA-BASE Stereo vision camera Bumblebee2 Smart computer STEALTH.Com Inc Inertial measurement unit ADIS16405 Dead-reckoning Viper board SPIXiaog

3、ang WangYork UniversityMobile Robot SystemCommunication interfaceXiaogang WangYork UniversityMobile Robot SystemSoftware ConfigurationXiaogang WangYork UniversityStereo Vision and Image Processing For the single camera Both P and Q project into the same image point This occur for each point along th

4、e same line of sight Stereo Vision and Image ProcessingXiaogang WangYork University物體的深度信息可以通過物體的深度信息可以通過雙眼觀察得到雙眼觀察得到Xiaogang WangYork UniversityStereo Vision and Image ProcessingWe can infer the depth, by means of triangulation, if weCan find the correspondence points.Two camera systemXiaogang Wang

5、York UniversityStereo Vision and Image ProcessingStandard formTriangulation equation雙目視覺三維測量時基于視差原理視差disparity與深度depth的關系Xiaogang WangYork University視差與深度成反比例關系視差與深度成反比例關系視差disparity與深度depth的關系Xiaogang WangYork University同一個深度下，視差相同同一個深度下，視差相同Xiaogang WangYork UniversityFlow Chart of Stereo Vision I

6、mage Processing鏡頭的畸變Xiaogang WangYork University切向畸變切向畸變鏡像畸變鏡像畸變Xiaogang WangYork UniversityStereo Vision and Image Processing (Calibration) Calibration aimed at findingIntrinsic parameters (focal length, image center, lens distortion, etc)Extrinsic parameters (matrix aligns the two cameras) Raw Rig

7、htImageRaw leftImageXiaogang WangYork UniversityStereo Vision and Image Processing (Rectification) Using the information from the calibration step Remove the lens distortion Turns the stereo pair in the standard formRectified ImageXiaogang WangYork UniversityStereo Vision and Image Processing (Stere

8、o) Aims at finding homologous points in the stereo pairDisparity map圖像匹配（Corresponding Pair） 圖像匹配的概念在雙目視覺測量中，圖像匹配的目的是給定一幅圖像上的已知點，在另一幅圖像上尋找與之對應的目標匹配點，或稱為同名像點。圖像匹配方法通常有基于圖像灰度（區(qū)域）的匹配、基于圖像特征的匹配和基于解釋的匹配，或者是多種方法相結合的匹配Xiaogang WangYork University圖像匹配（Corresponding Pair） 圖像一幅完整的圖像，是由紅色、藍色和綠色三個通道組成紅色、藍色和綠色三個

9、通道都以灰度顯示，用不同的灰度來表示“紅、藍、綠”的比重。Xiaogang WangYork University圖像匹配（Corresponding Pair） 圖像把白色與黑色之間按對數關系分為若干等級，稱為灰度?；叶确譃?56階，用灰度表示的圖像稱為灰度圖。在計算機領域，灰度數字圖像是每一個像素都只有一個采樣顏色的圖像，這類圖像通常顯示為從最暗黑色到最亮的白色的灰度?；叶葓D與黑白圖像不同，在計算機領域黑白圖像只有黑色和白色兩種顏色；灰度圖像在黑色和白色之間還有許多等級的顏色深度。Xiaogang WangYork University圖像匹配（Corresponding Pair） 基于

10、灰度的區(qū)域匹配基本原理是在其中一幅圖像中選取一個子窗口圖像，然后再另一幅圖像中的一個區(qū)域內，根據某種匹配準則，尋找與子窗口圖像最為相似的子圖像。常用的匹配準則有最大互相關準則，最小均方差準則等。區(qū)域匹配方法的計算量很大，且誤匹配概率較高，匹配精度較差。Xiaogang WangYork University圖像匹配的難點Xiaogang WangYork University光學失真和噪聲（亮度、色調和飽和度等失衡）光學失真和噪聲（亮度、色調和飽和度等失衡）圖像匹配的難點Xiaogang WangYork University平滑表面的鏡面反射平滑表面的鏡面反射圖像匹配的難點Xiaogang

11、WangYork University投影縮減投影縮減圖像匹配的難點Xiaogang WangYork University透視失真透視失真圖像匹配的難點Xiaogang WangYork University低紋理低紋理圖像匹配的難點Xiaogang WangYork University重復紋理重復紋理圖像匹配的難點Xiaogang WangYork University透明物體透明物體圖像匹配的難點Xiaogang WangYork University重疊和非連續(xù)重疊和非連續(xù)圖像匹配（Corresponding Pair） (review) 圖像圖像的基本元素是像素(Pixel)一幅完

12、整的圖像，是由紅色、藍色和綠色三個通道組成紅色、藍色和綠色三個通道都以灰度顯示，用不同的灰度來表示“紅、藍、綠”的比重。Xiaogang WangYork University圖像匹配（Corresponding Pair） (review) 圖像把白色與黑色之間按對數關系分為若干等級，稱為灰度?；叶确譃?56階，用灰度表示的圖像稱為灰度圖。在計算機領域，灰度數字圖像是每一個像素都只有一個采樣顏色的圖像，這類圖像通常顯示為從最暗黑色到最亮的白色的灰度?；叶葓D與黑白圖像不同，在計算機領域黑白圖像只有黑色和白色兩種顏色；灰度圖像在黑色和白色之間還有許多等級的顏色深度。Xiaogang WangYo

13、rk University*0.299*0.587*0.114GrayRGBXiaogang WangYork UniversityStereo Vision and Image Processing (review)Standard formTriangulation equation雙目視覺三維測量時基于視差原理Xiaogang WangYork UniversityFlow Chart of Stereo Vision Image Processing (review)Xiaogang WangYork UniversityStereo Vision and Image Processi

14、ng (Triangulation) Given the disparity map, the baseline and the focal length (calibration): triangulation computers the position of the correspondence in the 3D space Xiaogang WangYork UniversityStereo Vision and Image Processing For me, I dont need every 3D coordinate in the field of view. I just

15、use some of Features.圖像匹配（Corresponding Pair） 特征匹配基于抽象的幾何特征，如角點、邊緣及邊緣直線等幾何形狀及參數進行特征點匹配。由于幾何特征的稀疏性，特征匹配方式只能獲得稀疏的深度圖，需要各種內插方法才能完成整幅深度圖提取。Xiaogang WangYork University圖像的角點檢測 角點檢測（Corner Detection）是計算機視覺中用來獲取圖像特征的一種方法，廣泛應用于運動檢測、圖像匹配、視頻跟蹤、三維建模和目標識別等領域，也稱為特征點檢測。角點通常定義為兩條邊的交點，更嚴格的說，角點的局部鄰域應該具有不同區(qū)域的不同方向的邊界。

16、而實際應用中，大多數所謂的角點檢測方法檢測的是擁有特點特征的圖像，而不僅僅是“角點”。Xiaogang WangYork UniversityXiaogang WangYork UniversityVicon Motion Capture System To evaluate the accuracy of vision-based navigation system, the vicon camera system is utilized.Xiaogang WangYork UniversityVicon Motion Capture System Multiple vicon camera

17、 Marks Central computerXiaogang WangYork UniversityVicon Motion Capture SystemFirst Step: configure the multiple vicon camerasXiaogang WangYork UniversityVicon Motion Capture SystemSecond Step: calibration the vicon cameras using the T braceXiaogang WangYork UniversityVicon Motion Capture SystemThir

18、d step: attach the marks on mobile robotXiaogang WangYork UniversityVicon Motion Capture SystemFinal step: record and export the trajectory of mobile robotXiaogang WangYork UniversityResult of experimentRed line is the estimated trajectory using EKFBlue line is the captured trajectory by vicon camera systemXiaogang WangYork UniversityResult