機(jī)器視覺陳兵旗陳思瑤王僑第1章緒論01第2章圖像數(shù)據(jù)及存儲(chǔ)與采集02第3章像素分布與圖像分割03第4章顏色空間及測量與變換04第5章幾何變換及單目測量05第6章傅里葉變換06第7章小波變換07第8章濾波增強(qiáng)08第9章二值運(yùn)算與參數(shù)測量09第10章雙目視覺測量10第11章二維三維運(yùn)動(dòng)圖像測量實(shí)踐11第12章模式識別12第13章神經(jīng)網(wǎng)絡(luò)13第14章深度學(xué)習(xí)14目錄第10章 雙目視覺測量思維導(dǎo)圖第10章 雙目視覺測量本章將介紹雙目視覺測量的硬件構(gòu)成、基本原理、標(biāo)定方法和三維重建，標(biāo)定方法將介紹常用的直接線性標(biāo)定法和張正友標(biāo)定法以及兩者之間的參數(shù)轉(zhuǎn)換，最后通過實(shí)際測量，對標(biāo)定方法和雙目視覺的測量精度進(jìn)行論述。如圖10.1所示，雙目視覺測量系統(tǒng)的功能模塊包括：左右視覺攝像機(jī)、計(jì)算機(jī)、三腳架、標(biāo)定裝置、光源等各個(gè)模塊的功能如表10.1所示。

圖10.1雙目視覺測量系統(tǒng)構(gòu)成雙目視覺系統(tǒng)的處理可以概括為以下幾個(gè)方面：雙目圖像采集、攝像機(jī)標(biāo)定、獲取目標(biāo)點(diǎn)和目標(biāo)點(diǎn)三維重建等幾個(gè)方面。10.1雙目視覺系統(tǒng)的結(jié)構(gòu)10.1.1平行式立體視覺模型一般來講，雙目視覺系統(tǒng)的結(jié)構(gòu)，可以根據(jù)攝像機(jī)光軸是否平行分為平行式立體視覺模型和匯聚式立體視覺模型?？梢愿鶕?jù)測量場景和對測量精度的要求進(jìn)行選擇。平行式立體視覺模型指的是雙目視覺系統(tǒng)中的兩臺(tái)攝像機(jī)光軸平行放置，使得匯聚距離為無窮遠(yuǎn)處。最簡單的立體成像系統(tǒng)模型就是平行式立體視覺模型，當(dāng)兩部一模一樣的攝像機(jī)被平行放置時(shí)則稱之為平行式立體視覺模型。如圖10.2所示。圖10.2平行式立體視覺模型

圖10.3平行式立體視覺模型原理圖10.1雙目視覺系統(tǒng)的結(jié)構(gòu)10.1.1平行式立體視覺模型

10.1雙目視覺系統(tǒng)的結(jié)構(gòu)10.1.2匯聚式立體視覺模型平行式立體視覺模型中，攝像機(jī)的光軸平行，因此成像的幾何關(guān)系也最簡單，但事實(shí)上，在現(xiàn)實(shí)情況中很難得到絕對的平行立體攝像系統(tǒng)，因?yàn)樵趯?shí)際攝像機(jī)安裝時(shí)，我們無法看到攝像機(jī)光軸，因此無法調(diào)整攝像機(jī)的相對位置到圖10.3的理想情形。在一般情況下，是采用如圖10.4所示的任意放置的兩個(gè)攝像機(jī)來組成雙目立體視覺系統(tǒng)。匯聚式立體視覺模型的原理如下圖10.5所示。圖10.5匯聚式立體視覺模型原理圖圖10.4匯聚式立體視覺模型10.1雙目視覺系統(tǒng)的結(jié)構(gòu)10.1.2匯聚式立體視覺模型

10.2攝像機(jī)標(biāo)定10.2.1直接線性標(biāo)定法攝像機(jī)標(biāo)定是指建立攝像機(jī)圖像像素位置與目標(biāo)點(diǎn)位置之間的關(guān)系，根據(jù)攝像機(jī)模型，由己知特征點(diǎn)的圖像坐標(biāo)和世界坐標(biāo)求解攝像機(jī)的參數(shù)。這是計(jì)算機(jī)立體視覺研究中需要解決的第一問題，也是進(jìn)行雙目視覺三維重建的重要環(huán)節(jié)。這一過程精確與否，直接影響了立體視覺系統(tǒng)測量的精度，因而實(shí)現(xiàn)立體攝像機(jī)的標(biāo)定工作是必不可少的。本節(jié)分別介紹直接線性標(biāo)定法和張正友標(biāo)定法。攝像機(jī)參數(shù)是由攝像機(jī)的位置、屬性參數(shù)和成像模型決定的。包含內(nèi)參和外參，攝像機(jī)內(nèi)參是攝像機(jī)坐標(biāo)系與理想坐標(biāo)系之間的關(guān)系，是描述攝像機(jī)的屬性參數(shù)，包含焦距、光學(xué)中心、畸變因子等。而攝像機(jī)外參表示攝像機(jī)在世界坐標(biāo)系中的位置和方向。外參數(shù)包含旋轉(zhuǎn)矩陣R和平移矩陣T，描述攝像機(jī)與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。將通過試驗(yàn)與計(jì)算得到攝像機(jī)內(nèi)參和外參的過程稱為攝像機(jī)標(biāo)定。Abdel-Aziz和Karara于上世紀(jì)70年代初提出了直接線性變換（DirectLinearTransformation，DLT）的攝像機(jī)標(biāo)定方法，這種方法忽略攝像機(jī)畸變引起的誤差，直接利用線性成像模型，通過求解線性方程組得到攝像機(jī)的參數(shù)。DLT方法的優(yōu)點(diǎn)是計(jì)算速度很快，操作簡單且易實(shí)現(xiàn)。缺點(diǎn)是由于沒有考慮攝像機(jī)鏡頭的畸變，因此不適合畸變系數(shù)很大的鏡頭，否則會(huì)帶來很大誤差。DLT標(biāo)定法需要將一個(gè)特制的立方體標(biāo)定模板放置在所需標(biāo)定攝像機(jī)前，其中標(biāo)定模板上的標(biāo)定點(diǎn)相對于世界坐標(biāo)系的位置已知。這樣攝像機(jī)的參數(shù)可以利用5.5.2節(jié)所描述的攝像機(jī)線性模型得到。10.2攝像機(jī)標(biāo)定10.2.1直接線性標(biāo)定法

這個(gè)式子表明，如果在三維空間中，已知n個(gè)標(biāo)定點(diǎn)，其中各標(biāo)定點(diǎn)的空間坐標(biāo)為（Xwi，Ywi，Zwi），圖像坐標(biāo)為（ui，vi）（i=1，…，n），則可得到2n個(gè)關(guān)于M矩陣元素的線性方程，且該2n個(gè)線性方程可以用如式10.8、10.9所示的矩陣形式來表示。

Km=U

（10.10）其中，Ｋ為公式10.9左邊的2n×11矩陣；Ｕ為公式10.9右邊的2n維向量；K，U為已知向量。當(dāng)2n>11時(shí)，利用最小二乘法對上述線性方程進(jìn)行求解為：

m向量與m34=1構(gòu)成了所求解的M矩陣。由公式10.6至10.11可見，若已知空間中至少6個(gè)特征點(diǎn)和與之對應(yīng)的圖像點(diǎn)坐標(biāo)，便可求得投影矩陣M。一般采用在標(biāo)定的參照物上選取大于8個(gè)已知點(diǎn)，使方程的個(gè)數(shù)遠(yuǎn)遠(yuǎn)超過未知量的個(gè)數(shù)，從而降低用最小二乘法求解造成的誤差。10.2攝像機(jī)標(biāo)定10.2.2棋盤標(biāo)定法棋盤標(biāo)定法，也叫張正友標(biāo)定法，或稱Zhang標(biāo)定法，是由微軟研究院的張正友博士于1998年提出的一種介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的平面標(biāo)定法。它既避免了傳統(tǒng)標(biāo)定方法設(shè)備要求高、操作繁瑣等缺點(diǎn)，又比自標(biāo)定的精度高、魯棒性好。該方法主要步驟如下：（1）打印一張黑白棋盤方格圖案，并將其貼在一塊剛性平面上作為標(biāo)定板；（2）移動(dòng)標(biāo)定板或者相機(jī)，從不同角度拍攝若干照片（理論上照片越多，誤差越?。唬?）對每張照片中的角點(diǎn)進(jìn)行檢測，確定角點(diǎn)的圖像坐標(biāo)與實(shí)際坐標(biāo)；（4）在不考慮徑向畸變的前提下，即采用相機(jī)的線性模型。根據(jù)旋轉(zhuǎn)矩陣的正交性，通過求解線性方程，獲得攝像機(jī)的內(nèi)部參數(shù)和第一幅圖的外部參數(shù)；（5）利用最小二乘法估算相機(jī)的徑向畸變系數(shù)；

（6）根據(jù)再投影誤差最小準(zhǔn)則，對內(nèi)外參數(shù)進(jìn)行優(yōu)化。一、計(jì)算內(nèi)參和外參的初值

10.2攝像機(jī)標(biāo)定10.2.2棋盤標(biāo)定法一、計(jì)算內(nèi)參和外參的初值

10.2攝像機(jī)標(biāo)定10.2.2棋盤標(biāo)定法二、最大似然估計(jì)

10.2攝像機(jī)標(biāo)定10.2.2棋盤標(biāo)定法三、徑向畸變估計(jì)

10.2攝像機(jī)標(biāo)定10.2.3攝像機(jī)參數(shù)與投影矩陣的轉(zhuǎn)換

10.3標(biāo)定測量試驗(yàn)在同一場景中，分別采用直接線性標(biāo)定法和張正友標(biāo)定法對攝像機(jī)進(jìn)行標(biāo)定，然后分別利用兩組標(biāo)定結(jié)果進(jìn)行目標(biāo)點(diǎn)的三維測量，分析標(biāo)定精度，比較兩種標(biāo)定方法的區(qū)別。

圖10.6為試驗(yàn)用的雙目視覺圖像采集系統(tǒng)。為了能通過兩攝像機(jī)獲取最大的視野范圍，采用的是匯聚式立體視覺模型，可以通過相機(jī)調(diào)整支架，改變兩個(gè)相機(jī)之間的距離和光軸角度，調(diào)整視野范圍。圖10.6雙目視覺圖像采集系統(tǒng)試驗(yàn)選用的相機(jī)為佳能550D單反攝像機(jī)。該相機(jī)的具體參數(shù)見表10.2。

10.3標(biāo)定測量試驗(yàn)10.3.1直接線性標(biāo)定法試驗(yàn)采用如圖10.7所示標(biāo)定架，該標(biāo)定架的X、Y、Z軸三個(gè)方向兩兩垂直且不易變形，從而保證標(biāo)定精度。由于對每一幅圖像通過鼠標(biāo)點(diǎn)擊標(biāo)定點(diǎn)獲得其圖像坐標(biāo)，所以在標(biāo)定架的八個(gè)角點(diǎn)上貼有顏色鮮艷的標(biāo)示物，方便8個(gè)角點(diǎn)的選取。圖10.7直接線性標(biāo)定法標(biāo)定架標(biāo)定架的尺寸為520mm×520mm×520mm，假定角點(diǎn)1為坐標(biāo)原點(diǎn)，可知1～8各個(gè)角點(diǎn)相對坐標(biāo)分別為（0,0,0），（520,0,0），（520,520,0），（0,520,0），（0,0,520），（520,0,520），（520,520,520），（0,520,520）。桌面上的A、B、C、D四個(gè)點(diǎn)用以確定一個(gè)平面，保證隨后的張正友標(biāo)定法試驗(yàn)和待測物的放置均在此平面的上方進(jìn)行。從表中可以看出，通過標(biāo)定計(jì)算重建出的8個(gè)角點(diǎn)的三維坐標(biāo)誤差可以控制在1%內(nèi)。引起誤差的因包括圖像成像過程中的畸變、手動(dòng)選取目標(biāo)點(diǎn)時(shí)的偏差等。對誤差較大的特征點(diǎn)可以通過重新點(diǎn)擊其像素點(diǎn)的方式來達(dá)到提高精度的目的。

10.3標(biāo)定測量試驗(yàn)10.3.2棋盤標(biāo)定法試驗(yàn)標(biāo)定步驟如下：1.制作平面標(biāo)定模板。標(biāo)定模板是打印出來的一個(gè)8×7的黑白方格棋盤，每個(gè)棋盤方格的尺寸為51mm×51mm，棋盤模板粘貼在質(zhì)地堅(jiān)硬的塑料板上，以保證模板平整。2.左右攝像機(jī)采集標(biāo)定模板圖像。本試驗(yàn)用了9張圖像在不同位置進(jìn)行拍攝。3.棋盤角點(diǎn)檢測。角點(diǎn)檢測是為了獲得棋盤角點(diǎn)的二維圖像坐標(biāo)數(shù)據(jù)，采用Harriss角點(diǎn)檢測算法，棋檢測結(jié)果如圖10.8所示

(a)左攝像機(jī)(b)右攝像機(jī)圖10.8棋盤標(biāo)定圖像及角點(diǎn)檢測結(jié)果

10.3標(biāo)定測量試驗(yàn)10.3.2棋盤標(biāo)定法試驗(yàn)

產(chǎn)生誤差的原因包括：1.標(biāo)定模板的加工精度。棋盤模板的加工質(zhì)量是影響圖像處理算法提取角點(diǎn)精度的主要因素。2.標(biāo)定模板的放置。在對棋盤模板進(jìn)行拍攝時(shí)，應(yīng)該盡量使其充滿視場，因此應(yīng)多選擇視場中的幾個(gè)位置進(jìn)行拍攝。另外棋盤模板應(yīng)向不同方向傾斜，且以傾斜45°為最優(yōu)。3.拍攝標(biāo)定圖像的數(shù)量。一般而言，圖像越多，標(biāo)定精度越高。但是會(huì)使得標(biāo)定計(jì)算量增加。而且在圖像數(shù)量增加到一定數(shù)量時(shí)，標(biāo)定精度將趨于穩(wěn)定。根據(jù)試驗(yàn)，選擇9張圖像在標(biāo)定精度和計(jì)算量兩方面能達(dá)到較好的平衡。4.雙目視覺系統(tǒng)的同步拍攝。雖然本試驗(yàn)所采用的標(biāo)定圖像屬于靜態(tài)拍攝，但是攝像機(jī)拍攝的同步性仍能影響標(biāo)定精度，所以應(yīng)采用同步采集。

上述標(biāo)定計(jì)算得到的數(shù)據(jù)結(jié)果為：內(nèi)參數(shù)矩陣為：A1、A2和D1、D2分別為左右相機(jī)的內(nèi)參矩陣和徑向畸變矩陣。2.外參數(shù)矩陣為：R1、R2和T1、T2分別為左右相機(jī)的外參矩陣和位移矩陣。

10.3標(biāo)定測量試驗(yàn)10.3.3三維測量試驗(yàn)本試驗(yàn)采用的待測物均為方形盒子，通過測量盒子的任意6個(gè)角點(diǎn)兩兩之間的距離來檢驗(yàn)三維測量算法的計(jì)算精度。由于試驗(yàn)中待測物各角點(diǎn)是由鼠標(biāo)選取，為了減少手動(dòng)選取目標(biāo)點(diǎn)所帶來的誤差，試驗(yàn)結(jié)果采用十次測量的平均值。第一個(gè)試驗(yàn)選用的待測物為一個(gè)方形盒子，在可以被左、右攝像機(jī)同時(shí)觀測的6個(gè)角點(diǎn)上做明顯標(biāo)記，如圖10.9所示，測量1~6各點(diǎn)間的距離。圖10.9待測物1的角點(diǎn)距離測量分別用直接線性標(biāo)定法和張正友標(biāo)定法得到的標(biāo)定結(jié)果進(jìn)行三維測量，取十次計(jì)算平均值，得到的各點(diǎn)間的距離與實(shí)際距離的比較如表10.4所示：

10.3標(biāo)定測量試驗(yàn)10.3.3三維測量試驗(yàn)為減少誤差，增大樣本容量，采用同樣的試驗(yàn)方法對如下圖所示的長方形盒子進(jìn)行測量，同樣，該試驗(yàn)的結(jié)果也是進(jìn)行十次測量計(jì)算后得到的平均值，如圖10.10所示：圖10.10待測物2的角點(diǎn)距離測量該試驗(yàn)得到的試驗(yàn)結(jié)果如下表10.5所示：

10.3標(biāo)定測量試驗(yàn)10.3.3三維測量試驗(yàn)圖10.11和圖10.12分別是利用兩種標(biāo)定方法對待測物1和2各點(diǎn)間距離測量的誤差統(tǒng)計(jì)比較結(jié)果。圖10.11待測物1中各點(diǎn)間距離誤差比較圖10.12待測物2中各點(diǎn)間距離誤差比較從兩個(gè)試驗(yàn)的結(jié)果可以分析得到以下幾點(diǎn)：1.兩種方法的曲線變化趨勢相同，且誤差值相差很小，說明利用張正友標(biāo)定法得到攝像機(jī)內(nèi)外參數(shù)后轉(zhuǎn)變成投影矩陣M的方法可行。2.平行于成像平面的目標(biāo)點(diǎn)測量誤差最?。耗繕?biāo)點(diǎn)1-6,2-5,3-4間的距離測量誤差均在1%以下，遠(yuǎn)小于其他各點(diǎn)間的誤差，其原因是因?yàn)檫@三對距離的方向是平行于攝像機(jī)成像平面的。由于將空間點(diǎn)從世界坐標(biāo)系轉(zhuǎn)