雙目視覺(jué)測(cè)距系統(tǒng)設(shè)計(jì)案例在進(jìn)行該部分的設(shè)計(jì)內(nèi)容之前，我先設(shè)計(jì)開(kāi)發(fā)了一個(gè)簡(jiǎn)單的單目測(cè)距系統(tǒng)并對(duì)其進(jìn)行測(cè)試分析，對(duì)系統(tǒng)原理有了更為深入的認(rèn)識(shí)，也對(duì)系統(tǒng)的開(kāi)發(fā)有了一定的知識(shí)儲(chǔ)備與實(shí)際操作經(jīng)驗(yàn)，這為雙目系統(tǒng)的研究起到了了堅(jiān)實(shí)的鋪墊作用，接下來(lái)就進(jìn)入本文的重點(diǎn)內(nèi)容。在這部分，我會(huì)著重介紹闡述重難點(diǎn)環(huán)節(jié)，分析其原理、算法與選擇條件。1.1攝像機(jī)標(biāo)定相機(jī)標(biāo)定是本文研究?jī)?nèi)容的第一個(gè)重難點(diǎn)，同時(shí)也是關(guān)鍵點(diǎn)，標(biāo)定就要通過(guò)多次試驗(yàn)以及推導(dǎo)來(lái)求解所使用的攝像頭的內(nèi)參和外參，這就又涉及到了相機(jī)成像模型，如此，在這一部分，我們就來(lái)研究討論成像模型，標(biāo)定方法，并對(duì)所使用的的方法重點(diǎn)介紹，通過(guò)這樣，得到我們最終想要的攝像機(jī)參數(shù)，并進(jìn)行分析。1.1.1相機(jī)模型介紹對(duì)相機(jī)模型進(jìn)行介紹了解是為了對(duì)攝像機(jī)取得圖像的過(guò)程有更清晰的認(rèn)知，在本質(zhì)上來(lái)說(shuō)，這是一種坐標(biāo)變換的關(guān)系，是由三維空間到二維空間的一種對(duì)應(yīng)關(guān)系。那么為了更加詳細(xì)地研究這種對(duì)應(yīng)關(guān)系，我們就需要建立一整套坐標(biāo)系系統(tǒng)。包括圖像坐標(biāo)系，攝像頭坐標(biāo)系以及世界坐標(biāo)系。其中，第一個(gè)又分為物理坐標(biāo)系和像素坐標(biāo)系，前者的單位是毫米，后者的單位是像素。兩者之間最簡(jiǎn)單的關(guān)系就是兩坐標(biāo)軸都為直角坐標(biāo)系時(shí)，其關(guān)系如下圖所示：圖1.1物理坐標(biāo)系和像素坐標(biāo)系其中（u,v）的值表示了這一點(diǎn)的灰度，是該點(diǎn)的像素坐標(biāo)，假設(shè)dx和dy是像素在其方向上的單位長(zhǎng)度，則兩坐標(biāo)系的映射關(guān)系可表示為：(1.1)(1.2)矩陣表現(xiàn)形式則為：（1.3）而關(guān)于攝像機(jī)坐標(biāo)系，它也被稱(chēng)為光心坐標(biāo)系，因?yàn)樗且怨庑臑樽鴺?biāo)原點(diǎn)。并且以（,,）來(lái)表示其坐標(biāo)值，同時(shí)它的橫軸與縱軸和圖像坐標(biāo)系的方向是一致的。Z軸為攝像機(jī)的光軸。通過(guò)相似三角形原理可以輕松獲得該坐標(biāo)系和上問(wèn)提及的（x,y）坐標(biāo)的對(duì)應(yīng)關(guān)系：(1.4)最后一個(gè)就是世界坐標(biāo)系，該坐標(biāo)系的作用是來(lái)描述相機(jī)在空間中的具體位置，給予其一個(gè)基準(zhǔn)，因此該坐標(biāo)系可以比較自由地選取所在的位置，但為了試驗(yàn)的簡(jiǎn)便性和可操作性，要盡可能地選擇對(duì)后續(xù)的計(jì)算和處理有幫助的位置，這樣可以大大降低之后處理計(jì)算的復(fù)雜程度。世界坐標(biāo)系與上一部分的坐標(biāo)系關(guān)系可以表示為：(1.5)其中R表示的意思是旋轉(zhuǎn)矩陣，t的含義則為平移向量。以c為下標(biāo)的是相機(jī)坐標(biāo)系的值，以w為下標(biāo)的是世界坐標(biāo)系的值。綜上所述，這四個(gè)坐標(biāo)系的關(guān)系可用下圖來(lái)進(jìn)行表示：圖1.2四個(gè)坐標(biāo)系間的關(guān)系從左到右，連接他們的分別是剛體變換，透視投影以及二次轉(zhuǎn)換，且按順序依次左乘得到。在理想情況下，即忽略攝像機(jī)本身的物理結(jié)構(gòu)，將其視為一個(gè)點(diǎn)的時(shí)候，相機(jī)模型可以視為小孔成像模型，也叫線(xiàn)性模型。示意圖如下：圖1.3小孔成像模型圖在該模型下，將x,y與和的關(guān)系帶入公式1.5可得：（1.6）此時(shí)公式中的就是我們想要的相機(jī)的參數(shù)，前者為內(nèi)參，后者為外參。內(nèi)參的含義就是相機(jī)坐標(biāo)系與像素坐標(biāo)系之間的變換，另一個(gè)參數(shù)則是世界坐標(biāo)系與相機(jī)坐標(biāo)系間的變換，就是這兩個(gè)參數(shù)，把外部世界與我們拍攝的相片內(nèi)部相連接起來(lái)。求解這兩個(gè)參數(shù)的過(guò)程就是相機(jī)的標(biāo)定。然而，現(xiàn)實(shí)情況下，我們很難或者說(shuō)幾乎不可能在理想情況下進(jìn)行該實(shí)驗(yàn)，更多的是會(huì)受到來(lái)自各方面的影響，因此該模型在實(shí)際應(yīng)用時(shí)還要加以改進(jìn)，以貼合實(shí)際情況，保證最終結(jié)果的準(zhǔn)確性。因此，接下來(lái)就介紹另一種應(yīng)用范圍更廣，更加符合現(xiàn)實(shí)，但計(jì)算復(fù)雜度更高，原理更難以理解的模型，非線(xiàn)性模型。首先來(lái)分析，現(xiàn)實(shí)情況下，我們會(huì)有來(lái)自哪些方面的影響，再逐一分析這些來(lái)源，以對(duì)癥下藥，通過(guò)各種方法來(lái)消除或者減少它，完善我們所使用的的模型。在小孔成像模型中，由于是“小孔”，所以透過(guò)的光是少量的，這就導(dǎo)致現(xiàn)實(shí)中這樣會(huì)使得生成圖像的速率非常慢，不過(guò)這是我們所不能接受的，所以要想快速生成圖像，就要增加進(jìn)光量，從而使用面積大、曲率高的透鏡，保證曝光充足，這樣就有足夠多的光線(xiàn)匯聚到點(diǎn)上，大大提升圖像生成的速度?？蛇@樣一來(lái)，就帶來(lái)了另一個(gè)問(wèn)題——畸變。我們要考慮的畸變主要有兩種，其余的因其影響度不大，可以忽略，同時(shí)OpenCV中也沒(méi)有相關(guān)的API，這兩種分別是徑向畸變和切向畸變。圖1.4徑向畸變的兩種形式如上圖所示，現(xiàn)實(shí)中的相機(jī)總會(huì)在成像儀上產(chǎn)生非常明顯的畸變，或在中心，或在邊緣的情況更加嚴(yán)重，這是由透鏡的物理性質(zhì)所決定的，是它的固有屬性，很難進(jìn)行徹底的消除。因此，我們需要用數(shù)學(xué)方式來(lái)對(duì)這些畸變進(jìn)行校正，通常，我們是用以下公式進(jìn)行調(diào)節(jié)：（1.7）（1.8）x，y表示該點(diǎn)的初始位置，加下標(biāo)后的是矯正后的位置。另一種畸變則是切向畸變，這是在相機(jī)的制造過(guò)程中產(chǎn)生的，也是幾乎沒(méi)有完美的解決方案的。在制造過(guò)程中，準(zhǔn)確說(shuō)是組裝時(shí)，透鏡與成像平面沒(méi)能呈現(xiàn)完美的平行關(guān)系。也就是說(shuō)，光線(xiàn)通過(guò)透鏡后并不是垂直入射成像平面的，是有一定的角度關(guān)系的。我們就需要額外的參數(shù)來(lái)校正。如下：（1.9）綜上所述，我們一共要處理五個(gè)畸變參數(shù)。在OpenCV中，這幾個(gè)參數(shù)都是必不可少的。1.1.2常用攝像機(jī)標(biāo)定方法介紹攝像機(jī)標(biāo)定作為測(cè)距過(guò)程中關(guān)鍵的一步，也是比較重要的一個(gè)步驟，許多學(xué)者都對(duì)此領(lǐng)域展開(kāi)了詳細(xì)深入的研究，截止目前已經(jīng)提出了很多不同的標(biāo)定方法，它們都有各自適用的場(chǎng)合，這些方法統(tǒng)共可大致分為三類(lèi)：傳統(tǒng)的相機(jī)標(biāo)定方法、相機(jī)自標(biāo)定方法還有基于主動(dòng)視覺(jué)的標(biāo)定方法，接下來(lái)就對(duì)這兩類(lèi)分別進(jìn)行詳細(xì)介紹。首先是傳統(tǒng)方法，這種方法需要的已知條件很多，例如需要一個(gè)已知形狀、大小參數(shù)的標(biāo)定物，然后對(duì)其進(jìn)行圖像采集，然后經(jīng)過(guò)處理，包括數(shù)學(xué)變換和推導(dǎo)計(jì)算，最終可以取得內(nèi)參，即相機(jī)的與外界條件無(wú)關(guān)的固有屬性，例如焦距，畸變參數(shù)，圖像中心等，同時(shí)獲取外參，即相機(jī)在空間中的位置和方位關(guān)系。（1）利用最優(yōu)化算法的定標(biāo)方法：這類(lèi)算法的原理是對(duì)相機(jī)的光學(xué)成像建立一個(gè)復(fù)雜模型，然后通過(guò)對(duì)模型的研究分析、開(kāi)發(fā)優(yōu)化最終得到結(jié)果。但這種方法十分費(fèi)時(shí)費(fèi)力，難以及時(shí)地獲得想要的結(jié)果，關(guān)于這一點(diǎn)，F(xiàn)aig在文獻(xiàn)中提出的算法最能凸顯出這一特征，他以小孔成像模型作為起點(diǎn)，對(duì)該結(jié)構(gòu)進(jìn)行了大量復(fù)雜的拓展，提出了一個(gè)十分復(fù)雜的模型，在對(duì)各種可能的影響因素進(jìn)行完細(xì)致的分析計(jì)算后，采用這種方法，至少需要十七個(gè)參數(shù)才能詳盡具體地描述目標(biāo)物體與三維空間的對(duì)應(yīng)關(guān)系。計(jì)算量可想而知，極大。另一個(gè)代表性方法則是直接線(xiàn)性變換法（DirectLinearTransformation,DLT）,此方法由Abdel-Aziz和Karara在一九七一年提出，該方法只需對(duì)線(xiàn)性方程組進(jìn)行求解即可獲得參數(shù)，而這正是其優(yōu)勢(shì)所在。不過(guò)它也有一個(gè)很明顯的缺陷，那就是DLT沒(méi)有把非線(xiàn)性畸變問(wèn)題考慮進(jìn)去，也因此，在實(shí)際使用時(shí)，必須要搭配非線(xiàn)性?xún)?yōu)化算法。（2）利用透視變換矩陣的定標(biāo)方法：聯(lián)系相機(jī)測(cè)量的內(nèi)容，我們都是對(duì)含有相機(jī)內(nèi)參和外參的非線(xiàn)性方程組進(jìn)行求解以獲得最終數(shù)據(jù)，那么如果我們把其中的畸變因素暫時(shí)忽視掉，同時(shí)把透視變換矩陣當(dāng)成這之中的未知因素。對(duì)這一部分進(jìn)行求解，最終得到一組數(shù)據(jù)，從以上原理可以分析得出，從本質(zhì)上來(lái)講，這種方法與前文提到的DLT沒(méi)有嚴(yán)格的區(qū)別。這類(lèi)方法，因?yàn)闆](méi)有使用最優(yōu)化算法，所以它的計(jì)算速度被大大提高了，能夠滿(mǎn)足我們實(shí)時(shí)得到參數(shù)的需求，但同樣地，它也沒(méi)有考慮非線(xiàn)性畸變，這個(gè)方法的精確度與穩(wěn)定性也不高。（3）考慮畸變補(bǔ)償?shù)膬刹椒ǎ鹤屑?xì)分析前兩種方法，我們會(huì)自然而然地產(chǎn)生一個(gè)疑問(wèn)：能否把這兩種方案結(jié)合起來(lái)呢。而這就是兩步法所要做的。由前文可知，使用最優(yōu)化算法，那么其結(jié)果會(huì)受初始值設(shè)定的制約，很難保證精度與準(zhǔn)度，而如果使用直接線(xiàn)性變換法或者透視變換矩陣法的話(huà)，就會(huì)因?yàn)楹鲆暳朔蔷€(xiàn)性畸變的影響而降低結(jié)果的精確度。那如果我們把這兩種方案結(jié)合，先求解參數(shù)，將結(jié)果作為初始值，代入模型，以最優(yōu)化算法推導(dǎo)出最終的結(jié)果。這就是兩步法的核心思想與具體的實(shí)施方案。到目前為止，最為常見(jiàn)的是Tsai提出的一種具有很大使用價(jià)值的兩步法，在該方法中，他首先使用徑向準(zhǔn)直約束來(lái)對(duì)相機(jī)模型分析，推出其外參，之后再用非線(xiàn)性知識(shí)求出內(nèi)部參數(shù)。很明顯，這種方法相較于前兩種有著不可比擬的優(yōu)越性，精準(zhǔn)度上了一個(gè)臺(tái)階，但它也有著自身的局限性。首先它對(duì)設(shè)備條件的需求會(huì)更高，而且也會(huì)明顯增加計(jì)算量，延長(zhǎng)處理時(shí)間。雙平面標(biāo)定法：還有一些學(xué)者試圖在相機(jī)模型上尋找新的突破口，深入探索研究想要找到一種更加方便使用又貼合實(shí)際的模型。Martin首先提出了雙平面模型，并提出了三種插值方法，即線(xiàn)性插值，二次插值和線(xiàn)性樣條插值。該模型與前文介紹的小孔成像模型有著明顯的區(qū)別：在雙平面中，成像平面上的任意一個(gè)點(diǎn)都不是必須要通過(guò)光心的，而是根據(jù)這一個(gè)點(diǎn)，能夠確定其在兩個(gè)定標(biāo)平面上所對(duì)應(yīng)的點(diǎn)，這樣就可以對(duì)這兩個(gè)平面分別建立插值公式。該種方法的好處是，不再涉及非線(xiàn)性的方法，在精準(zhǔn)度上會(huì)有優(yōu)勢(shì)，但其本身也有缺陷：涉及的參數(shù)個(gè)數(shù)大大增加，計(jì)算量會(huì)增加。上述幾種方案都對(duì)實(shí)驗(yàn)環(huán)境有著較為苛刻的要求，上世紀(jì)末，F(xiàn)augeras,Luong等人第一次提出了自標(biāo)定的概念，這一概念的提出，使得我們?cè)谙鄼C(jī)可以移動(dòng)同時(shí)測(cè)量目標(biāo)未知的條件下對(duì)相機(jī)進(jìn)行標(biāo)定成為了可能。對(duì)比之前的方法，顯然該類(lèi)方法的適用范圍會(huì)更廣。目前，常用的自標(biāo)定方法有推導(dǎo)Kruppa方程標(biāo)定法，逐級(jí)分層標(biāo)記法和基于二次曲面的標(biāo)定方法還有基于主動(dòng)視覺(jué)的方法。以Kruppa方程為基礎(chǔ)的標(biāo)定法：這種方法的核心就是對(duì)Kruppa方程的求解，該方程是根據(jù)二次曲線(xiàn)和線(xiàn)變換的相關(guān)原理推導(dǎo)出來(lái)的，而關(guān)于解出結(jié)果的方式，有幾種不同的算法。Faugeras的算法完全依賴(lài)于幾何計(jì)算，對(duì)浮點(diǎn)計(jì)算的要求出奇地高，當(dāng)時(shí)的普通計(jì)算機(jī)很難滿(mǎn)足他的要求。Luong提出了另一種方案：基于連續(xù)同倫算法進(jìn)行求解。這種方法對(duì)噪聲的要求降低，但卻對(duì)提取精度有著嚴(yán)苛的要求。這兩種方案都有獲取結(jié)果難度難度大的缺陷。逐級(jí)分層標(biāo)定法：這類(lèi)方法是對(duì)前一種的優(yōu)化，目的是解決其難以計(jì)算的難點(diǎn)。具體方法是：首先對(duì)圖像進(jìn)行投影重建，然后施加曲面約束條件，最后使用仿射標(biāo)定得出結(jié)果。一經(jīng)提出，這類(lèi)方法就掀起一股熱潮。迅速取代了前一種方法，成為當(dāng)時(shí)的標(biāo)定主流方法。最著名的方案是由Hartley提出的對(duì)投射矩陣加以QR分解的解決方法。該方法大大減少了未知參數(shù)的數(shù)量至八個(gè)（內(nèi)參加上三個(gè)平面參數(shù)）。基于二次曲面的標(biāo)定法：這種方法是由Triggs于一九九四年提出，其本質(zhì)與（1）中大差不差，但在某些情況下有著絕對(duì)的優(yōu)勢(shì)。原因在于它考慮了二次曲線(xiàn)的所有信息，又有所有圖像的投影重建的基礎(chǔ)，使得無(wú)限遠(yuǎn)平面對(duì)所研究的全部平面擁有一樣的條件約束。這樣，使用該方法對(duì)多個(gè)圖像進(jìn)行處理時(shí)，處理速度遠(yuǎn)超第一種方法?；谥鲃?dòng)視覺(jué)的標(biāo)定法：主動(dòng)，含義是拍攝設(shè)備可以按提前設(shè)計(jì)好的軌跡進(jìn)行移動(dòng)，隨后根據(jù)運(yùn)動(dòng)中拍攝的圖像和運(yùn)動(dòng)軌跡的位置來(lái)最終確定內(nèi)參和外參。不過(guò)，該方案對(duì)運(yùn)動(dòng)軌跡的精準(zhǔn)度要求很高，也就是設(shè)備要精準(zhǔn)控制相機(jī)的運(yùn)動(dòng)，同時(shí)也對(duì)場(chǎng)合有一定的要求，成本會(huì)比較高。根據(jù)攝像機(jī)移動(dòng)方式的不同，常見(jiàn)的方法有兩組三正交運(yùn)動(dòng)法，純旋轉(zhuǎn)法還有平面正交運(yùn)動(dòng)標(biāo)定法。這種方法最突出的優(yōu)勢(shì)是計(jì)算量小，算法簡(jiǎn)單?？梢允褂镁€(xiàn)性方法進(jìn)行求解。不同于上文介紹的幾種方法，本文采用的是基于平面模板的標(biāo)定方法。這是介于前文所述兩類(lèi)方法之間的方案。具體過(guò)程是使用拍攝設(shè)備對(duì)各種位置的標(biāo)定板進(jìn)行拍照，然后利用模型線(xiàn)性計(jì)算出優(yōu)化解，隨后使用非線(xiàn)性算法繼續(xù)對(duì)相機(jī)求精。在得到畸變函數(shù)后，進(jìn)一步獲取最終結(jié)果，內(nèi)參外參。這種方案操作量少，計(jì)算量小，不過(guò)對(duì)于類(lèi)似廣角鏡頭之類(lèi)光學(xué)畸變大的鏡頭最后結(jié)果的誤差會(huì)很大，對(duì)市面上絕大部分的攝像設(shè)備有較好的適應(yīng)性。同樣適用于本文研究?jī)?nèi)容。1.1.3攝像機(jī)標(biāo)定具體操作首先介紹所使用的拍攝設(shè)備，這是一款分辨率為640*480的USB攝像頭，具體如下圖所示：圖1.4所使用USB攝像頭同時(shí)搭配了一個(gè)用于固定穩(wěn)定的支架，以提高拍照時(shí)的穩(wěn)定性，如圖：圖1.5支架使用標(biāo)定板進(jìn)行攝像機(jī)標(biāo)定的方法總體可分為三類(lèi)：人工標(biāo)定法、MATLAB工具箱標(biāo)定法和基于OpenCV的標(biāo)定法。下面會(huì)使用后兩種方法進(jìn)行標(biāo)定。并詳細(xì)介紹其步驟?；贠penCV的標(biāo)定法。使用這種標(biāo)定法，首先要準(zhǔn)備的就是一張標(biāo)定板，如下圖所示：圖1.6標(biāo)定棋盤(pán)格這是一張寬度為九，高度為六的標(biāo)定板，這里要注意，高度與寬度并不是指的黑白塊的個(gè)數(shù)，而是圖中兩種顏色色塊的交叉數(shù)目。隨后在程序自帶的camera_calibration配置文件中鍵入這兩個(gè)數(shù)字，接下來(lái)要輸入的是標(biāo)定色塊實(shí)際的寬度，這是需要手動(dòng)測(cè)量的數(shù)據(jù)，輸入方式選擇inputcamera方式，這里0代表電腦自帶的拍攝設(shè)備，1則表示外接相機(jī)，此處我使用的是外置的USB攝像頭，所以選擇1。如下圖所示：圖1.7opencv處理參數(shù)隨后經(jīng)過(guò)編譯運(yùn)行，程序就會(huì)調(diào)用攝像頭，實(shí)時(shí)捕捉拍攝畫(huà)面，此時(shí)按下鍵盤(pán)上的設(shè)置的按鍵，就會(huì)進(jìn)行一次標(biāo)定。然后就從不同的角度對(duì)棋盤(pán)格拍攝相片，標(biāo)定足夠次數(shù)后程