單目視覺SLAM系統(tǒng)框架結(jié)構(gòu)的構(gòu)建案例1.1視覺SLAM概述SLAM是SimultaneousLocalizationandMapping的縮寫，中文譯作：“同時(shí)定位與地圖構(gòu)建”REF_Ref72743366\r\h[2]。它是指搭載特定傳感器的主體，在沒有環(huán)境先驗(yàn)信息的情況下，于運(yùn)動(dòng)過程中建立環(huán)境的模型，同時(shí)估計(jì)自己的運(yùn)動(dòng)REF_Ref72825950\r\h[3]。如果搭載的傳感器主要為相機(jī)，那就稱為“視覺SLAM”。經(jīng)典視覺SLAM框架：整個(gè)視覺SLAM流程主要分為以下五個(gè)步驟。1.傳感器信息讀取。2.前端視覺里程計(jì)（VisualOdometry，VO）。1.后端（非線性）優(yōu)化（Optimization）。4.回環(huán)檢測（LoopClosureDetection）。5.建圖（Mapping）。經(jīng)典的視覺SLAM框架是研究者們過去十幾年的研究成果。框架本身以及所包含的算法已基本定型，目前許多視覺程序庫和機(jī)器人庫中都有提供這些算法。倚仗這些算法，可以構(gòu)建一個(gè)視覺SLAM系統(tǒng)，使之在正常的工作環(huán)境中實(shí)時(shí)定位與建圖REF_Ref72668964\r\h[21]。1.2單目視覺SLAM把所搭載的唯一傳感器是相機(jī)的SLAM稱之為視覺SLAM（VisualSLAM，VSLAM），按照相機(jī)工作方式的差別，可以分為單目視覺SLAM（MonocularVSLAM）、雙目視覺SLAM（StereoVSLAM）、RGB-DSLAM三大類。圖1.1單目相機(jī)圖1.2雙目相機(jī)圖1.3深度相機(jī)單目視覺SLAM單目視覺SLAM，見文知意，就是僅用一個(gè)攝像頭進(jìn)行SLAM的做法。單目相機(jī)結(jié)構(gòu)非常簡單，通常不攜帶昂貴鏡頭，價(jià)格較為低廉，因此相當(dāng)一部分研究者們十分關(guān)注單目視覺SLAM。單目相機(jī)的數(shù)據(jù)——照片。照片實(shí)質(zhì)上是相機(jī)拍攝某個(gè)場景時(shí)在成像平面上的一個(gè)投影，照片把現(xiàn)實(shí)中的三維世界轉(zhuǎn)化為了二維圖片。很明顯在拍攝這個(gè)過程中丟失了一個(gè)維度——深度（或距離）。之后會(huì)知道，在SLAM中距離是至關(guān)重要的信息。在單目視覺SLAM中無法僅憑一張圖片計(jì)算場景中物體與相機(jī)的距離。人在現(xiàn)實(shí)生活中見過大量圖像，自然形成了一種直覺——對(duì)看到的圖像以及環(huán)境都有直觀的空間感，可以輔助我們準(zhǔn)確地分辨出圖像中的任何物體，同時(shí)知道其大致的大小。但是這種距離感在一些情況在也會(huì)失去作用，此時(shí)將無法判斷物體的大小、遠(yuǎn)近。在單目視覺SLAM中，僅憑圖像無法確定一個(gè)物體的真實(shí)大小。它或許是一個(gè)很小但很近的物體，也許它是一個(gè)很大但很遠(yuǎn)的物體。由于近小遠(yuǎn)大的透視關(guān)系，在一個(gè)圖像中不同物體可能會(huì)被投影成相同的大小。因?yàn)檎掌皇侨S空間的二維投影，只有改變相機(jī)的視角才可能恢復(fù)其三維結(jié)構(gòu)。在單目視覺SLAM中也如此，必須將相機(jī)的視角調(diào)整，才可以進(jìn)行相機(jī)運(yùn)動(dòng)的估計(jì)，并且估算場景中物體的大小和遠(yuǎn)近，暫且稱為結(jié)構(gòu)。如何才能估計(jì)運(yùn)動(dòng)和結(jié)構(gòu)呢？想象你坐在一輛運(yùn)動(dòng)的列車中。一方面，假如列車向左運(yùn)行，那么我們看到的物體將會(huì)向右移動(dòng)——通過這些常見的現(xiàn)象就有了推測運(yùn)動(dòng)的信息。另外，還有一些常識(shí)：遠(yuǎn)處物體變化慢，近處物體變化快，極遠(yuǎn)處的物體看上去是不動(dòng)的。所以，當(dāng)相機(jī)移動(dòng)時(shí)，物體在圖像中的運(yùn)動(dòng)就形成了視差（Disparity）。根據(jù)形成的視差，可以定量地判斷物體的距離信息。1.3相機(jī)模型相機(jī)模型是指相機(jī)將三維世界的坐標(biāo)點(diǎn)映射到二維圖像平面的過程能用一個(gè)幾何模型進(jìn)行描述REF_Ref72668964\r\h[21]。由于相機(jī)的多樣性，所以相機(jī)模型也存在很多種。其中最簡單的是針孔相機(jī)模型。針孔相機(jī)模型圖1.4小孔成像原理圖圖1.5針孔相機(jī)模型如圖1.5所示，設(shè)相機(jī)坐標(biāo)系為O-xyz，物理成像平面O′-x′y′z′，三維空間點(diǎn)P[X,Y,Z]T經(jīng)由小孔O投影后落在物理成像平面，成像點(diǎn)P′[X′,Y′,Z′]T,設(shè)物理成像平面到小孔的距離為f（焦距）。由三角形相似關(guān)系：圖1.6三角形相似關(guān)系Z式子中的負(fù)號(hào)表示成像是倒立的。我們想讓模型更貼合現(xiàn)實(shí)，所以把成像平面對(duì)稱地放到相機(jī)前方，于是有：Z把X′，Y′放到等式左側(cè)，整理得：X＇=fY＇=f設(shè)在物理成像平面上固定一個(gè)像素平面o-uv。像素坐標(biāo)系通常的定義方式：原點(diǎn)O位于圖像的左上角，u軸向右與x軸平行，v軸向下與y軸平行，像素坐標(biāo)與成像平面之間，相差了一個(gè)縮放和一個(gè)原點(diǎn)的平移REF_Ref72668964\r\h[21]。設(shè)像素坐標(biāo)在u軸上縮放α倍，在v軸上縮放β倍，原點(diǎn)平移[cx,cy]T。P＇的像素坐標(biāo)[u,vuv=將式（1.3）代入：uv其中fx=αf，矩陣形式：u把Z移到左側(cè)，整理得Z把中間的量組成的矩陣稱為相機(jī)的參數(shù)矩陣K。在式（1.6）中使用的是P在相機(jī)坐標(biāo)系下的坐標(biāo)，因?yàn)橄鄼C(jī)處在不斷運(yùn)動(dòng)當(dāng)中，存在旋轉(zhuǎn)R和平移t，因此P的相機(jī)坐標(biāo)應(yīng)是其世界坐標(biāo)系（PZ1.4視覺里程計(jì)在視覺SLAM中，根據(jù)相機(jī)獲得的圖像數(shù)據(jù)估算相機(jī)的運(yùn)動(dòng)，同時(shí)構(gòu)建局部地圖，這樣的里程計(jì)叫做視覺里程計(jì)。視覺SLAM系統(tǒng)包括前端和后端兩個(gè)部分，前端即視覺里程計(jì)（VisualOdometry，VO）。視覺里程計(jì)（VO）由Nister等人REF_Ref72568479\r\h[20]于2004年首次提出。視覺里程計(jì)估算相鄰圖像之間的相機(jī)運(yùn)動(dòng)，其中最簡單的情形就是兩張圖像之間的運(yùn)動(dòng)關(guān)系。人早已習(xí)慣用眼睛探索世界，看到物體運(yùn)動(dòng)時(shí)，人們就想當(dāng)然地認(rèn)為是在平移或是旋轉(zhuǎn)。如果問：物體具體平移了多少米，旋轉(zhuǎn)了多少度？人們就很難給出準(zhǔn)確的答復(fù)。原因是人的直覺對(duì)于具體的數(shù)字信息并不敏感。然而在計(jì)算機(jī)中，物體的運(yùn)動(dòng)信息又必須精確的測量出。因此一個(gè)問題值得思考：計(jì)算機(jī)是怎樣由圖像變化來確定相機(jī)的運(yùn)動(dòng)。目前視覺里程計(jì)的實(shí)現(xiàn)主要有兩種方案，第一種是基于特征點(diǎn)的視覺里程計(jì)，第二種是基于直接法的視覺里程計(jì)。直接法直接依據(jù)像素亮度信息估計(jì)相機(jī)運(yùn)動(dòng)，完全不用像特征法那樣計(jì)算關(guān)鍵點(diǎn)以及描述子。在直接法中，最小化的不再是重投影誤差，而是像素間的光度誤差。1.5后端前端視覺里程計(jì)能夠根據(jù)相鄰圖像估算相機(jī)運(yùn)動(dòng)，獲得短期內(nèi)相機(jī)的運(yùn)動(dòng)軌跡和局部地圖。然而，隨著運(yùn)動(dòng)軌跡的積累和系統(tǒng)運(yùn)行時(shí)間的增長，相機(jī)位姿數(shù)據(jù)誤差也在增加，由于這些誤差，可能會(huì)導(dǎo)致構(gòu)建的地圖與實(shí)際環(huán)境截然不同。所以在前端的基礎(chǔ)上，需要對(duì)前端的數(shù)據(jù)進(jìn)行后端優(yōu)化。后端優(yōu)化主要是解決在SLAM過程中出現(xiàn)的噪聲問題。后端優(yōu)化的主要目標(biāo)，是從有噪聲的數(shù)據(jù)中估計(jì)出整個(gè)系統(tǒng)的狀