機(jī)器人同時(shí)定位和建圖（SLAM）技術(shù)發(fā)展研究的國(guó)內(nèi)外文獻(xiàn)綜述1.1視覺(jué)SLAM研究現(xiàn)狀視覺(jué)SLAM是指利用圖像作為外部信息的來(lái)源，以確定機(jī)器人、車(chē)輛或移動(dòng)攝像機(jī)在環(huán)境中的位置，同時(shí)構(gòu)造探索區(qū)域地圖的方法。在視覺(jué)SLAM中，采用視覺(jué)傳感器被作為主要傳感器，主要有單目相機(jī)、深度相機(jī)、事件相機(jī)等。在過(guò)去的20年里，由于視覺(jué)傳感器性能的提升以及在嵌入式設(shè)備中的普及，視覺(jué)SLAM受到了計(jì)算機(jī)視覺(jué)和機(jī)器人社區(qū)的廣泛關(guān)注。SLAM是機(jī)器人自主性的關(guān)鍵環(huán)節(jié)。最初，定位和建圖是獨(dú)立研究的，后來(lái)研究者認(rèn)識(shí)到它們實(shí)際上是相互依賴(lài)的，這意味著，為了在環(huán)境中精確定位，需要一個(gè)正確的地圖，但為了構(gòu)造一個(gè)好的地圖，當(dāng)元素被添加到地圖中時(shí)，也需要定位的支持，所以這個(gè)問(wèn)題被稱(chēng)為同步定位和建圖[1]。Davison等人創(chuàng)建的實(shí)時(shí)單目SLAM系統(tǒng)-MonoSLAM[2,3]，是視覺(jué)SLAM領(lǐng)域一個(gè)里程碑式的工作。2007年，Klein和Murray[4]提出的實(shí)時(shí)視覺(jué)SLAM系統(tǒng)PTAM（paralleltrackingandmapping）可以并行跟蹤特征點(diǎn)和建立地圖，具有更高的精度和魯棒性。Mur-Artal等人[5]提出ORB-SLAM2因?yàn)樗娜嫘允艿搅藦V泛研究。ORB-SLAM2的全面性體現(xiàn)在它能夠處理來(lái)自多種傳感器的數(shù)據(jù)，比如單目相機(jī)、雙目相機(jī)和RGB-D相機(jī)，后端在建立全局的稀疏地圖重建時(shí)采用了BA算法，它相比于其它同級(jí)別SLAM方法更加輕量化，不需要較多額外計(jì)算資源的支持，應(yīng)用于較為精準(zhǔn)的全局定位。它是涵蓋特征點(diǎn)提取、回環(huán)檢測(cè)、回環(huán)優(yōu)化和優(yōu)化策略的全面的SLAM系統(tǒng)，由于它的全面、精確和可靠性，被廣泛應(yīng)用和研究。圖1-5ORB-SLAM2框架Figure1-5FrameworkofORB-SLAM2最早的基于RGB-D的SLAM系統(tǒng)是由Newcombe等人提出的KinectFusion[6]，這種方法將深度數(shù)據(jù)進(jìn)行融合，使用ICP算法來(lái)跟蹤相機(jī)的位姿，在基于RGB-D的SLAM領(lǐng)域和三維重建領(lǐng)域具有里程碑的意義。但由于地圖的體積表現(xiàn)形式限制和缺乏回環(huán)檢測(cè)，這種算法只能工作在小的工作空間。如圖為KinectFusion實(shí)現(xiàn)的稠密三維表面重建。2012年開(kāi)始，在KinectFusion的基礎(chǔ)上，ThomasWhelan等人做出了基于網(wǎng)格建圖的改進(jìn)，它通過(guò)使用通過(guò)位置定位以及位姿優(yōu)化的方法來(lái)達(dá)到回環(huán)檢測(cè)的目的，并將其應(yīng)用于大規(guī)模復(fù)雜環(huán)境建圖當(dāng)中[7,8,9]。2015年，英國(guó)倫敦大學(xué)帝國(guó)理工學(xué)院Dyson機(jī)器人實(shí)驗(yàn)室基于RGB-D相機(jī)，提出了一種不需要位姿圖和預(yù)處理的三維地圖構(gòu)建方法-ElasticFusion[10]。這種三維地圖構(gòu)建方法以地圖為中心，重建和定位的準(zhǔn)確性和魯棒性都達(dá)到了比較良好的效果，但是由于這種方法需要額外的計(jì)算資源支持，所以目前應(yīng)用于性能較好的平臺(tái)或者建立小規(guī)模地圖。ElasticFusion利用全局回環(huán)檢測(cè)來(lái)解決漂移問(wèn)題，從而提高地圖全局精度的解決方式，給這個(gè)領(lǐng)域后來(lái)研究人員提供了參考。圖1-6ORB-SLAM2地圖構(gòu)建Figure1-6ORB-SLAM2mapbuilding圖1-7ElasticFusion地圖構(gòu)建Figure1-7ElasticFusionmapbuilding2017年，麻省理工大學(xué)的AngelaDai等人提出了實(shí)時(shí)性更強(qiáng)、全局一致性更好的三維重建SLAM模型-BundleFusion[11]，這被認(rèn)為是目前全局性最好的稠密SLAM方法。圖1-8BundleFusion地圖構(gòu)建Figure1-8BundleFusionmapbuilding高質(zhì)量密集表面重建實(shí)現(xiàn)的一種方法是在循環(huán)中使用高級(jí)場(chǎng)景理解來(lái)改進(jìn)實(shí)時(shí)視覺(jué)SLAM系統(tǒng)，它具有強(qiáng)大的攝像機(jī)定位、更高效和壓縮的場(chǎng)景表示和感知能力。RenatoF.Salas-Moreno等人在利用先驗(yàn)知識(shí)的基礎(chǔ)上，結(jié)合深度學(xué)習(xí)，可以在三維重建的基礎(chǔ)上，利用重建的高質(zhì)量表面獲取語(yǔ)義信息來(lái)改進(jìn)實(shí)時(shí)視覺(jué)SLAM系統(tǒng)，與傳統(tǒng)方法相比可以進(jìn)一步增強(qiáng)機(jī)器人的感知能力。結(jié)合深度學(xué)習(xí)創(chuàng)建語(yǔ)義地圖將是SLAM的一個(gè)重要研究方向[12]。圖1-9語(yǔ)義地圖Figure1-9Thesemanticmap深圳大學(xué)的曹龍龑等人改進(jìn)了基于RGB-D的SLAM八叉樹(shù)地圖[13]，八叉樹(shù)地圖結(jié)構(gòu)可以解決體素結(jié)構(gòu)在表示地圖過(guò)程中太粗糙的缺點(diǎn)，做到了三維柵格占據(jù)地圖的優(yōu)化。圖1-10體素結(jié)構(gòu)地圖Figure1-10Voxelstructuremap中科院自動(dòng)化所國(guó)家模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室的機(jī)器視覺(jué)課題組也一直在研究三維重建工作，并在大規(guī)模古籍重建取得了良好成果[14]。苑立杉[15]針對(duì)視覺(jué)傳感器在紋理不豐富和移動(dòng)比較快速場(chǎng)景下導(dǎo)致系統(tǒng)無(wú)法正常工作的缺陷，融合IMU傳感器以提高系統(tǒng)穩(wěn)定性。當(dāng)前視覺(jué)SLAM系統(tǒng)的精確、健壯的跟蹤和高質(zhì)量的重建能力通常需要專(zhuān)用的強(qiáng)大硬件，如多核CPU和GPU，它們的高計(jì)算需求消耗了大量的資源，這也導(dǎo)致了巨大的熱量[16]。尋求高效率、低消耗的定位和建圖方法是機(jī)器人領(lǐng)域走向?qū)嶋H應(yīng)用領(lǐng)域的關(guān)鍵。綜上所述，視覺(jué)SLAM方法在高計(jì)算支持環(huán)境下取得了良好的效果，基于RGB-D相機(jī)的SLAM重建方法相對(duì)傳統(tǒng)視覺(jué)方法具有一些不可比擬的優(yōu)勢(shì)。但是在嵌入式設(shè)備上運(yùn)行的實(shí)時(shí)性和穩(wěn)定性仍然制約著其應(yīng)用和發(fā)展。1.2三維重建幾何表示方法研究現(xiàn)狀隨著三維SLAM的發(fā)展，在機(jī)器人研究和應(yīng)用領(lǐng)域，三維地圖表現(xiàn)形式逐漸取代了二維平面地圖。三維幾何建模的問(wèn)題受到研究者的廣泛關(guān)注，度量表示是編碼環(huán)境幾何圖形的符號(hào)結(jié)構(gòu)。為SLAM選擇合適的度量表示對(duì)導(dǎo)航、與環(huán)境的物理交互以及人機(jī)交互有重要意義。在地圖構(gòu)建方面一個(gè)尚未解決的問(wèn)題是如何在長(zhǎng)期操作期間進(jìn)行地圖存儲(chǔ)。數(shù)據(jù)以點(diǎn)云形式存儲(chǔ)時(shí)，原始的點(diǎn)云表示方法在內(nèi)存方面造成了資源浪費(fèi)。在為基于視覺(jué)的SLAM存儲(chǔ)特征描述符方面，一些初步的解決方案提出了針對(duì)壓縮的已知地圖定位[17]，以及高效內(nèi)存密集重建[18]。大多數(shù)SLAM方法將傳感器獲取的場(chǎng)景進(jìn)行抽象表示為一組稀疏的三維地標(biāo)，對(duì)應(yīng)于環(huán)境中的識(shí)別特征（如線(xiàn)、角）[19]，這些通常被稱(chēng)為基于地標(biāo)的或基于特征的表示方法[20]。除了大量的工作集中于點(diǎn)特征的估計(jì)，機(jī)器人領(lǐng)域也擴(kuò)展到了其它更復(fù)雜的幾何地標(biāo)，包括線(xiàn)，段，或弧[21]。與基于地標(biāo)的度量地圖表示方法相反，稠密點(diǎn)云地圖提供三維幾何圖形的高分辨率模型，這是機(jī)器人實(shí)現(xiàn)其它復(fù)雜行為的基礎(chǔ)。在密集的模型表示方法中，點(diǎn)云被廣泛應(yīng)用于機(jī)器人技術(shù)，主要設(shè)備有雙目相機(jī)、RGB-D相機(jī)以及3D激光掃描儀[22]。原始表示法通過(guò)非結(jié)構(gòu)化點(diǎn)集（即點(diǎn)云)或多邊形[23]來(lái)描述三維幾何圖形。這些表示方法在單目SLAM中比較常見(jiàn)，結(jié)合使用直接法[24,25]，直接從所有圖像像素的強(qiáng)度值估計(jì)機(jī)器人的軌跡和三維模型。另外一些地圖構(gòu)建表示方法則直接進(jìn)行曲面和邊界的表示。這些表示方法將基于平面的簡(jiǎn)單邊界進(jìn)行建圖[26,27]，可以更好地適用于實(shí)現(xiàn)機(jī)器人的復(fù)雜上層行為，比如路徑規(guī)劃、避障等其它任務(wù)。在一些研究工作中，將固體的表面指定為在三維空間上定義的函數(shù)進(jìn)行表示，比如徑向基函數(shù)[28]、符號(hào)距離函數(shù)[29]和截?cái)喾?hào)距離函數(shù)(TSDF)[30]。地圖存儲(chǔ)結(jié)構(gòu)的空間分區(qū)表示方法先將空間分解成同構(gòu)的立方體（體素），然后再在規(guī)則的三維網(wǎng)格中進(jìn)行排列。這種方案比較有效的分區(qū)方式包括八叉樹(shù)、多邊形映射八叉樹(shù)等。在機(jī)器人領(lǐng)域，八叉樹(shù)表示被用于三維建圖[31]。對(duì)于沒(méi)有懸空障礙物的特定三維環(huán)境，Bran等人使用2.5維地圖進(jìn)行環(huán)境表示[32]。三維圖像重建的目的是建立一個(gè)恢復(fù)場(chǎng)景的三維模型。在該領(lǐng)域主要有兩個(gè)方向:基于高精度數(shù)據(jù)的稠密建圖[33、34、35、36、37]和基于稀疏數(shù)據(jù)[38、39、40、41]的半稠密建圖。前一種方法盡可能精確地估計(jì)模型，計(jì)算圖像之間的逐像素密集對(duì)應(yīng)，并通過(guò)基于體素或德洛內(nèi)三角網(wǎng)[34、35、36、37]的方式將它們?nèi)诤系?D空間，在某些情況下，還需要進(jìn)一步細(xì)化步驟來(lái)提高準(zhǔn)確度和分辨率。這種方法建圖效果細(xì)節(jié)較為豐富，但計(jì)算成本很高，需要利用大量架構(gòu)優(yōu)化，才能有效地計(jì)算、移動(dòng)和存儲(chǔ)數(shù)據(jù)[43、44]。另一方面，在空間和存儲(chǔ)效率更高的方法可以通過(guò)依賴(lài)于[38、39、40、41]運(yùn)動(dòng)方法中來(lái)自結(jié)構(gòu)的稀疏數(shù)據(jù)來(lái)更好地估計(jì)稠密的地圖。它們能夠在CPU的單個(gè)核心上實(shí)時(shí)運(yùn)行，而不需要消耗更多其它相關(guān)的資源[41]。然而，這種方法輸出的3D模型分辨率較低。在前一種情況下，生成的模型通常具有豐富的冗余,而在后一種情況下的點(diǎn)計(jì)算結(jié)構(gòu)與運(yùn)動(dòng)太稀疏，不足以提供足夠的的信息重建現(xiàn)場(chǎng)細(xì)節(jié)。目前有部分工作涉及到這兩種方法之間的權(quán)衡問(wèn)題。Li等人[45]調(diào)整了重構(gòu)網(wǎng)格的分辨率，使得細(xì)節(jié)較少的區(qū)域包含較少的頂點(diǎn)。該方法有效地限制了網(wǎng)格的尺寸，但僅適用于網(wǎng)格細(xì)化階段。Lafarge等人[46]提將通過(guò)多視角立體恢復(fù)的網(wǎng)格與高級(jí)幾何元素相結(jié)合。該方法在初始密集網(wǎng)格估計(jì)后，利用復(fù)雜的跳躍擴(kuò)散機(jī)制和網(wǎng)格細(xì)化機(jī)制對(duì)擬合幾何基元的網(wǎng)格區(qū)域進(jìn)行簡(jiǎn)化。Wu等人[47]使用一般化的圓柱體和掃掠面從運(yùn)動(dòng)點(diǎn)云的結(jié)構(gòu)中恢復(fù)稠密的簡(jiǎn)化結(jié)構(gòu)，而Gallup等人[48]將n層映射擬合到深度映射中，以產(chǎn)生緊湊和魯棒的表示。Schindler等人[49]對(duì)點(diǎn)云進(jìn)行分段平面擬合，獲得人工環(huán)境的示意圖重建。除此之外，一些方法采用平面先驗(yàn)來(lái)限制模型噪聲，但保持模型分辨率不變[50、51]。綜上所述，三維空間的地圖存儲(chǔ)結(jié)構(gòu)是解決建圖過(guò)程性能和資源要求的關(guān)鍵環(huán)節(jié)，通過(guò)采用不同三維存儲(chǔ)結(jié)構(gòu)進(jìn)行地圖優(yōu)化，可以解決空間和存儲(chǔ)效率問(wèn)題。在三維重建過(guò)程中，對(duì)地圖存儲(chǔ)結(jié)構(gòu)進(jìn)行選擇可以更好地滿(mǎn)足實(shí)際需要。1.3仿生視覺(jué)研究現(xiàn)狀仿生學(xué)研究起源于上世紀(jì)中期，仿生視覺(jué)的研究有著極其重要的意義，Robison對(duì)靈長(zhǎng)類(lèi)動(dòng)物的視覺(jué)神經(jīng)系統(tǒng)進(jìn)行研究，建立了關(guān)于平滑追蹤運(yùn)動(dòng)的仿生模型，該模型采用內(nèi)部主動(dòng)反饋機(jī)制，降低系統(tǒng)延遲，作者進(jìn)行大量調(diào)研進(jìn)行系統(tǒng)參數(shù)設(shè)定，以滿(mǎn)足人眼平滑追蹤在潛伏期、響應(yīng)以及誤差等方面的要求[52]。人工頭眼協(xié)同運(yùn)動(dòng)模型可以增強(qiáng)人機(jī)交互的自然性。Freedman等從生理學(xué)角度研究了頭眼協(xié)同模型，建立了運(yùn)動(dòng)學(xué)模型[53]。W.JessicaLee等人建立了一套能夠預(yù)測(cè)視覺(jué)跟蹤的內(nèi)部交換模塊，模擬了人眼的兩種基本運(yùn)動(dòng)模式:平滑跟蹤和快速跟蹤[54]。該模型采用PID控制實(shí)現(xiàn)慢相位平滑跟蹤運(yùn)動(dòng)，提供了更大的帶寬來(lái)跟蹤物體的運(yùn)動(dòng)，具有更快的運(yùn)動(dòng)速度和更大的跨度，人眼運(yùn)動(dòng)模式的全面性對(duì)于該模型的準(zhǔn)確性有直接的影響。人的頭眼協(xié)同系統(tǒng)使人的視野聚焦于視網(wǎng)膜中央凹處，然而眼球運(yùn)動(dòng)的范圍是有限的，當(dāng)超過(guò)這個(gè)范圍時(shí)，需要旋轉(zhuǎn)頸部以擴(kuò)大視野[55，56]。在應(yīng)用方面，ZhengLiu等提出了一種基于視覺(jué)仿生的機(jī)器人激光雷達(dá)傳感器，與人類(lèi)視網(wǎng)膜的中央凹相似，這種激光雷達(dá)的中心角密度達(dá)到峰值，這種新型激光雷達(dá)設(shè)計(jì)具有安裝簡(jiǎn)單、成本低、魯棒性好等優(yōu)點(diǎn)，類(lèi)似視網(wǎng)膜密度分布使新型自主機(jī)器人應(yīng)用成為可能[57]。綜上所述，仿生視覺(jué)領(lǐng)域可以改善視覺(jué)人機(jī)交互性能，但是之前地仿生視覺(jué)更多地側(cè)重于結(jié)構(gòu)和控制，根據(jù)仿生視覺(jué)方法進(jìn)行三維重建，在特定環(huán)境下可以降低計(jì)算復(fù)雜度和減少硬件資源消耗。參考文獻(xiàn)高翔，等.視覺(jué)SLAM十四講：從理論到實(shí)踐[M].北京：電子工業(yè)出版社，2019.DavisonAJ.Real-timesimultaneouslocalisationandmappingwithasinglecamera[C]//ProceedingsNinthIEEEInternationalConferenceonComputerVision.IEEE,2003.DavisonAJ,ReidID,MoltonND,etal.MonoSLAM:real-timesinglecameraSLAM[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2007,29(6):1052-1067.KleinG,MurrayD.ParallelTrackingandMappingforSmallARWorkspaces[C]//IEEE&AcmInternationalSymposiumonMixed&AugmentedReality.ACM,2008.Mur-ArtalR,JDTardós.ORB-SLAM2:AnOpen-SourceSLAMSystemforMonocular,Stereo,andRGB-DCameras[J].IEEETransactionsonRobotics,2017.NewcombeRA,IzadiS,HilligesO,etal.KinectFusion:Real-timedensesurfacemappingandtracking[C]//IEEEInternationalSymposiumonMixed&AugmentedReality.IEEE,2012.T.Whelan,J.B.McDonald,M.Kaess,M.F.Fallon,H.Johannsson,andJ.J.Leonard,“Kintinuous:Spatiallyextendedkinectfusion,”inProc.RSSWorkshopRGB-D:Adv.ReasoningDepthCameras,2012.WhelanT,JohannssonH,KaessM,etal.Robustreal-timevisualodometryfordenseRGB-Dmapping[C]//2013IEEEInternationalConferenceonRoboticsandAutomation.IEEE,2013.WhelanT,KaessM,JohannssonH,etal.Real-timelarge-scaledenseRGB-DSLAMwithvolumetricfusion[J].TheInternationalJournalofRoboticsResearch,2015.ThomasWhelan,RenatoFSalas-Moreno,BenGlocker,AndrewJDavison,StefanLeutenegger.ElasticFusion:Real-timedenseSLAMandlightsourceestimation[J].TheInternationalJournalofRoboticsResearch,2016,35(14).DaiA,NienerM,ZollhferM,etal.BundleFusion:Real-TimeGloballyConsistent3DReconstructionUsingOn-the-FlySurfaceReintegration[J].ACMTransactionsonGraphics,2017,36(4):1.Salas-MorenoRF,NewcombeRA,StrasdatH,etal.SLAM++:SimultaneousLocalisationandMappingattheLevelofObjects[C]//ComputerVision&PatternRecognition.IEEE,2013.曹龍龑.基于RGB-D的室內(nèi)三維SLAM研究與實(shí)現(xiàn)[D].深圳大學(xué),2018.GaoX,ShenS,ZhouY,etal.AncientChinesearchitecture3Dpreservationbymerginggroundandaerialpointclouds[J].ISPRSJournalofPhotogrammetryandRemoteSensing,