基于視覺(jué)的機(jī)器人三維場(chǎng)景重建技術(shù)機(jī)器人環(huán)境感知技術(shù)-第七章湖南大學(xué)?人工智能與機(jī)器人學(xué)院第一講

基于視覺(jué)的機(jī)器人三維場(chǎng)景

重建技術(shù)核心意義三維場(chǎng)景重建技術(shù)是智能機(jī)器人能夠準(zhǔn)確感知環(huán)境，實(shí)現(xiàn)其自主行動(dòng)的前提與基礎(chǔ)。工作流程1環(huán)境數(shù)據(jù)采集（攝像頭捕捉光線信息）2圖像預(yù)處理（去噪、校正等）3特征提?。ㄟ吘?、紋理、顏色等）4三維模型/語(yǔ)義地圖構(gòu)建5目標(biāo)檢測(cè)與識(shí)別本節(jié)核心知識(shí)點(diǎn)三維場(chǎng)景重建視覺(jué)傳感器概述及工作原理基于雙目視覺(jué)的機(jī)器人環(huán)境三維重建方法基于雙目視覺(jué)的機(jī)器人導(dǎo)航場(chǎng)景深度估計(jì)方法視覺(jué)傳感器類型雙目相機(jī)多目相機(jī)三維場(chǎng)景重建技術(shù)概述雙目通過(guò)兩臺(tái)相機(jī)的幾何投影模型直接計(jì)算空間點(diǎn)的三維坐標(biāo)；三目則通過(guò)多視角冗余驗(yàn)證提高匹配精度和魯棒性，核心都是三角測(cè)量，但三目增加了視角數(shù)量來(lái)減少歧義和遮擋問(wèn)題。雙目成像原理通過(guò)對(duì)三維空間中任意一點(diǎn)P與雙目相機(jī)的左相機(jī)與右相機(jī)成像的二維圖像中像素點(diǎn)PL與PR之間的空間位置轉(zhuǎn)換關(guān)系進(jìn)行建模，獲取P在空間中的實(shí)際位置。核心問(wèn)題：視差獲取雙目視覺(jué)環(huán)境感知系統(tǒng)使用兩個(gè)攝像機(jī)模擬人的兩只眼睛，目標(biāo)在攝像機(jī)中的投影存在視差，視差的有效獲取成為了立體視覺(jué)算法的重要問(wèn)題。雙目立體視覺(jué)成像左相機(jī)目標(biāo)點(diǎn)P右相機(jī)左圖像PL右圖像PR通過(guò)視差計(jì)算深度信息三目成像模型在雙目相機(jī)成像的基礎(chǔ)上，同時(shí)使用加入多個(gè)視角的相機(jī)，構(gòu)成多目相機(jī)成像系統(tǒng)。多目相機(jī)可以獲取同一場(chǎng)景的多個(gè)視角圖像，從而實(shí)現(xiàn)三維信息的獲取和處理。三目攝像機(jī)立體視覺(jué)成像相機(jī)1相機(jī)2相機(jī)3目標(biāo)場(chǎng)景視覺(jué)：雙目與三目雙目相機(jī)三維成像原理三目相機(jī)的三維成像原理和雙目相機(jī)類似雙目立體匹配算法雙目立體匹配算法可分為以下四個(gè)步驟：1.匹配代價(jià)計(jì)算。是雙目立體匹配的第一步，其主要目的是衡量左右圖像中像素之間的相似程度。在完成立體校正后，以左圖像作為參考圖像，對(duì)其中的每一個(gè)像素沿視差方向在右圖像中搜索對(duì)應(yīng)的候選像素，并通過(guò)代價(jià)函數(shù)計(jì)算二者之間的匹配代價(jià)。代價(jià)值的大小反映了像素之間的相似性，代價(jià)越小表示匹配的可能性越高。2.匹配代價(jià)聚合。旨在提高匹配代價(jià)的穩(wěn)定性和魯棒性。由于單個(gè)像素的匹配代價(jià)容易受到噪聲和局部紋理不足的影響，因此通常在局部鄰域內(nèi)對(duì)匹配代價(jià)進(jìn)行加權(quán)聚合，以充分利用鄰域像素的信息，從而減少誤匹配和歧義匹配現(xiàn)象，提升整體立體匹配的準(zhǔn)確性。3.視差計(jì)算。在聚合代價(jià)的基礎(chǔ)上確定每個(gè)像素的最終視差值。傳統(tǒng)方法通常采用WinnerTakesAll策略選取代價(jià)最小的視差作為結(jié)果，但該方法容易受到噪聲影響而產(chǎn)生較大誤差。因此，視差計(jì)算往往被建模為能量最小化問(wèn)題，通過(guò)構(gòu)造包含數(shù)據(jù)項(xiàng)和平滑項(xiàng)的能量函數(shù)，并對(duì)其進(jìn)行優(yōu)化，以獲得更加準(zhǔn)確和穩(wěn)定的視差估計(jì)結(jié)果。4.視差精細(xì)化。雙目立體匹配的最后一步，通常作為后處理階段對(duì)初始視差圖進(jìn)行進(jìn)一步優(yōu)化。該過(guò)程主要通過(guò)視差濾波、空洞填充以及邊緣優(yōu)化等方法，對(duì)錯(cuò)誤視差進(jìn)行修正并改善視差圖的連續(xù)性和平滑性，從而提升最終視差結(jié)果的質(zhì)量和視覺(jué)效果。第二講

基于雙目視覺(jué)的機(jī)器人三維語(yǔ)義地圖構(gòu)建方法研究背景移動(dòng)機(jī)器人作業(yè)場(chǎng)景三維地圖構(gòu)建是其自主柔性作業(yè)的前提。雙目立體視覺(jué)因其獲取信息豐富、穩(wěn)定性高，能夠很好地滿足智能工廠非結(jié)構(gòu)化環(huán)境中移動(dòng)機(jī)器人自主柔性作業(yè)的三維環(huán)境感知信息獲取需求。面臨挑戰(zhàn)網(wǎng)絡(luò)模型的級(jí)聯(lián)卷積模塊會(huì)損失部分特征信息目標(biāo)物體尺度大小變化隨場(chǎng)景深度而動(dòng)態(tài)變化非結(jié)構(gòu)化場(chǎng)景下的復(fù)雜環(huán)境感知解決方案本節(jié)提出一種基于編碼器-解碼器架構(gòu)的漸進(jìn)式特征融合雙目立體匹配神經(jīng)網(wǎng)絡(luò)模型：動(dòng)態(tài)尺度特征提取網(wǎng)絡(luò)用于雙目立體匹配代價(jià)計(jì)算分組拼接的代價(jià)構(gòu)建方法更好地表達(dá)雙目圖像之間的特征相似度漸進(jìn)式匹配代價(jià)特征融合以粗到細(xì)的方式對(duì)多尺度輸出結(jié)果進(jìn)行監(jiān)督學(xué)習(xí)三維語(yǔ)義地圖構(gòu)建概述編碼器階段（EncoderStage）通過(guò)級(jí)聯(lián)多個(gè)動(dòng)態(tài)尺度特征卷積模塊作為網(wǎng)絡(luò)基石，構(gòu)建類似ResNext-50的網(wǎng)絡(luò)結(jié)構(gòu)。特征維度變化：[B,32,H,W]→[B,128×2n-1,H/2n,W/2n]解碼器階段（DecoderStage）通過(guò)級(jí)聯(lián)多個(gè)向上卷積層來(lái)重建與編碼階段特征相同尺度的特征。特征維度變化：[B,128×24-n,H×2n/16,W×2n/16]多尺度多階段編碼特征提取彈性動(dòng)態(tài)卷積模塊核心特點(diǎn)：殘余連接路徑數(shù)P=32包含特征下采樣與上采樣操作多尺度特征提取與融合網(wǎng)絡(luò)架構(gòu)優(yōu)勢(shì)：像素級(jí)對(duì)齊與加強(qiáng)彌補(bǔ)下采樣帶來(lái)的特征信息損失提取全局上下文特征信息多尺度多階段編碼特征提取多尺度多階段編碼特征提取彈性動(dòng)態(tài)卷積??(?)：提取的左右圖像的特征維度（??,??,??,??）變化：基于全相關(guān)的代價(jià)構(gòu)建Ccorr=L,FR>使用特征向量?jī)?nèi)積構(gòu)造匹配代價(jià)空間過(guò)于激進(jìn)，特征信息丟失基于拼接的代價(jià)構(gòu)建Ccat=Concat[FL,FR]將左右特征在通道維度拼接特征冗余，參數(shù)需求大基于分組相關(guān)的代價(jià)構(gòu)建Cgcorr=Lg,FRg>將特征通道分組后計(jì)算相關(guān)較好的折衷方案本節(jié)提出的方法：基于分組拼接的代價(jià)構(gòu)建結(jié)合分組相關(guān)與拼接的優(yōu)點(diǎn)，實(shí)現(xiàn)更好的折衷：將特征圖分為Ng組組內(nèi)對(duì)應(yīng)像素點(diǎn)求和拼接分組后的特征多尺度混合匹配代價(jià)結(jié)合分組拼接代價(jià)Cgcat與分組相關(guān)代價(jià)Cgcorr的優(yōu)點(diǎn)，在多個(gè)尺度、多個(gè)階段中構(gòu)建匹配代價(jià)量Chybrid=Concat[Cgcorr,Cgcat]多尺度漸進(jìn)式匹配代價(jià)特征融合與深度估計(jì)雙目立體匹配網(wǎng)絡(luò)中常用代價(jià)構(gòu)建方法：多尺度漸進(jìn)式匹配代價(jià)特征融合與深度估計(jì)漸進(jìn)式融合策略小尺度的匹配代價(jià)輸入到代價(jià)聚合網(wǎng)絡(luò)中經(jīng)過(guò)三維卷積層進(jìn)行聚合與上采樣后，與大尺度的代價(jià)進(jìn)行漸進(jìn)式特征融合，匹配代價(jià)空間中的像素特征得到了對(duì)齊與增強(qiáng)。堆疊沙漏三維卷積網(wǎng)絡(luò)1自上而下/自下而上的三維卷積層更好地學(xué)習(xí)匹配代價(jià)中多尺度上下文語(yǔ)義特征2三維特征上采樣與下采樣實(shí)現(xiàn)多尺度特征的對(duì)齊與融合3多尺度視差輸出重建出具有多個(gè)尺度的視差輸出多尺度漸進(jìn)式匹配代價(jià)特征融合與深度估計(jì)視差回歸與深度估計(jì)深度立體匹配網(wǎng)絡(luò)模型輸出了多個(gè)尺度的視差圖，這些視差圖分別由不同的訓(xùn)練權(quán)重進(jìn)行監(jiān)督訓(xùn)練。對(duì)小尺度的視差輸出進(jìn)行監(jiān)督學(xué)習(xí)能夠獲得比較粗糙的視差圖結(jié)果，其更多地關(guān)注重建出視差圖的整體輪廓。同時(shí)，大尺度的視差圖輸出融合特征能夠提供了更精細(xì)的視圖特征特征。因此，深度立體匹配網(wǎng)絡(luò)將能夠從粗糙到精細(xì)的漸進(jìn)式特征融合與監(jiān)督訓(xùn)練。通過(guò)采用文獻(xiàn)[19]提出的視差回歸計(jì)算模型來(lái)估計(jì)連續(xù)的視差圖

每個(gè)像素在特征維度D的置信度網(wǎng)絡(luò)模型采用多尺度多視差輸出模塊，其定義如下:多尺度多視差輸出用平滑損失函數(shù)函數(shù)來(lái)訓(xùn)練網(wǎng)絡(luò)的視差回歸預(yù)測(cè)結(jié)果，通過(guò)計(jì)算預(yù)測(cè)結(jié)果與真實(shí)數(shù)據(jù)之間的誤差，利用反向傳播算法，將誤差反向傳播至整個(gè)網(wǎng)絡(luò)模型中來(lái)更新網(wǎng)絡(luò)的權(quán)重。訓(xùn)練損失函數(shù)定義如下式中，C?(d)表示計(jì)算Cout?每個(gè)像素在特征維度D的置信度，計(jì)算公式如下所示：視差回歸模型給定輸出的匹配代價(jià)Cout，維度為[B,Dmax,H,W]其中C*(d)表示每個(gè)像素在特征維度D的置信度，通過(guò)softmax計(jì)算得到。多尺度監(jiān)督訓(xùn)練小尺度監(jiān)督獲得粗糙的視差圖結(jié)果，關(guān)注整體輪廓大尺度監(jiān)督提供更精細(xì)的視差圖特征從粗糙到精細(xì)漸進(jìn)式特征融合與監(jiān)督訓(xùn)練損失函數(shù)平滑L1損失函數(shù)總損失λi為第i個(gè)視差估計(jì)圖的訓(xùn)練權(quán)重網(wǎng)絡(luò)輸出多尺度視差圖D?0,D?1,D?2,D?3深度圖通過(guò)視差計(jì)算得到視差回歸與深度估計(jì)

實(shí)驗(yàn)結(jié)果與分析SceneFlow數(shù)據(jù)集結(jié)果方法>1px(%)>2px(%)EPE(px)PSMNet13.767.691.09AANet9.30-0.84本節(jié)方法7.804.270.70ZedStereo數(shù)據(jù)集結(jié)果方法>10px(%)>20px(%)EDE(cm)PSMNet13.767.6913.62GwcNet11.826.6411.17本節(jié)方法10.185.539.27數(shù)據(jù)集信息SceneFlow大型人工合成數(shù)據(jù)集，35454訓(xùn)練圖像，4370測(cè)試圖像，分辨率960×540ZedStereo（自建）4492組樣本，分辨率720×1280，8:2劃分訓(xùn)練測(cè)試集應(yīng)用：移動(dòng)機(jī)器人離線語(yǔ)義地圖構(gòu)建輸入雙目圖像雙目深度估計(jì)網(wǎng)絡(luò)預(yù)測(cè)深度提取ORB特征與相機(jī)參數(shù)ORB-SLAM2離線構(gòu)建語(yǔ)義地圖性能評(píng)價(jià)指標(biāo)：SceneFlow數(shù)據(jù)集：像素誤差百分比評(píng)價(jià)指標(biāo)定：平均深度誤差定義：ZedStereo數(shù)據(jù)集：像素深度誤差百分比評(píng)價(jià)指標(biāo)定義：平均視差定義：實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)結(jié)果與分析在SceneFlow數(shù)據(jù)集上的可視化視差估計(jì)結(jié)果在ZedStereo數(shù)據(jù)集上的可視化視差估計(jì)結(jié)果移動(dòng)機(jī)器人離線語(yǔ)義地圖構(gòu)建應(yīng)用第三講

基于雙目視覺(jué)的機(jī)器人導(dǎo)航場(chǎng)景深度估計(jì)方法研究背景移動(dòng)機(jī)器人精準(zhǔn)導(dǎo)航技術(shù)是移動(dòng)復(fù)合機(jī)器人實(shí)現(xiàn)搬運(yùn)、裝配、鉆鉚等自主柔性作業(yè)的基礎(chǔ)?；陔p目視覺(jué)的移動(dòng)機(jī)器人導(dǎo)航技術(shù)因其具有獲取豐富的紋理信息和直接獲取物體的三維深度信息等優(yōu)勢(shì)，而深受廣大研究者的青睞。面臨挑戰(zhàn)大面積弱紋理區(qū)域重復(fù)或丟失的紋理圖案物體遮擋問(wèn)題顏色/燈光噪聲干擾本節(jié)解決方案提出一種基于遲滯注意力機(jī)制特征提取和三維分組卷積監(jiān)督代價(jià)構(gòu)建的雙目立體匹配神經(jīng)網(wǎng)絡(luò)模型：遲滯注意力機(jī)制（HAM）受電路遲滯比較器啟發(fā)，有效抵抗噪聲干擾三維分組卷積監(jiān)督代價(jià)構(gòu)建（GCCC）構(gòu)建具有豐富相似性度量的高質(zhì)量匹配代價(jià)傳統(tǒng)方法的局限在非結(jié)構(gòu)化復(fù)雜環(huán)境下無(wú)法穩(wěn)定提取高質(zhì)量特征特征提取網(wǎng)絡(luò)對(duì)所有特征信息一視同仁匹配代價(jià)構(gòu)建方法過(guò)于簡(jiǎn)單導(dǎo)航場(chǎng)景深度估計(jì)概述電路啟發(fā)單限比較器輸入電壓趨于門限值時(shí)，輸出電壓產(chǎn)生抖動(dòng)遲滯比較器具有遲滯回環(huán)傳輸特性，響應(yīng)速度快，抗干擾性強(qiáng)遲滯注意力機(jī)制（HAM）定義：y=(α×Conv3(x)+1)·Conv(x)Conv(x)：卷積操作Conv3(x)：注意力卷積操作α：注意力權(quán)重因子（調(diào)節(jié)靈敏度）遲滯注意力機(jī)制特點(diǎn)?有效抵抗噪聲干擾?專注于最相關(guān)的特征提取?更穩(wěn)定的特征表征?通過(guò)α調(diào)節(jié)靈敏度基于遲滯注意力的編碼特征提取基于遲滯注意力的編碼特征提取網(wǎng)絡(luò)結(jié)構(gòu)采用與ResNet-50類似的結(jié)構(gòu)，通過(guò)在級(jí)聯(lián)卷積層模塊中加入一個(gè)遲滯注意力模型來(lái)提取注意力特征。FL(n)=[1+α×HAM(n-1)]·Rconv(n)(FL(n-1))特征提取流程1輸入左右RGB圖像[B,3,H,W]2共享權(quán)重提取統(tǒng)一特征3遲滯注意力模塊增強(qiáng)特征4輸出高維特征[B,320,H/4,W/4]特征維度變化n=0,1[B,32,H,W]↓n=2[B,64,H/2,W/2]↓n=3,4[B,128,H/4,W/4]↓高維特征輸出[B,320,H/4,W/4]基于遲滯注意力機(jī)制的特征提取網(wǎng)絡(luò)基于三維分組卷積的監(jiān)督匹配代價(jià)構(gòu)建動(dòng)機(jī)現(xiàn)有代價(jià)構(gòu)建方法（全相關(guān)、拼接、分組相關(guān)）過(guò)于簡(jiǎn)單，不能提供雙目圖像間高質(zhì)量的相關(guān)性度量，尤其在遮擋、重復(fù)區(qū)域、噪聲等挑戰(zhàn)下表現(xiàn)不佳。三維分組卷積監(jiān)督代價(jià)構(gòu)建（GCCC）定義：CGCCC(FL,FR)=3DConvG(Concat[FLg(x,y),FRg(x-d,y)])將通道分組，每組一一對(duì)應(yīng)拼接使用三維分組卷積監(jiān)督學(xué)習(xí)構(gòu)建具有豐富相似性度量的代價(jià)混合代價(jià)構(gòu)建結(jié)合監(jiān)督代價(jià)構(gòu)建CGCCC與分組相關(guān)代價(jià)Cgcorr的優(yōu)勢(shì)：Chybrid=Concat[Cgcorr(FLH,FRH),CGCCC(FLC,FRC)]最大限度保持匹配代價(jià)的特征多樣性代價(jià)聚合與視差回歸堆疊代價(jià)聚合網(wǎng)絡(luò)連接多個(gè)輸出模塊，不同權(quán)重監(jiān)督訓(xùn)練視差回歸模型估計(jì)連續(xù)的視差輸出圖平滑L1損失函數(shù)訓(xùn)練網(wǎng)絡(luò)的視差回歸預(yù)測(cè)結(jié)果混合代價(jià)構(gòu)建方法：基于三維分組卷積的監(jiān)督匹配代價(jià)構(gòu)建基于三維分組卷積的代價(jià)構(gòu)建方法多階段級(jí)聯(lián)堆疊代價(jià)聚合網(wǎng)絡(luò)結(jié)構(gòu)損失函數(shù):實(shí)驗(yàn)結(jié)果與分析（a）輸入圖像（b）視差預(yù)測(cè)（c）預(yù)測(cè)錯(cuò)誤SceneFlow數(shù)據(jù)集結(jié)果方法>1px(%)>2px(%)EPE(px)PSMNet13.767.691.09GC-Net16.909.342.51本節(jié)方法7.894.420.76對(duì)比PSMNet，減小3.92%的>1%像素誤差ZedStereo數(shù)據(jù)集結(jié)果方法>10px(%)>20px(%)EDE(cm)PSMNet13.767.6913.62GwcNet11.826.6411.17本節(jié)方法9.945.899.01移動(dòng)機(jī)器人導(dǎo)航應(yīng)用輸入雙目圖像雙目深度估計(jì)網(wǎng)絡(luò)預(yù)測(cè)深度提取ORB特征與雙目相機(jī)參數(shù)結(jié)合離線全局語(yǔ)義地圖回環(huán)檢測(cè)獲取相機(jī)相對(duì)位置調(diào)整機(jī)器人行進(jìn)路徑實(shí)驗(yàn)配置SceneFlow訓(xùn)練循環(huán)：16個(gè)ZedStereo訓(xùn)練循環(huán)：20個(gè)批量大?。?GPU：2×NvidiaTeslaV100初始學(xué)習(xí)率：0.001最大視差值：192實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)結(jié)果與分析（a）輸入圖像（b）視差預(yù)測(cè)（c）預(yù)測(cè)錯(cuò)誤對(duì)本小節(jié)中所提出的雙目深度估計(jì)網(wǎng)絡(luò)模型的性能在ZedStereo數(shù)據(jù)集上進(jìn)行了評(píng)估。如表7-5所示，相比于網(wǎng)絡(luò)模