(19)國家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN115585813B(21)申請(qǐng)?zhí)?02211397557.4(22)申請(qǐng)日2022.11.09(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)申請(qǐng)公布號(hào)CN115585813A(43)申請(qǐng)公布日2023.01.10號(hào)(74)專利代理機(jī)構(gòu)沈陽優(yōu)普達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙)21234GO1C21/20(2006.0(56)對(duì)比文件地圖導(dǎo)航方法.《機(jī)器人》.2023,全文.權(quán)利要求書4頁說明書6頁附圖2頁(54)發(fā)明名稱人導(dǎo)航方法(57)摘要化學(xué)習(xí)機(jī)器人導(dǎo)航方法包括：采集機(jī)器人車載攝像頭信息、車載單線激光雷達(dá)信息以及機(jī)器人的線速度和角速度；攝像頭信息和單線激光雷達(dá)信息數(shù)據(jù)融合；構(gòu)建SAC深度強(qiáng)化學(xué)習(xí)算法的經(jīng)驗(yàn)池，用于存儲(chǔ)動(dòng)作-狀態(tài)-獎(jiǎng)勵(lì)的組合；構(gòu)建SAC深度強(qiáng)化學(xué)習(xí)算法的Actor網(wǎng)絡(luò)、V評(píng)論家網(wǎng)絡(luò)、Q評(píng)論家網(wǎng)絡(luò)；在Actor網(wǎng)絡(luò)中構(gòu)建空間注意力模塊和時(shí)間注意力模塊；構(gòu)建獎(jiǎng)勵(lì)函數(shù)模型。其中Actor網(wǎng)絡(luò)的輸入為狀態(tài)，輸出為動(dòng)作概率分布參數(shù)；V評(píng)論家網(wǎng)絡(luò)的輸出為狀態(tài)價(jià)值的預(yù)測(cè)值；Q評(píng)論家網(wǎng)絡(luò)的輸出為動(dòng)作-狀態(tài)價(jià)值的預(yù)測(cè)值。21.一種基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，其特征在于，包括如下步驟：步驟1:采集機(jī)器人車載攝像頭的圖像數(shù)據(jù)、車載單線激光雷達(dá)數(shù)據(jù)以及機(jī)器人的線速度和角速度；步驟2:將圖像數(shù)據(jù)和單線激光雷達(dá)數(shù)據(jù)進(jìn)行融合，獲得具有大視場(chǎng)且具有深度值的融合圖像信息，作為機(jī)器人的狀態(tài)參數(shù)s,將線速度和角速度作為機(jī)器人的動(dòng)作參數(shù)a;步驟3:構(gòu)建SAC算法的經(jīng)驗(yàn)池，用于存儲(chǔ)動(dòng)作-狀態(tài)-獎(jiǎng)勵(lì)的組合數(shù)據(jù)R(s,at,st+1,步驟4:構(gòu)建SAC算法的具有空間注意力機(jī)制和時(shí)間注意力機(jī)制的Actor網(wǎng)絡(luò)，將初始狀態(tài)參數(shù)和初始動(dòng)作參數(shù)輸入到Actor網(wǎng)絡(luò)中，獲得動(dòng)作概率參數(shù)，按概率去采樣獲得動(dòng)作參步驟5:機(jī)器人根據(jù)動(dòng)作參數(shù)移動(dòng)，并將新獲取的圖像數(shù)據(jù)和單線激光雷達(dá)數(shù)據(jù)進(jìn)行融步驟6:構(gòu)建獎(jiǎng)勵(lì)函數(shù)模型，根據(jù)獎(jiǎng)勵(lì)函數(shù)模型計(jì)算獎(jiǎng)勵(lì)值，將當(dāng)前的動(dòng)作參數(shù)、狀態(tài)參數(shù)和獎(jiǎng)勵(lì)值構(gòu)成一組動(dòng)作-狀態(tài)-獎(jiǎng)勵(lì)組合數(shù)據(jù)，投放到經(jīng)驗(yàn)池中，重復(fù)上述過程直到經(jīng)驗(yàn)池中組合數(shù)據(jù)數(shù)量到達(dá)要求；步驟7:構(gòu)建SAC算法的Q評(píng)論家網(wǎng)絡(luò)和V評(píng)論家網(wǎng)絡(luò)，Q評(píng)論家網(wǎng)絡(luò)的輸出為動(dòng)作-狀態(tài)價(jià)值的預(yù)測(cè)值，V評(píng)論家網(wǎng)絡(luò)的輸出為狀態(tài)價(jià)值的預(yù)測(cè)值；步驟8:從經(jīng)驗(yàn)池中采樣多組組合數(shù)據(jù)輸入到Actor網(wǎng)絡(luò)、Q評(píng)論家網(wǎng)絡(luò)和V評(píng)論家網(wǎng)絡(luò)步驟9:將收斂后的網(wǎng)絡(luò)部署到機(jī)器人系統(tǒng)中，機(jī)器人通過攝像頭和單線激光雷達(dá)傳感器采集數(shù)據(jù)作為輸入，輸出機(jī)器人的線速度和角速度，實(shí)現(xiàn)機(jī)器人無地圖的導(dǎo)航。2.如權(quán)利要求1所述的基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，其特征在于，所述步驟2中將圖像數(shù)據(jù)和單線激光雷達(dá)數(shù)據(jù)進(jìn)行融合具體為：步驟2.1:獲取激光雷達(dá)外參數(shù)據(jù)和攝像頭外參數(shù)據(jù)，并將激光雷達(dá)外參數(shù)據(jù)和攝像頭外參數(shù)據(jù)發(fā)布到機(jī)器人操作系統(tǒng)；步驟2.2:對(duì)攝像頭內(nèi)參進(jìn)行標(biāo)定，獲取攝像頭的內(nèi)參數(shù)據(jù)，將攝像頭坐標(biāo)系下的3D坐標(biāo)點(diǎn)無畸變地投影到攝像頭的像素平面上；步驟2.3:對(duì)激光雷達(dá)和攝像頭進(jìn)行聯(lián)合標(biāo)定，建立激光雷達(dá)坐標(biāo)系下3D點(diǎn)云數(shù)據(jù)的坐標(biāo)點(diǎn)和攝像頭坐標(biāo)系下3D點(diǎn)的對(duì)應(yīng)關(guān)系；步驟2.4:獲取攝像頭內(nèi)參數(shù)據(jù)，并進(jìn)行單線激光雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)的時(shí)間線對(duì)齊；步驟2.5:將單線激光雷達(dá)數(shù)據(jù)從極坐標(biāo)系表示轉(zhuǎn)換到笛卡爾坐標(biāo)系表示，并生成笛卡爾坐標(biāo)系下的初始點(diǎn)云數(shù)據(jù)，對(duì)初始點(diǎn)云數(shù)據(jù)做水平插值，以保證點(diǎn)云密度，生新的點(diǎn)云數(shù)步驟2.6:對(duì)笛卡爾坐標(biāo)系下的新的點(diǎn)云數(shù)據(jù)的每行數(shù)據(jù)做垂直方向擴(kuò)展，向下擴(kuò)展到步驟2.7:將最終點(diǎn)云數(shù)據(jù)利用TF變換到攝像頭坐標(biāo)系下，生成攝像頭坐標(biāo)系下的雷達(dá)點(diǎn)云數(shù)據(jù)，同時(shí)利用獲取的相機(jī)內(nèi)參數(shù)據(jù)，將相機(jī)坐標(biāo)系下的雷達(dá)點(diǎn)云數(shù)據(jù)映射到相機(jī)采集的二維圖像數(shù)據(jù)的像素平面坐標(biāo)系中獲得融合數(shù)據(jù)，并從像素平面獲取對(duì)應(yīng)顏色RGB值；步驟2.8:根據(jù)相機(jī)坐標(biāo)系與機(jī)器人坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，將融合數(shù)據(jù)轉(zhuǎn)換到機(jī)器人3坐標(biāo)系中獲得具有大視場(chǎng)且具有深度值的融合圖像信所述步驟2.2具體為：步驟2.2.4:估算理想無畸變情況下的5個(gè)內(nèi)參數(shù)據(jù)和6個(gè)外參數(shù)據(jù)；步驟2.2.5:根據(jù)5個(gè)內(nèi)參數(shù)據(jù)和6個(gè)外參數(shù)據(jù)，應(yīng)用最小二乘法計(jì)算實(shí)際存在徑向畸變4.如權(quán)利要求2所述的基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人所述步驟2.3具體為：5.如權(quán)利要求1所述的基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人從[C,H,W]變?yōu)閇1,H,W],對(duì)同一特征點(diǎn)的所有通道池化；變?yōu)閇1,H,W],這[1,H,W]的權(quán)重向量表征了特征圖上的每個(gè)點(diǎn)的重要程度，數(shù)值大的更重藏向量和激活函數(shù)的輸出做softmax,得步驟4.6:將[1,H,W]的空間權(quán)重g與[C,H,W]的原特征圖相乘，即特征圖個(gè)點(diǎn)都賦予了權(quán)重；46.如權(quán)利要求1所述的基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，其特征在于，所述步驟4中的Actor網(wǎng)絡(luò)引入了時(shí)間注意力機(jī)制具體為：通過LSTM模塊處理網(wǎng)絡(luò)中的時(shí)間信息，不僅僅將堆積的歷史預(yù)測(cè)值作為輸入；通過LSTM學(xué)習(xí)在不同的時(shí)間節(jié)點(diǎn)上哪些幀在過去的預(yù)測(cè)中對(duì)于當(dāng)前動(dòng)作的選擇最重要，每個(gè)一化處理：通過每個(gè)LSTM的輸出計(jì)算出時(shí)間注意力機(jī)制的上下文向量c:動(dòng)作相對(duì)重要的幀進(jìn)行學(xué)習(xí)，從而優(yōu)化訓(xùn)練時(shí)間以及導(dǎo)航效果。7.如權(quán)利要求1所述的基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，所述步驟8中V評(píng)論家網(wǎng)絡(luò)的更新流程如下：從經(jīng)驗(yàn)池中選擇數(shù)據(jù)(s+,a,st+1,rt+1)進(jìn)行V評(píng)論家網(wǎng)絡(luò)更新，通過下式計(jì)算V評(píng)論家網(wǎng)絡(luò)輸出的狀態(tài)價(jià)值的理論值：=∑a,eAπ(·1s,)[minq.(s,a,)-a×1了機(jī)器人在各個(gè)狀態(tài)下的各種可能的行為及概率；a:π(·|st)表示a,在策略π中進(jìn)行采樣，π(·|s)表示狀態(tài)s下的所有動(dòng)作及概率；i為Q評(píng)論家網(wǎng)絡(luò)的數(shù)量；A表示多個(gè)動(dòng)作參數(shù)構(gòu)用V評(píng)論家網(wǎng)絡(luò)輸出的狀態(tài)價(jià)值的預(yù)測(cè)值和狀態(tài)價(jià)值的理論值的均方差作為損失函數(shù)，對(duì)V評(píng)論家網(wǎng)絡(luò)進(jìn)行訓(xùn)練，V評(píng)論家網(wǎng)絡(luò)式中，B表示經(jīng)驗(yàn)池，即求Loss1的時(shí)候需要對(duì)經(jīng)驗(yàn)池中取出的樣本取平均，以體現(xiàn)取出的樣本平均意義下的好壞；v(s)為V評(píng)論家網(wǎng)絡(luò)輸出的狀態(tài)價(jià)值的預(yù)測(cè)值，U)為V評(píng)論家網(wǎng)絡(luò)輸出的狀態(tài)價(jià)值的理論值。8.如權(quán)利要求7所述的基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，其特征在于，步驟8中的Q評(píng)論家網(wǎng)絡(luò)的更新過程為：從經(jīng)驗(yàn)池中選擇數(shù)據(jù)(s+,at,st+1,rt+1)進(jìn)行Q評(píng)論家網(wǎng)絡(luò)更新，基于最優(yōu)貝爾曼方程，用U?=r+yv(s+)作為Q評(píng)論家網(wǎng)絡(luò)輸出的動(dòng)作-狀態(tài)價(jià)值的理論值，用Q評(píng)論家網(wǎng)絡(luò)輸出的動(dòng)作-狀態(tài)價(jià)值的預(yù)測(cè)值和動(dòng)作-狀態(tài)價(jià)值的理論值的均方差作為損失函數(shù)，對(duì)Q評(píng)論家59.如權(quán)利要求8所述的基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人=∑a,4π(·|s,)[q.(s,a,)-a×110.如權(quán)利要求1所述的基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，其特征在上式中rsuces表示機(jī)器人在不與障礙物發(fā)生碰撞的前提下到達(dá)目的地所獲得的獎(jiǎng)勵(lì)，0-0t-1表示當(dāng)前時(shí)間步與上一時(shí)間步機(jī)器人與目標(biāo)位置的角度差，如果角度偏離則為表示機(jī)器人角速度的變化率，是為了防止機(jī)器人在相鄰時(shí)間步的角速度發(fā)生較6技術(shù)領(lǐng)域[0001]本發(fā)明屬于移動(dòng)機(jī)器人技術(shù)領(lǐng)域，涉及一種基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法。背景技術(shù)[0002]移動(dòng)機(jī)器人在工業(yè)領(lǐng)域、月球探索等太空探索領(lǐng)域、排雷機(jī)器人等軍事領(lǐng)域、體溫檢測(cè)等醫(yī)療領(lǐng)域、物流領(lǐng)域、服務(wù)領(lǐng)域等都擔(dān)任著越來越重要的角色。而導(dǎo)航技術(shù)作為移動(dòng)機(jī)器人研究中最重要一環(huán)，一個(gè)優(yōu)秀的導(dǎo)航策略可以很大程度的提高移動(dòng)機(jī)器人的性能。[0003]目前采用的導(dǎo)航策略多是基于地圖信息的，這種方法通常情況下可以得到最優(yōu)或需要在未知環(huán)境下進(jìn)行工作，地圖繪制困難。[0005]2、傳統(tǒng)導(dǎo)航系統(tǒng)的導(dǎo)航效果非常依賴傳感器的精度，而精度越高的傳感器其價(jià)格越貴，這也使得導(dǎo)航系統(tǒng)的成本增加。[0006]3、傳統(tǒng)導(dǎo)航系統(tǒng)不具備泛化的能力，即機(jī)器人從一個(gè)工作環(huán)境轉(zhuǎn)換到另一個(gè)工作環(huán)境需要重新繪制地圖。[0007]因此，亟需一種可在移動(dòng)機(jī)器人缺失地圖信息的情況下實(shí)現(xiàn)陌生且復(fù)雜環(huán)境下的導(dǎo)航方法。發(fā)明內(nèi)容[0008]為解決上述技術(shù)問題，本發(fā)明提供一種基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，可在缺失地圖信息的情況下實(shí)現(xiàn)移動(dòng)機(jī)器人在陌生且復(fù)雜環(huán)境中進(jìn)行安全快速的導(dǎo)航。[0009]本發(fā)明提供一種基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，包括如下步[0010]步驟1:采集機(jī)器人車載攝像頭的圖像數(shù)據(jù)、車載單線激光雷達(dá)數(shù)據(jù)以及機(jī)器人的線速度和角速度；[0011]步驟2:將圖像數(shù)據(jù)和單線激光雷達(dá)數(shù)據(jù)進(jìn)行融合，獲得具有大視場(chǎng)且具有深度值的融合圖像信息，作為機(jī)器人的狀態(tài)參數(shù)s,將線速度和角速度作為機(jī)器人的動(dòng)作參數(shù)a;[0012]步驟3:構(gòu)建SAC算法的經(jīng)驗(yàn)池，用于存儲(chǔ)動(dòng)作-狀態(tài)-獎(jiǎng)勵(lì)的組合數(shù)據(jù)R(s+,a,st+1,[0013]步驟4:構(gòu)建SAC算法的具有空間注意力機(jī)制和時(shí)間注意力機(jī)制的Actor網(wǎng)絡(luò)，將初始狀態(tài)參數(shù)和初始動(dòng)作參數(shù)輸入到Actor網(wǎng)絡(luò)中，獲得動(dòng)作空間概率參數(shù)，按概率去采樣獲得動(dòng)作參數(shù)；[0014]步驟5:機(jī)器人根據(jù)動(dòng)作參數(shù)移動(dòng)，并將新獲取的圖像數(shù)據(jù)和單線激光雷達(dá)數(shù)據(jù)進(jìn)7[0015]步驟6:構(gòu)建獎(jiǎng)勵(lì)函數(shù)模型，根據(jù)機(jī)器人當(dāng)前狀態(tài)參數(shù)計(jì)算獎(jiǎng)勵(lì)值，將當(dāng)前的動(dòng)作參數(shù)、狀態(tài)參數(shù)和獎(jiǎng)勵(lì)值構(gòu)成一組動(dòng)作-狀態(tài)-獎(jiǎng)勵(lì)組合數(shù)據(jù)，投放到經(jīng)驗(yàn)池中，重復(fù)上述過程直到經(jīng)驗(yàn)池中組合數(shù)據(jù)數(shù)量到達(dá)要求；[0016]步驟7:構(gòu)建SAC算法的Q評(píng)論家網(wǎng)絡(luò)和V評(píng)論家網(wǎng)絡(luò)，Q評(píng)論家網(wǎng)絡(luò)的輸出為動(dòng)作-狀態(tài)價(jià)值的預(yù)測(cè)值，V評(píng)論家網(wǎng)絡(luò)的輸出為狀態(tài)價(jià)值的預(yù)測(cè)值；[0017]步驟8:從經(jīng)驗(yàn)池中采樣多組組合數(shù)據(jù)輸入到Actor網(wǎng)絡(luò)、Q評(píng)論家網(wǎng)絡(luò)和V評(píng)論家網(wǎng)絡(luò)中對(duì)各個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至網(wǎng)絡(luò)收斂；[0018]步驟9:將收斂后的網(wǎng)絡(luò)部署到機(jī)器人系統(tǒng)中，機(jī)器人通過攝像頭和單線激光雷達(dá)傳感器采集數(shù)據(jù)作為輸入，輸出機(jī)器人的線速度和角速度，實(shí)現(xiàn)機(jī)器人無地圖的導(dǎo)航。[0019]本發(fā)明的一種基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，至少具有以下有[0020](1)通過端對(duì)端進(jìn)行學(xué)習(xí)，無需地圖信息，并且不依賴于傳感器的精度，降低系統(tǒng)[0021](2)通過深度強(qiáng)化學(xué)習(xí)算法所實(shí)現(xiàn)的導(dǎo)航策略，對(duì)于陌生復(fù)雜環(huán)境的適應(yīng)能力強(qiáng)，能夠從一個(gè)環(huán)境直接部署到另一個(gè)完全陌生的復(fù)雜環(huán)境。附圖說明[0022]圖1是本發(fā)明的一種基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法的流程圖；[0023]圖2是本發(fā)明中Actor網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)。具體實(shí)施方式[0024]本發(fā)明提供一種基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，通過該方法可實(shí)現(xiàn)移動(dòng)機(jī)器人在缺失地圖信息這一先決條件的情況下實(shí)現(xiàn)陌生且復(fù)雜環(huán)境下的導(dǎo)航。與傳統(tǒng)的基于地圖信息的機(jī)器人導(dǎo)航方法相比，該方法以稀疏的激光雷達(dá)傳感器數(shù)據(jù)、攝像頭圖像數(shù)據(jù)、機(jī)器人線速度、角速度為輸入?yún)?shù)，采用Attention-SAC算法實(shí)現(xiàn)機(jī)器人對(duì)最優(yōu)或次優(yōu)導(dǎo)航策略的自主學(xué)習(xí)。[0025]如圖1所示，本發(fā)明的一種基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)機(jī)器人導(dǎo)航方法，包括如下步驟：[0026]步驟1:采集機(jī)器人車載攝像頭的圖像數(shù)據(jù)、車載單線激光雷達(dá)數(shù)據(jù)以及機(jī)器人的線速度和角速度；[0027]具體實(shí)施時(shí)，單線激光雷達(dá)發(fā)出激光并根據(jù)在周圍反射并返回的光線在周圍的環(huán)境中提供點(diǎn)。選擇單線激光雷達(dá)可提供360°的水平視場(chǎng)(FOV)和大概15°的有限垂直視場(chǎng)。單線激光雷達(dá)的主要優(yōu)點(diǎn)是它可以提供高度準(zhǔn)確的深度值。但是，它們的輸出是稀疏的，即它們不會(huì)提供非常高分辨率的輸出。[0028]攝像頭在生活中很常見，是一個(gè)2D傳感器。優(yōu)勢(shì)在于可給出一個(gè)清晰，可選高分辨[0029]步驟2:將圖像數(shù)據(jù)和單線激光雷達(dá)數(shù)據(jù)進(jìn)行融合，獲得具有大視場(chǎng)且具有深度值的融合圖像信息，作為機(jī)器人的狀態(tài)參數(shù)s,將線速度和角速度作為機(jī)器人的動(dòng)作參數(shù)a;[0030]將圖像數(shù)據(jù)和單線激光雷達(dá)數(shù)據(jù)進(jìn)行融合具體為：8[0031]步驟2.1:獲取激光雷達(dá)外參數(shù)據(jù)和攝像頭外參數(shù)據(jù)，并將激光雷達(dá)外參數(shù)據(jù)和攝像頭外參數(shù)據(jù)發(fā)布到機(jī)器人操作系統(tǒng)；[0032]從硬件結(jié)構(gòu)獲取激光雷達(dá)在整體機(jī)器人上的結(jié)構(gòu)參數(shù)，就是相對(duì)于機(jī)器人整體參考系的坐標(biāo)信息，在適當(dāng)?shù)膌aunch文件執(zhí)行時(shí)發(fā)布激光雷達(dá)的位姿到坐標(biāo)變換工具TF,攝像頭的外參的獲取也是同理。[0033]然后通過機(jī)器人操作系統(tǒng)的static_transfrom_publisher坐標(biāo)轉(zhuǎn)換將激光雷達(dá)和攝像頭的坐標(biāo)發(fā)布到TF。Transform是機(jī)器人操作系統(tǒng)中管理3D坐標(biāo)系變換的工具。只要告訴TF兩個(gè)相關(guān)聯(lián)坐標(biāo)系的坐標(biāo)變換信息，TF會(huì)幫你一直記錄這個(gè)兩個(gè)坐標(biāo)系的坐標(biāo)變換，即使兩個(gè)坐標(biāo)系處于運(yùn)動(dòng)中。[0034]步驟2.2:對(duì)攝像頭內(nèi)參進(jìn)行標(biāo)定，獲取攝像頭的內(nèi)參數(shù)據(jù)，將攝像頭坐標(biāo)系下的3D坐標(biāo)點(diǎn)無畸變地投影到攝像頭的像素平面上，所述步驟2.2具體為：[0035]步驟2.2.1:打印一張棋盤格并貼在一個(gè)平面上，作為標(biāo)定物；[0036]步驟2.2.2:通過調(diào)整標(biāo)定物或攝像頭的方向，為標(biāo)定物拍攝一些不同方向的照[0037]步驟2.2.3:從照片中提取棋盤格角點(diǎn)；[0038]步驟2.2.4:估算理想無畸變情況下的5個(gè)內(nèi)參數(shù)據(jù)和6個(gè)外參數(shù)據(jù)；[0039]步驟2.2.5:根據(jù)5個(gè)內(nèi)參數(shù)據(jù)和6個(gè)外參數(shù)據(jù)，應(yīng)用最小二乘法計(jì)算實(shí)際存在徑向畸變下的畸變系數(shù)；[0040]步驟2.2.6:根據(jù)徑向畸變下的畸變系數(shù)，采用極大似然法，進(jìn)行優(yōu)化估算，得到相機(jī)的內(nèi)參矩陣、徑向畸變和切向畸變。[0041]步驟2.3:對(duì)激光雷達(dá)和攝像頭進(jìn)行聯(lián)合標(biāo)定，建立激光雷達(dá)坐標(biāo)系下3D點(diǎn)云數(shù)據(jù)的坐標(biāo)點(diǎn)和攝像頭坐標(biāo)系下3D點(diǎn)的對(duì)應(yīng)關(guān)系，所述步驟2.3具體為：[0042]考慮到這里是單線激光雷達(dá)，不方便利用現(xiàn)有的聯(lián)合標(biāo)定工具包做聯(lián)合標(biāo)的，所以只能在單線激光雷達(dá)和攝像頭的測(cè)量計(jì)算精度上下功夫，確保在第一步和第二步發(fā)布到TF的外參盡量精準(zhǔn)可靠；具體使用時(shí)，只需要利用機(jī)器人操作系統(tǒng)的TF功能，即可做單線激光雷達(dá)坐標(biāo)系下3D點(diǎn)云數(shù)據(jù)和攝像頭坐標(biāo)系下3D點(diǎn)的坐標(biāo)變換，具體步驟如下：[0043]通過TF變換根據(jù)攝像頭與激光雷達(dá)在機(jī)器人上的安裝位置，確定攝像頭坐標(biāo)系與機(jī)器人坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，以及激光雷達(dá)坐標(biāo)系與機(jī)器人坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。[0044]步驟2.4:獲取攝像頭內(nèi)參數(shù)據(jù)，并進(jìn)行單線激光雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)的時(shí)間線對(duì)[0045]具體實(shí)施時(shí)，因?yàn)閱尉€激光雷達(dá)和攝像頭信息融合，依賴于攝像頭內(nèi)參，所以程序啟動(dòng)后，需要等待訂閱的攝像頭內(nèi)參數(shù)據(jù)獲??；又因?yàn)閱尉€激光雷達(dá)主題消息和攝像頭圖像主題消息，發(fā)布的頻率不一致，需要對(duì)兩種類型主題消息的時(shí)間戳做比對(duì)；以保證激光雷達(dá)掃描數(shù)據(jù)和攝像頭圖像數(shù)據(jù)均反應(yīng)同一時(shí)刻的狀態(tài)。[0046]具體實(shí)施時(shí)，單線激光雷達(dá)的數(shù)據(jù)類型實(shí)際上是極坐標(biāo)的形式，不同于多線激光雷達(dá)的點(diǎn)云數(shù)據(jù)類型，需要通過步驟2.5和2.6將數(shù)據(jù)從極坐標(biāo)表示轉(zhuǎn)換成點(diǎn)云數(shù)據(jù)。[0047]步驟2.5:將單線激光雷達(dá)數(shù)據(jù)從極坐標(biāo)系表示轉(zhuǎn)換到笛卡爾坐標(biāo)系表示，并生成笛卡爾坐標(biāo)系下的初始點(diǎn)云數(shù)據(jù)，對(duì)初始點(diǎn)云數(shù)據(jù)做水平插值，以保證點(diǎn)云密度，生新的點(diǎn)云數(shù)據(jù)；9機(jī)采集的二維圖像數(shù)據(jù)的像素平面坐標(biāo)系中獲得融合數(shù)據(jù)，并從像素平面獲取對(duì)應(yīng)顏色[0054]步驟4.1:通過獲得的融合圖像信息經(jīng)過卷積層神經(jīng)網(wǎng)絡(luò)得到一組m×n的原特征道數(shù)從[C,H,W]變?yōu)閇1,H,W],對(duì)同一特征點(diǎn)的所有通道池化；更重要；[0061]上式中g(shù)為步驟4.4的sigmoid激活函數(shù)輸出的[1,H,W]的權(quán)重向量，wg和w為系的每個(gè)點(diǎn)都賦予了權(quán)重；前選擇動(dòng)作相對(duì)重要的幀進(jìn)行學(xué)習(xí)，從而優(yōu)化訓(xùn)練時(shí)間以及導(dǎo)航效果。圖2是本發(fā)明中[0075]上式中rsucess表示機(jī)器人在不與障礙物發(fā)生碰撞的前提下到達(dá)目的地所獲得的家網(wǎng)絡(luò)輸出的狀態(tài)價(jià)值的理論值：=∑a,eAπ(·Is,)[minq,(Ss,a,)-a×1定義了機(jī)器人在各個(gè)狀態(tài)下的各種可能的行為及概率；at~π(·|s)