自主機(jī)器人基礎(chǔ)與技術(shù)第一章：自主機(jī)器人概述基本介紹-發(fā)展現(xiàn)狀-組成架構(gòu)-應(yīng)用案例-本書內(nèi)容1自主機(jī)器人簡介自主機(jī)器人是指在沒有或僅有最少人為干預(yù)的情況下，能夠自主完成特定任務(wù)或一系列任務(wù)的機(jī)器人。自主機(jī)器人核心特點(diǎn)包括自主性、交互性和適應(yīng)性。自主機(jī)器人形態(tài)萬千柔性機(jī)械臂無人駕駛汽車人形機(jī)器人無人機(jī)水下潛航器深空探測器2自主機(jī)器人發(fā)展現(xiàn)狀及趨勢初級自主階段高級自主階段高度自主與智能階段全面智能與多領(lǐng)域應(yīng)用階段未來發(fā)展趨勢早期研究和概念階段20世紀(jì)50年代-60年代基本自動化和遙控階段20世紀(jì)70年代-80年代20世紀(jì)80年代-90年代20世紀(jì)90年代-2000年代初2000年代初-2010年代2010年代至今全自主系統(tǒng)群體智能與協(xié)作人機(jī)共生3自主機(jī)器人組成架構(gòu)執(zhí)行機(jī)構(gòu)環(huán)境感知系統(tǒng)定位建圖系統(tǒng)人工智能和學(xué)習(xí)系統(tǒng)規(guī)劃控制系統(tǒng)機(jī)器人本體，包括無人機(jī)、無人車、機(jī)械臂、人形機(jī)器人等各種形態(tài)，每種形態(tài)針對不同的應(yīng)用場景設(shè)計(jì)而成多源傳感器+數(shù)據(jù)處理與融合模塊+復(fù)雜環(huán)境語義理解算法，使機(jī)器人能實(shí)時(shí)“理解”周圍世界并據(jù)此反應(yīng)確保機(jī)器人能夠在未知或動態(tài)環(huán)境中自主導(dǎo)航的關(guān)鍵技術(shù)，為自主導(dǎo)航提供執(zhí)行動作位置、姿態(tài)與環(huán)境地圖機(jī)器人執(zhí)行動作的核心環(huán)節(jié)，基于環(huán)境認(rèn)知及狀態(tài)估計(jì)，設(shè)計(jì)并執(zhí)行復(fù)雜的動作序列，以達(dá)成預(yù)設(shè)的目標(biāo)或任務(wù)機(jī)器人智能化體現(xiàn)的重要組成，綜合多種人工智能技術(shù)，形成復(fù)雜、多層次、高適應(yīng)性的自適應(yīng)智能感知算法4自主機(jī)器人典型應(yīng)用案例智慧物流配送基礎(chǔ)設(shè)施巡檢菜鳥超級搬運(yùn)機(jī)器人美團(tuán)機(jī)器人智慧配送無人機(jī)智能巡檢系統(tǒng)變電站巡檢機(jī)器人日常生活服務(wù)宇通自動駕駛無人車機(jī)場服務(wù)機(jī)器人4自主機(jī)器人典型應(yīng)用案例智慧農(nóng)業(yè)生產(chǎn)大疆T16植保無人機(jī)智能采摘機(jī)器人深空深海探測柔性機(jī)械臂水下自主機(jī)器人“海斗一號”“祝融號”火星車ABB機(jī)器人-病毒檢測ABB機(jī)器人-電路板裝配5本書主要內(nèi)容第二章第三章第四章第六章第五章第七章第八章自主機(jī)器人的基礎(chǔ)理論與建模方法自主機(jī)器人對周圍環(huán)境感知的基礎(chǔ)方法自主機(jī)器人的定位與建圖技術(shù)自主機(jī)器人如何制定行動策略并精準(zhǔn)控制執(zhí)行自主機(jī)器人如何通過具身智能提升其學(xué)習(xí)與適應(yīng)能力自主機(jī)器人移動機(jī)構(gòu)設(shè)計(jì)及適用場景自主機(jī)器人系統(tǒng)設(shè)計(jì)與應(yīng)用案例自主機(jī)器人基礎(chǔ)與技術(shù)第二章：自主機(jī)器人建模運(yùn)動學(xué)-動力學(xué)-移動機(jī)械臂建模-車臂協(xié)調(diào)機(jī)器人建模1運(yùn)動學(xué)在控制機(jī)器人時(shí)，經(jīng)常會進(jìn)行兩類計(jì)算：1）根據(jù)關(guān)節(jié)位置的測量值計(jì)算末端工具位姿；2）根據(jù)指定的末端工具位姿，計(jì)算關(guān)節(jié)位置指令，作為控制器的期望值。為此，需要建立關(guān)節(jié)位置與末端位姿之間的映射關(guān)系。正逆運(yùn)動學(xué)正運(yùn)動學(xué)模型逆運(yùn)動學(xué)模型以6自由度串聯(lián)機(jī)器人為例，由于其末端位姿由關(guān)節(jié)位置決定，所以末端工具的位姿矩陣

一定與關(guān)節(jié)變量

有關(guān)。1運(yùn)動學(xué)多關(guān)節(jié)機(jī)械臂運(yùn)動學(xué)對于轉(zhuǎn)動關(guān)節(jié)，各連桿坐標(biāo)系的Z軸方向與關(guān)節(jié)軸線重合；對于移動關(guān)節(jié)，Z軸方向沿該關(guān)節(jié)移動方向。D-H參數(shù)的定義如下：1）兩連桿夾角

：垂直于關(guān)節(jié)

軸線的平面內(nèi)，兩公垂線的夾角（關(guān)節(jié)變量）。2）兩連桿距離

：沿關(guān)節(jié)

軸線上兩公垂線的距離（常量）。3）連桿長度

：兩端關(guān)節(jié)軸線沿公垂線的距離（常量）。4）連桿扭角

：與公垂線垂直的平面內(nèi)兩關(guān)節(jié)軸線

（常量）。1運(yùn)動學(xué)多關(guān)節(jié)機(jī)械臂運(yùn)動學(xué)1運(yùn)動學(xué)多關(guān)節(jié)機(jī)械臂運(yùn)動學(xué)1運(yùn)動學(xué)解析法與數(shù)值法對于一個6自由度機(jī)器人，只有當(dāng)它的三個相鄰軸交于一點(diǎn)或者相互平行時(shí)，該機(jī)器人的逆運(yùn)動學(xué)才有解析解。對于更復(fù)雜的串聯(lián)機(jī)器人，則常用Paul反變換法求解，這里簡要介紹其基本原理。對于一般的串聯(lián)機(jī)器人的運(yùn)動模型解析法數(shù)值法1運(yùn)動學(xué)移動機(jī)器人運(yùn)動學(xué)如果要得到對于輪式機(jī)器人的通用運(yùn)動學(xué)模型，可以根據(jù)每種輪與地面的不同約束關(guān)系表征。可包括如下兩種：（1）純滾動約束。決定了輪轉(zhuǎn)速與底盤速度的關(guān)系。（2）無側(cè)滑約束。底盤速度沿輪軸方向的投影之和為零，決定了底盤速度各分量在無側(cè)滑約束下的相對關(guān)系。通過列出每個輪的約束方程即可得到約束條件下通用的運(yùn)動學(xué)模型。下面介紹常見類型輪的約束模型。1運(yùn)動學(xué)移動機(jī)器人運(yùn)動學(xué)固定標(biāo)準(zhǔn)輪的約束模型對于其純滾動約束對于無側(cè)滑約束1運(yùn)動學(xué)移動機(jī)器人運(yùn)動學(xué)可轉(zhuǎn)向標(biāo)準(zhǔn)輪的約束模型萬向輪的約束模型純滾動約束無側(cè)滑約束純滾動約束無側(cè)滑約束2動力學(xué)牛頓歐拉力學(xué)模型任何機(jī)器人的動力學(xué)方程都可以寫成如下標(biāo)準(zhǔn)形式2動力學(xué)拉格朗日動力學(xué)模型拉格朗日方程是另一種經(jīng)典的動力學(xué)建模方法，牛頓-歐拉方程可以被認(rèn)為是一種解決動力學(xué)問題的力平衡方法，而拉格朗日方程則是采用另外一種思路，它以系統(tǒng)的能量為基礎(chǔ)建立起動力學(xué)模型。在建模過程中不同于牛頓-歐拉方法，它可以避免內(nèi)部剛體之間出現(xiàn)的作用力，簡化了建模過程。缺點(diǎn)是其物理意義不明確，而且對于復(fù)雜系統(tǒng)，拉格朗日函數(shù)的微分運(yùn)算將變得十分繁瑣。2動力學(xué)多連桿機(jī)械拉格朗日模型計(jì)算連桿各點(diǎn)速度計(jì)算系統(tǒng)的動能計(jì)算系統(tǒng)的勢能構(gòu)造拉格朗日函數(shù)推導(dǎo)動力學(xué)方程1.計(jì)算連桿各點(diǎn)速度2.計(jì)算系統(tǒng)的動能2動力學(xué)多連桿機(jī)械拉格朗日模型計(jì)算連桿各點(diǎn)速度計(jì)算系統(tǒng)的動能計(jì)算系統(tǒng)的勢能構(gòu)造拉格朗日函數(shù)推導(dǎo)動力學(xué)方程3.計(jì)算系統(tǒng)的勢能4.拉格朗日函數(shù)5.操作臂的動力學(xué)方程2動力學(xué)非完整約束機(jī)器人動力學(xué)對于平面輪式移動機(jī)器人對于差速驅(qū)動輪式移動機(jī)器人非完整約束移動機(jī)器人的動力學(xué)模型2動力學(xué)非完整約束機(jī)器人動力學(xué)含驅(qū)動器模型的非完整移動機(jī)器人動力學(xué)建模2動力學(xué)移動機(jī)器人動力學(xué)性質(zhì)有界性正定性斜對稱性線性性質(zhì)3移動機(jī)械臂建模一般運(yùn)動學(xué)模型3移動機(jī)械臂建模一般運(yùn)動學(xué)模型3移動機(jī)械臂建模一般動力學(xué)模型平臺部分執(zhí)行器部分4車臂協(xié)同自主機(jī)器人建模多自由度移動機(jī)械臂建模-運(yùn)動學(xué)建模4車臂協(xié)同自主機(jī)器人建模多自由度移動機(jī)械臂建模-動力學(xué)建模4車臂協(xié)同自主機(jī)器人建模全向移動機(jī)械臂建模-運(yùn)動學(xué)建模4車臂協(xié)同自主機(jī)器人建模全向移動機(jī)械臂建模-動力學(xué)建模自主機(jī)器人基礎(chǔ)與技術(shù)第三章：自主機(jī)器人環(huán)境感知基本概念-關(guān)鍵方法-學(xué)以致用慣性導(dǎo)航視覺傳感器激光雷達(dá)1機(jī)器人傳感器介紹

被物體反射或散射

信號處理時(shí)差法（TimeofFlight，ToF）

2.1多相機(jī)標(biāo)定單相機(jī)內(nèi)外參數(shù)標(biāo)定多相機(jī)標(biāo)定

坐標(biāo)轉(zhuǎn)換世界坐標(biāo)系相機(jī)坐標(biāo)系圖像坐標(biāo)系標(biāo)定目的：左、右單相機(jī)內(nèi)參左、右相機(jī)之間外參單相機(jī)標(biāo)定多相機(jī)標(biāo)定目的左相機(jī)右相機(jī)內(nèi)參外參成像平面坐標(biāo)系2.2相機(jī)-慣導(dǎo)標(biāo)定相機(jī)-IMU旋轉(zhuǎn)矩陣相機(jī)-IMU平移向量超定方程:兩幀之間圖片的相對旋轉(zhuǎn):四元數(shù)表示殘差函數(shù)的權(quán)重:其中，殘差:狀態(tài)向量定義：求解形式轉(zhuǎn)換2.3相機(jī)-激光雷達(dá)標(biāo)定坐標(biāo)轉(zhuǎn)換關(guān)系：相機(jī)坐標(biāo)系下二維坐標(biāo)：約束關(guān)系：2.4激光雷達(dá)-慣導(dǎo)標(biāo)定激光雷達(dá)坐標(biāo)系慣導(dǎo)坐標(biāo)系坐標(biāo)轉(zhuǎn)換關(guān)系：三維坐標(biāo)轉(zhuǎn)換矩陣：剛性變換：旋轉(zhuǎn)矩陣：反解歐拉角：3.1圖像預(yù)處理基于變換的圖像預(yù)處理方法基于濾波的圖像預(yù)處理方法小波變換逆濾波灰度變換維納濾波傅里葉變換均值濾波仿射變換高斯濾波透視變換雙邊濾波圖像預(yù)處理基本原理

典型圖像預(yù)處理方法圖像預(yù)處理方法概述基于變換的圖像預(yù)處理方法，通過數(shù)學(xué)變換將圖像從空間域轉(zhuǎn)換到頻域或其他特征域，以簡化信息分析和處理，該類圖像預(yù)處理方法有助于突出圖像中的有用信息，抑制或消除無用信息基于濾波的圖像預(yù)處理方法，通過多種濾波技術(shù)改善圖像質(zhì)量、消除噪聲和增強(qiáng)特定特征，不同的濾波方法適用于不同的圖像特點(diǎn)和處理需求提高圖像質(zhì)量降低噪聲增強(qiáng)圖像特征典型灰度變換方法的示例結(jié)果3.2特征點(diǎn)檢測對圖像進(jìn)行局部分析穩(wěn)定性與可重復(fù)性的點(diǎn)特征點(diǎn)檢測基本原理特征點(diǎn)檢測方法概述角點(diǎn)檢測方法，通過檢測圖像中的角點(diǎn)，找到具有高穩(wěn)定性和明顯局部特征的點(diǎn)，這些角點(diǎn)在不同尺度、視角和光照條件下保持一致，用于圖像匹配和識別?其他特征點(diǎn)檢測方法，檢測圖像中更豐富的特征點(diǎn)，通過生成包含位置、尺度、方向等信息的描述符，確保特征點(diǎn)在不同圖像中的一致性和魯棒性，用于復(fù)雜的圖像處理任務(wù)?典型特征點(diǎn)檢測方法角點(diǎn)檢測方法其他特征點(diǎn)檢測方法Harris角點(diǎn)檢測Haar特征點(diǎn)檢測Shi-Tomasi角點(diǎn)檢測BRIEF特征點(diǎn)檢測FAST角點(diǎn)檢測SIFT特征點(diǎn)檢測Moravec角點(diǎn)檢測SURF特征點(diǎn)檢測SUSAN角點(diǎn)檢測ORB特征點(diǎn)檢測自動檢測圖像中的關(guān)鍵點(diǎn)賦予獨(dú)特的描述符ORB特征點(diǎn)檢測的示例結(jié)果3.3邊緣檢測識別并提取圖像中局部強(qiáng)度變化最顯著的位置對圖像中的像素強(qiáng)度進(jìn)行微分運(yùn)算找出強(qiáng)度變化劇烈的位置邊緣檢測基本原理邊緣檢測方法概述基于一階導(dǎo)數(shù)的邊緣檢測方法，其主要依賴于圖像中灰度級的變化率來檢測邊緣，在邊緣處，灰度級的變化率通常較大，因此一階導(dǎo)數(shù)的值亦會相應(yīng)地增大基于二階導(dǎo)數(shù)的邊緣檢測方法，其主要依賴于圖像灰度級變化的二階導(dǎo)數(shù)來檢測邊緣，能夠更準(zhǔn)確地定位邊緣的位置，鑒于邊緣處通常對應(yīng)著灰度級變化的極值點(diǎn)，而二階導(dǎo)數(shù)在此類點(diǎn)處會取得零值典型邊緣檢測方法基于一階導(dǎo)數(shù)的邊緣檢測方法基于二階導(dǎo)數(shù)的邊緣檢測方法Roberts算子Laplacian算子Prewitt算子LoG算子Sobel算子Zero-crossing算法Kirsch算子Marr-Hildreth算法IsotropicSobel算子Frei-Chen算子基于Canny算子的邊緣檢測示例結(jié)果4.1深度學(xué)習(xí)基本原理深度學(xué)習(xí)基本原理神經(jīng)網(wǎng)絡(luò)模型概述前饋神經(jīng)網(wǎng)絡(luò)是一種基本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其特點(diǎn)是信息在網(wǎng)絡(luò)中單向傳遞，從輸入層流向輸出層，此種網(wǎng)絡(luò)結(jié)構(gòu)使得前饋神經(jīng)網(wǎng)絡(luò)具有直觀、易于理解的特性反饋神經(jīng)網(wǎng)絡(luò)是一種具有反饋連接的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其特點(diǎn)在于每個神經(jīng)元不僅將信息傳遞給下一層神經(jīng)元，同時(shí)亦將自身的輸出信號作為輸入信號反饋給其他神經(jīng)元，甚至包括自身典型神經(jīng)網(wǎng)絡(luò)模型前饋神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)深度置信網(wǎng)絡(luò)長短期記憶網(wǎng)絡(luò)深度前饋網(wǎng)絡(luò)門控循環(huán)單元多層感知機(jī)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)全連接神經(jīng)網(wǎng)絡(luò)圖神經(jīng)網(wǎng)絡(luò)4.2目標(biāo)檢測判斷圖像中是否存在目標(biāo)物體，即目標(biāo)分類問題；確定目標(biāo)對象在圖像中的具體位置，即目標(biāo)定位問題目標(biāo)檢測基本原理目標(biāo)檢測方法概述基于候選區(qū)域的目標(biāo)檢測方法，其通過生成候選區(qū)域、特征提取、分類與定位等步驟，實(shí)現(xiàn)對自主機(jī)器人機(jī)載圖像或視頻目標(biāo)的準(zhǔn)確檢測基于回歸的目標(biāo)檢測方法，其不依賴于預(yù)先生成的候選區(qū)域，而是直接通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)從輸入圖像到目標(biāo)邊界框與類別標(biāo)簽的映射，具有速度快、效率高等特點(diǎn)，能夠應(yīng)用于實(shí)時(shí)目標(biāo)檢測典型目標(biāo)檢測方法基于候選區(qū)域的目標(biāo)檢測方法基于回歸的目標(biāo)檢測方法R-CNNSSDSPP-NetCornerNetFast-RCNNRetinaNetFaster-RCNNEfficientDetMaskR-CNNYOLOYOLOv9目標(biāo)檢測的示例結(jié)果4.3目標(biāo)跟蹤視覺特征匹配運(yùn)動模型預(yù)測優(yōu)化算法目標(biāo)跟蹤基本原理目標(biāo)跟蹤方法概述基于相關(guān)濾波的目標(biāo)跟蹤方法利用濾波器來學(xué)習(xí)目標(biāo)模板與候選區(qū)域之間的相關(guān)性，因頻域操作的高效性，此種方法能夠快速實(shí)現(xiàn)跟蹤目標(biāo)的位置預(yù)測基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤方法通過兩個結(jié)構(gòu)相同、參數(shù)共享的子網(wǎng)絡(luò)進(jìn)行模版和搜索域之間的匹配來實(shí)現(xiàn)跟蹤，其憑借強(qiáng)大的特征學(xué)習(xí)能力與端到端的訓(xùn)練方式，在目標(biāo)跟蹤領(lǐng)域展現(xiàn)出優(yōu)秀的性能典型目標(biāo)跟蹤方法基于相關(guān)濾波的目標(biāo)跟蹤方法基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤方法SRDCFSiamFCKCFSiamRPNARCFSiamAPNAutoTrackHiFTADTrackTCTrack++TCTrack++目標(biāo)跟蹤的示例結(jié)果4.4圖像分割像素的亮度顏色紋理形狀其他更高維度的屬性圖像分割基本原理圖像分割方法概述基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割方法通過采用編碼-解碼的方式，實(shí)現(xiàn)從圖像到像素級分割結(jié)果的映射，其可以通過調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)設(shè)置來適應(yīng)不同數(shù)據(jù)分布基于Transformer的圖像分割方法核心是自注意力機(jī)制，其強(qiáng)大的全局建模能力使得該類方法在處理圖像分割任務(wù)時(shí)，能夠更好地捕捉圖像中的長距離依賴關(guān)系，從而獲得更加魯棒的邊緣與細(xì)節(jié)信息典型圖像分割方法基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割基于Transformer的圖像分割FCNSETRSegNetSegmenterU-NetSegFormerDeepLabMaskFormerPSPNetSAMSAM圖像分割的示例結(jié)果5.1學(xué)以致用-基于ORB-SLAM的場景重建任務(wù)描述

同時(shí)定位與地圖構(gòu)建（SimultaneousLocalizationandMapping,SLAM）技術(shù)是自主機(jī)器人的關(guān)鍵技術(shù)之一，其涉及的定位、地圖構(gòu)建是導(dǎo)航與控制領(lǐng)域的兩個基本問題，SLAM技術(shù)可有效同時(shí)解決上述兩個問題。

本實(shí)例基于自主機(jī)器人環(huán)境感知的常見場景，綜合本章所學(xué)自主機(jī)器人環(huán)境感知理論與方法，學(xué)習(xí)ORB-SLAM3原理與部署方法，完成ORB-SLAM3的場景重建實(shí)驗(yàn)。ORB-SLAM3原理介紹輸入跟蹤線程局部建圖線程閉環(huán)和地圖合并線程全局BA地圖集5.1學(xué)以致用-基于ORB-SLAM的場景重建a）特征點(diǎn)檢測b）三維重建簡單場景（直線）復(fù)雜場景實(shí)驗(yàn)部署實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)環(huán)境搭建：Ubuntu18.04、C++11、Pangolin、OpenCV、Eigen3、DBoW2、g2o、Python；數(shù)據(jù)集配置：本實(shí)例使用KITTI場景重建數(shù)據(jù)集進(jìn)行EfficientPS模型的訓(xùn)練與測試，其下載地址為：/datasets/kitti/index.php；構(gòu)建ORB-SLAM3庫與Examples，這將創(chuàng)建libORB_SLAM3；編譯ROS模式；在KITTI數(shù)據(jù)集中運(yùn)行ORB-SLAM3。5.2學(xué)以致用-基于EfficientPS的場景理解任務(wù)描述

場景理解是通過自主機(jī)器人機(jī)載視覺傳感器對觀察到的復(fù)雜動態(tài)場景進(jìn)行感知、分析與解釋的過程，此過程主要將來自機(jī)載視覺傳感器的信號信息與場景模型進(jìn)行匹配，其核心任務(wù)之一就是全景分割，因此，本實(shí)例主要基于自主機(jī)器人環(huán)境感知的常見場景，綜合自主機(jī)器人環(huán)境感知理論與方法，學(xué)習(xí)EfficientPS原理與部署實(shí)現(xiàn)，完成EfficientPS全景分割實(shí)驗(yàn)EfficientPS原理介紹特征提取特征增強(qiáng)語義分割頭實(shí)例分割頭全景融合

5.2學(xué)以致用-基于EfficientPS的場景理解數(shù)據(jù)集：本實(shí)例使用KITTI全景分割數(shù)據(jù)集進(jìn)行EfficientPS模型的訓(xùn)練與測試，其下載地址為：http://panoptic.cs.uni-freiburg.de/#dataset配置項(xiàng)目環(huán)境：本實(shí)例項(xiàng)目部署于Linux系統(tǒng)，配套Python3.7、PyTorch1.7等，項(xiàng)目完整開源代碼下載地址為：/DeepSceneSeg/EfficientPS模型訓(xùn)練：在Terminal模式或VisualStutioCode環(huán)境中運(yùn)行train.py代碼開始訓(xùn)練模型測試：在Terminal模式或VisualStutioCode環(huán)境中運(yùn)行test.py代碼，將加載KITTI測試集開始全景分割實(shí)驗(yàn)部署實(shí)驗(yàn)結(jié)果謝謝觀看自主機(jī)器人基礎(chǔ)與技術(shù)第4章：自主機(jī)器人定位與建圖基礎(chǔ)知識-基本原理-應(yīng)用實(shí)例1.1概率生成法則在實(shí)際環(huán)境中，機(jī)器人的自身狀態(tài)通常是不完全可知的，存在各種不確定性和噪聲。這些不確定性可能來源于多個方面，例如傳感器測量的誤差、環(huán)境干擾、機(jī)器人運(yùn)動模型的不準(zhǔn)確性等。概率生成法則提供了一種處理這種不確定性的理論基礎(chǔ)和數(shù)學(xué)工具。為了簡化狀態(tài)描述過程，機(jī)器人的狀態(tài)變化通常被設(shè)置為滿足馬爾科夫假設(shè)。即，一個隨機(jī)過程在給定當(dāng)前狀態(tài)的情況下，其未來的狀態(tài)僅依賴于當(dāng)前狀態(tài)，而與過去的狀態(tài)無關(guān)。通過這種假設(shè)，可以在理論上推導(dǎo)出系統(tǒng)狀態(tài)的概率分布及其演變規(guī)律。

描述狀態(tài)演變的概率法則可以由以下形式的概率分布表示：馬爾科夫過程：采用貝葉斯網(wǎng)絡(luò)表示的特征演變過程21.2貝葉斯算法貝葉斯濾波算法是一種基于概率的方法，用于根據(jù)傳感器測量和控制輸入來估計(jì)系統(tǒng)狀態(tài)。它結(jié)合了先驗(yàn)概率和觀測數(shù)據(jù)，通過遞歸貝葉斯估計(jì)不斷更新狀態(tài)的后驗(yàn)概率。先驗(yàn)概率：后驗(yàn)概率：貝葉斯定理：

受觀測噪聲的影響，機(jī)器人真實(shí)的狀態(tài)很難精準(zhǔn)獲取。通常采用置信度來描述狀態(tài)的最優(yōu)估計(jì)，置信度越高表示對機(jī)器人位姿的估計(jì)越準(zhǔn)確。預(yù)測：更新：

貝葉斯濾波算法通過遞歸地應(yīng)用預(yù)測和更新步驟，結(jié)合控制輸入和觀測數(shù)據(jù)，來不斷更新機(jī)器人位姿的概率分布。這種方法能夠處理傳感器噪聲和不確定性，并提供對機(jī)器人當(dāng)前位置的可靠估計(jì)。31.3卡爾曼濾波定位算法高斯分布：多維高斯分布：預(yù)測：更新：

首先基于前一時(shí)刻的位姿和控制輸入預(yù)測下一時(shí)刻的位姿，并更新預(yù)測的不確定性（協(xié)方差矩陣）。隨后，利用傳感器的測量值來修正這一預(yù)測，通過計(jì)算卡爾曼增益平衡預(yù)測與觀測信息，提高位姿估計(jì)的準(zhǔn)確性。最后，根據(jù)修正量更新機(jī)器人的位姿估計(jì)，并調(diào)整協(xié)方差矩陣以反映新的置信度水平，確保定位的精確性和可靠性。在卡爾曼濾波定位算法中，反應(yīng)估計(jì)情況的置信度通常使用多維高斯分布來描述。多維高斯分布由兩個主要參數(shù)定義：均值和協(xié)方差矩陣。均值表示估計(jì)的狀態(tài)值，而協(xié)方差矩陣表示狀態(tài)估計(jì)的不確定性。

41.4粒子濾波定位算法蒙特卡洛方法：基于粒子濾波的定位算法采用粒子濾波來估計(jì)機(jī)器人的位姿。隨著時(shí)間的推移，通過預(yù)測和更新步驟來調(diào)整這些位姿的概率分布。基于粒子濾波的定位算法的基本更新步驟為：提取、預(yù)測、測量更新、重要性權(quán)重計(jì)算和重采樣。最后，根據(jù)粒子進(jìn)行狀態(tài)估計(jì)。粒子濾波定位算法引入了一種蒙特卡洛方法，通過隨機(jī)采樣的方式來近似表示狀態(tài)的概率分布。粒子濾波算法使用一組隨機(jī)樣本來表示狀態(tài)的概率分布，每個粒子都有一個權(quán)重，表示該粒子的重要性。通過對粒子的重采樣和更新，可以逐步提高對機(jī)器人位姿的估計(jì)精度。

粒子濾波定位算法52.1測距儀的波束模型測距儀可以確定觀測者到某個特定物體或點(diǎn)的距離?；诓煌募夹g(shù)原理可分為：光學(xué)測距儀（如激光雷達(dá)）、聲波測距儀（如聲納）、無線電測距儀（如雷達(dá)）等。在使用測距儀（如激光雷達(dá)）進(jìn)行環(huán)境測繪時(shí)，波束模型是至關(guān)重要的。這個模型描述了測距儀發(fā)射的波束如何與環(huán)境中的物體相互作用。波束模型通常包括波束的寬度、形狀和傳播特性，這些因素決定了測量的準(zhǔn)確性和可靠性。測距掃描儀測量通過波束（如激光測距儀）或者測量錐（如超聲波）來測量附近物體的距離。

測距儀的波束模型可以看作是混合了四種機(jī)器人移動過程中存在的噪聲的概率，四類誤差包括障礙物引起的誤差、意外對象產(chǎn)生的誤差、隨機(jī)測量誤差和由于未檢測到對象引起的誤差。

6四種誤差的概率分布2.2二維柵格地圖二維柵格地圖，亦稱為二維占據(jù)柵格地圖，是機(jī)器人導(dǎo)航領(lǐng)域中廣泛采用的一種基礎(chǔ)地圖表示形式。這種地圖形式能夠直觀地展現(xiàn)機(jī)器人周圍環(huán)境的信息，為機(jī)器人的路徑規(guī)劃、導(dǎo)航和避障提供重要的依據(jù)。在二維柵格地圖中，每個柵格單元的狀態(tài)由一個概率值表示，根據(jù)傳感器的觀測數(shù)據(jù)或先驗(yàn)知識，賦予或更新其被占據(jù)、空閑或未知狀態(tài)的概率值。在初始化狀態(tài)下，柵格全都是未知狀態(tài)。以激光雷達(dá)建圖為例，每次引入傳感器測量都會更新柵格的概率值，從而平滑掉噪聲的影響。柵格地圖中的每一個柵格，最終將只有占據(jù)和空閑兩種狀態(tài)。7柵格狀態(tài)更新過程示例2.3三維點(diǎn)云地圖點(diǎn)云數(shù)據(jù)是通過各種類型的掃描設(shè)備獲取的，如激光雷達(dá)、立體視覺相機(jī)、結(jié)構(gòu)光掃描器等。這些設(shè)備通過測量與物體表面的距離來生成高密度的點(diǎn)，每個點(diǎn)包含X、Y、Z三軸坐標(biāo)，有時(shí)還包括顏色（RGB）和強(qiáng)度等信息。

三維點(diǎn)云地圖如右圖所示，通過大量空間中的點(diǎn)來表示物體和環(huán)境結(jié)構(gòu)，能夠提供環(huán)境的詳細(xì)三維結(jié)構(gòu)信息。為了形成點(diǎn)云地圖，需要對攝像機(jī)獲得的點(diǎn)云地圖進(jìn)行處理。點(diǎn)云數(shù)據(jù)處理包含一系列步驟，旨在從原始掃描數(shù)據(jù)中提取有用的信息，并將其轉(zhuǎn)化為可用于各種應(yīng)用的高質(zhì)量、高精度的三維模型。

一般包括點(diǎn)云預(yù)處理、點(diǎn)云配準(zhǔn)和點(diǎn)云分割與分類。激光雷達(dá)點(diǎn)云地圖82.4三維語義地圖語義信息能夠提高機(jī)器人對周圍環(huán)境的理解，幫助識別環(huán)境中物體的類別、運(yùn)動狀態(tài)等，能使機(jī)器人完成更好的人機(jī)交互、導(dǎo)航定位功能。這種類型的地圖在機(jī)器人導(dǎo)航和交互中非常有用。右圖為含有語義信息的三維地圖。語義地圖不僅增強(qiáng)了機(jī)器人對環(huán)境的感知能力，還有效促進(jìn)了人機(jī)交互的順暢進(jìn)行，使得機(jī)器人能夠更智能、更自然地與人類進(jìn)行溝通和協(xié)作。語義地圖的用途遠(yuǎn)不止于導(dǎo)航，它同樣在高級任務(wù)規(guī)劃，如物體操作和人機(jī)交互中發(fā)揮著關(guān)鍵作用。通過融入語義信息，機(jī)器人得以與環(huán)境以及人類用戶進(jìn)行更加智能化的互動。未來，隨著技術(shù)的不斷進(jìn)步和創(chuàng)新，三維語義地圖將在更多領(lǐng)域展現(xiàn)出其獨(dú)特的價(jià)值和魅力。含有語義信息的三維地圖93.1SLAM技術(shù)概述

在線SLAM全SLAM103.2基于擴(kuò)展卡爾曼濾波的SLAM算法利用最大似然數(shù)據(jù)關(guān)聯(lián)將EKF應(yīng)用到在線SLAM問題。通過機(jī)器人的運(yùn)動模型預(yù)測機(jī)器人未來狀態(tài)（運(yùn)動預(yù)測），然后利用機(jī)器人的觀測數(shù)據(jù)更新環(huán)境地圖和機(jī)器人在環(huán)境地圖中的位姿（測量更新）。

基本原理運(yùn)動預(yù)測測量更新

EKFSLAM113.3基于粒子濾波的SLAM算法FastSLAM，通過多個粒子估計(jì)機(jī)器人位姿的后驗(yàn)概率，將SLAM分解為兩個問題，一個是機(jī)器人定位問題，另一個是已知機(jī)器人位姿進(jìn)行地圖構(gòu)建的問題。

基本原理位姿的粒子表示權(quán)重計(jì)算與重采樣

機(jī)器人軌跡特征1特征2…特征N………………………

位姿更新FastSLAM示例123.4基于圖優(yōu)化的SLAM算法GraphSLAM通過將機(jī)器人的運(yùn)動模型和觀測信息融合到一個圖結(jié)構(gòu)中，利用圖中的節(jié)點(diǎn)與邊之間的約束關(guān)系推斷出機(jī)器人全路徑下的位姿和環(huán)境地圖。主要負(fù)責(zé)構(gòu)建位姿圖，以機(jī)器人的位姿為節(jié)點(diǎn)，傳感器數(shù)據(jù)推算的位姿變換約束為邊。主要包括運(yùn)動約束和觀測約束?；驹砬岸?位姿圖構(gòu)建主要負(fù)責(zé)優(yōu)化位姿圖，根據(jù)約束關(guān)系，調(diào)整圖中所有節(jié)點(diǎn)的位姿，求解全局一致的地圖和準(zhǔn)確的位姿估計(jì)，達(dá)到觀測數(shù)據(jù)與估計(jì)結(jié)果的最佳匹配。后端-位姿圖優(yōu)化

系統(tǒng)架構(gòu)演示結(jié)果13自主機(jī)器人基礎(chǔ)與技術(shù)第五章：自主機(jī)器人規(guī)劃與控制5.1全局路徑規(guī)劃在復(fù)雜環(huán)境中找到全局可行路徑，確保機(jī)器人能夠安全、高效地從起始點(diǎn)到達(dá)目標(biāo)點(diǎn)?；谒阉鞯姆椒ㄍㄟ^系統(tǒng)地探索環(huán)境中的狀態(tài)空間來找到從起始點(diǎn)到目標(biāo)點(diǎn)的最優(yōu)路徑。這類方法通常依賴圖搜索算法，將環(huán)境表示為一個離散的網(wǎng)格或圖。

5.1全局路徑規(guī)劃在復(fù)雜環(huán)境中找到全局可行路徑，確保機(jī)器人能夠安全、高效地從起始點(diǎn)到達(dá)目標(biāo)點(diǎn)?；谒阉鞯姆椒ㄍㄟ^系統(tǒng)地探索環(huán)境中的狀態(tài)空間來找到從起始點(diǎn)到目標(biāo)點(diǎn)的最優(yōu)路徑。這類方法通常依賴圖搜索算法，將環(huán)境表示為一個離散的網(wǎng)格或圖。

5.1全局路徑規(guī)劃在復(fù)雜環(huán)境中找到全局可行路徑，確保機(jī)器人能夠安全、高效地從起始點(diǎn)到達(dá)目標(biāo)點(diǎn)。基于采樣的方法通過在環(huán)境中隨機(jī)或均勻地采樣點(diǎn)來探索自由空間，從而找到從起始點(diǎn)到目標(biāo)點(diǎn)的可行路徑。這類方法適用于高維空間和復(fù)雜環(huán)境下的路徑規(guī)劃，具有較高的計(jì)算效率和適應(yīng)性。

5.1全局路徑規(guī)劃在復(fù)雜環(huán)境中找到全局可行路徑，確保機(jī)器人能夠安全、高效地從起始點(diǎn)到達(dá)目標(biāo)點(diǎn)?；诓蓸拥姆椒ㄍㄟ^在環(huán)境中隨機(jī)或均勻地采樣點(diǎn)來探索自由空間，從而找到從起始點(diǎn)到目標(biāo)點(diǎn)的可行路徑。這類方法適用于高維空間和復(fù)雜環(huán)境下的路徑規(guī)劃，具有較高的計(jì)算效率和適應(yīng)性。PRM算法通過在配置空間中隨機(jī)采樣構(gòu)建節(jié)點(diǎn)，然后連接這些節(jié)點(diǎn)以形成一個圖，從而在復(fù)雜環(huán)境中找到從起始點(diǎn)到目標(biāo)點(diǎn)的可行路徑。PRM算法特別適用于多次查詢路徑的情況，如多機(jī)器人系統(tǒng)或重復(fù)執(zhí)行的任務(wù)。算法分為兩個階段：構(gòu)圖階段和查詢階段。5.1全局路徑規(guī)劃在復(fù)雜環(huán)境中找到全局可行路徑，確保機(jī)器人能夠安全、高效地從起始點(diǎn)到達(dá)目標(biāo)點(diǎn)。

5.2局部路徑規(guī)劃自主機(jī)器人在遇到局部障礙物或環(huán)境變化時(shí)快速生成安全有效路徑。

5.2局部路徑規(guī)劃自主機(jī)器人在遇到局部障礙物或環(huán)境變化時(shí)快速生成安全有效路徑。

5.2局部路徑規(guī)劃自主機(jī)器人在遇到局部障礙物或環(huán)境變化時(shí)快速生成安全有效路徑。

5.3移動機(jī)器人運(yùn)動控制

軌跡跟蹤&路徑跟隨5.3移動機(jī)器人運(yùn)動控制軌跡跟蹤&路徑跟隨

5.4移動機(jī)械臂運(yùn)動控制

差分驅(qū)動底盤&全向移動底盤

5.4移動機(jī)械臂運(yùn)動控制

差分驅(qū)動底盤&全向移動底盤

5.5實(shí)例分析機(jī)器人全局路徑規(guī)劃在這一實(shí)例中，根據(jù)本章的介紹，我們設(shè)計(jì)A*路徑規(guī)劃算法，實(shí)現(xiàn)障礙物環(huán)境中的全局路徑規(guī)劃。并提供Matlab代碼。機(jī)器人路徑跟隨控制在這一實(shí)例中，根據(jù)本章的介紹，我們設(shè)計(jì)路徑跟隨控制器，實(shí)現(xiàn)差分驅(qū)動移動機(jī)器人跟隨一個圓形路徑。并提供Matlab代碼。自主機(jī)器人基礎(chǔ)與技術(shù)第六章：自主機(jī)器人具身智能1多模態(tài)基礎(chǔ)模型介紹大語言模型（LLMs）大語言模型（LargeLanguageModels,LLMs）是基于變換器（Transformer）架構(gòu)的深度學(xué)習(xí)模型。通過大規(guī)模文本數(shù)據(jù)進(jìn)行訓(xùn)練，展示出強(qiáng)大的自然語言理解和生成能力。理解和生成復(fù)雜的文本，執(zhí)行各種自然語言處理（NLP）任務(wù)，如文本生成、翻譯、問答等。核心技術(shù)方法注意力機(jī)制（AttentionMechanism）是Transformer架構(gòu)的核心技術(shù)之一，一種模仿人類視覺注意力的機(jī)制。該模型通過計(jì)算輸入序列中每個詞與其他詞的相關(guān)性，動態(tài)調(diào)整每個詞的權(quán)重，從而捕捉長距離依賴關(guān)系。注意力機(jī)制自注意力機(jī)制（Self-Attention）允許模型在處理當(dāng)前詞時(shí)，同時(shí)考慮整個序列中的所有詞。通過計(jì)算查詢（Query）、鍵（Key）和值（Value）向量，生成加權(quán)的輸出表示。多頭注意力機(jī)制（Multi-HeadAttention）是自注意力機(jī)制的擴(kuò)展，如下圖所示，通過并行使用多個注意力頭（AttentionHeads），模型可以在不同的子空間中捕捉不同的語義信息。Transformer注意力機(jī)制示意圖1多模態(tài)基礎(chǔ)模型介紹核心技術(shù)方法自回歸模型通過預(yù)測序列中的下一個詞來生成文本，模型在生成序列時(shí)，每一步依賴于之前生成的元素。自編碼模型用于學(xué)習(xí)數(shù)據(jù)的低維表示，能從編碼重建原始數(shù)據(jù)，根據(jù)被掩碼單詞的上下文來預(yù)測該單詞。LLM的預(yù)訓(xùn)練和微調(diào)預(yù)訓(xùn)練：模型在大規(guī)模的無標(biāo)注語料庫上進(jìn)行訓(xùn)練，學(xué)習(xí)語言的基本結(jié)構(gòu)和語義信息。微調(diào)（fine-tune）：在特定任務(wù)上進(jìn)一步優(yōu)化，從而適應(yīng)特定的應(yīng)用場景和需求。技術(shù)方法間的關(guān)系注意力機(jī)制提高了自回歸模型和自編碼模型的性能，使它們能夠更好地處理序列數(shù)據(jù)中的長程依賴關(guān)系。自回歸語言模型難以同時(shí)獲取單詞的上下文信息，而自編碼語言模型能很自然的把上下文信息融合到模型中?；谧⒁饬C(jī)制和自回歸、自編碼模型，LLM可以進(jìn)行預(yù)訓(xùn)練和微調(diào)。LLM在具身智能領(lǐng)域應(yīng)用示意圖LLM的應(yīng)用文本生成、對話系統(tǒng)高質(zhì)量的跨語言文本轉(zhuǎn)換文本摘要和信息提取理解和生成自然語言多模態(tài)融合少樣本學(xué)習(xí)自主學(xué)習(xí)及適應(yīng)未來的發(fā)展趨勢1多模態(tài)基礎(chǔ)模型介紹視覺語言模型（VLMs）視覺語言模型（Visual-LanguageModels,VLMs）結(jié)合了計(jì)算機(jī)視覺和自然語言處理的能力，能夠同時(shí)理解和生成視覺和語言信息。通過大規(guī)模的圖像和文本數(shù)據(jù)進(jìn)行訓(xùn)練，展示了強(qiáng)大的跨模態(tài)理解和生成能力，能夠執(zhí)行各種視覺和語言處理任務(wù)，如圖像描述、視覺問答、圖像生成等。核心架構(gòu)VLM的核心：視覺和語言模態(tài)的集成——圖像編碼器+文本編碼器圖像編碼器：通常采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）或視覺轉(zhuǎn)換器（ViT），將原始圖像數(shù)據(jù)轉(zhuǎn)化為高維特征表示以提取圖像中的有意義特征。文本編碼器：通常基于變換器（Transformer）架構(gòu)處理和理解文本數(shù)據(jù)。常用的融合策略對齊和注意力機(jī)制：使用交叉注意力機(jī)制使得圖像和文本特征在共享空間中對齊，從而捕捉兩者之間的關(guān)系。多模態(tài)變換器：同時(shí)處理圖像和文本，通過多層交互建模兩種模態(tài)的關(guān)系。特征拼接：簡單地將圖像特征和文本特征拼接在一起，然后通過全連接網(wǎng)絡(luò)進(jìn)一步處理。應(yīng)用范圍圖像描述、視覺問答、跨模態(tài)檢索和圖像生成各種跨模態(tài)任務(wù)和大語言模型（LLM）結(jié)合，將在人類生活、工作和服務(wù)的多個領(lǐng)域產(chǎn)生深遠(yuǎn)影響，推動機(jī)器人技術(shù)的進(jìn)一步發(fā)展和普及1多模態(tài)基礎(chǔ)模型介紹具身多模態(tài)語言模型(EMLs)LLMs和VLMs在機(jī)器人領(lǐng)域的實(shí)際應(yīng)用效果存在限制：這些模型對現(xiàn)實(shí)物理世界缺乏深入的理解，使得它們的推理結(jié)果對于實(shí)際機(jī)器人操作場景的應(yīng)用性受限。具身多模態(tài)語言模型（EMLs）的出現(xiàn)較好地解決了這個問題，EMLs是一類先進(jìn)的計(jì)算模型，能夠理解和生成語言，并通過視覺、聽覺以及其他感官模式與世界互動。優(yōu)勢結(jié)合多種人工智能領(lǐng)域的進(jìn)步：自然語言處理、計(jì)算機(jī)視覺和語音識別。能夠從圖像中識別對象，從聲波中捕捉語音信息，并且能夠解讀它們在一定語境下的含義，并給出恰當(dāng)?shù)恼Z言反饋。同時(shí)，不斷學(xué)習(xí)來適應(yīng)和優(yōu)化這個過程。通過不斷地接收輸入和反饋，學(xué)習(xí)和提高自身的語言理解和生成能力。應(yīng)用范圍融合了語言、視覺以及其他感官信息的處理能力，為創(chuàng)建更加智能、適應(yīng)性強(qiáng)并能理解復(fù)雜多變環(huán)境的機(jī)器人打開了大門。有望實(shí)現(xiàn)更加準(zhǔn)確的場景解讀、情感理解和語境把握，進(jìn)而為機(jī)器人的自主決策和執(zhí)行提供更加豐富的信息源。機(jī)器人自主尋找目標(biāo)2空間認(rèn)知神經(jīng)輻射場神經(jīng)輻射場（NeRF）是一種前沿的基于多視角圖像的三維重建方法。與基于特征點(diǎn)提取、特征點(diǎn)匹配和顯式三角測量的傳統(tǒng)三維重建方法相比，NeRF可以直接通過梯度反向傳播的方式，實(shí)現(xiàn)端到端的三維重建，并得到具有照片級真實(shí)感的三維模型。基本原理NeRF認(rèn)為整個被重建三維空間是由一簇稠密的具有體密度和依賴視角的色彩的點(diǎn)構(gòu)成。任何一個觀察視角的圖片都被看作一簇點(diǎn)在特定成像平面的投影。如果投影過程（渲染）是一個可微分的過程，那么投影后得到的圖片與真值圖片做差得到的損失，使用梯度反向傳播來優(yōu)化模型本身。利用大量多視角圖片做監(jiān)督，通過訓(xùn)練得到三維模型。實(shí)現(xiàn)過程利用相機(jī)內(nèi)參和位姿信息，反投影出每個像素點(diǎn)對應(yīng)的光線，然后對整條光線上的點(diǎn)進(jìn)行體積渲染。通過渲染得到的像素顏色與真實(shí)圖像顏色做差，得到用于優(yōu)化MLP的損失。利用梯度反向傳播使MLP逐漸學(xué)習(xí)到場景三維結(jié)構(gòu)與紋理信息。NeRF原理示意圖2空間認(rèn)知二維場景圖二維場景圖中節(jié)點(diǎn)：表示圖像中的實(shí)體；有向邊：實(shí)體擁有的屬性或?qū)嶓w間的關(guān)系二維場景圖結(jié)構(gòu)主要由兩種節(jié)點(diǎn)-邊的結(jié)構(gòu)組成：三元組結(jié)構(gòu)：<節(jié)點(diǎn)-關(guān)系（邊）-節(jié)點(diǎn)>，如<門框-站在-地面>；節(jié)點(diǎn)-屬性（邊）的結(jié)構(gòu)，如<門-是黑色>有向邊的方向由三元組中的主語實(shí)體指向賓語實(shí)體。這兩種基本結(jié)構(gòu)的拼接組合形成一個完整的二維場景圖。三維場景圖三維場景圖是由多個層次構(gòu)成的節(jié)點(diǎn)-邊圖，并保存三維場景中實(shí)體的形狀、位置、屬性及其關(guān)系，其中節(jié)點(diǎn)表示實(shí)體（例如物體等），邊表示節(jié)點(diǎn)間的關(guān)系（如桌子在客廳中）。三維場景圖結(jié)構(gòu)2空間認(rèn)知三維場景圖的層次化結(jié)構(gòu)2020年，麻省理工學(xué)院首先將三維場景圖應(yīng)用于機(jī)器人領(lǐng)域，并豐富了三維場景圖的層次概念圖中的三維場景圖分為以下幾層：1.三維點(diǎn)云/網(wǎng)格層：該層中的節(jié)點(diǎn)是3D點(diǎn)，也即實(shí)體上的一個點(diǎn)。每個節(jié)點(diǎn)有多個屬性，如3D位置、法線等。該層存儲了最基礎(chǔ)的傳感器信息。2.靜態(tài)和動態(tài)物體層：該層包含兩種類型的節(jié)點(diǎn)：靜態(tài)物體節(jié)點(diǎn)和動態(tài)機(jī)器人/人節(jié)點(diǎn)3.空閑和結(jié)構(gòu)層：該層分為兩種節(jié)點(diǎn)：空閑空間節(jié)點(diǎn)和結(jié)構(gòu)節(jié)點(diǎn)。由于抽象出了空閑空間，因此對于機(jī)器人的路徑規(guī)劃、導(dǎo)航等任務(wù)十分有幫助。4.房間層：該層包括描述房間、走廊、大廳等空間語義的節(jié)點(diǎn)。5.建筑層：該層僅包含一個建筑物節(jié)點(diǎn)，與建筑中的所有房間節(jié)點(diǎn)連接邊。2空間認(rèn)知三維場景圖的應(yīng)用機(jī)器人導(dǎo)航：①三維場景圖的特殊結(jié)構(gòu)實(shí)現(xiàn)了對場景的層次化劃分；②將物體抽象成了節(jié)點(diǎn)，以保存節(jié)點(diǎn)的多種屬性和節(jié)點(diǎn)間關(guān)系的方式存儲了場景地圖，表示大場景更高效。導(dǎo)航指令：“找到臥室桌子上的水杯”任務(wù)拆分并快速定位：借助場景圖的層次化特點(diǎn)。“臥室”和“桌子”之間有上下層包含關(guān)系“桌子”和“水杯”之間有“在...上面”的位置關(guān)系。生成可通行路徑：借助空閑和結(jié)構(gòu)層概念，在場景圖中機(jī)器人當(dāng)前位置所在節(jié)點(diǎn)和“臥室桌子上”的水杯節(jié)點(diǎn)之間生成可通行的路徑。具身場景問答：用自然語言回答有關(guān)三維環(huán)境問題的場景理解任務(wù)。三維場景圖用于處理不同類型的具身問答任務(wù)：物體計(jì)數(shù)、屬性計(jì)數(shù)、關(guān)系計(jì)數(shù)等，如下圖。利用場景圖，實(shí)現(xiàn)對特定物體、屬性和關(guān)系的快速查找，便于開展場景理解任務(wù)?；谌S場景圖的具身場景問答3行為學(xué)習(xí)強(qiáng)化學(xué)習(xí)方法強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）是機(jī)器學(xué)習(xí)的一個重要分支，獨(dú)立于監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)方法，其能夠在與環(huán)境的交互過程中學(xué)習(xí)策略。基本概念強(qiáng)化學(xué)習(xí)的核心挑戰(zhàn)在于指導(dǎo)智能體（agent）在復(fù)雜多變且不確定的環(huán)境（environment）中如何最大化其累積獎勵。具體過程如下圖。

3行為學(xué)習(xí)強(qiáng)化學(xué)習(xí)方法強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）是機(jī)器學(xué)習(xí)的一個重要分支，獨(dú)立于監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)方法，其能夠在與環(huán)境的交互過程中學(xué)習(xí)策略。貝爾曼方程由于智能體行動的選擇只與當(dāng)前環(huán)境狀態(tài)有關(guān)，因此，智能體與環(huán)境的交互過程通常被形式化地建模為一個馬爾可夫決策過程（MDP），并將其用元祖?S,A,γ,r,P?表示。對于一個隨機(jī)的MDP，從一個相同的狀態(tài)出發(fā)會到達(dá)不同的狀態(tài)，為了客觀地評價(jià)策略，引入狀態(tài)價(jià)值函數(shù)。經(jīng)推導(dǎo)得出的狀態(tài)價(jià)值函數(shù)即為貝爾曼方程（BellmanEquation），是強(qiáng)化學(xué)習(xí)的理論基礎(chǔ)同理，Bellman方程也可以被寫作動作價(jià)值函數(shù)的形式3行為學(xué)習(xí)強(qiáng)化學(xué)習(xí)方法強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）是機(jī)器學(xué)習(xí)的一個重要分支，獨(dú)立于監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)方法，其能夠在與環(huán)境的交互過程中學(xué)習(xí)策略。時(shí)序差分蒙特卡洛方法（MonteCarlo,MC）：通過計(jì)算隨機(jī)采樣模擬完整的軌跡序列來估計(jì)狀態(tài)價(jià)值和動作價(jià)值。但需等待整個序列結(jié)束后才能更新價(jià)值函數(shù)的估計(jì)，采樣具有隨機(jī)性，易導(dǎo)致價(jià)值估計(jì)值具有較高的方差。時(shí)序差分（TemporalDifference,TD）：一種結(jié)合了MC和動態(tài)規(guī)劃（DynamicProgramming,DP）算法的方法，利用Bellman方程和DP算法進(jìn)行迭代更新。

可以計(jì)算出狀態(tài)價(jià)值函數(shù)如下：在智能體與和環(huán)境交互時(shí)，每采樣一步，就可以用時(shí)序差分算法來更新狀態(tài)價(jià)值估計(jì)。3行為學(xué)習(xí)強(qiáng)化學(xué)習(xí)方法強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）是機(jī)器學(xué)習(xí)的一個重要分支，獨(dú)立于監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)方法，其能夠在與環(huán)境的交互過程中學(xué)習(xí)策略。Q-LearningQ-Learning是一種典型的基于價(jià)值的強(qiáng)化學(xué)習(xí)算法，其核心在于構(gòu)建一張動作價(jià)值表（Q-Table），該表用于記錄每種狀態(tài)下采取每個動作所能獲得的預(yù)期長期最大獎勵。在學(xué)習(xí)過程中，智能體通過與環(huán)境的交互得到新的樣本來更新Q-Table，利用時(shí)序差分方法，其更新過程為：DQN（DeepQ-network）算法結(jié)合了深度學(xué)習(xí)和Q學(xué)習(xí)兩種技術(shù)，通過使用一個神經(jīng)網(wǎng)絡(luò)來近似Q值函數(shù)，可以解決具有無限狀態(tài)的復(fù)雜問題。DQN算法包含兩個重要的技巧：經(jīng)驗(yàn)回放（ExperienceReplay）：DQN通過維護(hù)一個回放緩沖區(qū)，存儲從環(huán)境中獲得的經(jīng)驗(yàn)（狀態(tài)、動作、獎勵、下一狀態(tài)），并從中隨機(jī)抽取樣本進(jìn)行訓(xùn)練。目標(biāo)網(wǎng)絡(luò)（TargetNetwork）：為避免訓(xùn)練過程中的不穩(wěn)定，DQN使用了在線網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)的雙網(wǎng)絡(luò)結(jié)構(gòu)，前者用于動作選擇，后者用于計(jì)算TD目標(biāo)，兩者的網(wǎng)絡(luò)結(jié)構(gòu)相同但參數(shù)更新不同步，目標(biāo)網(wǎng)絡(luò)參數(shù)僅在一定步數(shù)后更新，保持相對穩(wěn)定。在執(zhí)行過程中，智能體通過查詢Q-Table來選擇每個狀態(tài)下的最優(yōu)動作。然而，使用表格的形式存儲價(jià)值函數(shù)存在很大的局限性。3行為學(xué)習(xí)強(qiáng)化學(xué)習(xí)方法強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）是機(jī)器學(xué)習(xí)的一個重要分支，獨(dú)立于監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)方法，其能夠在與環(huán)境的交互過程中學(xué)習(xí)策略。策略梯度

對于一個給定的序列任務(wù)，其目標(biāo)函數(shù)的梯度求解如下：可以通過梯度優(yōu)化的方式更新策略參數(shù)：

3行為學(xué)習(xí)強(qiáng)化學(xué)習(xí)方法強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）是機(jī)器學(xué)習(xí)的一個重要分支，獨(dú)立于監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)方法，其能夠在與環(huán)境的交互過程中學(xué)習(xí)策略。Actor-CriticActor-Critic算法是一種結(jié)合策略梯度和值函數(shù)的方法，其主要包括兩個部分：策略網(wǎng)絡(luò)（Actor）和價(jià)值網(wǎng)絡(luò)（Critic）。Actor-Critic算法的核心在于將動作值函數(shù)或狀態(tài)-動作值函數(shù)引入策略梯度算法中，以提高訓(xùn)練效率。Actor網(wǎng)絡(luò)負(fù)責(zé)學(xué)習(xí)策略，生成動作，類似于“表演者”，而Critic網(wǎng)絡(luò)則學(xué)習(xí)值函數(shù)，評估狀態(tài)或狀態(tài)動作對的價(jià)值，類似于“評論者”。

Actor網(wǎng)絡(luò)的梯度計(jì)算為：

Critic網(wǎng)絡(luò)的梯度計(jì)算為：3行為學(xué)習(xí)強(qiáng)化學(xué)習(xí)方法強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）是機(jī)器學(xué)習(xí)的一個重要分支，獨(dú)立于監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)方法，其能夠在與環(huán)境的交互過程中學(xué)習(xí)策略。近端策略優(yōu)化近端策略優(yōu)化（proximalpolicyoptimization，PPO）是一種基于Actor-Critic框架的強(qiáng)化學(xué)習(xí)算法。與DQN不同，PPO是一種on-policy算法，即采樣策略與當(dāng)前策略相同。On-policy算法基于當(dāng)前策略進(jìn)行更新，避免了由于策略不同而產(chǎn)生的估計(jì)偏差，但也存在樣本利用率低的問題。為了提高樣本利用率，提升算法學(xué)習(xí)速度，PPO引入了重要性采樣的概念。SoftActorCriticSoftActor-Critic（SAC）算法是一種性能穩(wěn)定的離線策略算法，在Actor-Critic框架的基礎(chǔ)上，SAC引入了最大熵強(qiáng)化學(xué)習(xí)的思想來減少策略陷入局部最優(yōu)的困境。強(qiáng)化學(xué)習(xí)在行為學(xué)習(xí)中的應(yīng)用強(qiáng)化學(xué)習(xí)作為一種先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)，已經(jīng)在多個領(lǐng)域展現(xiàn)出出色的應(yīng)用效果。游戲：AlphaGo等基于強(qiáng)化學(xué)習(xí)的模型在對抗游戲中成功擊敗了人類玩家，證明了其在復(fù)雜策略游戲中的卓越能力。機(jī)器人控制：通過不斷試錯和學(xué)習(xí)，幫助機(jī)器人優(yōu)化動作策略，實(shí)現(xiàn)自主導(dǎo)航、物體抓取等復(fù)雜任務(wù)。自動駕駛：處理復(fù)雜動態(tài)環(huán)境中的駕駛策略生成……3模仿學(xué)習(xí)模仿學(xué)習(xí)（ImitationLearning），又稱LearningFromDemonstrations，是一種讓機(jī)器人通過人類（專家）的演示來學(xué)習(xí)智能決策的方法。在模仿學(xué)習(xí)中，機(jī)器人是在環(huán)境中為實(shí)現(xiàn)目標(biāo)而自主互動的實(shí)體。模仿學(xué)習(xí)利用專家示范來指導(dǎo)學(xué)習(xí)過程，假設(shè)專家策略是一種近似潛在獎勵函數(shù)的策略，通過專家演示來學(xué)習(xí)一個性能與其相當(dāng)?shù)牟呗?。為?shí)現(xiàn)任務(wù)的模仿學(xué)習(xí)，目前主要的幾種算法是：行為克?。˙ehavioralCloning）、逆強(qiáng)化學(xué)習(xí)（InverseReinforcementLearning）、視覺模仿學(xué)習(xí)（VisualImitationLearning）。根據(jù)馬爾可夫決策過程（MarkovDecisionProcess，MDP）來進(jìn)行建模?；究蚣?/p>

3模仿學(xué)習(xí)

行為克隆

逆強(qiáng)化學(xué)習(xí)3模仿學(xué)習(xí)視覺模仿學(xué)習(xí)(VisualImitationlearning,VIL)直接以視頻演示作為數(shù)據(jù)集進(jìn)行輸入，分為三種主要的學(xué)習(xí)方式：行為克隆、逆強(qiáng)化學(xué)習(xí)和生成式對抗逆強(qiáng)化學(xué)。視覺模仿學(xué)習(xí)側(cè)重于從觀察到的狀態(tài)轉(zhuǎn)移中恢復(fù)出動作，并將這些動作用于策略學(xué)習(xí)。其關(guān)鍵挑戰(zhàn)是，由于動作信息的不完全可觀測性，直接從觀察量中學(xué)習(xí)變得復(fù)雜。為了應(yīng)對這個挑戰(zhàn)，研究者開發(fā)了多種技術(shù)，包括逆向動態(tài)模型和正向動態(tài)模型的構(gòu)建，以及基于生成對抗網(wǎng)絡(luò)（GAN）的策略學(xué)習(xí)。逆向動態(tài)模型專注于從狀態(tài)轉(zhuǎn)移中預(yù)測動作，它通過分析專家的演示來學(xué)習(xí)狀態(tài)之間的轉(zhuǎn)換如何映射到動作上。正向動態(tài)模型從當(dāng)前狀態(tài)和動作預(yù)測下一個狀態(tài)，通常涉及到潛在策略網(wǎng)絡(luò)的構(gòu)建，該網(wǎng)絡(luò)能夠推理出潛在的動作，并使用正向動態(tài)模型來預(yù)測狀態(tài)轉(zhuǎn)移。視覺模仿學(xué)習(xí)在實(shí)際應(yīng)用中，視覺模仿學(xué)習(xí)已經(jīng)展示了其在自動駕駛、機(jī)器人控制等領(lǐng)域的潛力。自動駕駛：可以從人類駕駛員的演示中學(xué)習(xí)策略，而無需直接訪問動作或獎勵信號；機(jī)械臂軌跡規(guī)劃：視頻模仿學(xué)習(xí)可以使得從有限的人類示范視頻中高效地生成機(jī)器人的操作數(shù)據(jù)集，并使得機(jī)器人可以學(xué)習(xí)動作技能……4數(shù)據(jù)與模型訓(xùn)練數(shù)據(jù)處理是將原始數(shù)據(jù)轉(zhuǎn)化為可用于分析和決策的數(shù)據(jù)形式的過程，包括數(shù)據(jù)清洗、歸一化等步驟，旨在消除數(shù)據(jù)中的錯誤和冗余，提高數(shù)據(jù)的一致性和可靠性。數(shù)據(jù)清洗作為數(shù)據(jù)處理流程中的關(guān)鍵步驟，旨在對各種“臟”數(shù)據(jù)進(jìn)行對應(yīng)方式的處理，得到標(biāo)準(zhǔn)、干凈、連續(xù)的數(shù)據(jù)，為后續(xù)的數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)挖掘奠定基礎(chǔ)。數(shù)據(jù)的歸一化和標(biāo)準(zhǔn)化是特征縮放的方法，是數(shù)據(jù)預(yù)處理的關(guān)鍵步驟。數(shù)據(jù)對齊是指將來自不同模態(tài)的數(shù)據(jù)按照統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行配準(zhǔn)，使其在空間、時(shí)間或其他維度上具有可比性和協(xié)同性。具體來講，多模態(tài)數(shù)據(jù)對齊技術(shù)分為顯式對齊與隱式對齊：前者專注于直接匹配不同模態(tài)下的細(xì)部特征；后者則在模型訓(xùn)練進(jìn)程中，通過算法自動尋找并調(diào)整數(shù)據(jù)間的潛在一致性。數(shù)據(jù)處理與對齊多模態(tài)數(shù)據(jù)的顯式對齊方法是指在對齊過程中明確使用了數(shù)據(jù)之間的相似性或特定的標(biāo)簽信息，包括無監(jiān)督和監(jiān)督兩種。無監(jiān)督的顯式對齊方法不依賴于任何預(yù)先定義的標(biāo)簽，而是通過比較數(shù)據(jù)之間的相似性來實(shí)現(xiàn)對齊。監(jiān)督對齊技術(shù)是從無監(jiān)督的序列對齊技術(shù)中得到啟發(fā)，并通過增強(qiáng)模型的監(jiān)督信息來獲得更好的性能，通?？梢詫o監(jiān)督方法進(jìn)行適當(dāng)優(yōu)化后直接用于模態(tài)對齊。如果模型的最終優(yōu)化目標(biāo)不是對齊任務(wù)，對齊過程僅僅是某個中間（或隱式）步驟，則稱為隱式對齊，包括基于概率圖模型和基于神經(jīng)網(wǎng)絡(luò)的方法。4數(shù)據(jù)與模型訓(xùn)練對于數(shù)據(jù)集的劃分，通常要保證滿足以下兩個條件：①訓(xùn)練集和測試集的分布要與樣本真實(shí)分布一致，即訓(xùn)練集和測試集都要保證是從樣本真實(shí)分布中獨(dú)立同分布采樣而得；②訓(xùn)練集和測試集要互斥。對于數(shù)據(jù)集的劃分有三種方法：留出法，交叉驗(yàn)證法和自助法。留出法是直接將數(shù)據(jù)集D劃分為兩個互斥的集合，其中一個集合作為訓(xùn)練集S，另一個作為測試集T。需要注意的是在劃分的時(shí)候要盡可能保證數(shù)據(jù)分布的一致性，避免因數(shù)據(jù)劃分過程引入額外的偏差而對最終結(jié)果產(chǎn)生影響。優(yōu)點(diǎn)：簡單直接，易于實(shí)現(xiàn)，且計(jì)算成本較低。缺點(diǎn)：評估結(jié)果可能對數(shù)據(jù)集的劃分方式較為敏感，不同的劃分可能導(dǎo)致不同的評估結(jié)果，因此有時(shí)需要多次劃分取平均值來獲得更可靠的性能評估。數(shù)據(jù)集劃分交叉驗(yàn)證法將數(shù)據(jù)集劃分為k個數(shù)據(jù)量相等的子集（或稱為折），在每次驗(yàn)證過程中使用k-1個子集進(jìn)行訓(xùn)練，剩下的1個子集用于測試。這一過程重復(fù)k次，每次選擇一個不同的子集作為測試集，其余子集作為訓(xùn)練集。最終的模型性能取k次測試結(jié)果的平均值來評估。優(yōu)點(diǎn)：能夠得到更可靠的性能估計(jì)；同時(shí)數(shù)據(jù)集被充分利用。缺點(diǎn)：計(jì)算成本高，需要進(jìn)行k次訓(xùn)練和測試，對于大型數(shù)據(jù)集和復(fù)雜模型可能會消耗較多計(jì)算資源自助法是一種基于重采樣的統(tǒng)計(jì)方法，用于估計(jì)數(shù)據(jù)集上統(tǒng)計(jì)量的分布。通過對原始數(shù)據(jù)集進(jìn)行多次有放回的抽樣，生成多個新的數(shù)據(jù)集（稱為自助樣本），以此進(jìn)行模型訓(xùn)練和評估。優(yōu)點(diǎn)：能夠提高模型的泛化能力。缺點(diǎn)：生成的數(shù)據(jù)集可能包含重復(fù)樣本，可能導(dǎo)致某些數(shù)據(jù)點(diǎn)對模型訓(xùn)練的影響被放大。4數(shù)據(jù)與模型訓(xùn)練數(shù)據(jù)增強(qiáng)通常是依賴從現(xiàn)有數(shù)據(jù)生成新的數(shù)據(jù)來人為地增加數(shù)據(jù)量的過程。這包括對數(shù)據(jù)進(jìn)行不同方向的擾動處理或使用深度學(xué)習(xí)模型在原始數(shù)據(jù)的潛在空間中生成新數(shù)據(jù)點(diǎn)以人為的擴(kuò)充新的數(shù)據(jù)集?；A(chǔ)的圖像數(shù)據(jù)增強(qiáng)方法可分幾何數(shù)據(jù)增強(qiáng)、非幾何數(shù)據(jù)增強(qiáng)、基于圖像擦除的數(shù)據(jù)增強(qiáng)以及基于網(wǎng)絡(luò)掩碼的數(shù)據(jù)增強(qiáng)方式幾何數(shù)據(jù)增強(qiáng)是對圖像的位置、方向和縱橫比等幾何屬性進(jìn)行修改，可通過各種技術(shù)（如旋轉(zhuǎn)、平移和錯切）轉(zhuǎn)換圖像中像素的位置非幾何數(shù)據(jù)增強(qiáng)側(cè)重于修改圖像的視覺特征，包括翻轉(zhuǎn)、剪裁、噪聲注入和顏色擾動等技術(shù)基于圖像擦除的數(shù)據(jù)增強(qiáng)涉及去除圖像的特定部分，并以特定值（如0或255）或利用圖像全局統(tǒng)計(jì)量（如平均像素值）進(jìn)行填充，以此豐富數(shù)據(jù)集的多樣性數(shù)據(jù)增強(qiáng)與生成生成模型則是能夠根據(jù)真實(shí)數(shù)據(jù)生成與真實(shí)數(shù)據(jù)相似的新樣本，來擴(kuò)充樣本數(shù)量。變分自編碼器（VAE）作為一種生成模型，主要由編碼器和解碼器構(gòu)成。該模型基于概率圖模型和變分推斷，旨在學(xué)習(xí)數(shù)據(jù)的潛在結(jié)構(gòu)。與VAE模型不同，生成對抗網(wǎng)絡(luò)（GAN）由生成器（Generator，簡稱G）和判別器（Discriminator，簡稱D）構(gòu)成，生成過程如下:GAN的核心思想是讓生成器G和判別器D在網(wǎng)絡(luò)內(nèi)部進(jìn)行博弈。訓(xùn)練時(shí)，兩個模塊輪流進(jìn)行訓(xùn)練。4數(shù)據(jù)與模型訓(xùn)練人工標(biāo)注標(biāo)簽具有一定的局限性，為了減少人工標(biāo)注對于訓(xùn)練的影響，提高訓(xùn)練的精度和速度，可以通過自監(jiān)督學(xué)習(xí)（Self-SupervisedLearning）的方法從一定程度上加以解決。單模態(tài)自監(jiān)督BERT（1）基于掩碼語言模型的自監(jiān)督訓(xùn)練自監(jiān)督模型訓(xùn)練（2）基于下一句預(yù)測的自監(jiān)督訓(xùn)練（3）訓(xùn)練后的微調(diào)多模態(tài)自監(jiān)督模型視覺和語言預(yù)訓(xùn)練（Vision-LanguagePretraining，簡稱VLP）在解決多模態(tài)學(xué)習(xí)方面已顯示出巨大的進(jìn)步。ViT（visiontransformer）將圖像的補(bǔ)丁塊（patch）作為序列輸入Transformer進(jìn)行預(yù)訓(xùn)練，克服Transformer結(jié)構(gòu)難以處理圖像輸入這一困難。CLIP（contrastivelanguage-imagepre-training）將自然語言作為監(jiān)督以提升圖像分類效果,使用對比學(xué)習(xí)（contrastivelearning,CL）方法促進(jìn)圖像和文本的匹配能力。基于掩碼語言模型的BERT自監(jiān)督訓(xùn)練5實(shí)例分析：具身智能機(jī)器人——基于大語言模型的高層規(guī)劃在相似場景中，與對象相關(guān)的知識（如物體放置偏好）可以在不同任務(wù)之間遷移，為任務(wù)間和物體間操作策略的泛化提供了基礎(chǔ)保障。此外，與指令相關(guān)的任務(wù)知識也適用于不同的場景，使得概念級知識能夠在相似場景中泛化。本實(shí)例將基于人類偏好知識，利用人類提供的任務(wù)指令信息，從偏好知識庫中提取任務(wù)所需知識。獲取任務(wù)所需知識后，實(shí)例將采用思維鏈（ChainofThought,CoT）方法，引導(dǎo)LLMs調(diào)用已編寫完成并具備完整代碼文檔和調(diào)用示例的環(huán)境感知和運(yùn)動控制API，生成具有正確語法格式、并在注釋中完整展示機(jī)器人思考流程的控制代碼。任務(wù)描述知識檢索方法當(dāng)機(jī)器人根據(jù)人類指令操作時(shí)，本方法會查詢知識庫以檢索相關(guān)知識，并指導(dǎo)其規(guī)劃過程。為實(shí)現(xiàn)這一點(diǎn)，方法引入了兩個檢索指標(biāo)：（I）任務(wù)語義特征；（II）場景語義特征。為實(shí)現(xiàn)任務(wù)相關(guān)指令的查詢，本方法將知識庫中存儲的人類演示信息中的文本鍵與本次獲得的指令進(jìn)行逐一比對，然后從知識庫中選擇與本次任務(wù)查詢相關(guān)程度最高的一條知識。在完成任務(wù)相關(guān)的文本指令查詢后，本方法識別當(dāng)前場景中的對象實(shí)例，并訪問存儲在知識庫中的相關(guān)對象模式知識。5實(shí)例分析：具身智能機(jī)器人——基于大語言模型的高層規(guī)劃基于思維鏈的機(jī)器人控制代碼生成模塊提供了一組感知工具和運(yùn)動規(guī)劃工具。每當(dāng)系統(tǒng)接收到一個任務(wù)查詢時(shí)，LLMs使用上下文學(xué)習(xí)（ICL）生成一個Python腳本。生成的Python腳本主要包括思維鏈、環(huán)境感知和運(yùn)動規(guī)劃三個部分。盡管LLMs在代碼生成方面表現(xiàn)出強(qiáng)大的能力，但在長任務(wù)拆解上的成功率較低，難以滿足任務(wù)需求。因此，需要人為設(shè)計(jì)一種特殊結(jié)構(gòu)的Python代碼格式，以引導(dǎo)LLMs生成能完成實(shí)際機(jī)器人操作任務(wù)的代碼。為實(shí)現(xiàn)這一目標(biāo)，本節(jié)將代碼格式分為思維鏈注釋、環(huán)境感知和運(yùn)動規(guī)劃三個部分基于思維鏈的機(jī)器人控制代碼生成5實(shí)例分析：具身智能機(jī)器人——基于視覺語言模型的細(xì)粒度技能學(xué)習(xí)在視覺模仿學(xué)習(xí)領(lǐng)域，其目標(biāo)是讓機(jī)器人通過觀察和模仿人類演示視頻中的操作行為來掌握新的細(xì)粒度技能，并能夠泛化到新場景中。本實(shí)例首先錄制人類執(zhí)行操作任務(wù)的演示視頻，并將這種RGB-D格式的視頻提供給機(jī)器人。機(jī)器人通過計(jì)算機(jī)視覺處理技術(shù)等一系列手段，觀察并解析視頻中演示者手部與物體交互的詳細(xì)運(yùn)動過程，基于針對視頻的動作解析，機(jī)器人需要從視頻中學(xué)習(xí)到細(xì)粒度的動作技能，并且基于常識推理將技能泛化到新場景中，如圖所示，基于人類演示視頻，機(jī)器人學(xué)習(xí)以及模仿人類的動作，并成功地完成了相同的任務(wù)，這體現(xiàn)了從人類演示視頻到機(jī)器人細(xì)粒度操作的映射過程。任務(wù)描述5實(shí)例分析：具身智能機(jī)器人——基于視覺語言模型的細(xì)粒度技能學(xué)習(xí)（一）對人類演示視頻進(jìn)行解析采用了一種人手與物體交互的解析方法。設(shè)計(jì)了包含三個階段的人類演示視頻解析方法，包含視頻解析和任務(wù)識別、物體重構(gòu)、以物體為中心的運(yùn)動估計(jì)。原理介紹（二）辨別視頻中的動作模式設(shè)計(jì)了一種基于語義-幾何分層約束表示的技能學(xué)習(xí)方法，該方法通過動作可視化表征來提取語義約束，并使用關(guān)鍵點(diǎn)的數(shù)值來表示細(xì)粒度的幾何約束。（三）泛化到新環(huán)境場景下基于從演示視頻中學(xué)習(xí)的操作技能，下一步目標(biāo)是使機(jī)器人的細(xì)粒度操作技能能夠應(yīng)用于新的環(huán)境場景。本實(shí)例提出一個基于迭代對比策略的技能更新方法。5實(shí)例分析：具身智能機(jī)器人——基于視覺語言模型的細(xì)粒度技能學(xué)習(xí)（1）實(shí)驗(yàn)平臺搭建由于FrankaEmikaPanda7DoF機(jī)械臂在機(jī)器人研究領(lǐng)域中被眾多機(jī)構(gòu)廣泛采用，且具有良好的可靠性、可負(fù)擔(dān)性和可用性，本實(shí)例采用該機(jī)械臂進(jìn)行實(shí)驗(yàn)以測試性能。實(shí)驗(yàn)部署步驟（2）實(shí)驗(yàn)場景布置實(shí)驗(yàn)平臺配備了固定在型材架上的MicrosoftAzureKinect攝像頭和安裝在機(jī)器人末端執(zhí)行器附近的IntelRealSenseD435攝像頭，以進(jìn)行環(huán)境觀察，并且布置與人類演示相似的場景。（3）基于感知分析的相機(jī)標(biāo)定目的：機(jī)器人在執(zhí)行操作動作之前需要進(jìn)行全局感知或者針對特定物體的詳細(xì)感知方法：主要分為眼在手外和眼在手上兩種標(biāo)定方式，如圖所示，本實(shí)例使用一個定制的標(biāo)定板作為已知幾何形狀的標(biāo)定參照物，進(jìn)而求解所需的變換矩陣參數(shù)。相機(jī)標(biāo)定方法5實(shí)例分析：具身智能機(jī)器人——基于視覺語言模型的細(xì)粒度技能學(xué)習(xí)本實(shí)例以人類制作披薩演示視頻為輸入，機(jī)器人模仿并學(xué)習(xí)其細(xì)粒度操作，見下圖所示。實(shí)驗(yàn)結(jié)果展示自主機(jī)器人基礎(chǔ)與技術(shù)第7章：自主機(jī)器人的移動機(jī)構(gòu)7.1自主機(jī)器人移動機(jī)構(gòu)設(shè)計(jì)準(zhǔn)則設(shè)計(jì)準(zhǔn)則是機(jī)器人設(shè)計(jì)中的重要依據(jù)，不僅影響著機(jī)器人的性能和功能，直接關(guān)系到機(jī)器人在實(shí)際運(yùn)行中的安全性、可靠性和用戶體驗(yàn)。機(jī)器人移動機(jī)構(gòu)設(shè)計(jì)是一個涉及多學(xué)科交叉、綜合性能、環(huán)境適應(yīng)性、可靠性和工程實(shí)現(xiàn)難度的過程。設(shè)計(jì)者可以系統(tǒng)地考慮影響機(jī)器人移動機(jī)構(gòu)性能的各種因素，制定出既符合任務(wù)需求又具備良好工程可行性的設(shè)計(jì)方案。設(shè)計(jì)準(zhǔn)則任務(wù)導(dǎo)向環(huán)境適應(yīng)能源效率可靠與耐用可操作與靈活尺寸、重量與功率易維護(hù)與可擴(kuò)展成本控制合規(guī)與安全仿真驗(yàn)證與實(shí)驗(yàn)測試7.2直輪式機(jī)器人移動機(jī)構(gòu)適用場景：（1）平整地面作業(yè)：在硬質(zhì)、平坦表面如室內(nèi)、倉庫、工業(yè)區(qū)、醫(yī)療設(shè)施及商業(yè)中心，直輪式機(jī)器人能迅速而穩(wěn)定地移動，保證了高效率與優(yōu)異的操縱性能。（2）結(jié)構(gòu)化環(huán)境：在路徑明確、標(biāo)線清晰的場合，例如倉庫走道或醫(yī)院導(dǎo)向軌道系統(tǒng)，借助磁條導(dǎo)航或激光反射帶等簡易技術(shù)，直輪式機(jī)器人能高效執(zhí)行任務(wù)。（3）長距離任務(wù)需求：輪式裝置通常擁有較快的行進(jìn)速度與持久的續(xù)航力，非常適合大范圍巡邏、物資轉(zhuǎn)運(yùn)或遠(yuǎn)程監(jiān)控等應(yīng)用場景，如機(jī)場、大型物流園區(qū)的安全與物流管理。圖7.1典型的直輪式機(jī)器人移動機(jī)構(gòu)7.2直輪式機(jī)器人移動機(jī)構(gòu)結(jié)構(gòu)設(shè)計(jì)：（1）車體框架：承載和支撐整個機(jī)器人的其他組件，通常采用鋁合金、不銹鋼或碳纖維等輕質(zhì)高強(qiáng)度材料制作。（2）驅(qū)動裝置：機(jī)器人運(yùn)動能力的核心，包括電機(jī)、液壓馬達(dá)、減速器、輪軸等組件，用于提供動力和轉(zhuǎn)動力矩，驅(qū)動機(jī)器人移動。（3）懸掛裝置：用于減震和保護(hù)底盤其他組件免受碰撞和震動的影響，通常采用彈簧、減震器或者活動支架等組件實(shí)現(xiàn)，在起到減震作用的同時(shí)，提高機(jī)器人的穩(wěn)定性和越障能力。（4）轉(zhuǎn)向裝置：對機(jī)器人的運(yùn)動方向進(jìn)行控制，使得機(jī)器人能夠高效、準(zhǔn)確、穩(wěn)定地完成轉(zhuǎn)向動作。（5）差速器：調(diào)控左右行進(jìn)輪的轉(zhuǎn)速差異，確保行駛穩(wěn)定與操控靈活。圖7.2差速器7.2直輪式機(jī)器人移動機(jī)構(gòu)運(yùn)動學(xué)分析：圖7.3兩輪差速移動機(jī)構(gòu)

正運(yùn)動學(xué)分析：逆運(yùn)動學(xué)分析：7.2直輪式機(jī)器人移動機(jī)構(gòu)運(yùn)動學(xué)分析：圖7.4阿克曼式移動機(jī)構(gòu)

運(yùn)動學(xué)模型：7.3履帶式機(jī)器人移動機(jī)構(gòu)適用場景：（1）極端與復(fù)雜地貌：在未經(jīng)鋪設(shè)的道路、濕地、雪原、沙漠等地形中，履帶的寬幅接觸與輕柔觸地特性，確保了農(nóng)業(yè)、林業(yè)、野外地質(zhì)勘探等自然環(huán)境下的高效通行。（2）崎嶇地形：無論是險(xiǎn)峻山嶺、溝壑縱橫還是施工現(xiàn)場，履帶式系統(tǒng)的卓越爬升力與障礙跨越能力，使其在救援、采礦及基礎(chǔ)設(shè)施建設(shè)等復(fù)雜環(huán)境中運(yùn)動。（3）重載牽引：憑借載荷分散效應(yīng)，履帶式設(shè)備能在承載龐大重量的同時(shí)，減少地表壓力，是坦克、挖掘機(jī)、大型起重機(jī)等重工業(yè)裝備的優(yōu)選底盤方案。（4）惡劣環(huán)境：履帶的堅(jiān)固構(gòu)造與惡劣氣候下的高適應(yīng)性，使它成為戶外嚴(yán)苛條件下，如礦山開采、露天煤礦作業(yè)等長期運(yùn)行設(shè)備。圖7.5履帶式機(jī)器人7.3履帶式機(jī)器人移動機(jī)構(gòu)圖7.6履帶式移動機(jī)構(gòu)結(jié)構(gòu)示意圖結(jié)構(gòu)設(shè)計(jì)：（1）車體框架：承載和支撐整個機(jī)器人的其他組件，通常采用不銹鋼或碳鋼等高強(qiáng)度材料制作。（2）支重輪：支撐機(jī)器的重量，并讓履帶沿著輪子表面順利滾動。（3）驅(qū)動輪和從動輪：履帶兩端的帶輪。（4）托帶輪：安裝在履帶上分支的下方可以減少履帶的下垂量。（5）懸掛系統(tǒng)：車體與負(fù)重輪間所有連接部件的集合體，懸掛裝置根據(jù)其負(fù)荷傳遞機(jī)制至負(fù)重輪的方式，主要分為獨(dú)立懸掛與平衡懸掛。車體框架支重輪從動輪驅(qū)動輪拖帶輪履帶7.3履帶式機(jī)器人移動機(jī)構(gòu)運(yùn)動學(xué)分析：

圖7.7履帶式移動機(jī)構(gòu)7.4麥克納姆輪式機(jī)器人移動機(jī)構(gòu)適用場景：（1）空間受限：在倉庫、生產(chǎn)線及醫(yī)療機(jī)構(gòu)等狹窄環(huán)境中，使車輛與機(jī)器人能夠輕松實(shí)現(xiàn)橫向、斜向動作及原地轉(zhuǎn)彎，有效提升空間利用效率與操作靈活性。（2）精密定位需求：在對定位精度要求極高的場合，比如自動化倉庫分揀、生產(chǎn)線組件精準(zhǔn)部署，麥克納姆輪式移動機(jī)構(gòu)確保了直線和平移動作的精確性，增強(qiáng)作業(yè)的精細(xì)度。（3）應(yīng)對動態(tài)環(huán)境：人流密集區(qū)域如購物中心或展會，裝備麥克納姆輪的機(jī)器人能夠敏捷避障，提供高效服務(wù)。（4）室內(nèi)服務(wù)自動化：在清潔、服務(wù)引導(dǎo)等室內(nèi)應(yīng)用場景中，全向移動能力使機(jī)器人在復(fù)雜布局中自如穿行，在提高清潔效率和優(yōu)化顧客體驗(yàn)方面成效顯著。圖7.8YouBot7.4麥克納姆輪式機(jī)器人移動機(jī)構(gòu)運(yùn)動學(xué)分析：圖7.9麥克納姆輪式移動機(jī)構(gòu)

7.5全向輪式機(jī)器人移動機(jī)構(gòu)適用場景：（1）空間受限：在倉庫、生產(chǎn)線及醫(yī)療機(jī)構(gòu)等狹窄環(huán)境中，使車輛與機(jī)器人能夠輕松實(shí)現(xiàn)橫向、斜向動作及原地轉(zhuǎn)彎，有效提升空間利用效率與操作靈活性。（2）精密定位需求：在對定位精度要求極高的場合，比如自動化倉庫分揀、生產(chǎn)線組件精準(zhǔn)部署，麥克納姆輪式移動機(jī)構(gòu)確保了直線和平移動作的精確性，增強(qiáng)作業(yè)的精細(xì)度。（3）應(yīng)對動態(tài)環(huán)境：人流密集區(qū)域如購物中心或展會，裝備麥克納姆輪的機(jī)器人能夠敏捷避障，提供高效服務(wù)。（4）室內(nèi)服務(wù)自動化：在清潔、服務(wù)引導(dǎo)等室內(nèi)應(yīng)用場景中，全向移動能力使機(jī)器人在復(fù)雜布局中自如穿行，在提高清潔效率和優(yōu)化顧客體驗(yàn)方面成效顯著。圖7.10全向輪式移動機(jī)器人7.5全向輪式機(jī)器人移動機(jī)構(gòu)結(jié)構(gòu)布局：全向輪可單獨(dú)使用，無需成對配置。搭建全向輪移動機(jī)構(gòu)時(shí)，僅需最少三個全向輪即可達(dá)成360°全向移動。通過運(yùn)動矢量計(jì)算與電機(jī)的協(xié)同作用，移動機(jī)構(gòu)能夠?qū)崿F(xiàn)在各個方向上的平移與旋轉(zhuǎn)。采用四個全向輪各自間隔90°布局，也是實(shí)現(xiàn)同樣全向驅(qū)動效能的另一常見方案。以此類推，增加至五個、六個乃至更多全向輪的配置，均可保持平臺全向移動的特性不變，同時(shí)可帶來更高的穩(wěn)定性和承載力，但也會使結(jié)構(gòu)復(fù)雜度與成本上升。圖7.11全向輪布局形式

a)90度夾角布局b)同心圓布局c)圓周型布局7.5全向輪式機(jī)器人移動機(jī)構(gòu)運(yùn)動學(xué)分析：圖7.12三輪全向輪式移動機(jī)構(gòu)

7.6舵輪式機(jī)器人移動機(jī)構(gòu)適用場景：（1）空間受限操作：在諸如倉庫、車間、醫(yī)院走廊的空間緊縮環(huán)境中，舵輪使車輛與機(jī)器人能夠輕易實(shí)現(xiàn)側(cè)移與原地旋轉(zhuǎn)，優(yōu)化了空間利用并提升了密集存儲區(qū)域的物流效率與維護(hù)便捷性。（2）室內(nèi)物流優(yōu)化：在自動化倉儲與配送中心，舵輪驅(qū)動的自動導(dǎo)引車（AGV）在貨架密集布局中提升了貨品存取速率，還縮減了轉(zhuǎn)彎所需空間，為復(fù)雜路徑規(guī)劃與高密度存儲提供了理想選擇。（3）無塵環(huán)境應(yīng)用：在對清潔度要求極高的半導(dǎo)體制造、生物制藥無塵室里，舵輪移動系統(tǒng)因其減少振動與摩擦的設(shè)計(jì)，有效降低了塵埃擾動，成為運(yùn)輸精密材料和敏感設(shè)備的理想方式。圖7.13舵輪7.6舵輪式機(jī)器人移動機(jī)構(gòu)結(jié)構(gòu)設(shè)計(jì)：（1）整體布局：多采用雙舵輪與四舵輪配置，如圖7.13所示。雙舵輪布局涉及兩個主驅(qū)動舵輪沿車輛中心軸對稱安放，輔以四個萬向支撐輪均勻分布在車身四端均衡負(fù)載。此布局需要采用柔性的支撐輪以彌補(bǔ)可能的驅(qū)動力缺失。（2）舵輪：由行走機(jī)構(gòu)與轉(zhuǎn)向機(jī)構(gòu)兩大核心組件構(gòu)成。行走機(jī)構(gòu)可細(xì)分為驅(qū)動電機(jī)、減速箱、包膠輪、制動器及反饋單元。其中，驅(qū)動電機(jī)與減速箱相連，電機(jī)運(yùn)轉(zhuǎn)產(chǎn)生的扭矩經(jīng)過減速箱的增倍放大，作用于包膠輪，利用輪與地面的直接摩擦轉(zhuǎn)換為推進(jìn)力，實(shí)現(xiàn)車輛的前進(jìn)或倒退。轉(zhuǎn)向機(jī)構(gòu)則包含回轉(zhuǎn)支承、轉(zhuǎn)向齒輪、轉(zhuǎn)向減速機(jī)、轉(zhuǎn)向電機(jī)，以及電子限位、機(jī)械限位裝置和反饋單元，共同協(xié)作以確保精準(zhǔn)的導(dǎo)向控制a)雙舵輪b)四舵輪圖7.14舵輪布局方式7.6舵輪式機(jī)器人移動機(jī)構(gòu)運(yùn)動學(xué)分析：

圖7.15舵輪式移動機(jī)構(gòu)7.7自主機(jī)器人移動機(jī)構(gòu)設(shè)計(jì)案例設(shè)計(jì)需求分析：機(jī)器人的運(yùn)行環(huán)境主要是平整的室內(nèi)地面，與地面的投影在邊長1m的方框內(nèi)，與執(zhí)行機(jī)構(gòu)的總質(zhì)量在25kg之內(nèi)。ROBOCON大賽對機(jī)器人底盤移動的快速性和準(zhǔn)確性要求較高，所以會要求將機(jī)器人底盤設(shè)計(jì)得靈活輕盈。因此應(yīng)優(yōu)化底盤設(shè)計(jì)，減少不必要框架，并和上層機(jī)構(gòu)相配合，合理布置。此外，在零件設(shè)計(jì)上應(yīng)做好強(qiáng)度校核，在滿足強(qiáng)度前提下，盡量減少零件尺寸和重量，并保證加工精度。圖7.16ROBOCON機(jī)器人7.7自主機(jī)器人移動機(jī)構(gòu)設(shè)計(jì)案例運(yùn)動學(xué)分析與電機(jī)選型：圖7.17三輪底盤速度示意圖

7.7自主機(jī)器人移動機(jī)構(gòu)設(shè)計(jì)案