分層強(qiáng)化學(xué)習(xí)四足機(jī)器人的運(yùn)動(dòng)控制方法設(shè)計(jì)目錄TOC\o"1-3"\h\u27522分層強(qiáng)化學(xué)習(xí)四足機(jī)器人的運(yùn)動(dòng)控制方法設(shè)計(jì) [40]。但目前的逆運(yùn)動(dòng)學(xué)控制方法由于建模的精度不可能與實(shí)物完全一致，控制存在誤差，需要對(duì)其進(jìn)行校正，否則可能導(dǎo)致系統(tǒng)發(fā)散。本文設(shè)計(jì)了一種對(duì)四足機(jī)器人單腿建模并使用逆運(yùn)動(dòng)學(xué)求解與分層強(qiáng)化學(xué)習(xí)相結(jié)合的方法，旨在改善建模精度導(dǎo)致的誤差問(wèn)題，以及在模型參數(shù)不同的四足機(jī)器人控制方法上應(yīng)用，最終能夠?qū)崿F(xiàn)大場(chǎng)景下機(jī)器人與環(huán)境交互，進(jìn)而完成較為復(fù)雜的任務(wù)目標(biāo)。1.2四足機(jī)器人單腿運(yùn)動(dòng)學(xué)模型在理想的仿真環(huán)境中，本文的研究對(duì)象四足機(jī)器人仿真模型如圖3-1所示。該模型是基于Stanford大學(xué)實(shí)體四足機(jī)器人Pupper建立的，其結(jié)構(gòu)簡(jiǎn)單驅(qū)動(dòng)形式單一，使用圓柱形的輕質(zhì)連桿代替單腿。本文將對(duì)該四足機(jī)器人單腿胯關(guān)節(jié)、髖關(guān)節(jié)和膝關(guān)節(jié)三個(gè)關(guān)節(jié)建立運(yùn)動(dòng)學(xué)，并使用逆運(yùn)動(dòng)學(xué)求解，并將其作為強(qiáng)化學(xué)習(xí)方法的運(yùn)動(dòng)基元。圖3-1Stanford大學(xué)四足機(jī)器人pupper仿真模型示意圖四足機(jī)器人單腿模型空間視圖如圖3-2所示，每條腿以跨關(guān)節(jié)與機(jī)器人主體連接處為坐標(biāo)系原點(diǎn)，向上為z正方向，以胯部連桿旋轉(zhuǎn)平面法線方向?yàn)閤方向，由右手定則確定y方向。具體參數(shù)含義見(jiàn)表3-1。圖3-2四足機(jī)器人單腿模型空間視圖表3-1四足機(jī)器人運(yùn)動(dòng)學(xué)模型參數(shù)參數(shù)變量變量定義x足端x坐標(biāo)y足端y坐標(biāo)z足端z坐標(biāo)l胯部連桿長(zhǎng)度l大腿連桿長(zhǎng)度l小腿連桿長(zhǎng)度θ胯關(guān)節(jié)關(guān)節(jié)角θ髖關(guān)節(jié)關(guān)節(jié)角θ膝關(guān)節(jié)關(guān)節(jié)角byox平面跨關(guān)節(jié)到足端距離?腿部連桿平面髖關(guān)節(jié)到足端距離 四足機(jī)器人單腿模型y?z平面視圖如圖3-3所示，在該平面視圖內(nèi)求解得到胯關(guān)節(jié)角度θ0圖3-3四足機(jī)器人單腿模型y?z平面視圖b?φαθ對(duì)于髖關(guān)節(jié)角度θ1、膝關(guān)節(jié)角度θ2則在大小腿連桿平面內(nèi)求得，腿部連桿平面視圖如圖3-4，求解過(guò)程為式3?6至圖3-4四足機(jī)器人單腿模型腿部連桿平面視圖γtriθβθ 通過(guò)上述推導(dǎo)，可以將四足機(jī)器人足端坐標(biāo)轉(zhuǎn)換為對(duì)應(yīng)的單腿電機(jī)位置角變化。本文將四足機(jī)器人單腿足端坐標(biāo)位移?x,?y,?z作為底層策略的動(dòng)作空間，通過(guò)逆運(yùn)動(dòng)學(xué)求解得到機(jī)器人胯關(guān)節(jié)、髖關(guān)節(jié)、膝關(guān)節(jié)三個(gè)關(guān)節(jié)目標(biāo)位置信息，使用PD控制器對(duì)機(jī)器人電機(jī)進(jìn)行控制。1.3分層策略框架本文設(shè)計(jì)了一個(gè)分層強(qiáng)化學(xué)習(xí)框架，用來(lái)實(shí)現(xiàn)四足機(jī)器人在復(fù)雜路徑追蹤問(wèn)題上的應(yīng)用。此學(xué)習(xí)框架主要分為兩個(gè)策略層級(jí)，高層策略側(cè)重于四足機(jī)器人前行方向的學(xué)習(xí)，底層策略則主要負(fù)責(zé)學(xué)習(xí)四足機(jī)器人運(yùn)動(dòng)控制，使四足機(jī)器人朝向高層策略所選擇的目標(biāo)方向，同時(shí)要求四足機(jī)器人在運(yùn)動(dòng)中過(guò)程中保持姿態(tài)平穩(wěn)。該分層強(qiáng)化學(xué)習(xí)框架如圖3-5所示。算法邏輯如表3-2所示。圖3-5基于分層強(qiáng)化學(xué)習(xí)的四足機(jī)器人控制框架結(jié)構(gòu)圖表3-2分層策略算法邏輯算法1：分層策略執(zhí)行1：o?2：R=0、d=0初始化回合獎(jiǎng)勵(lì)、底層策略持續(xù)時(shí)間3：whilenotdone:4：ifd=0:5：o?6：d,θ=high_policy(o7：action=low_policy(d,θ)底層策略輸出8：ol9：R+=r，d-=110：returnR該分層學(xué)習(xí)框架中高層策略接受的環(huán)境觀測(cè)值僅包含機(jī)器人在環(huán)境中的坐標(biāo)信息x,y,z，底層策略則接受機(jī)器人姿態(tài)信息roll,pitc?,yaw為了實(shí)現(xiàn)四足機(jī)器人完成特定復(fù)雜路徑追蹤任務(wù)，達(dá)到強(qiáng)化學(xué)習(xí)策略分層控制的目標(biāo)，將對(duì)層級(jí)策略進(jìn)行分別訓(xùn)練，使得該方法能夠快速收斂實(shí)現(xiàn)目標(biāo)任務(wù)，其中底層策略優(yōu)先訓(xùn)練。在底層策略完成對(duì)機(jī)器人平穩(wěn)運(yùn)動(dòng)的學(xué)習(xí)后，便可以將高層策略動(dòng)作空間設(shè)置為簡(jiǎn)單的機(jī)器人目標(biāo)姿態(tài)pitc?,yaw以及底層策略執(zhí)行時(shí)間(duration,d)，大大降低了訓(xùn)練困難程度，從而提高學(xué)習(xí)收斂速度。1.4動(dòng)作狀態(tài)空間與獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)本文針對(duì)對(duì)底層控制策略的預(yù)訓(xùn)練，并設(shè)計(jì)了三種底層策略訓(xùn)練環(huán)境，分別是用于控制行進(jìn)平衡的任務(wù)PupperBalance，控制朝向指定方向前進(jìn)的任務(wù)PupperTowards以及斜坡行走任務(wù)PupperSteepBalance。在上述任務(wù)中，機(jī)器人需要在前進(jìn)狀態(tài)中保持平衡并沿直線行走，環(huán)境觀測(cè)信息為機(jī)器人當(dāng)前的位置坐標(biāo)和姿態(tài)數(shù)據(jù)，兩者共同構(gòu)成機(jī)器人當(dāng)前狀態(tài)；機(jī)器人實(shí)際動(dòng)作為輸出策略給出的電機(jī)位置角度。在PupperBalance和PupperSteepBalance任務(wù)場(chǎng)景中，機(jī)器人只有在前進(jìn)狀態(tài)下保持平衡，就能取得相應(yīng)獎(jiǎng)勵(lì)，如果只在靜態(tài)行為中保持平衡，那么底層策略學(xué)習(xí)的結(jié)果將只會(huì)對(duì)靜態(tài)姿態(tài)信息形成習(xí)慣，而無(wú)法很好地處理動(dòng)態(tài)運(yùn)動(dòng)過(guò)程中的姿態(tài)信息變化。高層方向決策策略在完成底層策略訓(xùn)練完成之后進(jìn)行訓(xùn)練，對(duì)此本文設(shè)計(jì)了二維平面方向決策的任務(wù)2DPathTracking。在上述任務(wù)中，四足機(jī)器人需要在指定路徑上行走并達(dá)到目標(biāo)坐標(biāo)點(diǎn)，離開(kāi)指定路徑會(huì)提前終止當(dāng)前回合。該任務(wù)要求機(jī)器人在不同的位置以不同的偏航角度前行，學(xué)習(xí)并找到一個(gè)最優(yōu)路徑。1.4.1底層策略任務(wù)設(shè)計(jì)(1)PupperBalance場(chǎng)景獎(jiǎng)勵(lì)函數(shù)由于運(yùn)動(dòng)的連續(xù)性，期望機(jī)器人在單個(gè)回合內(nèi)前行距離越遠(yuǎn)越好，同時(shí)保持自身平衡。通過(guò)機(jī)載傳感器獲取機(jī)器人位置信息、俯仰和翻滾角度信息，根據(jù)機(jī)器人在x軸的位置給予正獎(jiǎng)勵(lì)，在y軸的位置以及俯仰、翻滾角度給予負(fù)獎(jiǎng)勵(lì)?？傮w的獎(jiǎng)勵(lì)函數(shù)由式3?11到3?14定義：rrrR式中rf每一實(shí)踐部代表機(jī)器人前進(jìn)獎(jiǎng)勵(lì)，posx和posy代表機(jī)器人當(dāng)前x軸坐標(biāo)和y軸坐標(biāo)；rb代表機(jī)器人平衡姿態(tài)獎(jiǎng)勵(lì)，roll和pitc?分別代表機(jī)器人的滾動(dòng)角和俯仰角；(2)PupperTowards場(chǎng)景獎(jiǎng)勵(lì)函數(shù)該場(chǎng)景是在上一場(chǎng)景的基礎(chǔ)上，將沿直線前進(jìn)任務(wù)目標(biāo)改為指定偏航方向前進(jìn)目標(biāo)，其觀測(cè)空間獲取信息不變；獎(jiǎng)勵(lì)函數(shù)rf由前后時(shí)間步之間的位移向量在指定偏航方向上的投影決定其表示為式3?15r(3)PupperSteepBalance場(chǎng)景獎(jiǎng)勵(lì)函數(shù)該場(chǎng)景是在上一場(chǎng)景的基礎(chǔ)上，將平面上沿直線前進(jìn)任務(wù)目標(biāo)改為斜坡面上前進(jìn)目標(biāo)，其觀測(cè)空間獲取信息不變，前行獎(jiǎng)勵(lì)更改為沿斜坡行走的距離表示為式3?16，其余獎(jiǎng)勵(lì)相同。r1.4.2高層策略任務(wù)設(shè)計(jì)2DPathTracking場(chǎng)景獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)：