從虛擬到現(xiàn)實(shí)的智能車輛深度強(qiáng)化學(xué)習(xí)控制研究面對(duì)日益嚴(yán)峻的環(huán)境污染、道路安全及交通擁堵等壓力,智能汽車已成為現(xiàn)代汽車工業(yè)的發(fā)展重點(diǎn),也是未來(lái)汽車技術(shù)發(fā)展的主要方向和關(guān)鍵競(jìng)爭(zhēng)領(lǐng)域,這Waymo這一方面是因?yàn)橹悄苘囕v控制多基于規(guī)則設(shè)計(jì),即人為規(guī)定車輛在各場(chǎng)景下的行為模式,在復(fù)雜場(chǎng)景應(yīng)用中規(guī)則數(shù)目往往呈指數(shù)級(jí)上升且互相之間可能發(fā)生沖突;另一方面則是因?yàn)橹悄苘囋趶?fù)雜工況下的測(cè)試、驗(yàn)證出于安全考慮往往難以開展,從而導(dǎo)致其功能難以通過(guò)測(cè)試進(jìn)行反饋、完善。為了應(yīng)對(duì)復(fù)雜的駕駛場(chǎng)景,需要智能控制算法通過(guò)數(shù)據(jù)驅(qū)動(dòng)或與環(huán)境交互產(chǎn)生的數(shù)據(jù)不斷進(jìn)行自學(xué)習(xí)并完成測(cè)試和驗(yàn)證,進(jìn)而成為可以自主應(yīng)對(duì)復(fù)雜工況的智能體。強(qiáng)化學(xué)習(xí)(ReinforcementLearning,RLRL輛控制。近年來(lái),由于計(jì)算能力的提升,具有強(qiáng)大非線性函數(shù)擬合功能和表征學(xué)習(xí)特性的深度神經(jīng)網(wǎng)絡(luò)為解決這一問(wèn)題提供了新的思路。深度學(xué)習(xí)(DeepLearning,DL)是一種利用深度神經(jīng)網(wǎng)絡(luò)處理高維數(shù)據(jù)的機(jī)器學(xué)習(xí)方法,其最重要的特性就是能夠自動(dòng)尋找到高維數(shù)據(jù)的低維表征。RL散/連續(xù)動(dòng)作空間。通過(guò)與環(huán)境不斷交互,DRL:2016YFB0100904),國(guó)家自然科學(xué)基金項(xiàng)目“智能電動(dòng)汽車一體化建模與集成控制方法研究”(編號(hào):U1564211):2018YFB0105103),能車輛深度強(qiáng)化學(xué)習(xí)控制方法,建立了能夠?qū)Ξ悩?gòu)的駕駛狀態(tài)數(shù)據(jù)進(jìn)行有效特征表征、且對(duì)不同駕駛工況具有一定適應(yīng)性的深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò),該網(wǎng)絡(luò)在虛擬仿真環(huán)境中進(jìn)行訓(xùn)練,并于訓(xùn)練完成后可以直接移植到現(xiàn)實(shí)駕駛場(chǎng)景中完成由簡(jiǎn)單到復(fù)雜的駕駛?cè)蝿?wù)。圍繞本文的研究目標(biāo),主要進(jìn)行了以下幾方面的研究工作:(1)DRL3D本文通過(guò)將基于特征工程和基于深度學(xué)習(xí)的檢測(cè)方法結(jié)合,獲得了實(shí)時(shí)、準(zhǔn)確的車道線檢測(cè)結(jié)果,以提供車輛精確的相對(duì)定位;通過(guò)深度學(xué)習(xí)與幾何約束結(jié)合的方式,從單目圖像中實(shí)時(shí)估計(jì)車輛的位置和姿態(tài)信息;通過(guò)語(yǔ)義分割獲取駕(2)出了一種基于空洞殘差網(wǎng)絡(luò)的駕駛場(chǎng)景語(yǔ)義分割算法。語(yǔ)義分割可以將駕駛場(chǎng)景中細(xì)節(jié)信息進(jìn)行移除但又保留物體之間的語(yǔ)義關(guān)系,是駕駛場(chǎng)景理解的主要環(huán)節(jié),也是將虛擬場(chǎng)景下訓(xùn)練的智能體泛化到真實(shí)世等映射的概念引入到用于語(yǔ)義分割的編碼-解碼器網(wǎng)絡(luò)。由于深度卷積網(wǎng)絡(luò)要通過(guò)不斷下采樣擴(kuò)大后續(xù)卷積感受野以對(duì)全局語(yǔ)義信息進(jìn)行提取,往往導(dǎo)致小目標(biāo)多次下采樣下丟失或深層卷積層分辨率無(wú)法保證等問(wèn)題,因此本文將空洞卷積引入網(wǎng)絡(luò)設(shè)計(jì)。為了避免空洞卷積帶來(lái)的“柵格”現(xiàn)象影響性能,提出采用混合空洞結(jié)構(gòu)對(duì)圖像數(shù)據(jù)進(jìn)行充分的特征提取,并在網(wǎng)絡(luò)最后使用去殘差結(jié)構(gòu)徹底消除“柵格”對(duì)網(wǎng)絡(luò)性能的損害。(3)本文提出了基于綜合視覺(jué)場(chǎng)景理解的深度強(qiáng)化學(xué)習(xí)控制網(wǎng)絡(luò)。首先針對(duì)異構(gòu)狀態(tài)數(shù)據(jù)設(shè)計(jì)設(shè)計(jì)不同的特征提取單元,提取與車輛控制直接相關(guān)的特征。在不同特征提取單元之間設(shè)計(jì)Dropout使得信息有幾率地丟失,從而提高訓(xùn)練網(wǎng)絡(luò)的容錯(cuò)能力和穩(wěn)定性。為了使智能體可以完成任務(wù)并提高算法收斂速度,本文將車速、車輛方向盤操作、車道駛離、碰撞等因素囊括在獎(jiǎng)勵(lì)函數(shù)內(nèi),并設(shè)計(jì)了終止條件對(duì)無(wú)效探索進(jìn)行適當(dāng)終止。CARLA(4)本文結(jié)合國(guó)家重點(diǎn)研發(fā)項(xiàng)目搭建了實(shí)車實(shí)驗(yàn)平臺(tái)以驗(yàn)證本文研究?jī)?nèi)容。首先對(duì)車輛進(jìn)行改造,并進(jìn)行了傳感器的安裝、標(biāo)定,電子電器系統(tǒng)的設(shè)計(jì),控制與數(shù)采系統(tǒng)的設(shè)計(jì)等。其中,為了獲取與虛擬場(chǎng)景關(guān)鍵點(diǎn)良好匹配的相機(jī)安裝位置,進(jìn)行了在線的配準(zhǔn)過(guò)程設(shè)計(jì)。DRL能力。實(shí)驗(yàn)完成后,將對(duì)車輛的任務(wù)完成度和行為合理性進(jìn)行分析。綜上所述,本文所取得的主要?jiǎng)?chuàng)新點(diǎn)如下:(1)提出了一種針對(duì)智能駕駛的綜3D等問(wèn)題,完善了對(duì)當(dāng)前駕駛場(chǎng)景的綜合理解。DRLDRL網(wǎng)絡(luò)收斂速度和車輛控制效果。(2)法。駕駛場(chǎng)景的語(yǔ)義分割任務(wù)往往需要不斷增大感受野,但卷積神經(jīng)網(wǎng)絡(luò)不斷池化、下采樣會(huì)導(dǎo)致小目標(biāo)信息丟失難以恢復(fù),本文創(chuàng)新性地將空洞卷積和殘差結(jié)現(xiàn)象,導(dǎo)致輸入信息無(wú)法充分利用的問(wèn)題,在網(wǎng)絡(luò)的非對(duì)稱殘差模塊中使用了混合空洞卷積結(jié)構(gòu),并將編碼器最后兩層采用去殘差的結(jié)構(gòu)徹底阻斷“柵格”的傳播,從而有效避免了深度網(wǎng)絡(luò)學(xué)習(xí)能力隨深度上升而下降以及空洞結(jié)構(gòu)導(dǎo)致的柵格現(xiàn)象。(3)提出了基于視覺(jué)場(chǎng)景理解的深度強(qiáng)化學(xué)習(xí)控制方法,并將虛擬環(huán)境中的訓(xùn)練結(jié)果在沒(méi)有現(xiàn)實(shí)世界先驗(yàn)知識(shí)的前提下成功移植到真實(shí)場(chǎng)景中。本文采用DD