面向無(wú)人機(jī)自主飛行深度加強(qiáng)學(xué)習(xí)算法的研究與實(shí)現(xiàn)目錄選題背景(來(lái)源、目的和意義)1相關(guān)研究2研究?jī)?nèi)容(創(chuàng)新點(diǎn)、難點(diǎn)和預(yù)期目標(biāo))3研究方案(平臺(tái)、模型和算法)4進(jìn)度安排5

無(wú)人飛行器(UnmannedAerialVehicle,UAV)是指有動(dòng)力、可控制、能攜帶多種任務(wù)設(shè)備、執(zhí)行多種任務(wù),且能重復(fù)使用的無(wú)人駕駛飛行器,很多人也把這種飛行器稱為無(wú)人機(jī)。它的發(fā)展己有一百多年的歷史,早期主要應(yīng)用在軍事領(lǐng)域。

進(jìn)入21世紀(jì)后,無(wú)人機(jī)向著小型化、造價(jià)低、使用方便、飛行時(shí)間長(zhǎng)和便于隱蔽等方向發(fā)展,而且無(wú)人機(jī)己經(jīng)發(fā)展成為武器裝備中的最大亮點(diǎn),因此世界各個(gè)國(guó)家都在大力開發(fā)各種用途的無(wú)人飛行器。

近些年來(lái),隨著計(jì)算機(jī)與控制技術(shù)的高速發(fā)展,無(wú)人機(jī)在民用方面也有了廣泛的應(yīng)用。課題來(lái)源”

另外無(wú)人機(jī)還可用于科學(xué)考察、公路勘測(cè)、生態(tài)環(huán)保、森林防火、精準(zhǔn)農(nóng)業(yè)、災(zāi)況評(píng)估、氣象探測(cè)、電力線路巡查、公路和城市交通的空中巡查、核能、減害、消防與地質(zhì)等各個(gè)領(lǐng)域,因此，無(wú)人機(jī)的民用市場(chǎng)前景也非常廣闊,必定會(huì)產(chǎn)生巨大的經(jīng)濟(jì)效益。CONTINUE森林防火精準(zhǔn)農(nóng)業(yè)城市交通巡查選題的目的與意義

無(wú)人直升機(jī)的自動(dòng)飛行控制器研究包括硬件系統(tǒng)開發(fā)與自動(dòng)控制算法設(shè)計(jì),硬件系統(tǒng)包括傳感器數(shù)據(jù)采集模塊與控制器輸出驅(qū)動(dòng)模塊等,這些硬件平臺(tái)都是服務(wù)于自動(dòng)控制算法;而自動(dòng)飛行控制算法的性能在很大程度上決定著無(wú)人直升機(jī)自主飛行的效果與飛行任務(wù)的完成質(zhì)量,因此研究自動(dòng)飛行控制算法具有十分重要的應(yīng)用價(jià)值。”“《基于模糊神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)及其在機(jī)器人導(dǎo)航中的應(yīng)用》作者：段勇，徐心和構(gòu)成的系統(tǒng)：模糊神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)理論相結(jié)合解決的導(dǎo)航問(wèn)題：一種是避障且接近目標(biāo)行為；第二種機(jī)器人的沿墻走行為是指機(jī)器人能以一定的距離沿著墻壁前進(jìn)，在運(yùn)動(dòng)過(guò)程中既不發(fā)生碰壁，也不遠(yuǎn)離墻壁。通過(guò)兩種行為控制器的相互切換，能使機(jī)器人成功地完成復(fù)雜環(huán)境的導(dǎo)航任務(wù)《基于生物啟發(fā)模型的AUV三維自主路徑規(guī)劃與安全避障算法》作者：朱大奇，孫兵，李利平臺(tái)：水下機(jī)器人算法：基于生物啟發(fā)模型的三維路徑規(guī)劃和安全避障算法。建立三維生物啟發(fā)神經(jīng)網(wǎng)絡(luò)模型，利用此模型表示AUV的三維工作環(huán)境，神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元與柵格地圖中的位置單元一一對(duì)應(yīng)，然后，根據(jù)神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的活性輸出值分布情況自主規(guī)劃AUV的運(yùn)動(dòng)路徑。并進(jìn)行了靜態(tài)和動(dòng)態(tài)仿真均達(dá)到要求。相關(guān)研究”“《GeometricReinforcementLearningforPathPlanningofUAVs》作者：張寶昌，毛志林，劉萬(wàn)全，劉建壯算法：幾何強(qiáng)化學(xué)習(xí)算法。（1）它利用一種特殊的報(bào)酬矩陣，能夠簡(jiǎn)單有效的運(yùn)用到無(wú)人機(jī)群的路徑規(guī)劃，在該區(qū)域中被選中的候選點(diǎn)是從當(dāng)前點(diǎn)到目標(biāo)點(diǎn)的幾何路徑。（2）計(jì)算的收斂獎(jiǎng)勵(lì)矩陣?yán)碚撟C明，路徑的長(zhǎng)度和風(fēng)險(xiǎn)度量可以計(jì)算。（3）在幾何強(qiáng)化算法中，獎(jiǎng)勵(lì)矩陣是基于幾何距離和自適應(yīng)更新風(fēng)險(xiǎn)信息并與其他無(wú)人機(jī)共享。CONTINUE《Multi-AgentPathPlanningforUnmannedAerialVehicleBasedonThreatsAnalysis》作者：LEIGang,DONGMin-zhou,XUTao,WANGLiang算法：Q學(xué)習(xí)算法。文中將傳統(tǒng)的Q學(xué)習(xí)算法調(diào)整為動(dòng)態(tài)強(qiáng)化學(xué)習(xí)算法通過(guò)引入當(dāng)前的值和回報(bào)紅利的探索。用全球視野考慮路徑長(zhǎng)度約束和信息收集器代理處理區(qū)域的路徑規(guī)劃的威脅來(lái)搜索路徑。提出了基于得分函數(shù)分析威脅的屬性并指出路徑規(guī)劃過(guò)程是多主體合作動(dòng)態(tài)和非平穩(wěn)環(huán)境。CONTINUE

瑞士聯(lián)邦研究所的一組研究員目前正在研究開發(fā)一種可獨(dú)立運(yùn)作的無(wú)人機(jī)，使用的是三維地圖避障技術(shù)，能夠?qū)崿F(xiàn)自主導(dǎo)航。這一研究小組將地圖測(cè)繪與數(shù)據(jù)傳感技術(shù)相結(jié)合，制造出了世界上第一例自動(dòng)化無(wú)人機(jī)。該無(wú)人機(jī)已于2015年進(jìn)行過(guò)測(cè)試，有關(guān)該新系統(tǒng)的報(bào)告曾在國(guó)際智能機(jī)器與系統(tǒng)大會(huì)上進(jìn)行過(guò)演示。他們下一步的計(jì)劃是讓這套系統(tǒng)更為成熟，這樣無(wú)人機(jī)就能更好地監(jiān)測(cè)到運(yùn)動(dòng)中與靜止的所有事物，從而避免在飛行過(guò)程中與地圖上未標(biāo)明的對(duì)象(如鳥、其他設(shè)備或路人)發(fā)生碰撞事故。

2015年12月11日，中國(guó)百度“無(wú)人車”成功完成道路測(cè)試，標(biāo)志著國(guó)內(nèi)無(wú)人駕駛（無(wú)人機(jī)）技術(shù)取得突破性進(jìn)展。

CONTINUE三維地圖實(shí)現(xiàn)避障創(chuàng)新點(diǎn)1.適用于無(wú)人機(jī)自主飛行的深度增強(qiáng)算法（控制）2.適用于城市交通干道動(dòng)態(tài)飛行路徑規(guī)劃（應(yīng)用）3.環(huán)境自適應(yīng)的飛行決策”“1.使用加強(qiáng)學(xué)習(xí)算法去找到一個(gè)能使運(yùn)行結(jié)果的模型和報(bào)酬函數(shù)達(dá)到最優(yōu)的學(xué)習(xí)機(jī)。2.在學(xué)習(xí)機(jī)中，要在所有特性中正確的衡量“好”然后給權(quán)值獎(jiǎng)勵(lì)。3.對(duì)于那些突然改變動(dòng)作的處罰，要找到一個(gè)合適的算法來(lái)懲罰。難點(diǎn)”“1.能夠把傳感器上的信息和拍攝的圖片傳送到服務(wù)器上顯示；2.無(wú)人機(jī)組之間能夠?qū)崿F(xiàn)信息交換；3.實(shí)現(xiàn)無(wú)遙控自動(dòng)飛行。性能評(píng)估即預(yù)期目標(biāo)”“搭建的平臺(tái)所需元器件：arduino和二氧化碳傳感器，PM2.5傳感器和4g通訊模塊，藍(lán)牙模塊，大疆公司提供的無(wú)人機(jī)Matrice100andGuidance.”“Q-Learning算法

觀察生物(特別是人)為適應(yīng)環(huán)境的學(xué)習(xí)過(guò)程可以發(fā)現(xiàn)它有兩個(gè)特點(diǎn)，一是人從來(lái)不是靜止地被動(dòng)等待而是主動(dòng)對(duì)環(huán)境作試探,二是從環(huán)境對(duì)試探動(dòng)作產(chǎn)生的反饋信號(hào)看,多數(shù)情況下是評(píng)價(jià)性(獎(jiǎng)或罰)的，而不是象監(jiān)督學(xué)習(xí)那樣給出正確答案。生物在行動(dòng)—評(píng)價(jià)的環(huán)境中獲得知識(shí),從而改進(jìn)行動(dòng)方案以適應(yīng)環(huán)境，達(dá)到預(yù)定的目的。具有上述特點(diǎn)的學(xué)習(xí)就是強(qiáng)化學(xué)習(xí)(ReinforcementLearning,或稱再勵(lì)學(xué)習(xí)，加強(qiáng)學(xué)習(xí)，簡(jiǎn)記為RL)，把具有學(xué)習(xí)能力的系統(tǒng)稱之為學(xué)習(xí)機(jī)或Agent。強(qiáng)化學(xué)習(xí)的主要算法為Q-learning和自適應(yīng)啟發(fā)AHC(AdaptiveHeuristicCritic)算法?！薄癚-Learning算法

適設(shè)環(huán)境是一個(gè)有限狀態(tài)的離散馬爾科夫過(guò)程，Agent每步可在有限動(dòng)作集合中選取并執(zhí)行某一動(dòng)作，環(huán)境接受該動(dòng)作后狀態(tài)發(fā)生轉(zhuǎn)移，同時(shí)給出評(píng)價(jià)r。例如，在時(shí)刻t選擇動(dòng)作at，環(huán)境由狀態(tài)st轉(zhuǎn)移到st+1，給出評(píng)價(jià)rt，rt及st+1的概率分布取決于a及st?；赒-learning離散動(dòng)作的強(qiáng)化學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)如下圖所示?！薄癚-Learning算法

對(duì)于標(biāo)準(zhǔn)Q-learning，Q單元實(shí)質(zhì)上是一張狀態(tài)-動(dòng)作的二維表格,表格的內(nèi)容為Q(si,aj),其中，si∈S(狀態(tài)空間)，aj∈A(動(dòng)作集)。標(biāo)準(zhǔn)Q-learning中，Agent的經(jīng)歷包括一系列不同的階段，在單個(gè)階段，其學(xué)習(xí)步驟如下：(1)觀察現(xiàn)在的狀態(tài)st；(2)選擇并執(zhí)行一個(gè)動(dòng)作at；(3)觀察下一個(gè)狀態(tài)st+1；(4)收到一個(gè)立即強(qiáng)化信號(hào)rt；(5)調(diào)整Q值?！薄癚-Learning算法

這里采用向前網(wǎng)絡(luò)實(shí)現(xiàn)Q-learning。網(wǎng)絡(luò)的輸入節(jié)點(diǎn)個(gè)數(shù)取決于傳感器的個(gè)數(shù)；網(wǎng)絡(luò)輸出節(jié)點(diǎn)決定產(chǎn)生的動(dòng)作.每次學(xué)習(xí)時(shí),隨機(jī)動(dòng)作選擇器根據(jù)Borlzman分布隨機(jī)選取一個(gè)動(dòng)作,被選擇的動(dòng)作對(duì)應(yīng)的誤差為”“

γ為折扣因子,s為當(dāng)前狀態(tài)。前執(zhí)行的動(dòng)作的效果由強(qiáng)化信號(hào)反映,如果r為正獎(jiǎng)勵(lì),則對(duì)應(yīng)的Q(s,ai)應(yīng)向1逼近(修正誤差正),?Q的調(diào)整的幅度與r成正比；反之，Q(s,ai)應(yīng)向0逼近(修正誤差為負(fù)),它的調(diào)整的幅度與r成正比，x值確定的思想如下:考慮到動(dòng)作之間存在共性的動(dòng)作之間存在對(duì)立性,因此，可以在每一次增加所調(diào)整Q值個(gè)數(shù)，對(duì)于共性的兩個(gè)動(dòng)作，同方向調(diào)整，其中被選擇的動(dòng)作的調(diào)整大一些。反之亦然，然后根據(jù)梯度法對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行調(diào)整。進(jìn)度安排

第一階段：2015.10-2015.12根據(jù)本人的研究方向及興趣，有針對(duì)性的收集資料、閱讀文獻(xiàn)，初步形成自己的想法，撰寫開題報(bào)告。第二階段：2015.12-2016.5搭建arduino傳感器平臺(tái)，能夠把所測(cè)數(shù)據(jù)通過(guò)4G網(wǎng)絡(luò)傳輸?shù)降孛妗W(xué)習(xí)無(wú)人機(jī)的控制算法-加