1、第七章 最 優(yōu) 控 制,7.1 最優(yōu)控制問(wèn)題,7.2 求解最優(yōu)控制的變分方法,7.3 最大值原理,7.4 動(dòng)態(tài)規(guī)劃,7.5 線(xiàn)性二次型性能指標(biāo)的最優(yōu)控制,7.6 快速控制系統(tǒng),最優(yōu)控制理論-現(xiàn)代控制理論的重要組成部分 20世紀(jì)50年代發(fā)展形成系統(tǒng)的理論 研究的對(duì)象 - 控制系統(tǒng) 中心問(wèn)題 給定一個(gè)控制系統(tǒng)，選擇控制規(guī)律，使系統(tǒng)在某種意義上是最優(yōu)的、統(tǒng)一的、嚴(yán)格的數(shù)學(xué)方法.,7.1 最優(yōu)控制問(wèn)題,7.1.1 兩個(gè)例子,例7.1.1 飛船軟著陸問(wèn)題 宇宙飛船在月球表 面著陸時(shí)速度必須為零，即軟著陸，這要靠發(fā)動(dòng)機(jī)的推力變化來(lái)完成。問(wèn)題是如何選擇一個(gè)推力方案，使燃料消耗最小。,m 飛船的質(zhì)量，h 高度

2、，v 垂直速度， g 月球重力加速度常數(shù)，M 飛船自身質(zhì)量 F 燃料的質(zhì)量,軟著陸過(guò)程開(kāi)始時(shí)刻t為零,終點(diǎn)條件,控制目標(biāo),推力方案,例7.1.2 導(dǎo)彈發(fā)射問(wèn)題,初始條件,末端約束,指標(biāo),控制,7.1.2 問(wèn)題描述,(1) 狀態(tài)方程 一般形式為,為n維狀態(tài)向量,為r維控制向量,為n維向量函數(shù),給定控制規(guī)律,滿(mǎn)足一定條件時(shí)，方程有唯一解,(2) 容許控制,：,有時(shí)控制域可為超方體,(3) 目標(biāo)集,維向量函數(shù),自由端問(wèn)題,(4) 性能指標(biāo),對(duì)狀態(tài)、控制以及終點(diǎn)狀態(tài)的要求，復(fù)合型性能指標(biāo),積分型性能指標(biāo)，表示對(duì)整個(gè)狀態(tài)和控制過(guò)程的要求,終點(diǎn)型指標(biāo)，表示僅對(duì)終點(diǎn)狀態(tài)的要求,7.2 求解最優(yōu)控制的變分方法

3、,7.2.1 泛函與變分法基礎(chǔ),平面上兩點(diǎn)連線(xiàn)的長(zhǎng)度問(wèn)題,其弧長(zhǎng)為,一般來(lái)說(shuō)，曲線(xiàn)不同，弧長(zhǎng)就不同，即弧長(zhǎng)依賴(lài)于曲線(xiàn)，記為 。,泛函與函數(shù)的幾何解釋,連續(xù)泛函 宗量的變分趨于無(wú)窮小時(shí)，泛函的變分也趨于無(wú)窮小 線(xiàn)性泛函 泛函對(duì)宗量是線(xiàn)性的,宗量的變分,泛函的增量,定理7.2.1 泛函的變分為,例7.2.1 求泛函的變分,上述方法與結(jié)論對(duì)多個(gè)未知函數(shù)的泛數(shù)同樣適用,7.2.2 歐拉方程,泛函,有二階連續(xù)偏導(dǎo)數(shù),兩端固定,變分,分部積分,例7.2.2 求平面上兩固定點(diǎn)間連線(xiàn)最短的曲線(xiàn),，,7.2.3 橫截條件,左端固定右端沿曲線(xiàn)變動(dòng),終點(diǎn)值與終點(diǎn)的變分,橫截條件,7.2.5 條件極值,引進(jìn)乘子,構(gòu)造

4、新的函數(shù)和泛函,解：化為標(biāo)準(zhǔn)形式,把問(wèn)題化為標(biāo)準(zhǔn)形式，令,約束方程可定為,邊界條件為,引進(jìn)乘子,構(gòu)造函數(shù),歐拉方程,解出,利用邊界條件，可得：,7.2.6.1 自由端問(wèn)題,約束方程,新的泛函,有,7.2.6 最優(yōu)控制問(wèn)題的變分解法,變分,令,有,伴隨方程,必要條件,例7.2.5 考慮狀態(tài)方程和初始條件為,的簡(jiǎn)單一階系統(tǒng)，其指標(biāo)泛函為,有極小值。,，,伴隨方程,邊界條件,由必要條件,則最優(yōu)控制為,得,代入狀態(tài)方程求解得,7.2.6.2 固定端問(wèn)題,，,性能指標(biāo),邊界條件,指標(biāo)泛函,哈米頓函數(shù),伴隨方程,，,其解為,7.2.6.3 末端受限問(wèn)題,新的泛函,變分,必要條件,，,，,7.2.6.4 終

5、值時(shí)間自由的問(wèn)題,T有時(shí)是可變的，是指標(biāo)泛函，選控制使有T極小值,變分,，,必要條件,例7.2.7,指標(biāo)泛函,哈米頓函數(shù),伴隨方程,必要條件,7.3 最大值原理,7.3.1 古典變分法的局限性,u(t)受限的例子,矛盾!,7.3.2 最大值原理,且,最小值原理只是最優(yōu)控制所滿(mǎn)足的必要條件。但對(duì)于線(xiàn)性系統(tǒng),，,最小值原理也是使泛函取最小值得充分條件。,例7.3.2 重解例7.3.1,，,哈密頓函數(shù),伴隨方程,由極值必要條件，知,，,又,于是有,，,協(xié)態(tài)變量與控制變量的關(guān)系圖,，,例7.3.3,性能指標(biāo)泛函,哈密頓函數(shù),伴隨方程,，,上有,協(xié)態(tài)變量與控制變量的關(guān)系圖,整個(gè)最優(yōu)軌線(xiàn),例7.3.4,把

6、系統(tǒng)狀態(tài)在終點(diǎn)時(shí)刻轉(zhuǎn)移到,哈米頓函數(shù),伴隨方程,，,，,H是u的二次拋物線(xiàn)函數(shù)，u在 上一定使H有最小值，可能在內(nèi)部，也可能在邊界上。,最優(yōu)控制可能且只能取三個(gè)值,此二者都不能使?fàn)顟B(tài)變量同時(shí)滿(mǎn)足初始條件和終點(diǎn)條件,，,，,最優(yōu)控制,最優(yōu)軌線(xiàn),最優(yōu)性能指標(biāo),例7.3.5,使系統(tǒng)以最短時(shí)間從給定初態(tài)轉(zhuǎn)移到零態(tài),哈米頓函數(shù),伴隨方程,最優(yōu)控制切換及最優(yōu)軌線(xiàn)示意圖,7.3.3 古典變分法與最小值原理,古典變分法適用的范圍是對(duì)u無(wú)約束，而最小值原理一般都適用。特別當(dāng)u不受約束時(shí)，條件,就等價(jià)于條件,7.4 動(dòng)態(tài)規(guī)劃,動(dòng)態(tài)規(guī)劃是求解最優(yōu)控制的又一種方法，特別對(duì)離散型控制系統(tǒng)更為有效，而且得出的是綜合控制函

7、數(shù)。這種方法來(lái)源于多決策過(guò)程，并由貝爾曼首先提出，故稱(chēng)貝爾曼動(dòng)態(tài)規(guī)劃。,7.4.1 多級(jí)決策過(guò)程與最優(yōu)性原理,作為例子，首先分析最優(yōu)路徑問(wèn)題,(a) (b) (c),試分析(a),(b)和(c)三種情況的最優(yōu)路徑，即從 走到 所需時(shí)間最少。規(guī)定沿水平方向只能前進(jìn)不能后退。,(a)中只有兩條路徑，從起點(diǎn)開(kāi)始，一旦選定路線(xiàn)，就直達(dá)終點(diǎn)，選最優(yōu)路徑就是從兩條中選一條，使路程所用時(shí)間最少。這很容易辦到，只稍加計(jì)算，便可知道，上面一條所需時(shí)間最少。 (b)共有6條路徑可到達(dá)終點(diǎn)，若仍用上面方法，需計(jì)算6次，將每條路線(xiàn)所需時(shí)間求出，然后比較，找出一條時(shí)間最短的路程。 (c)需計(jì)算20次，因?yàn)檫@時(shí)有20條路

8、徑，由此可見(jiàn)，計(jì)算量顯著增大了。,然后再考慮第二級(jí),只有一種選擇，到終點(diǎn)所需時(shí)間是,有兩條路，比較后選出時(shí)間最少的一條，即4+1=5。用箭頭標(biāo)出,也標(biāo)出最優(yōu)路徑和時(shí)間,依此類(lèi)推，最后計(jì)算初始位置,求得最優(yōu)路徑,最短時(shí)間為 13,最優(yōu)路徑示意圖,多級(jí)過(guò)程,多級(jí)決策過(guò)程,目標(biāo)函數(shù),使目標(biāo)函數(shù)取最小值或最大值,實(shí)際上就是離散狀態(tài)的最優(yōu)控制問(wèn)題,指標(biāo)函數(shù)多是各級(jí)指標(biāo)之和，即具有可加性,最優(yōu)性原理的數(shù)學(xué)表達(dá)式,7.4.2 離散系統(tǒng)動(dòng)態(tài)規(guī)劃,階離散系統(tǒng),性能指標(biāo),求決策向量,使 有最小值（或最大值），其終點(diǎn)可自由， 也可固定或受約束。,引進(jìn)記號(hào),應(yīng)用最優(yōu)性原理,可建立如下遞推公式,貝爾曼動(dòng)態(tài)規(guī)劃方程,例7

9、.4.2 設(shè)一階離散系統(tǒng)，狀態(tài)方程和初始條件為,性能指標(biāo),求使 有最小值的最優(yōu)決策序列和最優(yōu)軌線(xiàn)序列,指標(biāo)可寫(xiě)為,最優(yōu)決策序列,最優(yōu)軌線(xiàn),7.4.3 連續(xù)系統(tǒng)的動(dòng)態(tài)規(guī)劃,性能指標(biāo),目標(biāo)集,根據(jù)最優(yōu)性原理及,連續(xù)型動(dòng)態(tài)規(guī)劃方程,實(shí)際上它不是一個(gè)偏微分方程，而是一個(gè)函數(shù)方程和偏微分方程的混合方程,邊界條件,動(dòng)態(tài)規(guī)劃 動(dòng)態(tài)規(guī)劃方程是最優(yōu)控制函數(shù)滿(mǎn)足的充分條件；解一個(gè)偏微分方程；可直接得出綜合函數(shù) ；動(dòng)態(tài)規(guī)劃要求 有連續(xù)偏導(dǎo)數(shù) 最大值原理 最大值原理是最優(yōu)控制函數(shù)滿(mǎn)足的必要條件；解一個(gè)常微分方程組；最大值原理則只求得 。,7.4.4 動(dòng)態(tài)規(guī)劃與最大值原理的關(guān)系,變分法、最大值原理和動(dòng)態(tài)規(guī)劃都是研究最優(yōu)

10、控制問(wèn)題的求解方法，很容易想到，若用三者研究同一個(gè)問(wèn)題，應(yīng)該得到相同的結(jié)論。因此三者應(yīng)該存在著內(nèi)在聯(lián)系。變分法和最大值原理之間的關(guān)系前面已說(shuō)明，下面將分析動(dòng)態(tài)規(guī)劃和最大值原理的關(guān)系?？梢宰C明，在一定條件下，從動(dòng)態(tài)規(guī)劃方程能求最大值原理的方程。,7.5 線(xiàn)性二次型性能指標(biāo)的最優(yōu)控制,用最大值原理求最優(yōu)控制，求出的最優(yōu)控制 通常是時(shí)間的函數(shù)，這樣的控制為開(kāi)環(huán)控制 當(dāng)用開(kāi)環(huán)控制時(shí)，在控制過(guò)程中不允許有任何干擾，這樣才能使系統(tǒng)以最優(yōu)狀態(tài)運(yùn)行。 在實(shí)際問(wèn)題中，干擾不可能沒(méi)有，因此工程,上總希望應(yīng)用閉環(huán)控制，即控制函數(shù)表示成時(shí)間和狀態(tài)的函數(shù)。 求解這樣的問(wèn)題一般來(lái)說(shuō)是很困難的。,。,但對(duì)一類(lèi)線(xiàn)性的且指標(biāo)是

11、二次型的動(dòng)態(tài)系統(tǒng)，卻得了完全的解決。不但理論比較完善，數(shù)學(xué)處理簡(jiǎn)單，而且在工際中又容易實(shí)現(xiàn)，因而在工程中有著廣泛的應(yīng)用。,7.5.1 問(wèn)題提法,動(dòng)態(tài)方程,指標(biāo)泛函,使,此問(wèn)題稱(chēng)線(xiàn)性二次型性能指標(biāo)的最優(yōu)控制問(wèn)題,指標(biāo)泛函的物理意義 積分項(xiàng)，被積函數(shù)由兩項(xiàng)組成，都是二次型。 第一項(xiàng)過(guò)程在控制過(guò)程中，實(shí)際上是要求每個(gè)分量越小越好，但每一個(gè)分量不一定同等重要，所以用加權(quán)來(lái)調(diào)整，當(dāng)權(quán)為零時(shí)，對(duì)該項(xiàng)無(wú)要求。 第二項(xiàng)控制能力能量消耗最小。對(duì)每個(gè)分量要求不一樣，因而進(jìn)行加權(quán)。要求正定，一方面對(duì)每個(gè)分量都應(yīng)有要求，否則會(huì)出現(xiàn)很大幅值，在實(shí)際工程中實(shí)現(xiàn)不了；另一方面，在計(jì)算中需要有逆存在。 指標(biāo)中的第一項(xiàng)是對(duì)點(diǎn)狀

12、態(tài)的要求，由于對(duì)每個(gè)分量要求不同，用加權(quán)陣來(lái)調(diào)整。,7.5.2.1 末端自由問(wèn)題,構(gòu)造哈密頓函數(shù),伴隨方程及邊界條件,最優(yōu)控制應(yīng)滿(mǎn)足,7.5.2 狀態(tài)調(diào)節(jié)器,（矩陣?yán)杩ㄌ嵛⒎址匠蹋?邊界條件,令,最優(yōu)控制是狀態(tài)變量的線(xiàn)性函數(shù) 借助狀態(tài)變量的線(xiàn)性反饋可實(shí)現(xiàn)閉環(huán)最優(yōu)控制,對(duì)稱(chēng)半正定陣,例7.5.1,性能指標(biāo)泛函,最優(yōu)控制,最優(yōu)軌線(xiàn),最優(yōu)控制,黎卡提方程的解,隨終點(diǎn)時(shí)間變化的黎卡提方程的解,補(bǔ)償函數(shù),懲罰函數(shù),邊界條件,黎卡提方程,逆黎卡提方程,性能指標(biāo),無(wú)限長(zhǎng)時(shí)間調(diào)節(jié)器問(wèn)題,7.5.2.4 定常系統(tǒng),完全可控,指標(biāo)泛函,矩陣代數(shù)方程,最優(yōu)控制,最優(yōu)指標(biāo),例7.5.2,黎卡提方程,7.5.3 輸出調(diào)

13、節(jié)器,輸出調(diào)節(jié)器問(wèn)題,狀態(tài)調(diào)節(jié)器問(wèn)題,令,7.5.4 跟蹤問(wèn)題,偏差量,指標(biāo)泛函,尋求控制規(guī)律使性能指標(biāo)有極小值。 物理意義 在控制過(guò)程中，使系統(tǒng)輸出盡量趨近理想輸出，同時(shí)也使能量消耗最少。,指標(biāo)泛函,哈密頓函數(shù),例7.5.3,，,性能指標(biāo),，,，,最優(yōu)控制,極限解,閉環(huán)控制系統(tǒng)結(jié)構(gòu),7.6 快速控制系統(tǒng),如，當(dāng)被控對(duì)象受干擾后，偏離了平衡狀態(tài)，,希望施加控制能以最短時(shí)間恢復(fù)到平衡狀態(tài)。,凡是以運(yùn)動(dòng)時(shí)間為性能指標(biāo)的最優(yōu)控制問(wèn)題稱(chēng),為最小時(shí)間控制。,7.6.1 快速控制問(wèn)題,例7.6.1 有一單位質(zhì)點(diǎn)，在 處以初速度2沿直線(xiàn)運(yùn)動(dòng)?，F(xiàn)施加一力 ， ，使質(zhì)點(diǎn)盡快返回原點(diǎn)，并停留在原點(diǎn)上。力 簡(jiǎn)稱(chēng)為控制。若其它阻力不計(jì)，試求此控制力。,質(zhì)點(diǎn)運(yùn)動(dòng)方程,狀態(tài)方程,哈密頓函數(shù),伴隨方程,最優(yōu)控制,協(xié)態(tài)變量與控制函數(shù)4種情況示意圖,相軌線(xiàn)族示意圖,開(kāi)關(guān)曲線(xiàn),開(kāi)關(guān)曲線(xiàn),總時(shí)間,7.6.2 綜合問(wèn)題,上例之最優(yōu)綜合控制函數(shù),例7.6.2,求快速返回原點(diǎn)的開(kāi)關(guān)曲線(xiàn)和最優(yōu)綜合控制函數(shù),構(gòu)造哈密頓函數(shù),最優(yōu)控制與協(xié)態(tài)變量的變化情