1、第6章 最優(yōu)控制,最優(yōu)控制是控制系統(tǒng)設(shè)計(jì)的一種方法。它所研究的中心問題是如何選擇控制信號(hào)，才能保證控制系統(tǒng)的性能在某種意義下最優(yōu)。本章內(nèi)容為：,1. 引言,2. 用變分法求解最優(yōu)控制問題,3. 極小值原理及其在快速控制中的應(yīng)用,4. 用動(dòng)態(tài)規(guī)劃法求解最優(yōu)控制問題,5. 線性狀態(tài)調(diào)節(jié)器,6. 線性伺服機(jī)問題,6.1 引言,一、什么是最優(yōu)控制,問題6-1,電動(dòng)機(jī)的運(yùn)動(dòng)方程為,在時(shí)間區(qū)間0，tf內(nèi)，電動(dòng)機(jī)從靜止起動(dòng)，轉(zhuǎn)過一定角度 后停止，使電樞電阻 上的損耗 最小，求,Km為轉(zhuǎn)矩系數(shù)；JD為轉(zhuǎn)動(dòng)慣量；TF 為恒定的負(fù)載轉(zhuǎn)矩；,令：,有,初始狀態(tài),末值狀態(tài),控制 不受限制,性能指標(biāo),最優(yōu)控制問題是：在

2、數(shù)學(xué)模型的約束下，尋求一個(gè)控制 ID(t)，使電動(dòng)機(jī)從初始狀態(tài)轉(zhuǎn)移到末值狀態(tài)，性能指標(biāo)E 為最小。,初始狀態(tài),末值狀態(tài),二、最優(yōu)控制問題的一般性提法為,系統(tǒng)狀態(tài)方程為,初始狀態(tài)為,其中，x 為n 維狀態(tài)向量； u 為r 維控制向量； f 為n 維向量函數(shù)，它是 x 、u 和t 的連續(xù)函數(shù)，并且對(duì)x 、t 連續(xù)可微。,最優(yōu)控制問題就是求解一類帶有約束條件的條件泛函極值問題。,三、泛函與變分法,（一）泛函與變分,1、泛函的基本定義：,如果對(duì)于某個(gè)函數(shù)集合 中的每一個(gè)函數(shù) ，變量J 都有一個(gè)值與之對(duì)應(yīng)，則稱變量J 為依賴于函數(shù) 的泛函，記作,可見，泛函為標(biāo)量，可以理解為“函數(shù)的函數(shù)”,例如：,泛函

3、如果滿足以下條件時(shí)，稱為線性泛函：,1） ，其中c 為任意常數(shù)； 2）,對(duì)于一個(gè)任意小正數(shù) ，總是可以找到 ，當(dāng) 時(shí)， 就稱泛函 在 處是連續(xù)的。,3、泛函變分的規(guī)則,1）,2）,3）,4）,泛函的變分公式,定理：設(shè) 是在線性賦泛空間 上某個(gè)開子集D 中定義的可微泛函，且在 處達(dá)到極值，則泛函 在 處必有,4、泛函的極值,設(shè) 是在線性賦泛空間 上某個(gè)子集D 中的線性連續(xù)泛函， ，若在 的某領(lǐng)域內(nèi),（二）歐拉方程：,定理：設(shè)有如下泛函極值問題： 其中， 及 在 上連續(xù)可微， 和 給定， 已知 ， ， ，則極值軌線 滿足如下歐拉方程,及橫截條件,注意：滿足歐拉方程是必要條件，不是充分條件。,歐拉方

4、程簡(jiǎn)證：,條件極值的歐拉方程：,設(shè)有如下泛函極值問題： 其中， 及 在 上連續(xù)可微， 和 給定， 已知 ， ， ，,及橫截條件,6.2 用變分法求解最優(yōu)控制問題,6.2.1 末值時(shí)刻固定、末值狀態(tài)自由情況下的最優(yōu)控制,非線性時(shí)變系統(tǒng)狀態(tài)方程為,初始狀態(tài),其中，x 為n 維狀態(tài)向量； u 為r 維控制向量； f 為n 維向量函數(shù)。,要求在控制空間中尋求一個(gè)最優(yōu)控制向量 ，使以下性能指標(biāo),沿最優(yōu)軌線 取極小值（帶末值狀態(tài)的性能指標(biāo)，因其自由）。,引入拉格朗日乘子,將性能指標(biāo)改寫為其等價(jià)形式（類似于求極值的拉格朗日方法，同時(shí)把狀態(tài)方程看成極值滿足的約束條件）,定義哈密頓函數(shù),對(duì)（11）式中的第三項(xiàng)進(jìn)

5、行分部積分，得,當(dāng)泛函J 取極值時(shí)，其一次變分等于零。 即,可以變分的量：,不可以變分的量 （實(shí)際上（t）也可以變分，但結(jié)果一樣）：,求出J 的一次變分并令其為零,將上式改寫成,由于 未加限制，可以選擇 使上式中 和 的系數(shù)等于零。于是有,稱為伴隨方程,稱為橫截條件,稱為最優(yōu)控制,幾點(diǎn)說明：,1）實(shí)際上上述過程可由歐拉方程得到。,2） 是泛函取極值的必要條件是否為極小值還需要二次變分 來判斷， 則泛函J 取極小值。但實(shí)際上不易判斷 ，考慮到實(shí)際問題的極值是存在的，大多數(shù)不判斷。,因?yàn)?稱為橫截條件,將 代入狀態(tài)方程,解為,當(dāng) 時(shí)，代入上式，求得 ，所以,當(dāng) 時(shí)，,最優(yōu)性能指標(biāo)為,6.2.2 末

6、值時(shí)刻固定，末端狀態(tài)固定情況下的最優(yōu)控制,非線性時(shí)變系統(tǒng)狀態(tài)方程為,尋求最優(yōu)控制 ，在 內(nèi)，將系統(tǒng)從 轉(zhuǎn)移到 ，同時(shí)使性能指標(biāo)J 取極小值。由于末端狀態(tài)固定，J僅有積分項(xiàng),引入哈密頓函數(shù),其中,于是,因?yàn)?對(duì)上式右邊第2項(xiàng)進(jìn)行分部積分，可以得到,上式中可以變分的量：,不可以變分的量：,令性能指標(biāo)J 的一次變分等于零，得,在末端狀態(tài)固定情況下， 不是任意的。只有在系統(tǒng)能控的情況下，才有控制方程,矩陣和向量的微分規(guī)則：,例6-2,設(shè)系統(tǒng)狀態(tài)方程及邊界條件為,性能泛函,試求使J最小的u(t)。,6.2.3 末值時(shí)刻、狀態(tài)自由情況下的最優(yōu)控制,非線性時(shí)變系統(tǒng)狀態(tài)方程為,初始狀態(tài),初始時(shí)刻 固定，末值時(shí)

7、刻 是自由的。 自由，性能指標(biāo),于是,可以變分的量,不能變分的量,對(duì)上式中 進(jìn)行分部積分， 成為,注意此兩處是tf時(shí)刻的值,應(yīng)當(dāng)注意，末值時(shí)刻 自由時(shí)， 不等于,或,上式代入式,性能指標(biāo)取極值時(shí)，必有,稱為橫截條件1,而,稱為橫截條件2,2）由控制方程 ，得,或,3）由伴隨方程,5）由于 自由， ，得到,或,6.3 極小值原理,6.3.1 問題的提出,用變分法求解最優(yōu)控制時(shí)，認(rèn) 為控制向量 不受限制。但是 實(shí)際的系統(tǒng)，控制信號(hào)都是受到 某種限制的。,因此，應(yīng)用控制方程 來確定最優(yōu)控制，可能出錯(cuò)。,a)圖中所示，H 最小值出現(xiàn)在左側(cè)，不滿足控制方程。 b)圖中不存在,6.3.2 極小（大）值原理

8、,對(duì)于系統(tǒng)的狀態(tài)方程：,初始時(shí)刻 ，初始狀態(tài),性能指標(biāo),要求在狀態(tài)方程約束下，尋求最優(yōu)控制 及 使系統(tǒng)從 轉(zhuǎn)移到 ，并使J 取極小值。,（已知，固定）,極小值原理 1）哈密爾頓函數(shù)：,2）系統(tǒng)狀態(tài)方程：,3）系統(tǒng)伴隨方程：,4）最優(yōu)控制：,極小值原理 5）初始條件和橫截條件,橫截條件,橫截條件可能還有 更負(fù)雜的見參考書,6.3.3 二次積分模型的快速控制,狀態(tài)方程,1,系統(tǒng)的初始狀態(tài)為,要求在狀態(tài)方程約束下，尋求滿足式的最優(yōu)控制 ，使系統(tǒng)從 轉(zhuǎn)移到 ，同時(shí)使J 取極小值。,因?yàn)樵谶@個(gè)最優(yōu)控制問題中，控制信號(hào) 受限制，因此用極小值原理來求解。系統(tǒng)是能控的，其解存在且唯一。,1）哈密頓函數(shù)為,3）

9、伴隨方程為,如果 的初始值為 ， ，則,在0， 內(nèi)最多變號(hào)一次，最優(yōu)控制函數(shù)有以下可能的4種情況,4）由狀態(tài)方程可知，當(dāng) 時(shí)，求得,消去t 得,或?qū)懗?為了形象地表示系統(tǒng)的運(yùn)動(dòng)形態(tài)，引用相平面方法，畫出相軌跡如下圖所示。相軌跡為兩族拋物線。實(shí)線為u=1，虛線為u=-1，箭頭表達(dá)相應(yīng)于時(shí)間的變化方向。,從 到達(dá) 的相軌跡只有兩條 、 。,0,0,將 和 合起來，,曲線r 將相平面分成兩個(gè)區(qū)域 和,當(dāng)初始狀態(tài) 位于 ： 為 （+1，1）,最優(yōu)軌線：當(dāng)初始狀態(tài) 位于 ： 為 （1，+1）,最優(yōu)控制系統(tǒng)的結(jié)構(gòu)圖，如下圖所示,注意此變化方向?yàn)榭赡苓_(dá)到原點(diǎn)唯一途徑,6.4 用動(dòng)態(tài)規(guī)劃法求解最優(yōu)控制問題,右

10、圖為某小城鎮(zhèn)交通路線圖。起點(diǎn)站為S，終點(diǎn)站為F，,站與站之間的里程標(biāo)在圖上，要求選擇一條路線走法，使里程最短。這是一個(gè)最優(yōu)控制問題。,一種辦法是將從S 到F 所有可能走法都列出來，并且把每種走法的里程標(biāo)在各條路線上，找出最短的。,6.4.1 動(dòng)態(tài)規(guī)劃法的基本思想,第二個(gè)辦法：從最后一段開始，向前倒推。 X1(3) ,X2(3)到F分別僅有一條路徑，無法比較保留。 X1(2) 到F分別有兩條路徑，里程都為4，保留下部路徑。 X2(2) 到F分別有兩條路徑，里程為6和5，保留里程為5路徑。 X1(1) 到F分別有兩條路徑，里程為10和11， ，保留里程為10路徑. X2(1) 到F分別有兩條路徑，

11、里程為8和12，保留里程為8路徑。 S 到F分別有兩條路徑，里程為13和14，保留里程為13路徑。最后留下的路徑即為最佳路徑。,從該例看出，這種解法有兩個(gè)特點(diǎn): 第一，它把一個(gè)復(fù)雜的問題（即：決定一條路線的選擇問題）變成許多個(gè)簡(jiǎn)單的問題（即：每次只決定向上走（p）還是向下走（q）的問題），因此問題的求解變得簡(jiǎn)單容易了。,不變嵌入原理的含義是：為了解決一個(gè)特定的最優(yōu)控制問題，而把原問題嵌入到一系列相似的但易于求解的問題中去。對(duì)于一個(gè)多級(jí)最優(yōu)控制過程來說，就是把原來的多級(jí)最優(yōu)控制問題代換成一系列單級(jí)最優(yōu)控制問題。,6.4.2 最優(yōu)性原理,最優(yōu)性原理在一個(gè)多級(jí)決策問題中的最優(yōu)決策具有這樣的性質(zhì)，不管

12、初始級(jí) 、初始狀態(tài)和初始決策是什么，當(dāng)把其中任何一級(jí)和這一級(jí)的狀態(tài)再作為初始級(jí)和初始狀態(tài)時(shí)，余下的決策對(duì)此必定構(gòu)成一個(gè)最優(yōu)決策。,要求確定 ，使性能指標(biāo)最優(yōu)，即 即J最小,一般認(rèn)為，第k 級(jí)決策 與第k 級(jí)以及k 以前各級(jí)狀態(tài) 和決策 有關(guān) 與以后的決策無關(guān)（因果關(guān)系）,對(duì)于任意級(jí)k ， 有,應(yīng)該指出，最優(yōu)性原理所肯定的是余下的決策為最優(yōu)決策。對(duì)以前的決策沒有明確的要求。,6.4.3 用動(dòng)態(tài)規(guī)劃法求解離散系統(tǒng)最優(yōu)控制問題,系統(tǒng)狀態(tài)方程為,要求在狀態(tài)方程約束下，尋求 使,可以受限制，也可以不受限制。,例6-4 線性定常離散系統(tǒng)的狀態(tài)方程為,初始狀態(tài)為 ，性能指標(biāo)為,尋求最優(yōu)控制序列 ，使 （為了

13、簡(jiǎn)單起見，設(shè) ）,解 運(yùn)用動(dòng)態(tài)規(guī)劃法來求解,1） 從最后一級(jí)開始，即,這里不需要決策,2） 向前倒推一級(jí)，即,因?yàn)?不受限制，故 可以通過下式求得,3） 再向前倒推一級(jí)，即,注意：1、對(duì)一個(gè)多級(jí)決策過程來說，最優(yōu)性原理保證了全過程性能指標(biāo)最小，并不保證每一級(jí)性能指標(biāo)最小。但是在每考慮一級(jí)時(shí)，都不是孤立地只把這一級(jí)的性能指標(biāo)最小的決策作為最優(yōu)決策，而總是把這一級(jí)放到全過程中間去考慮，取全過程的性能指標(biāo)最優(yōu)的決策作為最優(yōu)決策。 2、動(dòng)態(tài)規(guī)劃法給出的是最優(yōu)控制的充分條件，不是必要條件。這和極小值原理是不同的。,6.5 線性狀態(tài)調(diào)節(jié)器,6.5.1 引言,線性系統(tǒng)以二次型為性能指標(biāo)的最優(yōu)控制問題，已經(jīng)在

14、國(guó)內(nèi)、外的工程實(shí)踐中得到應(yīng)用。原因如下：,1）被控對(duì)象是線性的，最優(yōu)控制問題容易求得解析解。,2）線性系統(tǒng)最優(yōu)控制的結(jié)果，可以在小信號(hào)條件下，應(yīng)用于非線性系統(tǒng)。,3）最優(yōu)控制器是線性的，易于實(shí)現(xiàn)。,4）線性、二次型性能指標(biāo)的最優(yōu)控制問題除了得到最優(yōu)解外，還可以導(dǎo)出經(jīng)典控制理論的一些特性。,6.5.2 有限時(shí)間狀態(tài)調(diào)節(jié)器,線性時(shí)變系統(tǒng)的狀態(tài)方程為,尋找一個(gè)最優(yōu)控制 ，使,為極小。,其中，x 為n 維狀態(tài)向量；u 為r 維控制向量，且u 不受限制。,其中，F(xiàn)為 對(duì)稱半正定常數(shù)陣； 為 對(duì)稱半正定時(shí)變陣。 為 對(duì)稱正定時(shí)變陣。tf固定,求解這個(gè)最優(yōu)控制問題，可以用極小值原理，也可以用動(dòng)態(tài)規(guī)劃法。這里

15、用極小值原理來求解。,1）哈密頓函數(shù)為,2）伴隨方程為,3）控制方程為,橫截條件,故J 取極小值,4）將 代入狀態(tài)方程得,初始狀態(tài)為,其中， 為待定的 時(shí)變陣,式對(duì)t 求導(dǎo)，并且將狀態(tài)方程和最優(yōu)控制 代入,比較兩個(gè)伴隨向量微分方程可以得到,狀態(tài)反饋的閉環(huán)方程為,其中,2）最優(yōu)性能指標(biāo)為,例6-6 系統(tǒng)狀態(tài)方程為,求最優(yōu)控制 ，使性能指標(biāo),取極小值。,解 矩陣的黎卡提方程為,求解上面的微分方程，有,其中,即,最優(yōu)控制為,由,最優(yōu)軌線為,6.5.3 無限時(shí)間狀態(tài)調(diào)節(jié)器,線性定常系統(tǒng),最優(yōu)控制為,常數(shù)陣 滿足如下黎卡提矩陣代數(shù)方程,最優(yōu)性能指標(biāo),當(dāng)這個(gè)無限時(shí)間狀態(tài)調(diào)節(jié)器滿足以下條件時(shí)，狀態(tài)反饋增益矩陣才為常數(shù)矩陣：,1）系統(tǒng)為線性定常系統(tǒng)；,2）系統(tǒng)為能控；,3）末值時(shí)刻 ；,4） Q ，R 為正定陣。,例 6-7 線性定常系統(tǒng)的狀態(tài)方程為,0,求最優(yōu)控制 ，使 J 取極小值。,解 檢驗(yàn)系統(tǒng)能控性 能控。,最優(yōu)控制為,當(dāng) 時(shí)， ；當(dāng) 時(shí)， 。,6.6 線性伺服機(jī)問題,要求系統(tǒng)輸出跟蹤某個(gè)指定的輸入函數(shù)問題，稱為伺服機(jī)問題。,6.6.1 有限時(shí)間伺服機(jī)問題,線性時(shí)變系統(tǒng)方程,要求系統(tǒng)的輸出跟蹤指定的輸入函數(shù) 。 與輸出向量y 有相同