最優(yōu)控制漢密爾頓函數(shù)第1頁，共57頁，2023年，2月20日，星期五

上節(jié)討論沒有約束條件的泛函極值問題。但在最優(yōu)控制問題中，泛函J所依賴的函數(shù)總要受到受控系統(tǒng)狀態(tài)方程的約束。解決這類問題的思路是應(yīng)用拉格朗日乘子法，將這種有約束條件的泛函極值問題轉(zhuǎn)化為無約束條件的泛函極值問題。第2頁，共57頁，2023年，2月20日，星期五一、拉格朗日問題考慮系統(tǒng)——n維連續(xù)可微的矢量函數(shù)。(5-1)式中；；第3頁，共57頁，2023年，2月20日，星期五設(shè)給定，初始狀態(tài)為x(t0)=x0，終端狀態(tài)x(tf)自由。性能泛函為

尋求最優(yōu)控制u(t)，將系統(tǒng)從初始狀態(tài)x(t0)=x0轉(zhuǎn)移到終端狀態(tài)x(tf)，并使性能泛函J取極值。(5-2)第4頁，共57頁，2023年，2月20日，星期五

將狀態(tài)方程式(5-1)寫成約束方程形式應(yīng)用拉格朗日乘子法，構(gòu)造增廣泛函式中λ(t)——待定的n維拉格朗日乘子矢量。(5-3)第5頁，共57頁，2023年，2月20日，星期五

定義純量函數(shù)稱H[x,u,λ,t]為哈密爾頓函數(shù)。則或(5-4)(5-5)(5-6)式中(5-7)第6頁，共57頁，2023年，2月20日，星期五對式(5-5)右邊第二項作分部積分，得將上式代入式(5-5)，得(5-8)第7頁，共57頁，2023年，2月20日，星期五

使J′取極小的必要條件是，對任意的δu和δx，都有δJ′=0成立。

設(shè)u(t)和x(t)相對于最優(yōu)控制u*(t)及最優(yōu)軌線u*(t)的變分為δu和δx，計算由δu和δx引起的J′的變分為：第8頁，共57頁，2023年，2月20日，星期五因此得(5-9)(5-10)(5-11)(5-12)第9頁，共57頁，2023年，2月20日，星期五式(5-9)稱為動態(tài)系統(tǒng)的伴隨方程或協(xié)態(tài)方程，λ又稱為伴隨矢量或協(xié)態(tài)矢量。式(5-10)即系統(tǒng)的狀態(tài)方程。式(5-9)與式(5-10)聯(lián)立稱為哈密爾頓正則方程。式(5-11)稱為控制方程，第10頁，共57頁，2023年，2月20日，星期五

這個方程是在假設(shè)δu為任意，控制u(t)取值不受約束條件下得到的。如果u(t)為容許控制，受到的約束，δu變分不能任意取值，那么，關(guān)系式不成立，這種情況留待極小值原理中討論。

第11頁，共57頁，2023年，2月20日，星期五(5-13)(5-14)

式(5-12)稱為橫截條件。常用于補充邊界條件。例如，若始端固定，終態(tài)自由時，由于δx(t0)=0，δx(tf)任意，則有第12頁，共57頁，2023年，2月20日，星期五若始端和終端都固定時，δx(t0)=0，δx(tf)=0則以作為兩個邊界條件。(5-16)(5-15)第13頁，共57頁，2023年，2月20日，星期五

實際上，上述泛函極值的必要條件，亦可由式(5-6)寫出歐拉方程直接導(dǎo)出。即(5-17)第14頁，共57頁，2023年，2月20日，星期五

應(yīng)用上述條件求解最優(yōu)控制的步驟如下：1)由控制方程解出2)將u*代入正則方程解兩邊邊值問題，求x*、λ*。3)再將x*、λ*代入得為所求。第15頁，共57頁，2023年，2月20日，星期五例1：有系統(tǒng)如圖1所示。欲使系統(tǒng)在2s內(nèi)從狀態(tài)轉(zhuǎn)移到，使性能泛函，試求u(t)。第16頁，共57頁，2023年，2月20日，星期五解：系統(tǒng)狀態(tài)方程及邊界條件為第17頁，共57頁，2023年，2月20日，星期五由式(5-7)，得第18頁，共57頁，2023年，2月20日，星期五由歐拉方程，得第19頁，共57頁，2023年，2月20日，星期五第20頁，共57頁，2023年，2月20日，星期五5個未知數(shù)x1,x2,λ1,λ2,u，由5個方程聯(lián)立求得通解第21頁，共57頁，2023年，2月20日，星期五4個積分常數(shù)C1,C2,C3,C4由4個邊界條件解得第22頁，共57頁，2023年，2月20日，星期五因此，最優(yōu)解為第23頁，共57頁，2023年，2月20日，星期五最優(yōu)控制u*(t)及最優(yōu)軌線x*(t)如圖2所示。第24頁，共57頁，2023年，2月20日，星期五例2：設(shè)問題同例1。但將終端狀態(tài)改為θ(2)=0，ω(2)自由，即終端條件改成部分約束、部分自由。重求u*(t)、x*(t)。第25頁，共57頁，2023年，2月20日，星期五解正則方程及控制方程與例1完全相同，只是邊界條件改成時，時，代入例1的通解中可確定積分常數(shù)：第26頁，共57頁，2023年，2月20日，星期五于是得第27頁，共57頁，2023年，2月20日，星期五u*(t)和x*(t)的圖像見圖3。第28頁，共57頁，2023年，2月20日，星期五

比較上述結(jié)果可見，即使是同一個問題，如果終端條件不同，其最優(yōu)解也不同。第29頁，共57頁，2023年，2月20日，星期五二、波爾札問題設(shè)系統(tǒng)狀態(tài)方程初始狀態(tài)x(t0)=x0，終始狀態(tài)x(tf)滿足式中N——q維向量函數(shù)，n≥q。(5-18)(5-19)第30頁，共57頁，2023年，2月20日，星期五性能泛函

其中Φ、L都是連續(xù)可微的數(shù)量函數(shù)，tf是待求的終端時間。最優(yōu)控制問題是尋求控制矢量u*(t)，將系統(tǒng)從初態(tài)x(t0)轉(zhuǎn)移到目標(biāo)集N[x(tf),tf]=0上，并使J取極小。(5-20)第31頁，共57頁，2023年，2月20日，星期五

在這類極值問題中，要處理兩種類型的等式約束。一是微分方程約束，一是終端邊界約束。根據(jù)拉格朗日乘子法，要引入兩面兩個乘子矢量，一個是n維λ(t)，另一個是q維μ，將等式約束條件泛函極值化成無約束條件泛函極值問題來求解。第32頁，共57頁，2023年，2月20日，星期五為此，構(gòu)造增廣泛函寫出哈密頓函數(shù)(5-22)(5-21)第33頁，共57頁，2023年，2月20日，星期五于是(5-23)第34頁，共57頁，2023年，2月20日，星期五對上式中最后一次作分部積分，得(5-24)第35頁，共57頁，2023年，2月20日，星期五(5-25)(5-26)(5-27)

這是一個可變端點變分問題?？紤]x(t)，u(t)，tf相對于它們最優(yōu)值x*(t)，u*(t)，t*f的變分，并計算由此引起J′的一次變分δJ′。設(shè)第36頁，共57頁，2023年，2月20日，星期五圖4可變終端各變分間的關(guān)系第37頁，共57頁，2023年，2月20日，星期五

從圖4可知在端點處變分之間存在下列近似關(guān)系式中δx(t*f)——x在t*f時的一次變分；

δx(t*f+δtf)——x在tf=t*f+δtf時的一次變分。式(5-28)描述了在可變終端情況下，x在這兩個時刻上變分的近似關(guān)系，近似式中忽略了高階無窮小量。(5-28)第38頁，共57頁，2023年，2月20日，星期五

考慮到式(5-24)右邊第一項和第二項的一次變分各有兩項：第39頁，共57頁，2023年，2月20日，星期五因此，有(5-29)第40頁，共57頁，2023年，2月20日，星期五

注意到δtf、δx、δu任意性，及泛函極值存在的必要條件δJ′=0式(5-29)可得極值必要條件如下：(5-30)第41頁，共57頁，2023年，2月20日，星期五式中H[x(tf),u(tf),λ(tf),tf]函數(shù)H最優(yōu)軌線終端處的值。邊界條件x(t0)=x0(5-32)終端時刻由下式計算(5-31)第42頁，共57頁，2023年，2月20日，星期五終端時刻由下式計算式中H[x(tf),u(tf),λ(tf),tf]函數(shù)H最優(yōu)軌線終端處的值。上述總共個2n+r+q+1方程，可聯(lián)解出2n+r+q+1個變量。(5-32)第43頁，共57頁，2023年，2月20日，星期五

最后，分析哈密爾頓函數(shù)沿最優(yōu)軌線隨時間的變化規(guī)律。哈密頓函數(shù)H對時間的全導(dǎo)數(shù)為(5-33)第44頁，共57頁，2023年，2月20日，星期五如果u為最優(yōu)控制，必滿足及(5-34)因此，有上式表明，哈密頓函數(shù)H沿最優(yōu)軌線對時間的全導(dǎo)數(shù)等于它對時間的偏導(dǎo)數(shù)。第45頁，共57頁，2023年，2月20日，星期五當(dāng)H不顯含t時，恒有即常數(shù)(5-35)這就是說，對定常系統(tǒng)，沿最優(yōu)軌線H恒為常值。第46頁，共57頁，2023年，2月20日，星期五例4：給定系統(tǒng)狀態(tài)方程為設(shè)初始狀態(tài)x(0)=

0，終端狀態(tài)約束曲線x1(1)+x2(1)-1=0求使性能泛函取極小時的最優(yōu)控制u*(t)及最優(yōu)軌線x*(t)。第47頁，共57頁，2023年，2月20日，星期五解這是個終端時間tf給定，但終端狀態(tài)受約束的拉格朗日問題。哈密頓函數(shù)

第48頁，共57頁，2023年，2月20日，星期五由性能泛函取極值的必要條件，得第49頁，共57頁，2023年，2月20日，星期五它們的通解為第50頁，共57頁，2023年，2月20日，星期五由邊界條件確定積分常數(shù)第51頁，共57頁，2023年，2月20日，星期五代入解得由終端約束方程x1(1)+x2(1)=1可解出μ=-3/7。第52頁，共57頁，2023年，2月20日，星期五最優(yōu)解第53頁，共57頁，2023年，2月20日，星期五結(jié)果如圖5所示第54頁，共57頁，2023年，2