最優(yōu)控制最大值原理2023/4/101第1頁，共98頁，2023年，2月20日，星期五主要內(nèi)容§2.1最大值原理的提出§2.2最大值原理的證明§2.3一般型最優(yōu)控制問題終端時刻tf可變的情況課外習(xí)題返回目錄2023/4/102第2頁，共98頁，2023年，2月20日，星期五一、古典變分法存在的問題

(1)在一般情況下，可以將控制函數(shù)U(t)所受到的約束條件利用如下形式的不等式來表示.即當(dāng)控制函數(shù)U(t)受到上述不等式約束,并且最優(yōu)控制取決于閉集性約束的邊界時，古典變分法便不再適用了。

(2)在應(yīng)用古典變分法來求解最優(yōu)控制問題時，要求函數(shù)[X(tf),tf],L[X(t),U(t),t],f[X(t),U(t),t]對它們的自變量具有“充分”的可微性，特別要求H/U(t)有定義，于是，類似

這樣的性能泛函數(shù)就被排除在外了。但是在燃料最優(yōu)控制問題中，這類性能泛函卻是無法避免的。

2023/4/103第3頁，共98頁，2023年，2月20日，星期五二.最大值原理和動態(tài)規(guī)劃

為了解決古典變分法在求解最優(yōu)控制問題中所暴露出來的上述問題，許多學(xué)者進(jìn)行了各種探索。其中以蘇聯(lián)學(xué)者龐特里雅金（Л.C.ПoHTpЯГИH）的最大值原理（或最小值原理）與美國學(xué)者貝爾曼（R.E.Bellman）的動態(tài)規(guī)劃較為成功，應(yīng)用也較廣泛，現(xiàn)已成為求解最優(yōu)控制問題的強有力的工具。

在這一章里，首先通過積分型最優(yōu)控制問題提出最大值原理，然后再推廣到復(fù)合型最優(yōu)控制問題中，然后利用增量法對最大值原理進(jìn)行證明。2023/4/104第4頁，共98頁，2023年，2月20日，星期五§2.1最大值原理的提出

2.1.1積分型最優(yōu)控制問題

問題2.1.1(積分型最優(yōu)控制問題)給定系統(tǒng)的狀態(tài)方程：

(2.1.1)

其中，f是n維連續(xù)可微的向量函數(shù)；X(t)是n維狀態(tài)變量，其初態(tài)X(t0)=X0，而終態(tài)應(yīng)滿足的條件是：終端時刻tf固定，終端狀態(tài)X(tf)自由，U(t)是m維控制變量，其所受約束條件是(2.1.2)其中，是以U(t)為元素的m維實函數(shù)空間中的一個閉子集。式(2.1.2)表明，控制變量是這個閉子集中的元素。滿足式(2.1.2)約束條件的控制變量稱為容許控制變量，簡稱容許控制。要求在滿足式(2.1.2)的容許控制中，確定一控制變量U(t)，使系統(tǒng)（2.1.1）從給定的初態(tài)X(t0)轉(zhuǎn)移到某個終態(tài)

2023/4/105第5頁，共98頁，2023年，2月20日，星期五X(tf)的過程中，性能泛函

達(dá)到極小值。其中L是連續(xù)可微的標(biāo)量函數(shù)。這個積分型最優(yōu)控制問題所確定的控制U(t)稱為最優(yōu)控制，記為U*(t)。如果不考慮式（2.1.2）的約束條件，那么該最優(yōu)控制問題的解的必要條件可由第一章的定理1.6.1給出，現(xiàn)引述如下：

定理1.6.1設(shè)系統(tǒng)的狀態(tài)方程為

則為將系統(tǒng)從給定的初態(tài)X(t0)=X0轉(zhuǎn)移到終端時刻tf固定，終端狀態(tài)X(tf)自由的某個終態(tài)，并使性能泛函(2.1.3)2023/4/106第6頁，共98頁，2023年，2月20日，星期五

達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是(1)設(shè)U*(t)是最優(yōu)控制，X*(t)是對應(yīng)與U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對應(yīng)的n維協(xié)態(tài)變量(t)，使得X(t)與(t)滿足規(guī)范方程

（2.1.4）（2.1.5）其中，（2.1.6）2023/4/107第7頁，共98頁，2023年，2月20日，星期五

(2)邊界條件為(3)哈密頓函數(shù)H對控制變量U(t)(t0ttf)取極小值，即定理1.6.1是在控制變量u(t)不受約束的情況下，求最優(yōu)控制函數(shù)U*(t)，使哈密頓函數(shù)（2.1.6）達(dá)到極小值。這也是在控制函數(shù)U(t)不受約束或只受開集性的約束的情況下的最小值原理。顯然，控制方程（2.1.9）也可以寫成如下形式（2.1.7）（2.1.8）（2.1.9）（2.1.10）2023/4/108第8頁，共98頁，2023年，2月20日，星期五說明：(1)當(dāng)控制函數(shù)U(t)不受約束或只受開集性約束條件下，控制方程（2.1.9）和（2.1.10）是等價的。(2)在控制函數(shù)U(t)受到式（2.1.2）所表示的閉集性約束的條件下，控制方程（2.1.9）未必是最優(yōu)控制問題的解的必要條件之一。

a.因為

b.作為控制變量U(t)的函數(shù)的Hamilton函數(shù)H[X(t)，(t)，U(t)，t]在閉子集內(nèi)可能不存在極值點，而企圖以H/U來求極小值點也是難以奏效的。因此，在控制函數(shù)U(t)受到式（2.1.2）那樣閉集性約束的條件下，控制方程（2.1.9）不再是由式（2.1.1）～式（2.1.3）所給定的最優(yōu)控制問題解的必要條件了。2023/4/109第9頁，共98頁，2023年，2月20日，星期五但是，控制方程（2.1.10）總是成立的，它仍然是由式（2.1.1）～式（2.1.3）所給定的最優(yōu)控制問題解的必要條件。定理2.1.1（積分型最優(yōu)控制問題的最小值原理）給定系統(tǒng)的狀態(tài)方程

和初態(tài)X(t0)=X0，而終端時刻tf固定，終端狀態(tài)X(tf)自由以及控制變量U(t)所受約束條件是則為將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到某個終態(tài)X(tf)，并使性能泛函達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：2023/4/1010第10頁，共98頁，2023年，2月20日，星期五(1)設(shè)U*(t)是最優(yōu)控制,X*(t)是對應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對應(yīng)的n維協(xié)態(tài)變量(t)，使得X*(t)和(t)滿足規(guī)范方程式中H是哈密頓函數(shù)，且為(2)邊界條件為2023/4/1011第11頁，共98頁，2023年，2月20日，星期五(3)哈密頓函數(shù)在最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)上達(dá)到最小值,即

說明:(1)由于定理2.1.1的中心內(nèi)容是,使性能泛函(2.1.3)達(dá)到最小值的最優(yōu)控制的必要條件是哈密頓函數(shù)H達(dá)到最小值，所以，該定理稱為最小值原理。(2)一個函數(shù)的最小值點與該函數(shù)反號后的最大值是一致的。所以，若令哈密頓函數(shù)為則下列二式2023/4/1012第12頁，共98頁，2023年，2月20日，星期五和的結(jié)果是一致的，只是二式中的協(xié)態(tài)變量(t)是互為反號的。定理2.1.2（積分型最優(yōu)控制問題的最大值原理）

給定系統(tǒng)的狀態(tài)方程和初態(tài)X(t0)=X0，而終端時刻tf固定，終端狀態(tài)X(tf)自由以及控制變量U(t)所受約束條件是則為將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到某個終態(tài)X(tf)，并使性能泛函2023/4/1013第13頁，共98頁，2023年，2月20日，星期五達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：(1)設(shè)U*(t)是最優(yōu)控制,X*(t)是對應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對應(yīng)的n維協(xié)態(tài)變量(t)，使得X*(t)和(t)滿足規(guī)范方程其中，2023/4/1014第14頁，共98頁，2023年，2月20日，星期五(2)邊界條件為(3)在最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)上哈密頓函數(shù)達(dá)到最大值,即說明：由于定理2.1.2的中心內(nèi)容是，使性能泛函達(dá)到極小值的最優(yōu)控制的必要條件是哈密頓函數(shù)H達(dá)到最大值，所以，該定理稱為最大值原理。

2023/4/1015第15頁，共98頁，2023年，2月20日，星期五例

2.1.1

給定一階線性系統(tǒng)和初始條件

（2.1.11）其中控制作用u(t)的約束條件為

（2.1.12）要求確定控制函數(shù)u(t)，使性能泛函（2.1.13）達(dá)到極小值。

解：這是一個積分型最優(yōu)控制問題，其終端時刻tf=1固定，終端狀態(tài)X(tf)是自由的?？刂坪瘮?shù)受到閉集性的約束條件。可以利用上面介紹過的最大值原理（定理2.1.2）或最小值原理（定理2.1.1）來求解。在這里，為了進(jìn)行比較，將分別利用這兩個定理來求解。(1)應(yīng)用最大值原理求解，為此構(gòu)造哈密頓函數(shù)

（2.1.14）2023/4/1016第16頁，共98頁，2023年，2月20日，星期五

按照最大值原理，為使泛函（2.1.13）達(dá)到極小值必須選擇控制函數(shù)u(t)，使哈密頓函數(shù)（2.1.14）達(dá)到最大值。由式(2.1.14)可見，當(dāng)u(t)與((t)+1/2)同號，且取其約束條件的邊界值，即|u(t)|=1時，使哈密頓函數(shù)H達(dá)到最大值。所以，控制函數(shù)應(yīng)選擇為

（2.1.15）或（2.1.16）2023/4/1017第17頁，共98頁，2023年，2月20日，星期五

由上式可見，若要確定u(t)

，必須通過協(xié)態(tài)方程解出(t)。根據(jù)哈密頓函數(shù)（2.1.14）可以寫出協(xié)態(tài)方程

因為tf=1固定，x(1)自由，所以(1)=0，則協(xié)態(tài)方程的解為

而

其曲線如圖2－1(a)所示。由此可得最優(yōu)控制為或

（2.1.17）2023/4/1018第18頁，共98頁，2023年，2月20日，星期五2023/4/1019第19頁，共98頁，2023年，2月20日，星期五式中=ln(e/2)，控制函數(shù)的曲線如圖2－1(b)所示。將最優(yōu)控制u*(t)代入狀態(tài)方程（2.1.11）得到（2.1.18）（2.1.19）利用初始條件x(0)=1，可得式（2.1.18）的解

當(dāng)t==ln(e/2)時，有

將它作為式（2.1.19）的初始條件。解得

2023/4/1020第20頁，共98頁，2023年，2月20日，星期五

于是有將u*(t)和x*(t)代入式（2.1.13），得由于只有一個u

(t)滿足最大值原理。根據(jù)實際情況，可判定它是最優(yōu)控制u*(t)。(2)應(yīng)用最小值原理求解，為此構(gòu)造哈密頓函數(shù)

（2.1.20）2023/4/1021第21頁，共98頁，2023年，2月20日，星期五按照最小值原理，為使泛函（2.1.13）達(dá)到極小值，必須選擇控制函數(shù)u

(t)使哈密頓函數(shù)（2.1.20）達(dá)到最小值。由式（2.1.20）可知，當(dāng)u

(t)與((t)－1/2)異號，且取其約束條件的邊界值（即|u(t)|=1）時，哈密頓函數(shù)H達(dá)到最小值，所以控制函數(shù)應(yīng)取為由上式可見，若要確定u(t)

，必須由協(xié)態(tài)方程解出(t)

，根據(jù)哈密頓函數(shù)（2.1.20），可寫出協(xié)態(tài)方程

其解為

2023/4/1022第22頁，共98頁，2023年，2月20日，星期五由此可得最優(yōu)控制函數(shù)為

可見，這一結(jié)果與應(yīng)用最大值原理所得到的結(jié)果是一致的。將它代入狀態(tài)方程（2.1.11），當(dāng)然也會得到相同的結(jié)果。以下的計算可以仿照（1）進(jìn)行，這里就不重復(fù)了。

說明：由例2.1.1可以看出，分別應(yīng)用最大值原理和最小值原理求解同一個最優(yōu)控制問題，所得到的最優(yōu)控制和最優(yōu)軌線是一致的，但是，協(xié)態(tài)變量卻是互為反號的。

2023/4/1023第23頁，共98頁，2023年，2月20日，星期五2.1.2復(fù)合型最優(yōu)控制問題

問題2.1.2(復(fù)合型最優(yōu)控制問題)給定系統(tǒng)的狀態(tài)方程：（

2.1.21）其中f是n維連續(xù)可微的向量函數(shù)。X(t)是n維狀態(tài)變量，已知其初態(tài)為

X(t0)=X0，終端的約束條件為：

（2.1.22）其中是r維連續(xù)可微的向量函數(shù)，且r<n，U(t)是m維控制變量，且其約束條件為

（2.1.23）其中是以U(t)為元素的m維實函數(shù)空間中的閉子集。要求我們在滿足式（2.1.23）的容許控制中，確定一控制變量U(t)，使系統(tǒng)（2.1.21）從給定的初態(tài)X(t0)轉(zhuǎn)移到滿足式（2.1.22）條件下的某個終態(tài)X(tf)，并使性能泛函2023/4/1024第24頁，共98頁，2023年，2月20日，星期五

（2.1.24）達(dá)到極小值。其中和L都是連續(xù)可微的標(biāo)量函數(shù)，而終端時刻tf是可變的。定理2.1.3（復(fù)合型最優(yōu)控制問題的最小值原理）給定系統(tǒng)的狀態(tài)方程和控制函數(shù)U(t)的閉集約束條件則為將系統(tǒng)從給定的初態(tài)X(t0)=X0，轉(zhuǎn)移到滿足終端約束條件

的某個終態(tài)X(tf)，其中tf是可變的，并使性能泛函

2023/4/1025第25頁，共98頁，2023年，2月20日，星期五達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是

(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對應(yīng)于U*(t)的最優(yōu)軌線，則存在一與U*(t)和X*(t)相對應(yīng)的n維協(xié)態(tài)變量(t)，使得X*(t)和(t)滿足規(guī)范方程其中

(2)狀態(tài)變量和協(xié)態(tài)變量的邊界條件為2023/4/1026第26頁，共98頁，2023年，2月20日，星期五在上述各式中的是待定的r維乘子向量，即

(3)哈密頓函數(shù)H在最優(yōu)控制與最優(yōu)軌線上達(dá)到最小值。即

終端受限tf自由2023/4/1027第27頁，共98頁，2023年，2月20日，星期五定理2.1.4（復(fù)合型最優(yōu)控制問題的最大值原理）給定系統(tǒng)的狀態(tài)方程和控制函數(shù)U(t)的閉集約束條件則為將系統(tǒng)從給定的初態(tài)X(t0)=X0，轉(zhuǎn)移到滿足終端約束條件

的某個終態(tài)X(tf)，其中tf是可變的，并使性能泛函達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程

2023/4/1028第28頁，共98頁，2023年，2月20日，星期五其中(2)狀態(tài)變量和協(xié)態(tài)變量的邊界條件為2023/4/1029第29頁，共98頁，2023年，2月20日，星期五(3)哈密頓函數(shù)H在最優(yōu)控制與最優(yōu)軌線上達(dá)到最大值。即

2.1.3有關(guān)最大值原理（或最小值原理）的幾點說明

最大值原理（當(dāng)然包括最小值原理，以下同）是對古典變分法的發(fā)展。它不僅可以用來求解函數(shù)U(t)不受約束或只受開集性約束的最優(yōu)控制問題，而且也可以用來求解控制函數(shù)U(t)受到閉集性約束條件的最優(yōu)控制問題。這就意味著最大值原理放寬了對控制函數(shù)U(t)的要求。

最大值原理沒有提出哈密頓函數(shù)H對控制函數(shù)U(t)的可微性的要求，因此，其應(yīng)用條件進(jìn)一步放寬了。并且，由最大值原理所求得的最優(yōu)控制U(t)使哈密頓函數(shù)H達(dá)到全局、絕對最大值，而由古典變分法的極值條件H/U=0所得到的解是H的局部、相對最大值或駐值。因此，最大值原理將古典變分法求解最優(yōu)控制問題的極值條件作為一個特例概括在自己之中。2023/4/1030第30頁，共98頁，2023年，2月20日，星期五最大值原理是最優(yōu)控制問題的必要條件，并非充分條件。也就是說，由最大值原理所求得的解能否使性能泛函J達(dá)到極小值，還需要進(jìn)一步分析與判定。但是，如果根據(jù)物理意義已經(jīng)能夠斷定所討論的最優(yōu)控制問題的解是存在的，而由最大值原理所得到的解只有一個，那么，該解就是最優(yōu)解。實際上，我們遇到的問題往往屬于這種情況。

利用最大值原理和古典變分法求解最優(yōu)控制問題時，除了控制方程的形式不同外，其余條件是相同的。一般來說，根據(jù)最大值原理確定最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)仍然需要求解兩點邊界值問題。這是一件復(fù)雜的工作。

由最大值原理和最小值原理所得到的最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)是一致的，只是協(xié)態(tài)變量(t)是互為反號的。

若所討論問題是確定最優(yōu)控制U*(t)

，使性能泛函

2023/4/1031第31頁，共98頁，2023年，2月20日，星期五達(dá)到極大值，最大值原理仍然成立，這時只要將上述性能泛函變?yōu)?/p>

就可以了。

2023/4/1032第32頁，共98頁，2023年，2月20日，星期五§2.2最大值原理的證明2.2.1一般型最優(yōu)控制問題

問題2.2.1(一般型最優(yōu)控制問題)給定系統(tǒng)的狀態(tài)方程：（2.2.1）的初態(tài)X(t0)=X0和控制函數(shù)的約束條件（2.2.2）從滿足約束條件（2.2.2）的容許控制函數(shù)中，確定一個控制函數(shù)U(t)，使性能泛函

（2.2.3）達(dá)到極小值，其中

tf是終端時刻，X(tf)是終端狀態(tài)。

龐特里雅金函數(shù)2023/4/1033第33頁，共98頁，2023年，2月20日，星期五

說明：最優(yōu)控制問題的上述提法具有一般性，它將許多常見的最優(yōu)控制問題概括成為自己的特殊情況，故稱為一般型最優(yōu)控制問題，許多最優(yōu)控制問題都可以轉(zhuǎn)化為一般型最優(yōu)控制問題。

最速控制問題給定n階系統(tǒng)的狀態(tài)方程的初始狀態(tài)X(t0)=X0和控制函數(shù)的約束條件需要從容許控制U(t)中，確定一個控制函數(shù)U(t)

，能在最短的時間內(nèi)，將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到給定的終態(tài)X(tf)。這是最速控制問題，其性能泛函

2023/4/1034第34頁，共98頁，2023年，2月20日，星期五

其中，t0是固定的初始時刻，tf是可變的終端時刻。下面將其化為一般型最優(yōu)控制問題。為此，引入一個新的狀態(tài)變量xn+1(t)，令

其中，于是一個n階系統(tǒng)的最速控制問題就轉(zhuǎn)化為一個n+1階系統(tǒng)的一般型最優(yōu)控制問題。

2023/4/1035第35頁，共98頁，2023年，2月20日，星期五積分型最優(yōu)控制問題給定n階系統(tǒng)的狀態(tài)方程的初始狀態(tài)X(t0)=X0和控制函數(shù)的約束條件要求從容許控制U(t)中，確定一個控制函數(shù)U(t)

，將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到某個終態(tài)X(tf)，并使性能泛函達(dá)到極小值。這是個積分型最優(yōu)控制問題，引入一個新的狀態(tài)變量xn+1(t)，滿足

2023/4/1036第36頁，共98頁，2023年，2月20日，星期五其中，于是一個n階系統(tǒng)的積分型最優(yōu)控制問題便轉(zhuǎn)化成一個n+1階系統(tǒng)的一般型最優(yōu)控制問題。終端型指標(biāo)的最優(yōu)控制問題給定n階系統(tǒng)的狀態(tài)方程的初始狀態(tài)X(t0)=X0和控制函數(shù)的約束條件2023/4/1037第37頁，共98頁，2023年，2月20日，星期五 要求從容許控制U(t)中，確定一個控制函數(shù)U(t)，使性能泛函達(dá)到極小值。這是個終端型指標(biāo)的最優(yōu)控制問題，引入一個新的狀態(tài)變量xn+1(t)，滿足

2023/4/1038第38頁，共98頁，2023年，2月20日，星期五于是，一個n階系統(tǒng)的終端型指標(biāo)的最優(yōu)控制問題也可轉(zhuǎn)化為一個n+1階系統(tǒng)的一般型最優(yōu)控制問題。

說明：類似地，一個復(fù)合型指標(biāo)的最優(yōu)控制問題，也能夠轉(zhuǎn)化為一般型最優(yōu)控制問題。這里只要結(jié)合應(yīng)用積分型指標(biāo)和終端型指標(biāo)最優(yōu)控制問題轉(zhuǎn)化為一般型指標(biāo)最優(yōu)控制問題的思想和方法，就可以完成這種轉(zhuǎn)化工作。

2023/4/1039第39頁，共98頁，2023年，2月20日，星期五2.2.2一般型最優(yōu)控制問題的最大值原理及證明定理2.2.1(一般型最優(yōu)控制問題的最大值原理—終端時刻固定，終端狀態(tài)自由)給定系統(tǒng)的狀態(tài)方程

和控制函數(shù)U(t)的約束條件則為將系統(tǒng)從給定的初態(tài)X(t0)=X0轉(zhuǎn)移到終端時刻tf固定，終端狀態(tài)自由的某個終態(tài)X(tf)，并使性能泛函

達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：

(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程2023/4/1040第40頁，共98頁，2023年，2月20日，星期五其中，(2)邊界條件為(3)在最優(yōu)控制和最優(yōu)軌線上哈密頓函數(shù)H達(dá)到最大值。即（2.2.4）

2023/4/1041第41頁，共98頁，2023年，2月20日，星期五證明：證明該定理的基本思路是，設(shè)最優(yōu)控制U*(t)獲得變分U

(t)，相應(yīng)地，最優(yōu)軌線X*(t)也發(fā)生變分

X

(t)，這時求出性能泛函J的增量J。根據(jù)最優(yōu)控制U*(t)使J達(dá)到極小值，則其增量為（2.2.5）的性質(zhì)，利用反證法證明，若最大值原理不成立，則式（2.2.5）一定不成立。這與控制函數(shù)U*(t)使J達(dá)到極小值的假設(shè)相矛盾，于是就完成了定理2.2.1的證明。其具體步驟如下：

求增量J設(shè)最優(yōu)控制U*(t)已經(jīng)求得，即U*(t)使J達(dá)到了極小值。現(xiàn)在令U*(t)獲得一個變分U

(t)，則最優(yōu)軌線X*(t)相應(yīng)地也發(fā)生變分，設(shè)為

X

(t)

。

由狀態(tài)方程（2.2.1）得

（2.2.6）2023/4/1042第42頁，共98頁，2023年，2月20日，星期五 （2.2.7） 將式（2.2.7）與式(2.2.6)相減，并左乘以T(t)，得（2.2.8）考慮到哈密頓函數(shù)為

則式（2.2.8）變?yōu)?/p>

對上式兩端進(jìn)行積分，得

（2.2.9）2023/4/1043第43頁，共98頁，2023年，2月20日，星期五 對上式左端進(jìn)行分部積分，得

將上式代入式（2.2.9），移項后，得

（2.2.10） 2023/4/1044第44頁，共98頁，2023年，2月20日，星期五 將上式代入式（2.2.10），得性能泛函的增量為（2.2.11）化簡增量J由于協(xié)態(tài)變量方程為

（2.2.12）

并利用泰勒公式，將式（2.2.11）右端的第二項積分中的第一個函數(shù)的最優(yōu)軌線X*(t)處展開，得

2023/4/1045第45頁，共98頁，2023年，2月20日，星期五

（2.2.13） 其中,0

1,是n×n階非負(fù)定矩陣，且為

2023/4/1046第46頁，共98頁，2023年，2月20日，星期五 將式（2.2.12）和式(2.2.13)代入式（2.2.11）中，經(jīng)整理得

（2.2.14）在上式右端后兩個積分中都含有

X

(t)

，它們相對于第一個積分而言，都是高階無窮小量，記為，于是，式（2.2.14）變?yōu)?/p>

2023/4/1047第47頁，共98頁，2023年，2月20日，星期五（2.2.15）

反證法證明定理為了證明最大值原理是使性能泛函J達(dá)到極小值的必要條件，需要證明：如果在容許控制

（2.2.16）

中，至少能找到一個控制函數(shù)U

(t)，使哈密頓函數(shù)H不能達(dá)到最大值的話，那么，該控制函數(shù)就一定不會使性能泛函J達(dá)到極小值。如果在容許控制（2.2.16）中能夠找到使性能泛函J達(dá)到極小值的最優(yōu)控制U*(t)，那么當(dāng)它發(fā)生任何變分U

(t)時，都有J0?，F(xiàn)在假定最優(yōu)控制U*(t)只在區(qū)間[t0，tf]中的任一小區(qū)間[ta，tb]上發(fā)生變分U

(t)，即假定2023/4/1048第48頁，共98頁，2023年，2月20日，星期五 并且，假設(shè)U*(t)不能使哈密頓函數(shù)H滿足最大值原理，也就是說，對于控制函數(shù)U*(t)發(fā)生微小變分U

(t)后，有

其中t[ta，tb]，是一個正常數(shù)，對上式兩邊積分，得

由于控制函數(shù)U

(t)的變分U

(t)只在區(qū)間[ta，tb]上發(fā)生，所以式（2.2.15）的泛函的增量將變?yōu)?/p>

2023/4/1049第49頁，共98頁，2023年，2月20日，星期五

由于是無窮小量，它的存在與否，不影響上面不等式關(guān)系，所以J0。這表明，若控制函數(shù)U*(t)不能使哈密頓函數(shù)H滿足最大值原理，則該控制函數(shù)U*(t)也不會使泛函J達(dá)到極小值。這與控制函數(shù)U*(t)是使泛函J達(dá)到極小值的假設(shè)矛盾。所以，使性能泛函J達(dá)到極小值的控制函數(shù)U*(t)

，一定使哈密頓函數(shù)滿足最大值原理，于是定理2.2.1得到證明。

2023/4/1050第50頁，共98頁，2023年，2月20日，星期五推論

2.3.1對于線性系統(tǒng)

來說，最大值原理是使性能泛函J（見式2.2.3）達(dá)到極小值的充要條件。

證明：在這種情況下，哈密頓函數(shù)為

2023/4/1051第51頁，共98頁，2023年，2月20日，星期五 這時，相應(yīng)的式（2.2.14）中的后兩個積分均等于零，于是得到

因此，若哈密頓函數(shù)H滿足最大值原理，則上式右端的積分就是非負(fù)的，即

J0，這樣，性能泛函J達(dá)到極小值的條件滿足了，充分條件得到證明。

2023/4/1052第52頁，共98頁，2023年，2月20日，星期五例

2.2.1

給定二階系統(tǒng)的狀態(tài)方程及初始狀態(tài)

其中控制函數(shù)的約束條件為|u(t)|1，現(xiàn)在需要容許控制中，確定一控制函數(shù)u(t)

，使系統(tǒng)在終態(tài)自由的情況下，從給定的初態(tài)（x1(0)=1，x2(0)=0）轉(zhuǎn)移到某個終態(tài)（x1(1)，x2(1)），并使性能泛函 達(dá)到極小值。

解：這是一個一般型最優(yōu)控制問題，其終端時刻tf=1固定，終端狀態(tài)自由，可以利用定理2.2.1求解。為此，構(gòu)造哈密頓函數(shù)2023/4/1053第53頁，共98頁，2023年，2月20日，星期五 協(xié)態(tài)方程

求解協(xié)態(tài)方程得其中1(t)曲線如圖2－2所示。根據(jù)定理2.2.1，為使變量u(t)的函數(shù)H在約束|u(t)|1條件下達(dá)到最大值，顯然應(yīng)取

2023/4/1054第54頁，共98頁，2023年，2月20日，星期五 由圖2-2可見，在區(qū)間[0，1]上，

1<0，所以 將它代入狀態(tài)方程，得到

由此得到性能泛函的極小值

2023/4/1055第55頁，共98頁，2023年，2月20日，星期五定理2.2.2(一般型最優(yōu)控制問題的最大值原理—終端時刻固定，終端狀態(tài)受限) 給定系統(tǒng)的狀態(tài)方程（2.2.17） 和控制函數(shù)U(t)的約束條件（2.2.18） 則為將系統(tǒng)從給定的初態(tài)X(t0)=X0轉(zhuǎn)移到滿足終端約束條件（2.2.19）某個終態(tài)X(tf)，其中，tf是固定，并使性能泛函（2.2.20） 達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程

2023/4/1056第56頁，共98頁，2023年，2月20日，星期五其中，(2)邊界條件為（2.2.21a）

或者（2.2.21b）(3)在最優(yōu)控制和最優(yōu)軌線上哈密頓函數(shù)H達(dá)到最大值。即2023/4/1057第57頁，共98頁，2023年，2月20日，星期五例

2.2.2

給定系統(tǒng)的狀態(tài)方程和初始條件 其終端狀態(tài)的約束條件為

上面的約束方程在四維空間中代表一個三維圖形，也就是說，系統(tǒng)的終態(tài)不自由，被限制在這個三維圖形上。現(xiàn)在的問題是要求確定控制函數(shù)u(t)，使系統(tǒng)在t=0時從原點開始，在t=1時到達(dá)上述三維圖形上，并使性能泛函2023/4/1058第58頁，共98頁，2023年，2月20日，星期五

達(dá)到極小值。

解：寫出問題的哈密頓函數(shù) 由此得協(xié)態(tài)方程

而c1=c2=c3=0，c4=1，所以2023/4/1059第59頁，共98頁，2023年，2月20日，星期五 可以解出

將上式代入Hamilton函數(shù)得

因為對控制函數(shù)u(t)沒有施加約束條件，所以由

2023/4/1060第60頁，共98頁，2023年，2月20日，星期五

可以求出滿足最大值原理的控制函數(shù)為

將上述結(jié)果綜合起來，求解本例題的最優(yōu)控制和最優(yōu)軌線問題就轉(zhuǎn)化為求解下列的兩點邊界值問題。

2023/4/1061第61頁，共98頁，2023年，2月20日，星期五 加上終端狀態(tài)的約束條件

上述方程組的解就確定了。不過，欲將它解出來，卻是非常困難的，因為狀態(tài)方程與終端條件是非線性的。(可以借助MATLAB求解)

特例：狀態(tài)變量某些分量的終態(tài)xj(tf)是完全固定的情況

設(shè)狀態(tài)變量的前r個分量的終態(tài)是固定的，而其余分量的終態(tài)是沒有約束的。這時約束條件（2.2.19）變?yōu)?/p>

其中xif是常數(shù)，將上述終端約束條件代入式（2.2.21b），則可得到在這種情況下協(xié)態(tài)變量的終端條件為

2023/4/1062第62頁，共98頁，2023年，2月20日，星期五 既然狀態(tài)變量前r個分量的終態(tài)是固定的，它們在性能指標(biāo)泛函中自然不會出現(xiàn)。也就是說，對應(yīng)于狀態(tài)變量這些分量的常數(shù)ci等于零。所以最后得

由于i是待定的常數(shù)，所以由上面兩式可以得到一個重要的結(jié)論：若狀態(tài)變量的分量xi(t)的終態(tài)xi(tf)是固定的，則協(xié)態(tài)變量與之相應(yīng)的分量i(t)的終態(tài)i(tf)是自由的；反之，若狀態(tài)變量的分量xi(t)的終態(tài)xi(tf)是自由的，則協(xié)態(tài)變量與之相應(yīng)的分量i(t)的終態(tài)i(tf)是固定的，且為－ci。2023/4/1063第63頁，共98頁，2023年，2月20日，星期五例2.2.3

給定系統(tǒng)的狀態(tài)方程

初始條件

（2.2.23） 和終端條件

（2.2.24）

現(xiàn)在需要確定最優(yōu)控制u1*(t)和u2*(t)以及最優(yōu)軌線x1*(t)和x2*(t)

，將系統(tǒng)從t=0時的初態(tài)轉(zhuǎn)移到t=1時的終態(tài)，并使性能泛函

達(dá)到極小值。

（2.2.22）2023/4/1064第64頁，共98頁，2023年，2月20日，星期五

解：

這是一個積分型最優(yōu)控制問題。應(yīng)用定理2.1.2來求解，為此構(gòu)造哈密頓函數(shù)

由此可寫出協(xié)態(tài)方程

由于x1(1)和x2(1)都是固定的，所以1(1)和2(1)都是自由的，故得協(xié)態(tài)方程的解為 其中積分常數(shù)a和b需要根據(jù)另外的條件來確定。下面分三種情況進(jìn)行討論。

2023/4/1065第65頁，共98頁，2023年，2月20日，星期五u1(t)和u2(t)都不受約束

此時，當(dāng)時，H達(dá)到最大值。于是有

2023/4/1066第66頁，共98頁，2023年，2月20日，星期五

將上式代入系統(tǒng)狀態(tài)方程（2.2.22）并考慮到狀態(tài)變量的初始條件（2.2.23），可得

代入終端條件（2.2.24），就得到關(guān)于a和b的聯(lián)立方程

由此得到最優(yōu)控制為

2023/4/1067第67頁，共98頁，2023年，2月20日，星期五

最優(yōu)軌線為

而性能泛函為

解的曲線如圖2-3(a)所示。

2023/4/1068第68頁，共98頁，2023年，2月20日，星期五u1(t)不受約束，u2(t)1/4`前面已經(jīng)指出，對于u2(t)來說，哈密頓函數(shù)H的最大值發(fā)生在a/2的地方，但是，這時a之值尚不知道，不過從情況1知a=1時，u2(t)=1/2，依此判斷，H的最大值現(xiàn)在發(fā)生在u2(t)=1/4的地方，因此，取

u2(t)=1/4。 由于u1(t)不受約束，所以

將u1(t)和u2(t)代入系統(tǒng)方程（2.2.22）并考慮到狀態(tài)變量的初始條件（2.2.23），可得2023/4/1069第69頁，共98頁，2023年，2月20日，星期五

利用終端條件（2.2.24），可得聯(lián)立方程

由于

所以，我們?nèi)2(t)=1/4是正確的，代入a，b之值后，求得的最優(yōu)控制為

2023/4/1070第70頁，共98頁，2023年，2月20日，星期五

而最優(yōu)軌線為 性能指標(biāo)泛函之值為

由此可以看出，對u2(t)加了約束之后，泛函J的極小值變大了。這時解的曲線如圖2-3（b）所示。

2023/4/1071第71頁，共98頁，2023年，2月20日，星期五u1(t)

0和u2(t)1/4

由情況2中已經(jīng)看到，u1(t)之值在后一段時間是小于零的?，F(xiàn)在對u1(t)施加了不小于零的限制。由于函數(shù)H對于u1(t)來說是二次函數(shù)，所以在這種情況下為使H達(dá)到最大值的最優(yōu)控制也將包含有

(1)(2) 兩部分，這兩部分的轉(zhuǎn)換時間是需要確定的，問題的復(fù)雜性在于，現(xiàn)在還不知道常數(shù)a和b之值，因而也不知道u2(t)應(yīng)取多大值方能滿足最大值原理。所以，我們應(yīng)采用的方法多少帶有試探的性質(zhì)。假設(shè)

2023/4/1072第72頁，共98頁，2023年，2月20日，星期五

至于u1(t)應(yīng)如何假設(shè)，我們先分析一下，如果在開始一段時間，設(shè)u1(t)＝0，那么這等于在方程中設(shè)b<0，為了要在時間區(qū)間[0，1]上實現(xiàn)一次轉(zhuǎn)換，這又要求a<1+b，因此a一定小于1，甚至小于零，以至于u2(t)也可能小于零。將這樣的u1(t)和u2(t)代入原狀態(tài)方程（2.2.22），顯然不能滿足終端條件（2.2.24），所以先設(shè)b>0，于是在t=0時，有u1(t)>0，因而取

將假設(shè)的u1(t)和u2(t)代入原狀態(tài)方程（2.2.22），并考慮初始條件（2.2.23），可得

2023/4/1073第73頁，共98頁，2023年，2月20日，星期五2023/4/1074第74頁，共98頁，2023年，2月20日，星期五

這種狀態(tài)運動將一直繼續(xù)到轉(zhuǎn)換時刻，我們令u1(t)＝0可求出轉(zhuǎn)換時刻 在時刻，x1(t)和x2(t)分別為2023/4/1075第75頁，共98頁，2023年，2月20日，星期五

此后控制函數(shù)變?yōu)?將此控制函數(shù)代入原狀態(tài)方程（2.2.22），并以x1()和x2()作為初始值，可得轉(zhuǎn)換時刻以后的狀態(tài)運動方程為

現(xiàn)在將終點條件（2.2.24）代入上式，可得聯(lián)立方程

（2.2.25）2023/4/1076第76頁，共98頁，2023年，2月20日，星期五 若取d=a/2，則上列聯(lián)立方程的解為 而轉(zhuǎn)換時刻與d分別為

與題設(shè)是矛盾的。若取d=1/4，代入式（2.2.25），得2023/4/1077第77頁，共98頁，2023年，2月20日，星期五

與題相符。綜合以上結(jié)果，就得到最優(yōu)控制與最優(yōu)軌線分別為（1）當(dāng)0

t3/4時，

2023/4/1078第78頁，共98頁，2023年，2月20日，星期五 (2)當(dāng)3/4

t1時

它們隨時間變化的情況如圖2-3（c）所示

這個例子一方面說明了最大值原理的應(yīng)用，另一方面也說明了，即使能夠用于計算的簡單問題也會遇到很大的困難。稍微復(fù)雜的問題，就得借助于MATLAB求其數(shù)值解。2023/4/1079第79頁，共98頁，2023年，2月20日，星期五2023/4/1080第80頁，共98頁，2023年，2月20日，星期五§2.3一般型最優(yōu)控制問題終端時刻tf可變的情況問題2.3.1(一般型最優(yōu)控制問題)給定系統(tǒng)的狀態(tài)方程：（23.1）的初態(tài)X(t0)=X0和終端的約束條件（2.3.2） 其中tf是可變的終端時刻，[X(tf)]是r維函數(shù)向量，即

以及控制函數(shù)的約束條件（2.3.3） 要求從滿足約束條件（2.3.3）的容許控制中，確定一最優(yōu)控制U*(t)，使性能泛函

(2.3.4)2023/4/1081第81頁，共98頁，2023年，2月20日，星期五

達(dá)到極小值。 利用拉格朗日乘子法，可以將性能泛函寫成為

(2.3.5) 其中是待定的r維乘子向量，即

假設(shè)終端時刻tf變化了d

tf，則由式（2.3.5）可得

(2.3.6) 由上節(jié)的式（2.2.21a），有

2023/4/1082第82頁，共98頁，2023年，2月20日，星期五

所以式（2.3.6）可以寫為

由于當(dāng)tf=tf*時，性能泛函J達(dá)到極小值，所以上式應(yīng)等于零，即

又因為dtf*是任意的，所以有

（2.3.7）

上述結(jié)果表明，對于終端時刻tf可變的情況，除了增加一個方程（2.3.7）用來確定終端時刻以外，最優(yōu)控制與終端時刻tf固定時應(yīng)滿足的條件完全相同。于是，可以寫出關(guān)于問題2.3.1的最優(yōu)控制所應(yīng)滿足的必要條件的最大值原理的定理。

2023/4/1083第83頁，共98頁，2023年，2月20日，星期五定理2.3.1(一般型最優(yōu)控制問題的最大值原理—終端時刻可變，終端狀態(tài)受限－不顯含tf)給定系統(tǒng)的狀態(tài)方程：和控制函數(shù)U(t)的約束條件

則為將系統(tǒng)從給定的初態(tài)

X(t0)=X0轉(zhuǎn)移到滿足約束條件

的某個終態(tài)X(tf)，其中tf是可變的，并使性能泛函

達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：(1)

設(shè)U*(t)是最優(yōu)控制,X*(t)是對應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程2023/4/1084第84頁，共98頁，2023年，2月20日，星期五其中，(2)邊界條件為