1、1,第 6 章極小值原理和典型最優(yōu)控制,2,主要內(nèi)容,極小值原理 典型最優(yōu)控制,3,6.1 極小值原理,極小值原理 研究最優(yōu)控制問題的現(xiàn)代理論 對古典變分學(xué)的發(fā)展 一些文獻(xiàn)中也被稱為極大值原理 以 Bolza 問題為對象描述極小值原理,4,考慮等式約束的一種特定的情況 - n 維向量, f - n 維向量函數(shù) u m 維控制向量函數(shù) 容許控制 - 是一給定的有界集合 假定終端時間 滿足,5,假設(shè) 對于 具有連續(xù)的偏導(dǎo)數(shù) 這種光滑性假定，對于任何分段連續(xù)的函數(shù) 保證了存在唯一的屬于式（1）的容許軌線 可定義容許控制函數(shù)集合是這類分段連續(xù)的函數(shù) 并假定對于一個容許的 和給定的初始條件 ，在所考慮的

2、控制區(qū)域內(nèi)，式（1）確定了一個唯一的容許解,6,確定一個容許控制函數(shù) 使下述的性能指標(biāo)為極小,7,采用 Lagrange 乘子法,8,定義標(biāo)量函數(shù) Hamilton 函數(shù)為,9,特性指標(biāo)為,10,積分可得,11,如果 是最優(yōu)控制律 對應(yīng)于邊界條件有,12,也可以寫成,13,滿足邊界條件,14,極小值原理與變分學(xué) 區(qū)別在于極值條件不同 極小值原理的極值條件是 Hamilton 函數(shù) 變分學(xué)的極值條件是,15,極大（?。┲翟淼囊饬x,容許控制條件放寬 取得全局最小值 沒有H對u的可微性要求 狀態(tài)方程、協(xié)態(tài)方程和橫截條件依舊 只給出最優(yōu)控制的必要條件，而非充分條件（更沒有涉及存在性問題）,16,例

3、研究線性時不變系統(tǒng)的時間最優(yōu)控制問題,17,解：Hamiliton 函數(shù)為 為使H相對于所選擇的u(t)盡可能小，必須有： 即u(t)取單位向量，,18,19,如,20,21,22,23,24,6.2 典型最優(yōu)控制,主要內(nèi)容 LQR問題 線性伺服機(jī)構(gòu) Bang-Bang 控制 奇異控制 離散系統(tǒng)最優(yōu)控制,25,6.2.1 LQR（Linear Quadratic Regulator）問題,對于線性系統(tǒng) LQR問題為,26,LQR問題的普遍性,LQR問題的提法具有普遍意義，不限于哪種物理系統(tǒng)，而且人們證明這樣的提法易于獲得解析解，最為可貴的是能獲得線性反饋解。 線性系統(tǒng)最優(yōu)控制所的結(jié)果也適用于小

4、信號下運行的非線性系統(tǒng)，可以作為一次近似 提供了一種統(tǒng)一的框架。,27,應(yīng)用極小值原理 實現(xiàn)最優(yōu)控制要求滿足,28,確定閉環(huán)控制 假設(shè) 則得,29,在數(shù)學(xué)中， 稱為 Riccati方程，所以（7）式也稱為Riccati方程,30,最優(yōu)控制律為,令,則求得閉環(huán)解,（9）,31,計算二階變分,故極小值條件為(存在最優(yōu)控制的充分條件),（10）,32,在某些情況下，S矩陣的某些元素大到足以引起計算上的困難，在此情況下，用逆Riccati方程求解。 令,（11）,（12）,33,則逆Riccati方程為,34,最優(yōu)反饋控制結(jié)構(gòu),P(t),35,P(t)的計算,由 將Riccati方程寫成差分格式 取步

5、長為負(fù)值，反向積分，即,36,P(t)的對稱性，即 所以P待求的元素個數(shù)為n(n+1)/2,37,P(t)的半正定性,可以證明 但 故,38,無限時間調(diào)節(jié)器問題,上述問題有解的條件：系統(tǒng)完全可控,39,40,線性定常調(diào)節(jié)器,41,為下列代數(shù)Riccati方程的解 或是Riccati微分方程的穩(wěn)態(tài)解,42,PI調(diào)節(jié)器,43,44,例：考慮如下標(biāo)量系統(tǒng)的最優(yōu)控制問題,45,解如下Riccati方程 可得,46,其中：調(diào)整 ，使 如： (a),47,(b) (c) (d) 當(dāng),48,49,50,6.2.2 線性伺服機(jī)構(gòu),線性伺服機(jī)構(gòu)問題的描述為,51,使得 - “噪聲”向量,52,對應(yīng)矩陣的要求 按

6、照處理調(diào)節(jié)器問題一樣的方式進(jìn)行,53,54,為了確定閉環(huán)控制 假設(shè) 則得,55,56,線性伺服機(jī)由兩部分組成 （1）線性調(diào)節(jié)器部分 （2）由系統(tǒng)輸出的期望值 確定最優(yōu)驅(qū)動函數(shù)的前置濾波器 最優(yōu)控制規(guī)律,57,存在問題 在計算上該最優(yōu)控制實際上常常不能實現(xiàn) 因為它包含有 ，必須由 到 反向求解 需要知道在所有 時間內(nèi)的 和 當(dāng) 則問題為“輸出調(diào)節(jié)器”問題,58,輸出調(diào)節(jié)器問題,59,最優(yōu)控制律 其中P(t)是如下Riccati方程的解,60,存在輸出調(diào)節(jié)器的必要條件是系統(tǒng)客觀（不是系統(tǒng)可控） 但當(dāng)S變成無窮大時，或終端時刻 為無窮大時，則要求系統(tǒng)可控，即為無限時間調(diào)節(jié)器問題。 輸出調(diào)節(jié)器反饋的仍

7、然是系統(tǒng)狀態(tài)。,61,6.2.3 Bang-Bang 控制,對于非線性系統(tǒng),62,最小化 Hamilton 函數(shù),63,Hamilton 函數(shù)對控制向量 是線性的 對于 的極小化要求,64,由此可見 控制 線性地出現(xiàn)在系統(tǒng)和性能指標(biāo)中 另外，如果控制向量的每一個分量是有界的 則該最優(yōu)控制就是砰磅控制（BangBang 控制）,65,只是在 情況下例外 不是 的函數(shù) 它相對于 不可能有極小 當(dāng)式（6）在時間上只是對于孤立點成立 即該最優(yōu)控制問題具有一個奇異解 如（6）的第 個分量是零 相當(dāng)于特定的控制分量 可能是一個奇異解,66,對 Bang Bang 控制問題 - 由式（5）確定,67,兩點邊

8、值問題 很難解決的問題 考慮一種特殊情況 最短時間問題,68,希望轉(zhuǎn)移一個 維向量定常系統(tǒng) 以最短的時間到達(dá)原點 使,69,具有限制 要求 所以,70,由于末端時刻自由，又 與 無明顯的關(guān)系 根據(jù)（21）和（39）式 沿最優(yōu)軌線有,71,正則方程為,72,為了避免一個奇異解 必須保證 在一段非零的時間間隔內(nèi)， 不能為零,73,結(jié)論 1（唯一性） （9）、（10）式所表示的最優(yōu)控制問題 若存在最小時間控制 則控制 ， 是唯一的,74,結(jié)論 2（開關(guān)次數(shù)） （9）、（10）式所表示的最優(yōu)控制問題(A的特征值為實根) 若存在最小時間控制 則控制 ， 至多切換 次,75,6.2.4 奇異控制,考慮如下

9、問題 使得,76,對于非零的 必須使 上式表明 最優(yōu)控制運行在邊界上 但 在 之間取值是可能的,77,由此可見 是一種可能的解 此時 與 完全無關(guān) 不可能根據(jù) 的選擇使 為極小 此問題即為奇異問題 求解,78,設(shè)初始 為正 則 所以,79,當(dāng) 時 若取 則在 內(nèi) 存在一個奇異解 且,80,+1,-1,1,2,t,x(t),u(t),81,奇異控制問題的提法 對于一般的Bolga問題 給定， 可以固定，可以自由,82,其 Hamilton 函數(shù)為,83,當(dāng)控制變量在約束的邊界范圍內(nèi)取值時 極值條件應(yīng)為 （11）式稱為 Legendre - Clebsch（勒讓德克萊勃希）條件 若條件（11）只取

10、嚴(yán)格的不等號，則稱強(qiáng)化的勒讓德克萊勃希條件,84,如果 在某一時間間隔 上 矩陣 是奇異的 即 或 非負(fù)定，即不滿足強(qiáng)化的勒讓德克萊勃希條件，則稱 Bolza 問題為奇異的,85,此時的最優(yōu)控制 奇異最優(yōu)控制 與此對應(yīng)的最優(yōu)軌線部分稱為奇異弧， 則稱為奇異區(qū)間 實際上 若 是控制向量的一個或多個元的線性函數(shù) 則問題是奇異的,86,工程中 奇異最優(yōu)控制問題廣泛存在，而且很重要 求解奇異最優(yōu)控制比求解正常的最優(yōu)控制要困難得多 奇異解 通常由正?；。˙ang - Bang arc）和奇異弧組成,87,總的說 對于奇異最優(yōu)控制問題 已有的理論和方法尚嫌不足 需要探索新的理論和方法,88,定理 若Ham

11、ilton函數(shù)H滿足 則泛函極值存在的必要條件為,89,線性系統(tǒng) 二次型性能指標(biāo)最優(yōu)化問題的奇異解 使得,90,91,若問題存在奇異解 則在奇異弧段上有下式成立,92,根據(jù)定理 即,93,所以 此處 假設(shè) 存在 若 不可逆，則奇異控制不存在,94,由（14）、（18）、（23） 可求 若 不顯含 且 未定 則,95,例 1 研究以下例子 使得,96,解： 奇異弧使得,97,對于一個有限的時間區(qū)間 具有正則方程和協(xié)態(tài)方程,98,在奇異弧上 閉環(huán)控制是,99,在一奇異弧上,100,一根典型的軌線包含三部分 最初用控制的一個極值 使系統(tǒng)轉(zhuǎn)移到奇異弧 然后用奇異控制 直到應(yīng)用控制的另一極值的數(shù)值 極值

12、控制 使此系統(tǒng)的狀態(tài)轉(zhuǎn)移到原點,101,研究兩種情況 （1）,102,103,（2） ,使 令 可得 奇異弧是兩條直線,104,對于直線 則 所以,105,對于直線 閉環(huán)控制 所以,106,若 在 這段奇異弧上 運動是不穩(wěn)定的 它的方向是離開原點,107,108,6.3 離散系統(tǒng)最優(yōu)控制,主要內(nèi)容 離散的極大值原理 離散線性調(diào)節(jié)器問題,109,6.3.1 離散的極大值原理,離散系統(tǒng)最優(yōu)控制問題的描述 對于系統(tǒng) 以及約束 - 中一個給定的集合 - 固定的常數(shù),110,尋找一個容許的控制序列 , 使 為極小,111,對于離散系統(tǒng)，極大值原理為 令 是一個最優(yōu)序列， 又令 是 的狀態(tài)響應(yīng)，被式（1）唯一地確定， 在適當(dāng)?shù)募僭O(shè)之下，存在一個非平凡函數(shù) 滿足,