1、最優(yōu)控制 線性二次型最優(yōu)控制,西華大學(xué)電氣信息學(xué)院,什么是最優(yōu)控制？,尋找容許控制作用（規(guī)律），使動態(tài)系統(tǒng)（受控對象）從初始狀態(tài)轉(zhuǎn)移到某種要求的終端狀態(tài)，且保證所規(guī)定的性能指標(biāo)（目標(biāo)函數(shù)）取最大（最小）值。,現(xiàn)代控制理論是研究系統(tǒng)狀態(tài)的控制和觀測的理論，主要包括5個方面： 線性系統(tǒng)理論：研究線性系統(tǒng)的性質(zhì)，能觀性、能控性、穩(wěn)定性等。 系統(tǒng)辨識：根據(jù)輸入、輸出觀測確定系統(tǒng)的數(shù)學(xué)模型。 最優(yōu)控制：尋找最優(yōu)控制向量u(t) 最佳濾波（卡爾曼濾波）：存在噪聲情況下，如何根據(jù)輸入、輸出估計狀態(tài)變量。 適應(yīng)控制：參數(shù)擾動情況下，控制器的設(shè)計,1. 最優(yōu)控制理論的發(fā)展,先期工作： 1948年，維納(N.Wi

2、ener)發(fā)表控制論，引進(jìn)了信息、反饋和控制等重要概念，奠定了控制論(Cybernetics)的基礎(chǔ)。并提出了 相對于某一性能指標(biāo)進(jìn)行最優(yōu)設(shè)計的概念。 1954年，錢學(xué)森編著工程控制論，作者系統(tǒng)地揭示了控制論對自動化、航空、航天、電子通信等科學(xué)技術(shù)的意義和重大影響。 其中“最優(yōu)開關(guān)曲線”等素材，直接促進(jìn)了最優(yōu)控制理論的形成和發(fā)展。,最優(yōu)控制的發(fā)展簡史：,19531957年，貝爾曼(R.E.Bellman)創(chuàng)立“動態(tài)規(guī)劃”原理。 為了解決多階段決策過程逐步創(chuàng)立的，依據(jù)最優(yōu)化原理，用一組基本的遞推關(guān)系式使過程連續(xù)地最優(yōu)轉(zhuǎn)移?！皠討B(tài)規(guī)劃”對于研究最優(yōu)控制理論的重要性，表現(xiàn)于可得出離散時間系統(tǒng)的理論結(jié)

3、果和迭代算法。 19561958年，龐特里亞金創(chuàng)立“最大值原理”。 它是最優(yōu)控制理論的主要組成部分和該理論發(fā)展史上的一個里程碑。對于“最大值原理”，由于放寬了有關(guān)條件的使得許多古典變分法和動態(tài)規(guī)劃方法無法解決的工程技術(shù)問題得到解決，所以它是解決最優(yōu)控制問題的一種最普遍的有效的方法。同時，龐特里亞金在最優(yōu)過程的數(shù)學(xué)理論著作中已經(jīng)把最優(yōu)控制理論初步形成了一個完整的體系。 此外，構(gòu)成最優(yōu)控制理論及現(xiàn)代最優(yōu)化技術(shù)理論基礎(chǔ)的代表性工作，還有不等式約束條件下的非線性最優(yōu)必要條件(庫恩圖克定理)以及卡爾曼的關(guān)于隨機(jī)控制系統(tǒng)最優(yōu)濾波器等。,理論形成階段：,經(jīng)典控制理論設(shè)計控制方法,幅值裕量、相位裕量（頻率指標(biāo)

4、） 上升時間、調(diào)節(jié)時間、超調(diào)量（時域 指標(biāo)） 特點：系統(tǒng)的控制結(jié)構(gòu)是確定的，控制參數(shù)設(shè)計一般采用試湊方法，不是最優(yōu)結(jié)果。,最優(yōu)化(optimization)技術(shù)是研究和解決最優(yōu)化問題的一門學(xué)科, 它研究和解決如何從一切可能的方案中尋找最優(yōu)的方案。也就是說，最優(yōu)化技術(shù)是研究和解決如下兩個問題： （1）如何將最優(yōu)化問題表示為數(shù)學(xué)模型 （2）如何根據(jù)數(shù)學(xué)模型（盡快）求出其最優(yōu)解 最優(yōu)控制(optimal control)是控制理論中的優(yōu)化技術(shù)。尋找在某種性能指標(biāo)要求下最好的控制。,現(xiàn)有產(chǎn)品A、B,每種產(chǎn)品各有兩道工序，分別由兩臺機(jī)器完成，其所需工時如下表所示，且每臺機(jī)器每周最多只能工作40小時。若產(chǎn)

5、品A的單價為200元，產(chǎn)品B的單價為500元，應(yīng)如何安排生產(chǎn)計劃，即A、B各應(yīng)生產(chǎn)多少可使總產(chǎn)值最高。 解：設(shè)該車間每周應(yīng)生產(chǎn)產(chǎn)品A、B的件數(shù)分別為X1、X2,由于每臺機(jī)器工作時間有限制，則有約束條件： 在這些約束條件下選擇X1、X2 ,使總產(chǎn)值 達(dá)到最大。,例0-1 生產(chǎn)計劃安排問題,設(shè)有一盛放液體的連續(xù)攪拌槽。如下圖所示。槽內(nèi)裝有不停地轉(zhuǎn)動著的攪拌器J，使液體經(jīng)常處于完全混合狀態(tài)。槽中原放0的液體，現(xiàn)需將其溫度經(jīng)1小時后升高到40。為此在入口處送進(jìn)一定量的液體，其溫度為u(t)，出口處流出等量的液體，以便保持槽內(nèi)液面恒定。試尋找u(t)的變化規(guī)律，使槽中液體溫度經(jīng)1小時后上升到40，并要求

6、散失的熱量最小。 解：因假定槽中液體處于完全混合狀態(tài)，故可用x(t)表示其溫度。由熱力學(xué)可知，槽中液體溫度的變化率與溫差u(t)一x(t)成正比，為簡便計，令比例系數(shù)為1，于是有 在1小時內(nèi)散失掉的熱量可用下式表示： 其中g(shù)和r都是正的常數(shù)。因此在目前情況下，最 優(yōu)控制問題是：找u(t)的變化規(guī)律使槽中液體 經(jīng)I小時后從0上升到40 ，并要求散失的熱 量最小，即方程(4）中J(u)取最小值。,例0-2 攪拌槽的溫度控制,靜態(tài)最優(yōu)化問題。最優(yōu)化問題的解不隨時間t的變化而變化，則稱為靜態(tài)最優(yōu)化(參數(shù)最優(yōu)化)問題。 解決方法：線性規(guī)劃和非線性規(guī)劃法。 動態(tài)最優(yōu)化問題。如果最優(yōu)化問題的解隨時間t的變化

7、而變化， 即變量是時間t的函數(shù)，則稱為動態(tài)最優(yōu)化(最優(yōu)控制)問題。 解決方法：動態(tài)規(guī)劃和最大值原理。 其它分類：無約束與有約束 確定性和隨機(jī)性 線性和非線性,2. 最優(yōu)化問題的分類,3. 最優(yōu)化問題的解法,1) 間接法(又稱解析法) 對于目標(biāo)函數(shù)及約束條件具有簡單而明確的數(shù)學(xué)解析表達(dá)式的最優(yōu)化問題，通?？刹捎瞄g接法(解析法)來解決。 其求解方法是先按照函數(shù)極值的必要條件，用數(shù)學(xué)分析方法(求導(dǎo)數(shù)方法或變分方法)求出其解析解，然后按照充分條件或問題的實際物理意義間接地確定最優(yōu)解。,間接法 (解析法),無約束法,有約束法,經(jīng)典微分法,極大值法,經(jīng)典變分法,庫恩-圖克法,2) 直接法(數(shù)值解法) 對于

8、目標(biāo)函數(shù)較為復(fù)雜或無明確的數(shù)學(xué)表達(dá)式或無法用解析法求解的最優(yōu)化問題，通?？刹捎弥苯臃?數(shù)值解法)來解決。 直接法的基本思想，就是用直接搜索方法經(jīng)過系列的迭代以產(chǎn)生點的序列(簡稱點列)，使之逐步接近到最優(yōu)點。直接法常常是根據(jù)經(jīng)驗或試驗而得到的。,直接法 (數(shù)值解法),區(qū)間消去法 (一維搜索),爬 山 法 (多維搜索),菲波納奇（Fibonacci）法 黃金分割(0.618)法 函數(shù)逼近法（插值法）,變量加速法 步長加速法 方向加速法 單純形及隨機(jī)搜索法,3) 以解析法為基礎(chǔ)的數(shù)值解法。解析與數(shù)值計算相結(jié)合的方法。 4) 網(wǎng)絡(luò)最優(yōu)化方法。以網(wǎng)絡(luò)圖作為數(shù)學(xué)模型，用圖論方法進(jìn)行投索的尋優(yōu)方法。,4.

9、最優(yōu)控制問題,最優(yōu)控制問題的實質(zhì)，就是求解給定條件下給定系統(tǒng)的控制規(guī)律，致使系統(tǒng)在規(guī)定的性能指標(biāo)(目標(biāo)函數(shù))下具有最優(yōu)值。,1. 最優(yōu)控制問題的性能指標(biāo),(1)積分型性能指標(biāo) (拉格朗日型),(2)末值型性能指標(biāo) （梅耶型）,(3)綜合性能指標(biāo) （鮑爾扎型）,2. 最優(yōu)控制問題的數(shù)學(xué)模型,用以下4個方程來描述,(1)給定系統(tǒng)的狀態(tài)方程,(3)給定性能指標(biāo),(2)狀態(tài)方程的邊界條件,(4)允許控制域 u(t),確定一個最優(yōu)控制u*(t)，使系統(tǒng)從初始狀態(tài)x(t0)，轉(zhuǎn)移到終端狀態(tài)x(tf) ，并使性能指標(biāo)J(u)具有極大（極?。┲?。,第5章 線性二次型的最優(yōu)控制,本章主要內(nèi)容： 6.1 線性二次

10、型問題 6.2 狀態(tài)調(diào)節(jié)器 6.3 輸出調(diào)節(jié)器 6.4 跟蹤器,線性二次型問題的特點 （1）最優(yōu)解可寫成統(tǒng)一的解析表達(dá)式，實現(xiàn)求解過程規(guī)范化 （2）可以兼顧系統(tǒng)的性能指標(biāo)（快速性、準(zhǔn)確性、穩(wěn)定性、靈敏度）,6.1 線性二次型問題,線性二次性問題的提法： 設(shè)線性時變系統(tǒng)的狀態(tài)方程為,假設(shè)控制向量 不受約束 ，用 表示期望輸出，則誤差向量為,正定二次型 半正定二次型 實對稱陣A為正定（半正定）的充要條件是全部特征值0（=0)。 加權(quán)矩陣總可化為對稱形式。,求最優(yōu)控制 ，使下列二次型性能指標(biāo)最小。,性能指標(biāo)的物理含義：,加權(quán)矩陣的意義： （1）F,Q,R是衡量誤差分量和控制分量的加權(quán)矩陣，可根據(jù)各分

11、量的重要性靈活選取。 （2）采用時變矩陣Q(t),R(t)更能適應(yīng)各種特殊情況。 例如： Q(t)可開始取值小，而后取值大,線性二次型問題的本質(zhì)： 用不大的控制，來保持較小的誤差，以達(dá)到能量和誤差綜合最優(yōu)的目的。,線性二次型問題的三種重要情形：,6.2 狀態(tài)調(diào)節(jié)器問題,設(shè)線性時變系統(tǒng)的狀態(tài)方程為,假設(shè)控制向量 不受約束 ，求最優(yōu)控制 ，使系統(tǒng)的二次型性能指標(biāo)取極小值。,6.2.1 有限時間狀態(tài)調(diào)節(jié)器問題,物理意義：以較小的控制能量為代價，使?fàn)顟B(tài)保持在零值附近。,解：1.應(yīng)用最小值原理求解u(t)關(guān)系式,因控制不受約束，故沿最優(yōu)軌線有：,（R(t)正定，保證其逆陣的存在。）,規(guī)范方程組：,寫成矩

12、陣形式：,其解為：,下面思路： 確定 與 的關(guān)系，帶入 （5-6）形成狀態(tài)反饋,橫截條件給出了終端時刻二者的關(guān)系：,即,為了與（5-10）建立聯(lián)系，將（5-9）寫成向終端轉(zhuǎn)移形式：,（5-13）-（5-12）*F 可得,可實現(xiàn)最優(yōu)線性反饋控制,下面思路： 求解P(t),但直接利用（5-16）求解，涉及矩陣求逆，運(yùn)算量大,（5-17）對時間求導(dǎo),2.應(yīng)用其性質(zhì)求解p(t),（5-20）與（5-19）相等，可得,黎卡提方程（Riccati),邊界條件：,還可進(jìn)一步證明，最優(yōu)性能指標(biāo)為：,黎卡提方程求解問題： （1）可以證明，P(t)為對稱矩陣，只需求解n(n+1)/2個一階微分方程組。 （2）為非

13、線性微分方程，大多數(shù)情況下只能通過計算機(jī)求出數(shù)值解。,（1）根據(jù)系統(tǒng)要求和工程實際經(jīng)驗，選取加權(quán)矩陣F,Q,R,3. 狀態(tài)調(diào)節(jié)器的設(shè)計步驟,（2）求解黎卡提微分方程，求得矩陣P(t),（3）求反饋增益矩陣K(t)及最優(yōu)控制u*(t),（4）求解最優(yōu)軌線x*(t),（5）計算性能指標(biāo)最優(yōu)值,在MATLAB中，命令,可解連續(xù)時間的線性二次型調(diào)節(jié)器問題，并可解與其有關(guān)的黎卡提方程。該命令可計算最優(yōu)反饋增益矩陣K，并且產(chǎn)生使性能指標(biāo)。,在約束方程,條件下達(dá)到極小的反饋控制律,另一個命令,也可計算相關(guān)的矩陣?yán)杩ㄌ岱匠?的唯一正定解P。如果,為穩(wěn)定矩陣，則總存在這樣的正定矩陣。利用這個命令能求閉環(huán)極點或,

14、的特征值。 對于某些系統(tǒng)，無論選擇什么樣的K，都不能使,為穩(wěn)定矩陣。在此情況下。這個矩陣?yán)杩ㄌ岱匠滩淮嬖谡ň仃?。對此情況，命令,不能求解，詳見MATLAB Prgram 6.1。,例5-1,已知一階系統(tǒng)的微分方程為,求使性能指標(biāo)為極小值時的最優(yōu)控制。,解：,二次型性能指標(biāo)為：,其中p(t)為黎卡提方程的解,最優(yōu)軌為如下時變一階微分方程的解(可得出解析解）,利用matlab進(jìn)行 最優(yōu)控制系統(tǒng)仿真,設(shè)線性定常系統(tǒng)的狀態(tài)方程為,假設(shè)控制向量 不受約束 ，求最優(yōu)控制 ，使系統(tǒng)的二次型性能指標(biāo)取極小值。,6.2.1 無限時間狀態(tài)調(diào)節(jié)器問題,說明： 1）要求系統(tǒng)完全能控。 2）F=0,人們所關(guān)心的總是系

15、統(tǒng)在有限時間內(nèi)的響應(yīng),最優(yōu)軌線滿足下列線性定常齊次方程：,性能指標(biāo)最優(yōu)值,可以證明：,P為正定常數(shù)矩陣，滿足下列黎卡提矩陣代數(shù)方程。,可以證明：線性定常最優(yōu)調(diào)節(jié)器組成的閉環(huán)反饋控制系統(tǒng)，是漸近穩(wěn)定的。,例5-1,研究如圖所示的系統(tǒng)。假設(shè)控制信號為,試確定最優(yōu)反饋增益矩陣K，使得下列性能指標(biāo)達(dá)到極小,式中,由圖可看出，被控對象的狀態(tài)方程為,式中,以下說明退化矩陣?yán)杩ㄌ岽鷶?shù)方程如何應(yīng)用于最優(yōu)控制系統(tǒng)的設(shè)計。求解(6.26），將其重寫為,注意到A為實矩陣，Q為實對稱矩陣，P為實對稱矩陣。因此，上式可寫為,該方程可簡化為,由上式可得到下面3個方程,將這3個方程聯(lián)立，解出,且要求P為正定的，可得,參照式

16、(6.25）,最優(yōu)反饋增益矩陣K為,因此，最優(yōu)控制信號為,注意，由上式給出的控制律對任意初始狀態(tài)在給定的性能指標(biāo)下都能得出最優(yōu)結(jié)果。圖6.8是該系統(tǒng)的方塊圖。,在MATLAB中，命令,可解連續(xù)時間的線性二次型調(diào)節(jié)器問題，并可解與其有關(guān)的黎卡提方程。該命令可計算最優(yōu)反饋增益矩陣K，并且產(chǎn)生使性能指標(biāo)。,在約束方程,條件下達(dá)到極小的反饋控制律,另一個命令,也可計算相關(guān)的矩陣?yán)杩ㄌ岱匠?的唯一正定解P。如果,為穩(wěn)定矩陣，則總存在這樣的正定矩陣。利用這個命令能求閉環(huán)極點或,的特征值。 對于某些系統(tǒng)，無論選擇什么樣的K，都不能使,為穩(wěn)定矩陣。在此情況下。這個矩陣?yán)杩ㄌ岱匠滩淮嬖谡ň仃嚒Υ饲闆r，命令,

17、不能求解，詳見MATLAB Prgram 6.1。,例6.13 考慮系統(tǒng)的狀態(tài)空間表達(dá)式為,式中,在確定最優(yōu)控制律時，假設(shè)輸入為零，即r =0。,確定狀態(tài)反饋增益矩陣K（t），使得性能指標(biāo)達(dá)到極小。這里,假設(shè)控制信號u為,為了得到快速響應(yīng)，,與,和R相比必須充分大。,為了利用MATLAB求解，可使用命令,在該例中，選取,采用確定的矩陣K來研究所設(shè)計的系統(tǒng)對階躍輸入的響應(yīng)特性。所設(shè)計的系統(tǒng)的狀態(tài)方程為,輸出方程為,為求對單位階躍輸入的響應(yīng)，使用下列命令,式中,MATLAB Program 6.5可求出該系統(tǒng)對單位階躍的響應(yīng)。圖6.10畫出了輸出y對時間t的響應(yīng)曲線，圖6.11在同一張圖上畫出了,

18、和,對t的響應(yīng)曲線。,二次型最優(yōu)控制系統(tǒng)的單位階躍響應(yīng)曲線,對t的響應(yīng)曲線,例5-2,已知二階系統(tǒng)的狀態(tài)方程為,求使性能指標(biāo)為極小值時的最優(yōu)控制。,解：化為標(biāo)準(zhǔn)矩陣形式,二次型性能指標(biāo)為：,驗證系統(tǒng)能控性,展開整理得到三個代數(shù)方程,P滿足下列黎卡提矩陣代數(shù)方程：,系統(tǒng)完全能控，且Q,R為正定對稱矩陣，故最優(yōu)控制存在且唯一,解之,利用矩陣P正定的性質(zhì),與給定條件 矛盾，故假設(shè) 不成立,下面用反證法證明 不是所求的根,最優(yōu)控制為：,利用矩陣P正定的性質(zhì),最優(yōu)狀態(tài)調(diào)節(jié)器閉環(huán)系統(tǒng)結(jié)構(gòu)圖,閉環(huán)系統(tǒng)傳遞函數(shù),閉環(huán)極點為,a2,實根，過阻尼 a2,復(fù)根，衰減震蕩,利用matlab計算和仿真,A=0 1; 0

19、 0 B=0; 1 a=2 b=1 Q=1 b; b a R=1 K=lqr(A,B,Q,R,0),6.3 輸出調(diào)節(jié)器,6.2.1 有限時間輸出調(diào)節(jié)器問題,設(shè)線性時變系統(tǒng)的狀態(tài)方程為,假設(shè)控制向量 不受約束 ，求最優(yōu)控制 ，使下列二次型性能指標(biāo)最小。,物理意義：以較小的控制能量為代價，使輸出保持在零值附近。 根據(jù)系統(tǒng)能觀條件，輸出調(diào)節(jié)器問題可轉(zhuǎn)化為狀態(tài)調(diào)節(jié)器問題,將（5-29）代入（5-30）,若 是半正定的，則轉(zhuǎn)化為狀態(tài)調(diào)節(jié)器問題。最優(yōu)控制為：,可以證明，如果系統(tǒng)完全可觀測，則 是半正定的。,有限時間最優(yōu)輸出調(diào)節(jié)器系統(tǒng)結(jié)構(gòu)圖。,說明： （1）仍然是狀態(tài)反饋，而不是輸出反饋，說明構(gòu)成最優(yōu)控制系

20、統(tǒng)需要全部信息。 （2）從工程上講，x(t)是通過y(t)觀測出來的，所以控制的先決條件是，受控系統(tǒng)應(yīng)是可觀測的。,6.2.2 無限時間輸出調(diào)節(jié)器問題,設(shè)線性定常系統(tǒng)的狀態(tài)方程為,假設(shè)控制向量 不受約束 ，求最優(yōu)控制 ，使下列二次型性能指標(biāo)最小。,與無限時間狀態(tài)調(diào)節(jié)器問題類似，最優(yōu)控制為：,例5-3（學(xué)生自己看）,已知二階系統(tǒng)的狀態(tài)方程為,求使性能指標(biāo)為極小值時的最優(yōu)控制。,解：化為標(biāo)準(zhǔn)矩陣形式,二次型性能指標(biāo)為：,驗證系統(tǒng)能控性,驗證系統(tǒng)能觀性,展開整理得到三個代數(shù)方程,P滿足下列黎卡提矩陣代數(shù)方程：,系統(tǒng)完全能控且完全能觀，故最優(yōu)控制為：,解之,利用矩陣P正定的性質(zhì),閉環(huán)傳遞函數(shù)為：,最優(yōu)

21、控制系統(tǒng)的結(jié)構(gòu)圖：,說明：加權(quán)系數(shù)r的取值，只影響閉環(huán)系統(tǒng)的增益，阻尼系數(shù)不變,利用matlab計算和仿真,A=0 1; 0 0 B=0; 1 C=1 0 D=0 sys=ss(A,B,C,D) Q=1 R=1 K=lqry(sys,Q,R,0),6.4 跟蹤器（學(xué)生自己看）,設(shè)線性時變系統(tǒng)的狀態(tài)方程為（系統(tǒng)完全可觀測）,假設(shè)控制向量 不受約束 ，用 表示期望輸出，則誤差向量為,求最優(yōu)控制 ，使下列二次型性能指標(biāo)最小。,物理意義：以較小的控制能量為代價，使誤差保持在零值附近。,6.4.1 線性時變系統(tǒng)的跟蹤問題,解：1.應(yīng)用最小值原理求解u(t)關(guān)系式,規(guī)范方程組：,寫成矩陣形式：,因控制不受約束，故沿最優(yōu)軌線有：,為非齊次線性時變微分方程，其中右邊第二項起著驅(qū)動函數(shù)的作用。,橫截條件給出了終端時刻二者的關(guān)系：,將（5-42）代入（5-41），并化簡整理，可得