第九章動(dòng)態(tài)規(guī)劃法動(dòng)態(tài)規(guī)劃法是求解控制變量限制在一定閉集內(nèi)的最優(yōu)控制問題的又一種重要方法，它是由美國學(xué)者貝爾曼于1957年提出來的。動(dòng)態(tài)規(guī)劃法把復(fù)雜的最優(yōu)控制問題變成多級(jí)決策過程的遞推函數(shù)關(guān)系，它的基礎(chǔ)及核心是最優(yōu)性原理。本章首先介紹動(dòng)態(tài)規(guī)劃法的基本概念，然后討論如何用動(dòng)態(tài)規(guī)劃法求解離散及連續(xù)系統(tǒng)的最優(yōu)控制問題。第一節(jié)動(dòng)態(tài)規(guī)劃法的基本概念一、多級(jí)決策過程所謂多級(jí)決策過程是指把一個(gè)過程分成若干級(jí)，而每一級(jí)都需作出決策，以便使整個(gè)過程達(dá)到最佳效果。為了說明這個(gè)概念，首先討論一個(gè)最短路線問題的例子。設(shè)有路線圖如圖7-1所示?，F(xiàn)在要從地出發(fā)，選擇一條最短路線最終到達(dá)地，其間要通過等中間站，各站又有若干個(gè)可供選擇的通過點(diǎn)，各地之間的距離已用數(shù)字標(biāo)注在圖中。由此可見，通過這些中間站時(shí)，有多個(gè)方案可供選擇。解決這類問題有兩種方法：探索法（窮舉法）將至的所有可能的路線方案都列舉出來，算出每條路線的路程，進(jìn)行比較，找出最短路線。直觀可知，這種方法是很費(fèi)時(shí)的，如本例共有38條路線可供選擇。如果中間站及各站可供選擇的通過點(diǎn)都增為10個(gè)，則可供選擇的路線將急劇增至1010條，顯然計(jì)算工作量將急劇增加。分級(jí)決策法將整個(gè)過程分成若干級(jí)，逐級(jí)進(jìn)行決策。具體過程如下：將至全程分為五級(jí)：第一級(jí)由至；第二級(jí)由至；第三級(jí)由至；第四級(jí)由至；第五級(jí)由至。讓我們由后向前逐級(jí)分析，先從第五級(jí)開始，其起點(diǎn)為，終點(diǎn)為。至各只有一條路線，并無選擇余地。至路程為1，至路程為2。第四級(jí)起點(diǎn)為，終點(diǎn)為，其間有六條路線，由至的各種可能路線為:可以發(fā)現(xiàn)，如果從出發(fā)，則走為最短，因此至應(yīng)選這段路線，稱為決策。同理，如果從出發(fā)，應(yīng)決策；從出發(fā)，應(yīng)決策?？梢娮鞔藳Q策時(shí)不能只從本級(jí)路程長短出發(fā)，應(yīng)考慮兩級(jí)路程之和為最短。在整個(gè)路線問題中，究竟哪一點(diǎn)作為起點(diǎn)，則取決于第三級(jí)的決策，不過提出的三條可能的最短路線為第三級(jí)的決策積累了數(shù)據(jù)資料。可見同樣方法來分析第三級(jí)，其起點(diǎn)為，終點(diǎn)為，按題意共有八條路線。但是，至的最短路線已在第四級(jí)討論中確定，因此的路線選擇問題，實(shí)際上只是選定級(jí)的路線問題（即本級(jí)決策問題）。因此，至只有八條路線，分別為比較可得分別從出發(fā)時(shí)的三條最短路線，它們?yōu)椋?；?/p>

。用同樣方法，依次對(duì)級(jí)及級(jí)進(jìn)行討論，其結(jié)果列于表7-1。最后得到最短路線為相應(yīng)最短路程為：。通過上例的討論，可以看到多級(jí)決策過程具有以下特點(diǎn)：⑴把整個(gè)過程看成（或人為地分成）級(jí)的多級(jí)過程。⑵采取逐級(jí)分析的方法，一般由最后一級(jí)開始倒向進(jìn)行。⑶在每一級(jí)決策時(shí)，不只考慮本級(jí)的性能指標(biāo)的最優(yōu)，而是同時(shí)考慮本級(jí)及以后的總性能指標(biāo)最優(yōu)，因此它是根據(jù)“全局”最優(yōu)來作出本級(jí)決策的。⑷從數(shù)學(xué)觀點(diǎn)，分級(jí)決策法與窮舉法進(jìn)行比較：窮舉法：全程五級(jí)線路，每一級(jí)都可任選，因此全部路程相當(dāng)于一個(gè)“五變量函數(shù)”，求全程最短實(shí)質(zhì)上是求這個(gè)“五變量函數(shù)”的極小值。分級(jí)歐決策摘法：宰分成微五級(jí)比，從糾最后類一級(jí)定開始黎進(jìn)行秋分級(jí)戚決策晝時(shí)，射每級(jí)獸都是寫一個(gè)跌“單蒼變量鏈函數(shù)暑”，攪因此枯進(jìn)行您每一煌級(jí)決分策時(shí)濤，實(shí)刪際上巡壽是求勞一個(gè)鎮(zhèn)“單害變量齊函數(shù)凱”的碌極小渡值。緒因此標(biāo)多級(jí)榜決策因法把抽一個(gè)街求“成五變慈量函捕數(shù)”耗的極黨值問腰題轉(zhuǎn)親化成佳為一艙個(gè)五楚組求襯“單懂變量榜函數(shù)墨”的炎極值徐問題已。這借組實(shí)步際解隆題帶墻來極譯大好棟處，忌使計(jì)規(guī)算工板作量域在為棕減少燃。以浙前面錯(cuò)舉的叮十級(jí)鉤中間器站并癥各站怠具有年十個(gè)板通過某點(diǎn)的隱路線慘問題渴為例啊，用外多級(jí)里決策違法只拼需92茫0次計(jì)能算，趣這與10旬10次相保比要耕少得約多。⑸在最階后一剃級(jí)開沸始倒壇向逐騎級(jí)分執(zhí)析中碧，我寧們發(fā)汪現(xiàn)，際由于吵各站稍的起歷始點(diǎn)捎并未諷確定俯，因宇此需脾要把藍(lán)各中天間站恢的所勇有通緒過點(diǎn)抱作為鐮出發(fā)雕點(diǎn)進(jìn)訪行計(jì)傳算，向并將帝所有融對(duì)應(yīng)理的最壞佳決界策存矮進(jìn)計(jì)縱算機(jī)瓶，建屋立起報(bào)一個(gè)在完整瞇的“傭檔案廳庫”濤，因旨此要乖求計(jì)倘算機(jī)遲有相脈當(dāng)大窮的容柿量。(6見)第一身級(jí)起拾始條棗件（襯地）忍是確價(jià)定的送，因知此只踏有逐肝級(jí)倒硬向分誤析到蒜第一災(zāi)級(jí)時(shí)序，才井能作架出確里定的歇第一看級(jí)決榆策，迫然后夸再根錦據(jù)第臭一級(jí)粘決策也順向殺確定窩各級(jí)釘?shù)钠鸾j(luò)始條借件（屠各站今的通黑過點(diǎn)創(chuàng)），沃這時(shí)源由于餅“檔栗案庫懸”中煩存有震全部割“資雷料”魚，因麻此用有“查謎檔”丘的方貿(mào)法就柱可逐善級(jí)確典定決塘策。簡由此綱可見柳，一掌般情班況下吐，多忠級(jí)決美策過晨程包啄括兩旨個(gè)過確程：稅倒向鋼“建民檔”痕及順流向“脫查檔泛”，椅而大赤量的刷計(jì)算啟工作尸是花楊費(fèi)在山建立稠“檔波案庫謀”上粒。二、沫最優(yōu)施性原萬理在前例的分級(jí)決策過程中，實(shí)際上已應(yīng)用了這樣一個(gè)基本原理：設(shè)一個(gè)過程由點(diǎn)開始，經(jīng)點(diǎn)到達(dá)點(diǎn)，如圖9-2所示，如果為最優(yōu)過程，則段也必定是一個(gè)最優(yōu)過程。我們把這原理敘述如下：一個(gè)恐最優(yōu)屈決策憲具有職這樣瓣的性伙質(zhì)，燥不論體初始笑狀態(tài)榜和初企始決扮策怎繁樣，其銹余的晃決策盟對(duì)于央第一櫻次決怪策所徹造成昏的狀盼態(tài)來鐘說，街必需液構(gòu)成預(yù)一個(gè)最優(yōu)趕決策煮。稱夸此為凡最優(yōu)蓮性原家理。境它也儀可簡繪單地這敘述本為：猜最優(yōu)像軌跡沉的第湊二段尼，本消身亦撓是最受優(yōu)軌芳跡。最優(yōu)亞性原宵理是稿動(dòng)態(tài)迅規(guī)劃雖法的竊基礎(chǔ)耐和核鈔心。杜動(dòng)態(tài)等規(guī)劃裹法就灑是對(duì)餓一個(gè)塌多級(jí)肥過程幕，應(yīng)煤用最隱優(yōu)性父原理扎，進(jìn)豬行分懇級(jí)決歪策，旅求出門最優(yōu)碑控制壯的一旬種數(shù)邀學(xué)方敞法。3、多級(jí)色決策此過程何的函艙數(shù)方煉程應(yīng)用康動(dòng)態(tài)聾規(guī)劃辱法求嚼解過負(fù)程的屑最優(yōu)乏決策完時(shí)，籍首先仔要根晌據(jù)最駝優(yōu)性覆原理動(dòng)將多恒級(jí)決巾策過顯程表民示成被如下糖數(shù)學(xué)塌表達(dá)著式：――級(jí)決策過程始點(diǎn)處所采取的控制決策，從而使?fàn)顟B(tài)轉(zhuǎn)移到下一步。式中――級(jí)決策過程的始點(diǎn)至終點(diǎn)的最小消耗；――由級(jí)決策過程始點(diǎn)至下一步到達(dá)點(diǎn)的一步消耗；(9-1)上式表明，為使級(jí)決策過程達(dá)到最小消耗，第一級(jí)決策應(yīng)根據(jù)兩部分消耗之和最小的原則作出。第一部分是第一級(jí)決策的一步消耗，第二部分為由下一步到達(dá)點(diǎn)作起點(diǎn)至終點(diǎn)的最小消耗。式(7-1)稱為多級(jí)決策過程的函數(shù)方程，它是最優(yōu)性原理的數(shù)學(xué)表達(dá)形式。在上述路線問題中，至的四級(jí)決策過程的函數(shù)方程可表示成：式中:――四級(jí)過程的起點(diǎn)；――由出發(fā)到達(dá)下一步站的某個(gè)可能通過點(diǎn)，它可能為或；――由至站的路線選擇（本級(jí)決策）；(9-2)――由至之間的路程；――從至終點(diǎn)的最短路程。由表7-1可知三者進(jìn)行比較，由此作出第一級(jí)決策為即應(yīng)選路線。這時(shí)最小路程為。函數(shù)方程是一個(gè)遞推方程，一般說來，難于獲得解析解，需要用數(shù)字計(jì)算機(jī)求解。第二太節(jié)榴動(dòng)態(tài)爆規(guī)劃嘗法解跑離散送系統(tǒng)只的最優(yōu)濕控制肺問題設(shè)系虎統(tǒng)狀犧態(tài)方棵程為式中，為維狀態(tài)向量，為維控制向量，設(shè)為每一步轉(zhuǎn)移中的性能指標(biāo)。(9-3)第一步，系統(tǒng)初始狀態(tài)在作用下轉(zhuǎn)移至，即要求選擇控制，使達(dá)最小。這是一個(gè)一級(jí)決策過程。(9-4)這時(shí)，第一步的性能指標(biāo)為：(9-5)(9-6)第二步，系統(tǒng)在作用下由轉(zhuǎn)移到，轉(zhuǎn)移中的性能指標(biāo)為，則兩步轉(zhuǎn)移的總性能指標(biāo)為：這里，因?yàn)橐阎?，而，因此在上述兩步轉(zhuǎn)移的總性能指標(biāo)中，只有及未知。現(xiàn)在要求選擇及，使兩步性能指標(biāo)達(dá)極小。這就是二級(jí)決策問題。依次類推，系統(tǒng)狀態(tài)由作起點(diǎn)進(jìn)行步轉(zhuǎn)移，則步轉(zhuǎn)移的總性能指標(biāo)為：現(xiàn)在要求選擇使性能指標(biāo)達(dá)最小，這就是級(jí)決策問題。我們可以應(yīng)用動(dòng)態(tài)規(guī)劃法來求解。根據(jù)最優(yōu)性原理，對(duì)級(jí)最優(yōu)決策過程來說，不論第一級(jí)控制向量怎樣選定，余下的級(jí)過程，從產(chǎn)生的狀態(tài)作為起點(diǎn)，必須構(gòu)成級(jí)最優(yōu)過程。(9-7)如果我們用表示級(jí)過程的性能指標(biāo)的極小值，表示級(jí)過程性能指標(biāo)的極小值，則我們就可以列寫出級(jí)決策過程的函數(shù)方程為：由此和可見北，第跌一級(jí)朽決策總實(shí)質(zhì)昌上是華函數(shù)對(duì)第一級(jí)的控制決策求極值的問題。求解遞推方程(9-8)，就可解得最優(yōu)控制決策。(9-8)例9-循1設(shè)離疊散系湯統(tǒng)狀液態(tài)方消程為詢：初始條件為，控制變量不受限制，性能指標(biāo)為求最優(yōu)控制，使達(dá)最小。解:為簡單起見，設(shè)，則這是一個(gè)二步控制問題，性能指標(biāo)可表示成：首先考慮最后一步，即由某狀態(tài)出發(fā)到達(dá)的一步，如采用控制，則有或求最優(yōu)控制使為極小，則有解得：可見為的函數(shù)。相應(yīng)的最優(yōu)性能指標(biāo)及為再考慮倒數(shù)第二步，即由初始狀態(tài)出發(fā)到達(dá)的一步，如采用控制，則有令有相應(yīng)的最優(yōu)性能指標(biāo)及為：最后得最優(yōu)控制為：最優(yōu)軌線為：最優(yōu)性能指標(biāo)為：上述尾離散館型動(dòng)羅態(tài)規(guī)葬劃可秀近似領(lǐng)地用弊來求徒解連徹續(xù)系群統(tǒng)的就最優(yōu)原控制喇問題秤。設(shè)連泡續(xù)系適統(tǒng)狀舞態(tài)方修程為蠶：(9-9)

給定，性能指標(biāo)為：(9-10)

(9-11)

求最優(yōu)控制，使為最小。由于函數(shù)方程是一個(gè)遞推方程，故特別適合于求解離散系統(tǒng)的最優(yōu)控制問題。為此要把連續(xù)過程問題轉(zhuǎn)化成一個(gè)多級(jí)決策過程。首先將時(shí)間間隔分成段，每段為，為使盡量符合連續(xù)過程的實(shí)際情況，應(yīng)取足夠大，取足夠小。接著應(yīng)將連續(xù)狀態(tài)方程進(jìn)行離散化，使之用下列有限差分方程來近似表示：(9-12)

故(9-13)

這樣，就把研究連續(xù)過程問題近似轉(zhuǎn)化成了級(jí)決策過程。下面就可按離散過程一樣建立函數(shù)方程，用遞推求解方法逐級(jí)進(jìn)行最優(yōu)決策，求出最優(yōu)控制序列來。(9-14)

這里，假設(shè)在每段時(shí)間內(nèi)，及保持常值。同時(shí)，將積分型的性能指標(biāo)用以下序列和的形式來近似第三保節(jié)棉動(dòng)隆態(tài)規(guī)唱?jiǎng)澐I解離茄散線敗性二塌次型放問題設(shè)離俗散線旨性系勵(lì)統(tǒng)狀護(hù)態(tài)方伐程為妖：(9-15)

性能動(dòng)指標(biāo)讓為二聚次型(9-16)

式中，均為對(duì)稱矩陣，為正定矩陣，為正半定矩陣。求最優(yōu)控制序列使為最小?，F(xiàn)在我們用動(dòng)態(tài)規(guī)劃法來求解。從初始端開始，經(jīng)過級(jí)決策得到的最優(yōu)性能指標(biāo)可表示為(9-17)

(9-18)

根據(jù)仿最優(yōu)泳性原夕理，劑可以趁建立氣函數(shù)煤方程蒜如下怨：如果過程是從第級(jí)開始至終產(chǎn)端，則這一段的最優(yōu)性能指標(biāo)可表示為：假設(shè)胳二次瞎型問否題的度最優(yōu)檔性能逆指標(biāo)搭為狀鄭態(tài)的飼二次散函數(shù)予：(9-20)

上式對(duì)成立，代入式(9-19)得：

(9-21)

將系凍統(tǒng)狀聯(lián)態(tài)方惰程代岔入，溜得：(9-22)

設(shè)不受約束，則令(9-23)

可得：(9-24)

式中現(xiàn)在需要確定，將式(9-24)代入式(9-22)，并利用

的假設(shè)，則式(9-22)可寫成：(9-26)

上式貢對(duì)任糠意狀耐態(tài)變翻量都娘滿足巷，由卻此可想得離擁散系蘆統(tǒng)的介黎卡則提方繪程(9-27)

第四守節(jié)程動(dòng)態(tài)椅規(guī)劃向法解焦連續(xù)絹系統(tǒng)治的最騎優(yōu)控屑制問影題用離勤散動(dòng)假態(tài)規(guī)腎劃法疼求解徒連續(xù)澤系統(tǒng)融最優(yōu)速控制海問題百時(shí)，調(diào)可能籠會(huì)由塘于離腸散化聾過程旅而造映成一擊定誤粉差。育應(yīng)用右最優(yōu)羽性原奴理，披對(duì)連西續(xù)系掩統(tǒng)也貞可建與立起洋相應(yīng)距的函幣數(shù)方窩程，僅經(jīng)過脅變換等，最豆后得慚到一讓個(gè)一戴階非直線性鞏偏微懷分方將程，旦解之幅可得北連續(xù)旋形式惹的最訊優(yōu)控唉制即激最優(yōu)銀決策講。設(shè)連嫌續(xù)系布統(tǒng)狀考態(tài)方坊程為(9-28)(9-29)性能乏指標(biāo)誤為(9-30)求最優(yōu)控制，使為最小。我們知道，對(duì)應(yīng)最優(yōu)控制及最優(yōu)軌線，性能指標(biāo)將取極小值，且為系統(tǒng)初始狀態(tài)及初始時(shí)刻的函數(shù)，以表示，則可寫成：(9-31)(9-32)這里，與的關(guān)系受系統(tǒng)動(dòng)態(tài)方程約束。將指標(biāo)函數(shù)的表示式代入，則顯然(9-33)設(shè)時(shí)刻在區(qū)間內(nèi)，則根據(jù)最優(yōu)性原理，從到這一段過程必須構(gòu)成最優(yōu)過程，這一段過程的性能指標(biāo)極小值可表示為將這段最優(yōu)過程分成二步，第一步由到，是一很小的時(shí)間間隔，第二步由至，于是有(9-34)(9-35)根據(jù)最優(yōu)性原理，從到這一段過程也應(yīng)當(dāng)構(gòu)成最優(yōu)過程，其性能指標(biāo)極小值可表示為：這樣氏，式(9非-3劫5