1、L,、優(yōu)化設(shè)計(jì)就是借助最優(yōu)化數(shù)值計(jì)算方法(最優(yōu)化原理和方法)與計(jì)算機(jī)技術(shù)，求取工程問(wèn)題的最優(yōu)設(shè)計(jì)方案(最優(yōu)設(shè)計(jì)參數(shù))。包括：（1）建立數(shù)學(xué)模型；（2）運(yùn)算求解。,一、設(shè)計(jì)變量（參數(shù)）：可以進(jìn)行調(diào)整和優(yōu)選的獨(dú)立參數(shù)連續(xù)變量和離散變量,二、約束條件：對(duì)設(shè)計(jì)變量的取值加以某些限制的條件,三、目標(biāo)函數(shù)：設(shè)計(jì)中所追求的目標(biāo)，且可由設(shè)計(jì)變量表示的函數(shù)。,、設(shè)計(jì)變量的數(shù)目稱為優(yōu)化問(wèn)題的維數(shù)設(shè)計(jì)空間：由n個(gè)設(shè)計(jì)變量為坐標(biāo)所組成的實(shí)空間。所有設(shè)計(jì)點(diǎn)的集合。等值線或等值面：具有相等目標(biāo)函數(shù)值的設(shè)計(jì)點(diǎn)構(gòu)成的線或面。可行域:在設(shè)計(jì)空間中，由滿足所有約束條件的設(shè)計(jì)點(diǎn)組成的區(qū)域。,、尋優(yōu)思路,新點(diǎn)的可行性條件、適用性條件

2、。收斂精度指相鄰兩次尋優(yōu)的設(shè)計(jì)點(diǎn)或目標(biāo)函數(shù)值的接近程度。考察兩設(shè)計(jì)點(diǎn)的最短距離或兩目標(biāo)函數(shù)值的落差（絕對(duì)或相對(duì)值），其允許最小值稱為收斂精度值。,第2章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ),優(yōu)化設(shè)計(jì)問(wèn)題多數(shù)是求解多變量非線性函數(shù)的極值問(wèn)題。可見，是建立在多元函數(shù)的極值理論基礎(chǔ)上的。2-1函數(shù)的方向?qū)?shù)與梯度2-2凸集、凸函數(shù)與凸規(guī)劃2-3無(wú)約束優(yōu)化問(wèn)題的極值條件2-4約束優(yōu)化問(wèn)題的極值條件,2-1函數(shù)的方向?qū)?shù)與梯度,一、方向?qū)?shù)一個(gè)二元函數(shù)F(x)在點(diǎn)處的偏導(dǎo)數(shù)(函數(shù)沿坐標(biāo)軸的變化率)：沿某一方向d的變化率，稱為沿該方向的方向?qū)?shù),S,沿某一方向d的變化率，稱為沿該方向的方向?qū)?shù),S,n元函數(shù)在點(diǎn)x0處沿d方

3、向的方向?qū)?shù),二、函數(shù)的梯度,函數(shù)在該點(diǎn)的梯度（grads）為：設(shè)S是單位向量，則：,梯度方向是函數(shù)值增加最快的方向，而梯度的模就是函數(shù)變化率的最大值。,梯度方向與等值線的關(guān)系,設(shè)：,則有,為單位向量。,多元函數(shù)的梯度,梯度模：函數(shù)的梯度方向與函數(shù)等值面相垂直，也就是和等值面上過(guò)x0的一切曲線相垂直。由于梯度的模因點(diǎn)而異，即函數(shù)在不同點(diǎn)處的最大變化率是不同的。因此，梯度是函數(shù)的一種局部性質(zhì)。梯度是一個(gè)向量，梯度方向是函數(shù)具有最大變化率的方向。梯度方向是函數(shù)值的最速上升方向，而負(fù)梯度方向是函數(shù)值的最速下降方向。,上機(jī)時(shí)間：周日1-2節(jié)（3月8、15、22、29日）上機(jī)地點(diǎn)：4-4211上機(jī)內(nèi)容：

4、進(jìn)退法、黃金分割法負(fù)梯度法、Powell法Powell法懲罰函數(shù)法,例題2-0求函數(shù)在點(diǎn)3,2T的梯度。,解在點(diǎn)x(1)=3,2T處的梯度為：,figure;%B卷試題2x1,x2=meshgrid(-6:0.1:10,-6:0.1:6);z=(x1-5).2+x2.2;v=1025496481100;c,h=contour(x1,x2,z,v);clabel(c,h);holdon;x1,x2=meshgrid(-5:0.1:5,-5:0.1:5);z=x1.2+x2.2;v=25;c,h=contour(x1,x2,z,v);plot(00,0-6);plot(-60,00);stop,繪

5、出過(guò)該點(diǎn)的目標(biāo)函數(shù)等值線，其法線為該點(diǎn)處梯度方向。,例2-1求二元函數(shù)在1，1點(diǎn)沿和的方向?qū)?shù),同一函數(shù)在不同方向上的方向?qū)?shù)不同。,2-2凸集、凸函數(shù)與凸規(guī)劃,如在整個(gè)可行域內(nèi)有多個(gè)極值點(diǎn)，則每個(gè)稱為局部極值點(diǎn)。其函數(shù)值最小的稱為全域極值點(diǎn)。一、凸集其中任意兩點(diǎn)的連線整個(gè)包含其中,二、凸函數(shù),定義在凸集D上的函數(shù)F，如滿足以下條件，則，F(xiàn)為D上的凸函數(shù)，如不等式反向，則為凹函數(shù)凸函數(shù)的性質(zhì)：1、在D上也是凸函數(shù)；2、F為凸函數(shù)的充分必要條件是：。即函數(shù)切線永遠(yuǎn)在曲線以下。,凸函數(shù)的函數(shù)切線永遠(yuǎn)在曲線以下。最優(yōu)點(diǎn)(極小點(diǎn))處于谷底，對(duì)于某個(gè)設(shè)計(jì)變量，目標(biāo)函數(shù)為單峰函數(shù)，(任何方向上的)尋優(yōu)區(qū)間

6、為單峰區(qū)間。設(shè)計(jì)方法都是在這一條件下提出的。,三、凸規(guī)劃,如果目標(biāo)函數(shù)和不等式約束函數(shù)都是凸函數(shù)，則該約束優(yōu)化問(wèn)題為凸規(guī)劃。性質(zhì)：1、可行域?yàn)橥辜?、任何局部最優(yōu)解都是全局最優(yōu)解；3、最優(yōu)解的充分必要條件是：,由于工程問(wèn)題數(shù)學(xué)模型的性態(tài)比較復(fù)雜，難以證明其是否為凸規(guī)劃，因此，通常從幾個(gè)初始點(diǎn)出發(fā)，看是否能收斂于同一點(diǎn)上，否則從中選取最好的方案，作為最優(yōu)設(shè)計(jì)的結(jié)果，即從局部最優(yōu)解中選取全局的。,定義1對(duì)于問(wèn)題(1)，設(shè)，若存在,使得對(duì)一切，且，都有，則稱X*是f(X)在D上的局部極小值點(diǎn)（局部最優(yōu)點(diǎn)）特別地當(dāng)時(shí)，若，則稱X*是f(X)在D上的嚴(yán)格局部極小值點(diǎn)（嚴(yán)格局部最優(yōu)點(diǎn)）,定義2對(duì)于問(wèn)題(

7、1),設(shè),對(duì)任意的,都有則稱X*是f(X)在D上的全局極小值點(diǎn)（全域最優(yōu)點(diǎn)）特別地當(dāng)時(shí)，若，則稱X*是f(X)在D上的嚴(yán)格全局極小值點(diǎn)（嚴(yán)格全域最優(yōu)點(diǎn)）,四、全域最優(yōu)點(diǎn),當(dāng)目標(biāo)函數(shù)是凸函數(shù)、約束區(qū)域是凸集時(shí)，才能保證取得全域最優(yōu)點(diǎn)。但工程實(shí)際問(wèn)題往往不是凸規(guī)劃問(wèn)題，所以采用常用的優(yōu)化方法一般得到的是局部最優(yōu)點(diǎn)。,對(duì)一個(gè)復(fù)雜的工程優(yōu)化問(wèn)題，往往難于判斷其是否為凸規(guī)劃問(wèn)題，故求解工程優(yōu)化問(wèn)題大多從多個(gè)初始點(diǎn)出發(fā)進(jìn)行迭代，如果不同的初始點(diǎn)都收斂于同最優(yōu)點(diǎn)，這該點(diǎn)就是全局最優(yōu)點(diǎn)。如果得到一些不同最優(yōu)點(diǎn)，則它們都是局部最優(yōu)點(diǎn)，應(yīng)通過(guò)比較這些局部的最優(yōu)點(diǎn)，取其目標(biāo)函數(shù)最小的為全局最優(yōu)點(diǎn)。,四、二次函數(shù)、二

8、次型及正定矩陣,二次型：xTGx標(biāo)準(zhǔn)二次型,正定即要求其各階主子式均大于零。判定矩陣正定與負(fù)定的方法一般是檢驗(yàn)矩陣的各階順序主子式。如均為大于零，則矩陣正定，如呈負(fù)、正交替變化，則矩陣負(fù)定。,正定即要求各階主子式均大于零。判定矩陣正定與負(fù)定的方法一般是檢驗(yàn)矩陣的各階順序主子式。如均為大于零，則矩陣正定，如呈負(fù)、正交替變化，則矩陣負(fù)定。,海森矩陣,2-3無(wú)約束優(yōu)化問(wèn)題的極值條件一、多元函數(shù)的泰勒展開式,一元函數(shù)在xk點(diǎn)的泰勒展開式為：N元函數(shù)在點(diǎn)xk的泰勒展開式則為：用矩陣形式表示：,目標(biāo)函數(shù)在極值點(diǎn)附近是二次函數(shù),多元函數(shù)泰勒展開,二、無(wú)約束優(yōu)化問(wèn)題的極值條件,1.在處取得極值，其必要條件是:

9、即在極值點(diǎn)處函數(shù)的梯度為n維零向量。為了判斷從上述必要條件求得的是否是極值點(diǎn)，需建立極值的充分條件。根據(jù)函數(shù)在點(diǎn)處的泰勒展開式，考慮上述極值必要條件，可得相應(yīng)的充分條件。海森賽矩陣Hessian,處取得極值充分條件,即要求各階主子式均大于零。判定矩陣正定與負(fù)定的方法一般是檢驗(yàn)矩陣的各階順序主子式。如均為大于零，則矩陣正定，如呈負(fù)、正交替變化，則矩陣負(fù)定。,例題2-附加,用泰勒展開將函數(shù)在點(diǎn)簡(jiǎn)化成線性函數(shù)與二次函數(shù)。,解：函數(shù)在點(diǎn)的函數(shù)值、梯度和二階導(dǎo)數(shù)矩陣：,簡(jiǎn)化為線性函數(shù)：二次,例2-2求函數(shù)的極值,得駐點(diǎn)：2,2。在00展開海森矩陣正定，所以2,4為極小點(diǎn)，對(duì)應(yīng)的目標(biāo)函數(shù)值為極小值。,在0

10、0展開,寫成矩陣形式,2-4約束優(yōu)化問(wèn)題的極值條件,判斷和檢驗(yàn)?zāi)晨尚悬c(diǎn)是否為不等式約束多元函數(shù)的約束極值點(diǎn)的必要條件是庫(kù)恩-塔克（Kuhn-Tucker）條件，對(duì)于凸規(guī)劃問(wèn)題，K-T條件又是充分條件。而判別所找到的極值點(diǎn)是全域還是局部極值點(diǎn)尚無(wú)統(tǒng)一而有效的方法。（1）庫(kù)恩塔克條件(K-T條件）對(duì)于多元函數(shù)不等式的約束優(yōu)化問(wèn)題：,其中，（或）稱為拉格朗日乘子。庫(kù)恩塔克條件表明：如點(diǎn)是函數(shù)的極值點(diǎn)，要么（此時(shí)），要么目標(biāo)函數(shù)的梯度等于起作用（不）等式約束梯度的非負(fù)線性組合,K-T條件,同時(shí)具有等式和不等式約束的優(yōu)化問(wèn)題:,K-T條件：,該點(diǎn)在約束邊界上，如果不在邊界，則為無(wú)約束優(yōu)化問(wèn)題的極值,二維

11、問(wèn)題K-T條件的幾何意義：,目標(biāo)函數(shù)負(fù)梯度方向位于各約束函數(shù)負(fù)梯度方向之間。,K-T條件主要用以檢驗(yàn)設(shè)計(jì)點(diǎn)10T是否為約束極值點(diǎn)或局部最優(yōu)點(diǎn)，并用以判斷和消除那些不再起作用的約束條件，以保證在迭代中維持正確的起作用的約束集合,例2-3S庫(kù)恩塔克（K-T）條件應(yīng)用舉例,s.t,判斷10T是否為約束最優(yōu)點(diǎn)。,(1)當(dāng)前點(diǎn)為可行點(diǎn)，因滿足約束條件,（2）在起作用約束為g1和g2,因,(3)各函數(shù)的梯度：,（4）求拉格朗日乘子,由于拉格朗日乘子均為非負(fù)，說(shuō)明滿足K-T條件，是一個(gè)局部最優(yōu)點(diǎn)。,_,s.t,_,_,_,_,_,例2-3對(duì)于約束極值問(wèn)題,試運(yùn)用K-T條件驗(yàn)證點(diǎn)為約束極值點(diǎn),（1）計(jì)算各約束函數(shù)值（2）求相關(guān)函數(shù)在該點(diǎn)的梯度（3）代入公式，求拉格朗日乘子,1、2起作用,均為非負(fù)，滿足K-T條件，因此，是約束極值點(diǎn)。同時(shí)，F(xiàn)為凸函數(shù)，可行域是凸集，因此，也是全域最優(yōu)點(diǎn)。,總結(jié),1、梯度與方向