1、機械優(yōu)化設(shè)計機械優(yōu)化設(shè)計太原科技大學張學良第二章 優(yōu)化設(shè)計的數(shù)學根底 梯度梯度2.1 目的函數(shù)的近似表達目的函數(shù)的近似表達 設(shè)目的函數(shù)設(shè)目的函數(shù)f (X)是一階延續(xù)可微的，那是一階延續(xù)可微的，那么它在某點么它在某點Xk處對處對 x i (i=1,2,n)的一的一階偏導數(shù)的列向量列矩陣稱為階偏導數(shù)的列向量列矩陣稱為f (X)在在Xk點處的梯度，記作點處的梯度，記作()( )12()kTknXffff Xxxx梯度的模梯度的模2( )1()()knkiif Xf Xx 海賽矩陣海賽矩陣 設(shè)目的函數(shù)設(shè)目的函數(shù)f (X)在某點在某點Xk處存在處存在延續(xù)的一階、二階偏導數(shù)：延續(xù)的一階、二階偏導數(shù)：( )

2、1()(1,2, )kf Xinx2( )()( ,1,2, )kijf Xi jnx x 那么函數(shù)那么函數(shù)f (X)在在Xk點的點的n2個二階偏導數(shù)個二階偏導數(shù)所構(gòu)成的所構(gòu)成的 nn 階方陣稱為函數(shù)階方陣稱為函數(shù)f (X)在在Xk點的海賽矩陣。點的海賽矩陣。2( )2( )211( )2( )2( )2( )21()()()()()() kknkkkknnf Xf Xxx xH Xf Xf Xf Xxxx假設(shè)函數(shù)假設(shè)函數(shù)f (X)的一階偏導數(shù)在定義域內(nèi)處處的一階偏導數(shù)在定義域內(nèi)處處延續(xù)可微，那么海賽矩陣為對稱方陣。延續(xù)可微，那么海賽矩陣為對稱方陣。 目的函數(shù)的近似表達目的函數(shù)的近似表達泰勒展

3、開泰勒展開 一元函數(shù)一元函數(shù)f (x)的泰勒展開：的泰勒展開：( )( )( )( )( )2( )( )( )21( )()()()()()21()()()2kkkkkkkkf xf xfxxxfxxxf xfxxfxx 二元函數(shù)二元函數(shù)f (x1，x2)的泰勒展開：的泰勒展開：12212122( )( )( )( )( )121122( )( )2( )( )( )111122( )( )222(,)()()()()()1()()2()()()2()() kkkkkxxkkkkkx xxkkxf x xf XfXxxfXxxfXxxfXxxxxfXxx1121212122( )( )( )

4、( )( )1122( )( )( )( )( )( )11221122( )( )( )( )2()()()()()()()()1()()()() 2()()1()()(2kkkkkTxxkkx xxkkkkTkkx xxkTkTkf Xf XfXfXxxxxfXfXxxxxxxxxfXfXf Xf XXXf X)X( )( )1122kkTXxxxx n元函數(shù)元函數(shù)f (X)的泰勒展開：的泰勒展開：( )( )2( )1( )()()()2kTkTkf Xf Xf XXXf XX 可計算函數(shù)與等值面可計算函數(shù)與等值面 給定一組設(shè)計變量的值，就對應一個給定一組設(shè)計變量的值，就對應一個確定的目

5、的函數(shù)值確定的目的函數(shù)值f(X)=C，具有這種性質(zhì)，具有這種性質(zhì)的函數(shù)叫可計算函數(shù)。反之，給定目的函的函數(shù)叫可計算函數(shù)。反之，給定目的函數(shù)數(shù)f(X)的值的值C，即，即f(X)=C，那么將有無限多，那么將有無限多個設(shè)計點個設(shè)計點X使該式成立，這些設(shè)計點在使該式成立，這些設(shè)計點在n維維設(shè)計空間中將組成一個點集，稱之為等值設(shè)計空間中將組成一個點集，稱之為等值曲面三維空間或等值超曲面曲面三維空間或等值超曲面n3，通稱等值面。在二維平面中為等值線。假通稱等值面。在二維平面中為等值線。假設(shè)給定一系列目的函數(shù)的值，將在設(shè)計空設(shè)給定一系列目的函數(shù)的值，將在設(shè)計空間得到一組等值面線族。間得到一組等值面線族。 目

6、的函數(shù)的等值線面目的函數(shù)的等值線面 f(X)=ax12+2bx1x2+cx22 a0 c0 ac-b20 一、最速下降方向一、最速下降方向負梯度方向負梯度方向01210120210201012010201010101202101202020(,)(,)lim(,)(,)lim(,)(,)lim sXsxsxf xx xxf xxdfdssf xx xf xxxxsf xx xxf xx xxxs2.2 最速下降方向和共軛方向最速下降方向和共軛方向 函數(shù)的方導游數(shù)函數(shù)的方導游數(shù)X0X0+Xx1x2S00001212coscossinsinXXXXffffxxxx 0000012120coscos

7、sinsin()XXXXXTdfffffdsxxxxf XSn元函數(shù)的方導游數(shù)元函數(shù)的方導游數(shù):()()()()()111()coscoscos()1kkkkkXnXXnXXnTkdfffdsxxffxxfXSS ()( )( )( )( )( )( )()()cos(),)() cos(),)cos(),)1 kTkkkXkkkdff XSf XSf XSdsf Xf XSf XS()()( )min( )max()() kkkXkXdff Xdsdff Xds 與負梯度方向成銳角的方向為目的函數(shù)值的下降方向，成鈍角的方向為目的函數(shù)值的添加方向。 目的函數(shù)的梯度方向是目的函數(shù)等值線目的函數(shù)的

8、梯度方向是目的函數(shù)等值線面在同一點的法向矢量方向。面在同一點的法向矢量方向。 f(X(k)- f(X(k)X(k)t所以，目的函數(shù)在某一點的最速下降方向為所以，目的函數(shù)在某一點的最速下降方向為負梯度方向負梯度方向 兩個向量的共軛兩個向量的共軛 設(shè)兩個非零向量設(shè)兩個非零向量S(0)、S(1)及對稱正定矩及對稱正定矩陣陣H，假設(shè)滿足，假設(shè)滿足二、共軛方向二、共軛方向(0)(1)0TSHS那么稱那么稱S(0)、S(1)關(guān)于關(guān)于H共軛，或稱共軛，或稱S(0)與與S(1)為共軛為共軛方向。方向。 假設(shè)假設(shè)H為單位陣，即為單位陣，即H=I，那么，那么S(0)與與S(1)正交。正交。 一組向量的共軛一組向量

9、的共軛 設(shè)有一組非零向量設(shè)有一組非零向量S(0)、S(1) S(n-1)及對及對稱正定矩陣稱正定矩陣H，假設(shè)滿足，假設(shè)滿足( )( )0( ,0,1,2,1;)iTjSHSi jnij那么稱它們關(guān)于那么稱它們關(guān)于H共軛，或稱它們?yōu)橐唤M共軛方向。共軛，或稱它們?yōu)橐唤M共軛方向。 假設(shè)假設(shè)H為單位陣，那么稱它們相互正交。為單位陣，那么稱它們相互正交。 凸集見圖凸集見圖2M8 一個點集或區(qū)域，假設(shè)銜接一個點集或區(qū)域，假設(shè)銜接其中恣意兩點的線段都全部包含在該其中恣意兩點的線段都全部包含在該點集內(nèi)，那么稱該點集為凸集。否那點集內(nèi)，那么稱該點集為凸集。否那么，稱為非凸集。么，稱為非凸集。2.3 凸集、凸函數(shù)

10、與凸規(guī)劃凸集、凸函數(shù)與凸規(guī)劃 凸函數(shù)見圖凸函數(shù)見圖2M10 設(shè)函數(shù)設(shè)函數(shù)f (X)定義域為凸集定義域為凸集G，X(1)、X(2)為凸集為凸集G上的恣意兩點，假設(shè)函數(shù)上的恣意兩點，假設(shè)函數(shù)f (X)在線段在線段X(1)X(2)上的函數(shù)值總小于上的函數(shù)值總小于或等于用或等于用f (X(1)及及f (X(2)作線性內(nèi)插作線性內(nèi)插所得的值，那么稱函數(shù)所得的值，那么稱函數(shù)f (X)為凸集為凸集G上上的凸函數(shù)，即滿足的凸函數(shù)，即滿足(1)(2)(1)(2)(1)(2)(1)()(1) (),01fXXf Xf XXG XG 的函數(shù)的函數(shù)f (X)為凸函數(shù)。假設(shè)同時去掉為凸函數(shù)。假設(shè)同時去掉式中的等號，那么

11、稱函數(shù)式中的等號，那么稱函數(shù)f (X)為嚴厲為嚴厲凸函數(shù)。凸函數(shù)。 凸規(guī)劃凸規(guī)劃 對于約束優(yōu)化問題對于約束優(yōu)化問題min(). .()0(1,2, )njf XXRstgXjl 假設(shè)函數(shù)假設(shè)函數(shù)f (X)、gj(X)均為凸函數(shù)，那么均為凸函數(shù)，那么稱此約束優(yōu)化問題為凸規(guī)劃。稱此約束優(yōu)化問題為凸規(guī)劃。 凸規(guī)劃的性質(zhì)凸規(guī)劃的性質(zhì) 1凸規(guī)劃的可行域為凸集凸規(guī)劃的可行域為凸集 2凸規(guī)劃的任何部分最優(yōu)解就是凸規(guī)劃的任何部分最優(yōu)解就是全局最優(yōu)解全局最優(yōu)解2.4 優(yōu)化問題的幾何解釋優(yōu)化問題的幾何解釋X*X*X*X*X*X*h1=0h2=02.5 優(yōu)化方法的簡單分類優(yōu)化方法的簡單分類 按有無約束分類按有無約束

12、分類 無約束優(yōu)化方法、約束優(yōu)化方法無約束優(yōu)化方法、約束優(yōu)化方法 按目的函數(shù)的維數(shù)分類按目的函數(shù)的維數(shù)分類 一維優(yōu)化方法、多維優(yōu)化方法一維優(yōu)化方法、多維優(yōu)化方法 按目的函數(shù)的數(shù)目分類按目的函數(shù)的數(shù)目分類 單目的優(yōu)化方法、多目的優(yōu)化方法單目的優(yōu)化方法、多目的優(yōu)化方法 按求優(yōu)途徑的不同分類按求優(yōu)途徑的不同分類 直接法、解析法間接法、實驗直接法、解析法間接法、實驗法、圖解法法、圖解法2.6 迭代方法及其收斂準那么迭代方法及其收斂準那么 無論是直接法還是解析法，求優(yōu)的過程都是采用數(shù)值迭代法，且迭代公式的方式一致。 迭代方法迭代方法 X (k+1)=X (k) + (k) S(k) (k =0 , 1 ,

13、 2 , ) 兩個特性兩個特性 1下降性下降性: f (X (k+1) f (X (1) f (X (k) f (X (k+1) f (X *) 確定步長確定步長 (k) 的方法的方法 1定步長法 取取(k) = p (p為常數(shù)為常數(shù)) ，檢驗以下不等式，檢驗以下不等式 f (X (k) + (k) S(k) ) f (X (k) ？ 假設(shè)成立，那么繼續(xù)下一步迭代計算；假設(shè)成立，那么繼續(xù)下一步迭代計算； 否那么，取否那么，取(k) = p 0 1，再，再檢驗不檢驗不 等式等式 f (X (k) + (k) S(k) ) f (X (k) ？ 直至滿足為止。直至滿足為止。 2最優(yōu)步長法 用一維尋

14、優(yōu)方法確定用一維尋優(yōu)方法確定(k)： 當給定當給定S(k) 從從X (k) 點出發(fā)搜索點出發(fā)搜索X (k+1)點點時，為求得沿搜索方向時，為求得沿搜索方向S(k)上的最優(yōu)步長上的最優(yōu)步長(k)，可以建立如下一維優(yōu)化數(shù)學模型，即可以建立如下一維優(yōu)化數(shù)學模型，即 這本質(zhì)上就是以這本質(zhì)上就是以(k) 為變量的一元函數(shù)求極為變量的一元函數(shù)求極值的問題，稱為一維搜索或一維尋優(yōu)。值的問題，稱為一維搜索或一維尋優(yōu)。()( )( )( )?min()kkkkf XS 解析法確定解析法確定(k)：()( )( )( )?min()kkkkf XS( )( )( )( )2( )( )( )( )( )( )(

15、)2( )2( )( )( )()()()()1()()()21()()()2()kTkkkTkkkkTkkkkTkkkf Xf Xf XXXXXf XXXf Xf XSSf XS ( )( )( )( )( )( )2( )( )()()0()kTkkkkkTkkf XSdSf XS 由得 搜索方向搜索方向S(k) 的討論的討論 1三種常用搜索方向 負梯度方向：負梯度方向：S(k) = - f (X (k) 共軛方向：將共軛方向：將n維優(yōu)化問題轉(zhuǎn)化為每一個維優(yōu)化問題轉(zhuǎn)化為每一個循環(huán)循環(huán)n次一維搜索，依次取次一維搜索，依次取n個相互共軛的方個相互共軛的方向為搜索方向。向為搜索方向。 隨機搜索方

16、向：隨機搜索方向： S(k) 隨機產(chǎn)生，只需求隨機產(chǎn)生，只需求沿沿S(k) 方向所得方向所得X (k+1)點處函數(shù)值下降。點處函數(shù)值下降。 2S(k) 與 - f (X (k)和 f (X (k+1)的關(guān)系 目的函數(shù)下降：目的函數(shù)下降： f (X (k) + (k) S(k) ) - f (X (k) 0 f (X (k) + (k) S(k) ) - f (X (k) (k) T f (X (k) S(k) 故故 (k) T f (X (k) S(k) 0 用一維優(yōu)化方法確定用一維優(yōu)化方法確定(k) 時，必需滿足：時，必需滿足： f (X (k) + S(k) ) =0 所以所以 T f (

17、X (k) + S(k) ) S(k) =0 即即 T f (X (k+1) ) S(k) =0 第第k次迭代的搜索方向次迭代的搜索方向S(k) 與目的函數(shù)在與目的函數(shù)在本次迭代所得點本次迭代所得點X (k+1)處的梯度方向處的梯度方向 f (X (k+1) )正交。正交。X (k) X (k+1) S(k)- f (X (k+1) ) 3共軛搜索方向的一個重要性質(zhì) n維正定二次函數(shù)的維正定二次函數(shù)的n次收斂性次收斂性 即即 對于對于n維正定二次函數(shù)，假設(shè)相繼以維正定二次函數(shù)，假設(shè)相繼以一組相互共軛的向量一組相互共軛的向量S(0) 、 S(1) 、 S(n-1) 為搜索方向，那么不論從任何初始點出發(fā)，經(jīng)為搜索方向，那么不論從任何初始點出發(fā)，經(jīng)過過n次一維搜索，就可以得到該正定二次函數(shù)次一維搜