1、課堂講授主要內(nèi)容,緒論 設(shè)計方法學(xué) 有限單元法 機械優(yōu)化設(shè)計 機械可靠性設(shè)計,現(xiàn)代設(shè)計理論及方法課程,第五章 機械最優(yōu)化設(shè)計,5.1 最優(yōu)化設(shè)計的基本概念 5.2 優(yōu)化方法的數(shù)學(xué)基礎(chǔ) 5.3 無約束優(yōu)化方法 5.4 約束優(yōu)化方法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,大多數(shù)機械設(shè)計問題是約束優(yōu)化問題； 約束優(yōu)化問題的求解轉(zhuǎn)化為一系列無約束優(yōu)化問題實現(xiàn)。因此，無約束優(yōu)化問題的解法是優(yōu)化設(shè)計方法的基本組成部分，也是優(yōu)化方法的基礎(chǔ)。 無約束優(yōu)化問題：一維優(yōu)化與多維優(yōu)化。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法 5.3.2 需要梯度信息的多維優(yōu)化方法 5.3.3 不

2、需要梯度信息的多維優(yōu)化方法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,一維優(yōu)化方法是最簡單、最基本的優(yōu)化方法，可以實現(xiàn)：,解決一維目標(biāo)函數(shù)的求最優(yōu)問題； 多維優(yōu)化問題在既定方向上尋求最優(yōu)步長的一維搜索。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,一維搜索的計算步驟,一維搜索的計算方法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,1. 搜索區(qū)間的確定,進(jìn)退試算法的算法思想：,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,1. 搜索區(qū)間的確定,（1）給定初始點和初始步長；,（2）確定試算點及相

3、應(yīng)的函數(shù)值；,（3）比較試算點函數(shù)值，確定搜索方向和區(qū)間。,進(jìn)退試算法的運算步驟：,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,1. 搜索區(qū)間的確定,若,，說明極小點在試算點的右側(cè)，前進(jìn)試算；,（3）比較試算點函數(shù)值，確定搜索方向和區(qū)間。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,1. 搜索區(qū)間的確定,若,，說明極小點在試算點的左側(cè)，后退試算；,（3）比較試算點函數(shù)值，確定搜索方向和區(qū)間。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,2. 黃金分割法,黃金分割法的算法思想：通過比較單峰區(qū)間內(nèi)兩點函數(shù)值，不斷舍棄單峰

4、區(qū)間的左端或右端一部分，使區(qū)間按照固定區(qū)間縮短率（縮小后的新區(qū)間和原區(qū)間長度之比）逐步縮短，直到極小點所在的區(qū)間縮短到給定的誤差范圍內(nèi)，而得到近似最優(yōu)解。,序列消去原理,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,黃金分割法的序列消去,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,2. 黃金分割法,黃金分割法：按區(qū)間全長的0.618倍選取兩個對稱的內(nèi)分點。,注意：迭代過程中，除初始區(qū)間需要找兩個內(nèi)分點，每次縮短的新區(qū)間內(nèi)，只需再計算一個新內(nèi)點及其函數(shù)值。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,2. 黃金分割法,黃

5、金分割法的運算步驟,（2）在區(qū)間a , b 內(nèi)取兩個內(nèi)分點并計算其函數(shù)值：,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,2. 黃金分割法,（3）比較試算點函數(shù)值，確定搜索方向和區(qū)間。,（三種情況）,黃金分割法的運算步驟,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,2. 黃金分割法,（4）判斷迭代終止條件,黃金分割法的運算步驟,（5）輸出一維優(yōu)化的最優(yōu)解,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,2. 黃金分割法,算例：,黃金分割法程序?qū)崿F(xiàn),(1)已知初始區(qū)間和計算精度,(2)在給定初始區(qū)間內(nèi)取兩個內(nèi)分點并計算其函數(shù)

6、值,(3)比較內(nèi)分點函數(shù)值，縮短搜索區(qū)間,消去右區(qū)間5.708，8,構(gòu)造新區(qū)間a,b=2，5.708,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,3. 二次插值法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,3. 二次插值法,二次插值法的運算步驟,（1）給定初始搜索區(qū)間和計算精度；,（2）計算二次插值結(jié)點及其函數(shù)值；,（3）構(gòu)造二次插值函數(shù)，計算其極小值及對應(yīng)的目標(biāo)函數(shù)值；,（4）縮短單谷搜索區(qū)間（分四種情況討論）；,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,二次插值法的區(qū)間縮短,5 機械最優(yōu)化設(shè)計 5.3 無約束

7、優(yōu)化方法,5.3.1 一維優(yōu)化方法,3. 二次插值法,二次插值法的運算步驟,（1）給定初始搜索區(qū)間和計算精度；,（2）計算二次插值結(jié)點及其函數(shù)值；,（3）構(gòu)造二次插值函數(shù)，計算其極小值及對應(yīng)的目標(biāo)函數(shù)值；,（4）縮短單谷搜索區(qū)間（分四種情況討論）；,（5）判斷迭代終止條件。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法,搜索區(qū)間的確定 黃金分割法 二次插值法,解決一維目標(biāo)函數(shù)的求最優(yōu)問題； 多維問題在既定方向上尋最優(yōu)步長的一維搜索。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法 5.3.2 需要梯度信息的多維優(yōu)化方法 5.3.3 不需要梯度信息的

8、多維優(yōu)化方法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,1. 梯度法,梯度法的算法思想：,n元函數(shù)的梯度,梯度是一個向量，梯度方向是函數(shù)具有最大變化率的方向。,函數(shù)的最速上升方向：,函數(shù)的最速下降方向：,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,1. 梯度法,梯度法的運算步驟,（1）確定搜索方向：,（2）計算最優(yōu)步長：,（3）判斷迭代終止：,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,試用梯度法求解目標(biāo)函數(shù)的最優(yōu)解,取初始點,，迭代精度為0.1。,解：目標(biāo)函數(shù)的梯度,（1）第一步迭代，求,繼續(xù)迭代,（2）第二步

9、迭代，求,迭代終止,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,算例1：試用梯度法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1。,解：目標(biāo)函數(shù)的梯度,（1）第一步迭代，求,繼續(xù)迭代.,（2）第二步迭代，求得,（3）第三步迭代，求得,（4）第四步迭代，求得,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,算例1：試用梯度法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,1. 梯度法,梯度法的算法特點,優(yōu)點 ： 缺點：,Newton法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要

10、梯度信息的多維優(yōu)化方法,2. 牛頓法,牛頓法的算法思想：將目標(biāo)函數(shù)的在初始點附近展開成Taylor的二次函數(shù)式，然后求這個二次函數(shù)的極小點，并以該點作為欲求目標(biāo)函數(shù)的極小點的一次近似。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,2. 牛頓法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,算例2：試用牛頓法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1。,解：目標(biāo)函數(shù)的梯度,第一步迭代，求,迭代終止,目標(biāo)函數(shù)的Hessian矩陣,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,算例2：試用牛頓法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1

11、。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,2. 牛頓法,牛頓法的算法特點,優(yōu)點 ： 缺點：,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,3. 修正牛頓法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,梯度法：計算簡單、對起始點要求不高、接近極小點收斂速度慢； 牛頓法：計算量大、對起始點要求較高、收斂速度快，但不保證計算收斂性。 修正牛頓法：保持牛頓法收斂快的特性，又放寬了對初始點選擇的要求，并能保證計算收斂性；但需要海氏矩陣的逆矩陣，工作量大，因此，牛頓法和修正的牛頓法在

12、工程實際中均未能得到廣泛應(yīng)用,變尺度法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,4. 變尺度法,變尺度法基于Newton法的基本原理而又對Newton法作了重要改進(jìn)，又稱為擬Newton法； 變尺度法是求解無約束優(yōu)化問題最有效的算法之一，是目前應(yīng)用比較廣泛的一種算法； 變尺度法的種類很多，最重要的兩種：DFP變尺度法和BFGS變尺度法。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,3. 變尺度法,變尺度法的算法思想：利用Newton法的迭代形式，但并不直接計算Hessian矩陣的逆矩陣，而用一個對稱正定矩陣近似

13、地代替，該正定對稱矩陣中迭代過程中經(jīng)過不斷修正，逐步逼近Hessian矩陣的逆矩陣。,迭代格式：,梯度法的迭代公式,牛頓法的迭代公式,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.2 需要梯度信息的多維優(yōu)化方法,3. 變尺度法,變尺度法的關(guān)鍵問題：變尺度矩陣在迭代過程中逐步逼近Hessian矩陣的 逆矩陣，每一迭代步如何對其進(jìn)行修正？,DFP修正公式：,BFGS修正公式：,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,算例3：試用變尺度法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1。,解：目標(biāo)函數(shù)的梯度,第一步迭代,繼續(xù)迭代.,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,第二步

14、迭代,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,梯度法,牛頓法,DFP變尺度法,BFGS變尺度法,原始牛頓法,修正牛頓法,變尺度法 （擬牛頓法）,5.3.2 需要梯度信息的多維優(yōu)化方法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.1 一維優(yōu)化方法 5.3.2 需要梯度信息的多維優(yōu)化方法 5.3.3 不需要梯度信息的多維優(yōu)化方法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,1. 坐標(biāo)輪換法,坐標(biāo)輪換法的算法思想：,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,1. 坐標(biāo)輪換法,第一輪,第二輪,第三輪,5

15、機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,算例4：試用坐標(biāo)輪換法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1。,解：,（1）第一輪次迭代,收斂判斷？,初始迭代點,搜索方向組,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,算例4：試用坐標(biāo)輪換法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1。,解：,（2）第二輪次迭代,收斂判斷？,初始迭代點,搜索方向組,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,算例5：試用坐標(biāo)輪換法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1。,解：,（3）第三輪次迭代,收斂判斷？,初始迭代點,搜索方向組,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方

16、法,5.3.3 不需要梯度信息的多維優(yōu)化方法,1. 坐標(biāo)輪換法,坐標(biāo)輪換法的算法特點,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,2. 共軛方向法,共軛方向的概念,對于某一n階實對稱正定矩陣A，若有一組非零向量 S(0), S(1), , S(n) 滿足：,則稱這組向量關(guān)于矩陣A共軛。,當(dāng)A為單位矩陣時，則有：,此時向量S(i)(i=1，2，n）相互正交。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,2. 共軛方向法,共軛方向的形成,平行搜索法,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度

17、信息的多維優(yōu)化方法,2. 共軛方向法,基本共軛方向法的算法思想,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,2. 共軛方向法,基本共軛方向法的算法思想,第一輪搜索方向組：,第二輪搜索方向組：,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,2. 共軛方向法,采用基本共軛方向法對下目標(biāo)函數(shù)進(jìn)行優(yōu)化計算。,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,算例5：試用基本共軛方向法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1。,解：,（1）第一輪次迭代,收斂判斷？,初始迭代點,搜索方向組,構(gòu)造新方向,5 機械最優(yōu)

18、化設(shè)計 5.3 無約束優(yōu)化方法,算例5：試用基本共軛方向法求解下述目標(biāo)函數(shù)的最優(yōu)解。,取初始點,，迭代精度為0.1。,解：,（2）第二輪次迭代,收斂判斷？,初始迭代點,搜索方向組,構(gòu)造新方向,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,2. 共軛方向法,基本共軛方向法的算法特點,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,3. 修正Powell法,是否更換,如何更換,修正Powell法的算法思想,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,3. 修正Powell法,第K環(huán)搜索起點的函數(shù)值,第K環(huán)搜索終點的函數(shù)值,第K環(huán)搜索起點沿新方向S(k)關(guān)于搜索終點的影射點的函數(shù)值,第K環(huán)搜索函數(shù)值最大下降量，相應(yīng)的方向為該環(huán)搜索方向組中的第m個向量。,Powell判別準(zhǔn)則,5 機械最優(yōu)化設(shè)計 5.3 無約束優(yōu)化方法,5.3.3 不需要梯度信息的多維優(yōu)化方法,3. 修正Powell法,第一種情況：不使用新方向,沿用上一輪方向組。,第二種情況：使用新方向，替換上一輪函數(shù)值下降最多的方向。,沿新方向S(k)進(jìn)行一維搜索求得的最優(yōu)點。,初始迭代點的選取,5 機械最優(yōu)化設(shè)計 5