關于經(jīng)典最優(yōu)化方法第1頁，共34頁，星期日，2025年，2月5日內(nèi)容介紹微分學中求極值無約束最優(yōu)化問題常用微分公式凸集與凸函數(shù)等式約束最優(yōu)化問題不等式約束最優(yōu)化問題變分學中求極值第2頁，共34頁，星期日，2025年，2月5日微分學中求極值一元函數(shù)的極值1.一元函數(shù)極值的求法與判別必要條件：設函數(shù)在點處具有導數(shù)，且在處取得極值，則該函數(shù)在處的導數(shù)

這里有個前提，即函數(shù)在設計區(qū)間要連續(xù)可導。凡是滿足上述的點都叫函數(shù)的駐點。我們可知駐點并不完全是極值點，它還有拐點，當然，極值點必定是駐點。因此，還必須有判別函數(shù)極值的更充分條件。第3頁，共34頁，星期日，2025年，2月5日微分學中求極值第4頁，共34頁，星期日，2025年，2月5日微分學中求極值第5頁，共34頁，星期日，2025年，2月5日微分學中求極值二元函數(shù)的極值第6頁，共34頁，星期日，2025年，2月5日微分學中求極值第7頁，共34頁，星期日，2025年，2月5日微分學中求極值第8頁，共34頁，星期日，2025年，2月5日微分學中求極值(3)赫森矩陣（Hesse）第9頁，共34頁，星期日，2025年，2月5日無約束最優(yōu)化問題由上一節(jié)可知，對于無約束最優(yōu)化問題，其數(shù)學模型中只有目標函數(shù)采用解析法求解，其求解過程可以歸結(jié)為一下三個步驟：

1.令梯度g=0，解出各個駐點。

2.計算各駐點的矩陣A,判斷矩陣A正定或負定，得到相對應的極小點或極大點；

3.計算極值。

第10頁，共34頁，星期日，2025年，2月5日常用微分公式第11頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第12頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第13頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第14頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第15頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第16頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第17頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第18頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第19頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第20頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第21頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第22頁，共34頁，星期日，2025年，2月5日凸集與凸函數(shù)第23頁，共34頁，星期日，2025年，2月5日等式約束最優(yōu)化問題

等式約束最優(yōu)化問題的數(shù)學模型式這里介紹兩種比較常用的方法：消元法和拉格朗日乘子法。第24頁，共34頁，星期日，2025年，2月5日等式約束最優(yōu)化問題

第25頁，共34頁，星期日，2025年，2月5日等式約束最優(yōu)化問題

第26頁，共34頁，星期日，2025年，2月5日等式約束最優(yōu)化問題

第27頁，共34頁，星期日，2025年，2月5日等式約束最優(yōu)化問題

第28頁，共34頁，星期日，2025年，2月5日不等式約束最優(yōu)化問題

不等式約束的最優(yōu)化問題的解析法與前面處理的基本思路相類似，也是構(gòu)造一個包含原目標函數(shù)與約束函數(shù)的新目標函數(shù)。只是具體的構(gòu)造方法不同，這里處理的也是二維問題原問題的數(shù)學模型為引入一個松弛變量r,把約束條件改為等式約束，即

第29頁，共34頁，星期日，2025年，2月5日不等式約束最優(yōu)化問題

第30頁，共34頁，星期日，2025年，2月5日等式約束最優(yōu)化問題

第31頁，共34頁，星期日，2025年，2月5日變分學中求極值第