最優(yōu)化方法介紹第一頁，共十五頁，2022年，8月28日主要內(nèi)容1、線性規(guī)劃算法2、無約束非線性優(yōu)化算法3、約束非線性優(yōu)化算法第二頁，共十五頁，2022年，8月28日Chap1預(yù)備知識(shí)(p)一、最優(yōu)化問題的一般形式：決策變量，目標(biāo)函數(shù)，約束函數(shù)（等式，不等式）、條件。線性、非線性規(guī)劃，二次規(guī)劃；約束、無約束優(yōu)化………第三頁，共十五頁，2022年，8月28日二、可行解與可行域三、（嚴(yán)格）局部極小點(diǎn)與（嚴(yán)格）全局極小點(diǎn)第四頁，共十五頁，2022年，8月28日四、向量范數(shù)、矩陣范數(shù)1、向量范數(shù)定義三條件：

2、常見向量范數(shù)：3、誘導(dǎo)矩陣范數(shù)第五頁，共十五頁，2022年，8月28日五、線性空間、歐式空間六、梯度、Hesse陣?yán)笙铝泻瘮?shù)的梯度與Hesse陣第六頁，共十五頁，2022年，8月28日七、方向?qū)?shù)1、定義：對(duì)于若極限存在，稱該極限值為在處沿方向的一階方向?qū)?shù)，記為第七頁，共十五頁，2022年，8月28日定理1

若函數(shù)具有連續(xù)的一階偏導(dǎo)數(shù)，則

它在處沿方向的一階方向?qū)?shù)為

在處沿的方向的變化率方向?qū)?shù)幾何意義：函數(shù)梯度方向是函數(shù)值變化最快的方向第八頁，共十五頁，2022年，8月28日2、二階方向?qū)?shù)：對(duì)于若極限存在，稱該極限值為在處沿方向的二階方向?qū)?shù)，記為第九頁，共十五頁，2022年，8月28日定理2

若函數(shù)具有連續(xù)的二階偏導(dǎo)數(shù)，則

它在處沿方向的二階方向?qū)?shù)為

在處沿的方向的凹凸性和彎曲程度二階方向?qū)?shù)幾何意義：函數(shù)第十頁，共十五頁，2022年，8月28日八.凸集與凸函數(shù)1.凸集（1）凸組合：已知，任取k個(gè)點(diǎn)，如果存在常數(shù)，，使得，則稱為的凸組合。（2）凸集：設(shè)集合，如果中任意兩點(diǎn)的凸組合仍然屬于，則稱為凸集。(3)凸集的頂點(diǎn)：不能表示成另外兩個(gè)點(diǎn)的嚴(yán)格凸組合。（4）凸集的方向、極方向第十一頁，共十五頁，2022年，8月28日定理3設(shè)是非空閉凸集，若，則存在唯一的點(diǎn)，使得它與的距離最短，且滿足定理4（凸集分離定理）設(shè)是非空閉凸集，若，則存在和，使得第十二頁，共十五頁，2022年，8月28日2.凸函數(shù)設(shè)，任取，如果，有，則稱為X上的（嚴(yán)格）凸函數(shù)。例子：

凹函數(shù)？水平集：是凸函數(shù)}。性質(zhì)：水平集一定是凸集。第十三頁，共十五頁，2022年，8月28日3.凸函數(shù)的性質(zhì)定理5.凸函數(shù)的局部極小點(diǎn)就是全局極小點(diǎn)。4.凸函數(shù)的判斷條件定理6.是凸集X上的凸函數(shù)的充要條件是.定理7.設(shè)在凸集X上有二階連續(xù)偏導(dǎo)數(shù)，則是凸函數(shù)的充要條件是，有半正定。例：正定二次函數(shù)，其中是正定矩陣。例：

第十四頁，共十五頁，2022年，8月2