1、第一章是優(yōu)化問題和凸分析的基礎(chǔ)。在日常生活中，無論你做什么，總有許多選擇，可能會有許多不同的結(jié)果。當(dāng)我們做這些事情時，我們總是有意識或無意識地選擇一個最佳方案，以達(dá)到最佳結(jié)果。追求最佳方案以獲得最佳結(jié)果的學(xué)科是最優(yōu)化。尋求最佳方案的方法是最優(yōu)化方法。該方法的理論基礎(chǔ)是最優(yōu)化理論，凸分析是最優(yōu)化理論的基礎(chǔ)之一。1.最優(yōu)化問題：尋找一元函數(shù)或多元函數(shù)的極值。在微積分中，我們遇到了一些簡單的極值問題。讓我們舉一個具體的例子來看看什么是優(yōu)化。1.1優(yōu)化問題的示例，示例1:在邊長為a的正方形鐵板的四個角上切掉相等的正方形，以制作一個正方形的無蓋水箱，并詢問如何切掉該方法以使水箱的體積最大化。解決方法：讓

2、切割正方形的邊長為x，這很容易從問題的含義中知道。這個問題的數(shù)學(xué)模型是，例2。(混合飼料協(xié)調(diào))讓每天所需的混合飼料的批次為100磅，并且該飼料必須含有至少0.8%但不超過1.2%的鈣；至少22%的蛋白質(zhì)；高達(dá)5%的粗纖維。據(jù)推測，主要成分包括石灰石、谷物和大豆粉。這些成分的主要營養(yǎng)成分如下表所示。努力確定最佳混合飼料，以最低的成本滿足動物的營養(yǎng)需求。每磅配料的營養(yǎng)成分、鈣、蛋白質(zhì)、纖維、每磅成本(元)、石灰石顆粒大豆粉、0.380 0.00 0.00 0.001 0.09 0.02 0.002 0.50 0.08、0.0164 0.0463 0.1250、1.2最優(yōu)化問題的數(shù)學(xué)模型，一般形式為

3、向量形式，其中、目標(biāo)函數(shù)、不等式約束和等式約束稱為可行解或可行點(diǎn)，所有可行點(diǎn)的集合稱為可行集。如果它是一個連續(xù)函數(shù)，它就是一個閉集。在可行集中找到一個點(diǎn)，使目標(biāo)函數(shù)在該點(diǎn)取最小值，即滿足的過程：是優(yōu)化解的過程。它被稱為問題的最佳點(diǎn)或最優(yōu)解和最優(yōu)值。定義1:全局(全局)最優(yōu)解：如果它對任何事物都存在，它被稱為優(yōu)化問題的全局最優(yōu)解。定義2:局部最優(yōu)解：如果有一個特定的鄰域，如果它對所有事物都是常數(shù)，那么它就稱為優(yōu)化問題的局部最優(yōu)解。嚴(yán)格最優(yōu)解：當(dāng)有嚴(yán)格最優(yōu)解時，稱為問題的嚴(yán)格最優(yōu)解。局部最優(yōu)解，全局最優(yōu)解，1.3優(yōu)化問題的分類，與時間的關(guān)系：靜態(tài)問題，動態(tài)問題是否有約束，約束問題，無約束問題函數(shù)類

4、型：線性規(guī)劃，非線性規(guī)劃，2 .梯度和黑塞矩陣，2.1等高線二維問題的目標(biāo)函數(shù)表示三維空間中的曲面在空間直角坐標(biāo)系中，平面與曲面在平面上相交的投影曲線是得到不同值的不同投影曲線。每條投影曲線對應(yīng)一個值，所以我們稱這條投影曲線為目標(biāo)函數(shù)的等值線。當(dāng)常數(shù)取不同的值時，重復(fù)上面的討論，在平面上得到一族曲線等高線。輪廓線的形狀完全由曲面的形狀決定。相反，表面的形狀可以從輪廓的形狀推斷出來。例如，在坐標(biāo)平面上繪制目標(biāo)函數(shù)的輪廓。解決方案：因?yàn)楫?dāng)目標(biāo)函數(shù)取常數(shù)時，曲線代表半徑以原點(diǎn)為中心的圓。因此，輪廓是以原點(diǎn)為中心的同心圓族(如圖所示)。2.2梯度：多元函數(shù)的一階導(dǎo)數(shù)，2.3赫斯矩陣：多元函數(shù)的二階偏導(dǎo)

5、數(shù)矩陣，例：求目標(biāo)函數(shù)的梯度和赫斯矩陣。解決方法：因?yàn)楹谌仃囀牵合旅娴墓绞俏磥沓Ｓ玫模?1)，然后(2)，然后(單位矩陣)，(3)，q是對稱的，然后(4)如果，其中f是：3，多元函數(shù)的泰勒展開式，這在最優(yōu)化理論中是非常重要的。許多方法及其收斂性的證明都是基于此。定理：讓它有一個二階連續(xù)偏導(dǎo)數(shù)。那么：0 1的泰勒展開式也可以寫成：4。凸集、凸函數(shù)和凸規(guī)劃；4.1凸集的定義：設(shè)集s rn，如果x (1)，x (2) s，0，1，一定有x (1) (1-) x (2) s，它規(guī)定單點(diǎn)集x是凸集，空集是凸集。注： x(1)(1-)x(2)=x(2)(x(1)-x(2)是連接x(1)和x(2)的線段

6、。凸集，非凸集，非凸集，例：證明該集是凸的。其中a是Mn矩陣，b是m維向量。證明：如果你拿它，那么，例子：給定線性規(guī)劃，如果它是，它是凸集。定義：設(shè)x (1)，x (2)，x(m) rn，j 0 j=1，則j x (j)是x(1)，x(2)，x(m)的凸組合。性質(zhì)：凸集的交集是凸集；(并集一般不是)凸集的內(nèi)點(diǎn)集是凸集；凸集的閉包是凸集。4.2凸函數(shù)，定義：讓集合s rn是凸的，函數(shù)f:sr，如果x (1)，x (2) s，(0，1)，都有f (x (1) (1-) x (2) f (x (1) (1如果上述不等式成立嚴(yán)格不等式，則f(x)稱為凸集合s上的嚴(yán)格凸函數(shù)。當(dāng)-f(x)是凸函數(shù)(嚴(yán)格凸

7、函數(shù))時，則f(x)稱為凹函數(shù)(嚴(yán)格凹函數(shù))。嚴(yán)格凸函數(shù)，凸函數(shù)，嚴(yán)格凹函數(shù)，定理：f(x)是凸集S上凸函數(shù)S中任意有限點(diǎn)的凸組合，其函數(shù)值不大于每一點(diǎn)的函數(shù)值。定理：可微函數(shù)f(x)是非空凸集S上的凸函數(shù)。定理：具有二階連續(xù)偏導(dǎo)數(shù)的函數(shù)f(x)是非空凸集S上的凸函數(shù)是半正定矩陣。注：(1)當(dāng)f(x)是正定矩陣時，它是嚴(yán)格凸函數(shù)；(2)當(dāng)它是半正定矩陣時，-f(x)是凹函數(shù)。(1) (2)解：(1)它是正定矩陣和嚴(yán)格凸函數(shù)。(2)因?yàn)椋苋菀字浪且粋€凹函數(shù)。4.3凸規(guī)劃，定義：如果和都是凸函數(shù)，則稱為凸規(guī)劃。例子：線性規(guī)劃是凸規(guī)劃。數(shù)學(xué)規(guī)劃很容易理解，而且是凸函數(shù)，所以規(guī)劃是凸的。對于一般規(guī)劃(p)，其局部最優(yōu)解不一定是全局最優(yōu)解，其可行集也不一定是凸集。然而，如果(p)是凸規(guī)劃，可以得出以下結(jié)