1、220102201002120102011001,lim,lim2010 xxxfxxxfxfxxxfxxxfxfxxxx01xxfdxxfxxxxfdfdx20102201100,lim01、方向?qū)?shù) 一個(gè)二元函數(shù) 在 處的偏導(dǎo)數(shù)定義為而 和 分別是函數(shù) 在x0點(diǎn)處沿坐標(biāo)軸x1和x2方向的變化率。因此函數(shù) 在 點(diǎn)處沿某一方向d的變化率如圖2-1所示， 其定義應(yīng)為稱其為該函數(shù)沿此方向的方向?qū)?shù)。據(jù)此， 偏導(dǎo)數(shù) 、 也可以看成是該函數(shù)分別沿x1和x2方向的方向?qū)?shù)。所以方向?qū)?shù)是偏導(dǎo)數(shù)概念的推廣，偏導(dǎo)數(shù)是方向?qū)?shù)特例。21,xxf20100,xxx01xxf21,xxf21,xxf20100,x

2、xx02xxf01xxf02xxf220102201002120102011001,lim,lim2010 xxxfxxxfxfxxxfxxxfxfxxxxdxxfxxxxfdfdx20102201100,lim022112220110220110011201020110020102201100coscos,lim,lim,lim000 xxdddxxfxfdxxxxxfxxxxfdxxxxfxxxfdxxfxxxxfdf方向?qū)?shù)和偏導(dǎo)數(shù)之間的關(guān)系，方向?qū)?shù)和偏導(dǎo)數(shù)之間的關(guān)系， 從下述推導(dǎo)可知從下述推導(dǎo)可知332211coscoscos0000 xxxxxfxfxfdf類似的， 一個(gè)三元函數(shù)

3、在 點(diǎn)處沿d方向的方向?qū)?shù)和偏導(dǎo)數(shù)的關(guān)系如下所示，見圖2-2321,xxxf30,20,100 xxxx類似的，類似的， 一個(gè)一個(gè)n元函數(shù)元函數(shù) 在在 點(diǎn)處沿點(diǎn)處沿d方向的方向?qū)?shù)方向的方向?qū)?shù)n21,xxxf，0 xixniinxxxxxfxfxfxfdfcoscoscoscos000001n2211其中的cosi為d方向和坐標(biāo)軸xi方向之間夾角的余弦。2、二元函數(shù)的梯度、二元函數(shù)的梯度21212211coscoscoscos0000 xxxxxfxfxfxfdf Txxxfxfxfxfxf002121021coscosd dxfdfTx00令稱其為函數(shù)f(x1,x2)在x0點(diǎn)的梯度。設(shè)為d

4、方向的單位向量， 則可得： 例2-1 求二元函數(shù)在x0 = 0 0T處函數(shù)變化率最大的方向和數(shù)值。524,21222121xxxxxxf 2422420021210 xxxxxfxfxf 52242222210 xfxfxf解：由于函數(shù)變化率最大的方向是梯度方向， 這里用單位向量p表示， 函數(shù)變化率最大的數(shù)值是梯度的模f(x0)。求f(x1,x2)在x0點(diǎn)處的梯度方向和數(shù)值，計(jì)算 如下 5152522400 xfxfp三、向多元函數(shù)的推廣 函數(shù) f(x1,x2， , xn)在x0 (x1,x2， , xn)處的梯度可定義為函數(shù) f(x1,x2， , xn)在x0處沿d的方向?qū)?shù)可表示為d方向上

5、的單位向量梯度f(wàn)(x0)的模為梯度方向單位向量為 ，它與函數(shù)等值面 f (x) = c相垂直，也就是和等值面上過(guò)x0的一切曲面相垂直，如圖2-5所示。Txnxnxfxfxfxfxfxfxf0021210dfxfdxfxfdfTixniix,coscos00100ndcoscoscos21211200nixixfxf00 xfxfp 多元函數(shù)的泰勒(Taylor)展開在優(yōu)化方法中十分重要，許多方法及其收斂性證明都是從它出發(fā)的。2.3 2.3 無(wú)約束優(yōu)化問(wèn)題的極值條件無(wú)約束優(yōu)化問(wèn)題的極值條件2.4 2.4 凸集與凸函數(shù)與凸規(guī)劃凸集與凸函數(shù)與凸規(guī)劃2.5 2.5 等式約束優(yōu)化問(wèn)題的極值條件等式約束優(yōu)

6、化問(wèn)題的極值條件對(duì)于等式約束優(yōu)化問(wèn)題： minf(x) s.t. hk(x) = 0 (k = 1,2,m)需要導(dǎo)出極值存在的條件。數(shù)學(xué)上有兩種處理方法：消元法降維法）拉格朗日乘子法升維法）一、消元法1二元函數(shù)只有一個(gè)等式約束 minf(x1，x2) s.t. h (x1，x2) = 0處理方法：將x1表示為x1 = (x2), 并代入目標(biāo)函數(shù)中消去x1,變成一元函數(shù)F(x2), 則等式約束優(yōu)化問(wèn)題變?yōu)闊o(wú)約束優(yōu)化問(wèn)題。目標(biāo)函數(shù)二維變一維,故稱降維法。2n維情況 minf(x1，x2，xn) s.t. hk (x1，x2 ，xn) = 0 (k = 1,2,l)由l個(gè)約束方程將n個(gè)變量中的前l(fā)個(gè)

7、變量用其余n-l個(gè)變量表示， 有 x1 = (xl+1,xl+2,xn)x2 = (xl+1,xl+2,xn)xn = (xl+1,xl+2,xn)將這些函數(shù)關(guān)系代入到目標(biāo)函數(shù)中， 得到只含有xl+1,xl+2,xn共n-l個(gè)變量的函數(shù)F(xl+1,xl+2,xn), 從而利用無(wú)約束優(yōu)化問(wèn)題的極值條件求解。（因?yàn)閷個(gè)約束方程聯(lián)立往往求不出解來(lái)，實(shí)際上難于求解）二、拉格朗日乘子法通過(guò)增加變量將等式約束優(yōu)化問(wèn)題變成無(wú)約束優(yōu)化問(wèn)題。對(duì)于 minf(x) s.t. hk(x) = 0 (k = 1,2,l)在極值點(diǎn)x*處有 (k = 1,2,l)令可通過(guò)其中的l個(gè)方程 (a)來(lái)求解l個(gè)待定系數(shù)1，2

8、，l，使得l個(gè)變量的微分dx1, dx2, ，dxl 的系數(shù)全為零。于是得到 00*1*1*dxxhdxxhxdhdxxfdxxfxdfTkiniikkTinii012211iniilliiidxxhxhxhxf02211illiiixhxhxhxf012211inliilliiidxxhxhxhxf則有 (b)(j = l+1, l+2,n)式a),(b)及等式約束條件 hk(x) = 0 (k = 1,2,l) 就是點(diǎn)x達(dá)到約束極值的必要條件。式a),(b)可以合并寫成 (i = 1, 2,n) （c）令 式中 待定系數(shù)k稱為拉格朗日乘子， F(x, )稱為拉格朗日函數(shù)。本方法稱為拉格朗日

9、乘子法。 把F(x, )作為一個(gè)新的無(wú)約束條件的目標(biāo)函數(shù)來(lái)求解它的極值點(diǎn)， 所得結(jié)果就是滿足約束條件的原目標(biāo)函數(shù)的極值點(diǎn)。自F(x, )具有極值的必要條件：可得l+n個(gè)方程。由這些方程組求得函數(shù)f(x)的極值點(diǎn)x*=x1* x2* xl*T.02211jlljjjxhxhxhxf02211illiiixhxhxhxf xhxfxFklkk1,lkFnixFki, 2 , 10, 2 , 10例2-4 用拉格朗日乘子法計(jì)算極值點(diǎn)坐標(biāo)f(x1，x2)=4x12+5x22 s.t. h (x1，x2) = 2x1+3x2-6=0解：F(x, )=4x12+5x22+ (2x1+3x2-6)Fx1=8

10、x1+2=0 x1=-/4Fx2=10 x2+3=0 x2=-3/10F =2x1+3x2-6=0=-30/7所以得x1=1.071， x2=1.286此即為所求極值點(diǎn)x*.2.6 2.6 不等式約束優(yōu)化問(wèn)題的極值條件不等式約束優(yōu)化問(wèn)題的極值條件不等式約束的多元函數(shù)極值的必要條件是庫(kù)恩-塔克Kuhn-Tucher)條件，是非線性理論的重要基礎(chǔ)。一、一元函數(shù)在給定區(qū)間上的極值條件一、一元函數(shù)在給定區(qū)間上的極值條件 一元函數(shù)在給定區(qū)間一元函數(shù)在給定區(qū)間a, b上的極值問(wèn)題，可寫成如上的極值問(wèn)題，可寫成如下的不等式約束問(wèn)題下的不等式約束問(wèn)題minf(x)s.t. g1(x) = a-x 0 g2(x

11、) = x-b 0采用拉格朗日乘子法，將上述兩個(gè)不等式約束變?yōu)榈仁讲捎美窭嗜粘俗臃?，將上述兩個(gè)不等式約束變?yōu)榈仁郊s束約束h1(x, a1)=g1(x)+a12 = a-x+a12h2(x, b1) = g2(x)+b12 = x-b+b12并得到拉格朗日函數(shù)并得到拉格朗日函數(shù)F(x,a1,b1,1,2)= f(x)+ 1 h1(x, a1)+2 h2(x, b1) 1,2為對(duì)應(yīng)于不等式約束條件的拉格朗日乘子，為對(duì)應(yīng)于不等式約束條件的拉格朗日乘子， 10,2 0 根據(jù)拉格朗日乘子法，此問(wèn)題的極值條件是 0,0,02020212122211111121111212211bxgbxhFaxgaxh

12、FbbFaaFdxdfdxdgdxdgxfxF 為起作用約束：不起作用：00, 000, 0011111111xaxgaxaxgaa axxgaxxg,0, 00, 0111為起作用約束不起作用約束，分析即1，g1(x)二者必有一個(gè)等于0，因此可以寫成1g1(x)=0。 同樣對(duì)于，2b1=0 進(jìn)行分析可得 bxxgbxxg,0, 00, 0222為起作用約束不起作用約束，因此可以寫成2g2(x)=0。 于是，對(duì)于一元函數(shù)f(x)在給定區(qū)間上的極值條件，可以完整地表示為這樣的分析方法可以推廣到二元甚至多元函數(shù)不等式約束優(yōu)化問(wèn)題上去，從而給出著名的庫(kù)恩一塔克條件。0, 00)(, 0)(02122

13、112211xgxgdxdgdxdgdxdf(a)對(duì)于一元函數(shù)f(x)在給定區(qū)間a, b 上的極值條件，式(a)中的第一式可簡(jiǎn)化為0212211dxdfdxdgdxdgdxdf分析極值點(diǎn)x*在區(qū)間a, b 中的位置，可能出現(xiàn)3種情況，如圖2-11所示。這和如圖2-11所示的從幾何概念分析的結(jié)果完全一致。0d*d, 0dd0, 0*30d*d, 0dd0, 0*2)0d*d0*) 122112121xxfxfbxxxfxfaxxxfbxa即極值條件為，時(shí)，當(dāng)）即極值條件為，時(shí)，當(dāng)極值條件為，時(shí)，當(dāng) 由以上分析可知，對(duì)應(yīng)于不起作用約束的拉格朗日乘子取零值。因此可以引入起作用約束的下標(biāo)集合J(x) = j|gj(x) = 0, j = 1, 2。當(dāng)ax*0, 20。此為目標(biāo)函數(shù)在兩個(gè)起作用約束作用下使x*成為條件極值點(diǎn)的必要條件。*2211xgxgxf對(duì)于同時(shí)具有等式和