5.2.1函數(shù)的方向?qū)?shù)和梯度1、函數(shù)的方向?qū)?shù)實(shí)例：一塊長方形的金屬板，四個(gè)頂點(diǎn)的坐標(biāo)是(1,1)，(5,1)，(1,3)，(5,3)。在坐標(biāo)原點(diǎn)處有一個(gè)火焰，它使金屬板受熱。假定板上任意一點(diǎn)處的溫度與該點(diǎn)到原點(diǎn)的距離成反比。在(3,2)處有一個(gè)螞蟻，問這只螞蟻應(yīng)沿什么方向爬行才能最快到達(dá)較涼快的地點(diǎn)？

問題的實(shí)質(zhì)：應(yīng)沿由熱變冷變化最劇烈的方向（即梯度方向）爬行．西南科技大學(xué)網(wǎng)絡(luò)教育系列課程

討論函數(shù)在一點(diǎn)P沿某一方向的變化率問題．（如圖）。引射線內(nèi)有定義，自點(diǎn)的某一鄰域在點(diǎn)設(shè)函數(shù)lPPUyxP)(),(),(,).(p/UP/lyyxxPlxD+D+/上的另一點(diǎn)且為并設(shè)為的轉(zhuǎn)角軸正向到射線設(shè)j1）方向?qū)?shù)的定義當(dāng)沿著趨于時(shí)，是否存在？且考慮}0,1{1=er依定義，函數(shù)),(yxf在點(diǎn)P沿著x軸正向、y軸正向}1,0{2=er的方向?qū)?shù)分別為yxff,；沿著x軸負(fù)向、y軸負(fù)向的方向?qū)?shù)是

yxff--,.的方向?qū)?shù)。沿方向則稱這極限為函數(shù)在點(diǎn)在，時(shí)，如果此比的極限存趨于沿著當(dāng)之比值，兩點(diǎn)間的距離與函數(shù)的增量定義lPP/lPyxP/PD+D=22)()(r記為證明由于函數(shù)可微，則增量可表示為兩邊同除以得到2）方向?qū)?shù)的計(jì)算

定理

如果函數(shù)),(yxfz=在點(diǎn)),(yxP是可微分的，那么函數(shù)在該點(diǎn)沿任意方向L的方向?qū)?shù)都存在，且有

，

其中j為x軸到方向L的轉(zhuǎn)角。故有方向?qū)?shù)對(duì)于三元函數(shù)),,(zyxfu=，它在空間一點(diǎn)),,(zyxP沿著方向L的方向?qū)?shù)

，可定義為推廣可得三元函數(shù)方向?qū)?shù)的定義其中

同理：當(dāng)函數(shù)在此點(diǎn)可微時(shí)，那末函數(shù)在該點(diǎn)沿任意方向L的方向?qū)?shù)都存在，且有設(shè)方向L的方向角為gba,,推導(dǎo)出n元函數(shù)f(x)在點(diǎn)X(k)處沿任意給定方向S的方向?qū)?shù)表達(dá)式為：西南科技大學(xué)網(wǎng)絡(luò)教育系列課程2、梯度1）梯度的定義

函數(shù)在點(diǎn)X(k)的梯度是由函數(shù)在該點(diǎn)的各個(gè)一階偏導(dǎo)數(shù)組成的向量。2）梯度的表達(dá)式

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程

函數(shù)在某點(diǎn)的梯度是這樣一個(gè)向量，它的方向與取得最大方向?qū)?shù)的方向一致,而它的模為方向?qū)?shù)的最大值。梯度的模為結(jié)論x軸到梯度的轉(zhuǎn)角的正切為當(dāng)不為零時(shí)，在幾何上表示一個(gè)曲面曲面被平面所截得所得曲線在xoy面上投影如圖等高線梯度為等高線上的法向量

3、方向?qū)?shù)和梯度的關(guān)系根據(jù)矢量代數(shù)的概念，方向?qū)?shù)的表達(dá)式可寫成：西南科技大學(xué)網(wǎng)絡(luò)教育系列課程由上式表明：函數(shù)在某點(diǎn)沿方向S的方向?qū)?shù)等于該點(diǎn)的梯度在方向身上的投影。見下圖。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程當(dāng)方向S與梯度的夾角為零時(shí)，方向?qū)?shù)達(dá)到最大值，即

從圖中可以看出：當(dāng)方向S與點(diǎn)X(k)的梯度相垂直時(shí)，函數(shù)在該點(diǎn)沿S的方向?qū)?shù)等于零，即

當(dāng)方向S與梯度方向的夾角為銳角時(shí)有：

當(dāng)方向S與梯度方向的夾角為鈍角時(shí)有：

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程這說明，與梯度成銳角的方向是函數(shù)值上升的方向，而與梯度成鈍角的方向則是函數(shù)值下降的方向。

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程綜上所述，函數(shù)的梯度具有以下性質(zhì)(1)函數(shù)在一點(diǎn)的梯度是一個(gè)向量。梯度的方向是該點(diǎn)函數(shù)值上升得最快的方向，梯度的大小就是它的模長。(2)一點(diǎn)的梯度方向?yàn)檫^該點(diǎn)的等值線或等值面的切線或切平面相垂直的方向，或者說是該點(diǎn)等值線或等值面的法線方向。(3)梯度是函數(shù)在一點(diǎn)鄰域內(nèi)局部性態(tài)的描述。在一點(diǎn)上升得快的方向，離開該領(lǐng)域后就不一定上升得快，甚至可能下降。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程例1求函數(shù)f(X)＝(x1－2)2十(x2－1)2在點(diǎn)X(1)＝[3,2]T和X(2)＝[2,2]T的梯度并作圖表示。解：根據(jù)定義，梯度為則西南科技大學(xué)網(wǎng)絡(luò)教育系列課程解：梯度的模為：單位梯度的向量為：西南科技大學(xué)網(wǎng)絡(luò)教育系列課程在設(shè)計(jì)平面x1ox2內(nèi)標(biāo)出點(diǎn)(2,2)和點(diǎn)(0,2)，并將此兩點(diǎn)分別與原點(diǎn)相連得到向量[2,2]T和[0,2]T。將這兩個(gè)向量各自平移至點(diǎn)X(1)和X(2)，所得新的向量就是點(diǎn)X(1)和X(2)的梯度。圖5.11例1的梯度西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.1函數(shù)的方向?qū)?shù)和梯度例題2一般二元二次函數(shù)的矩陣式為

，其中

C為常數(shù)，求梯度。

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.1函數(shù)的方向?qū)?shù)和梯度

解：將二元二次函數(shù)的矩陣式展開其中，于是梯度為

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.1函數(shù)的方向?qū)?shù)和梯度即

同理，推廣到n元二次函數(shù)，則一般n元二次函數(shù)梯度的矩陣表達(dá)式為

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程式中5.2.2多元函數(shù)的泰勒展開

由高等數(shù)學(xué)知、一元函數(shù)f(x)著在點(diǎn)xk的鄰域內(nèi)n階可導(dǎo)，則函數(shù)可在該點(diǎn)的鄰域內(nèi)作如下泰勒展開：

多元函數(shù)f(x)在xk點(diǎn)也可以作泰勒(Taylor)展開,其展開式一般取三項(xiàng),其形式與一次函數(shù)的形式的前三項(xiàng)是相似的.

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.2多元函數(shù)的泰勒展開寫成矩陣形式：

式中稱為f(x)的海森(Hessian)矩陣，常用H(x)表示。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.2多元函數(shù)的泰勒展開例3一般二元二次函數(shù)

，求H(X)。

解：

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.2多元函數(shù)的泰勒展開西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.2多元函數(shù)的泰勒展開

例4用泰勒展開的方法將函數(shù)f(X)＝x13

-x23+3x12+3x22-9x1在點(diǎn)X(1)=[1,1]T簡化成線性函數(shù)和二次函數(shù)。解：(1)求函數(shù)在點(diǎn)X(1)的函數(shù)值、梯度為：西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.2多元函數(shù)的泰勒展開(2)求得二階導(dǎo)數(shù)矩陣為：而且代入線性泰勒展開式得簡化的線性函數(shù)：

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.2多元函數(shù)的泰勒展開(3)得到泰勒展開式的二次項(xiàng)為：

代入泰勒展開式得簡化的二次函數(shù)：

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.3二次函數(shù)1、二次函數(shù)的表達(dá)式

二次函數(shù)是最簡單的非線性函數(shù)，可以寫成以下向量形式：2、正定與負(fù)定的判斷1）如果矩陣H的各階主子式均大于零，即一階主子式

二階主子式………n階主子式>0

則矩陣H是正定的。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.3二次函數(shù)2）如果矩陣H的各階主子式正負(fù)相間，即

一階主子式

二階主子式………n階主子式<0

則矩陣H是負(fù)定的。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.3二次函數(shù)3、極值條件1）多元函數(shù)在點(diǎn)X(k)取得極小值的條件是：函數(shù)在該點(diǎn)的梯度為零，二階導(dǎo)數(shù)矩陣為正定。即2）多元函數(shù)在點(diǎn)X(k)取得極大值的條件是：函數(shù)在該點(diǎn)的梯度為零，二階導(dǎo)數(shù)矩陣為負(fù)定。即西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.3二次函數(shù)例5：試求f(x1,x2)＝2x12-8x1+2x22-4x2+20的極值及極值點(diǎn)。解：由極值點(diǎn)存在的必要條件得駐點(diǎn)X*=[2，1]T,在X*點(diǎn)海森矩陣為：

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.3二次函數(shù)由于其各階主子行列式為可知在X*點(diǎn)海森矩陣正定的，∴X*為極小點(diǎn)，其極小值為：西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.4下降迭代算法多變量、多約束的非線性優(yōu)化問題，通常采用數(shù)值迭代求解，對(duì)于極小化問題，這種方法就是下降迭代算法。1、下降迭代法的定義按照某一迭代格式，從一個(gè)初始點(diǎn)X(0)出發(fā)逐步產(chǎn)生一個(gè)點(diǎn)列

X(0)、X(1)、X(2)、…、X(k)、X(k+1)、…若該點(diǎn)列對(duì)應(yīng)的目標(biāo)函數(shù)值呈下降趨勢

f(X(0))>f(X(1))>f(X(2))

…>f(X(k))>

f(X(k+1))…并且該點(diǎn)列對(duì)應(yīng)的極限就是目標(biāo)函數(shù)的極小點(diǎn)X*，則構(gòu)成此點(diǎn)列的方法就是優(yōu)化問題的一種數(shù)值解法，稱為下降迭代算法。西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.4下降迭代算法2、下降迭代算法的基本格式下降迭代算法的基本格式如下：西南科技大學(xué)網(wǎng)絡(luò)教育系列課程(1)下降迭代算法構(gòu)成的基本步驟：1）給定一個(gè)初始點(diǎn)X(0)和收斂精度ε2）選取一個(gè)搜索方向S(k)3）確定步長因子ak，按上式得到新的迭代點(diǎn)4）收斂判斷：若X(k+1)滿足收斂精度，則以X(k+1)作為最優(yōu)點(diǎn)，終止計(jì)算；否則，以X(k+1)作為新的起點(diǎn)，轉(zhuǎn)2）進(jìn)行下一輪迭代。5.2.4下降迭代算法(2)下降迭代算法的構(gòu)成需要解決的三個(gè)基本問題1）選擇搜索方向。不同的搜索方向，構(gòu)成不同的下降迭代算法。在每一類下降迭代法中包含兩個(gè)關(guān)鍵步驟：得到迭代點(diǎn)后，如何選擇搜索方向；在確定搜索方向后，如何進(jìn)行一維搜索。（在下一節(jié)作詳細(xì)說明）2）確定步長因子。（在下一節(jié)作詳細(xì)說明）一般通過一維搜索法取得最優(yōu)步長因子。3）給定收斂準(zhǔn)則。用以判斷迭代點(diǎn)是否能夠作為近似的最優(yōu)點(diǎn)。

西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.4下降迭代算法3、算法的收斂性與收斂準(zhǔn)則1)算法的收斂性當(dāng)?shù)惴óa(chǎn)生的點(diǎn)列滿足

時(shí)，稱該點(diǎn)列收斂于極不點(diǎn)X*

，即稱此下降迭代算法具有收斂性。

算法的收斂性和收斂速度的定義式：西南科技大學(xué)網(wǎng)絡(luò)教育系列課程5.2.4下降迭代算法當(dāng)β=1時(shí)，稱