牛頓法與修正牛頓法6、評價4、優(yōu)缺點5、修正牛頓法3、迭代步驟

1、思想來源

2、基本思想牛頓法和修正牛頓法1、思想來源梯度法相鄰兩次搜索方向總就是相互正交,搜索路線呈鋸齒形,使得其在極小點附近,收斂速度越來越慢。人們試圖找到這樣一種方向:它直接指向最優(yōu)點,使得從任意選定得初始點出發(fā),沿此方向迭代一次就能達到極小點。2、基本思想

在求目標函數(shù)得極小值時,先將它在點附近展開成泰勒級數(shù)得二次函數(shù)式,然后求出函數(shù)得極小值點,并以此點作為欲求目標函數(shù)得極小值點得一次近似值。

設目標函數(shù)就是連續(xù)二階可微得,將函數(shù)在點按泰勒級數(shù)展開,并取到二次項:對x求導,其極值點必滿足一階導數(shù)為零,所以,得到式中,為Hessian矩陣得逆矩陣。

在一般情況下,不一定就是二次函數(shù),因而也不可能就是得極值點。但就是在點附近,函數(shù)與就是近似得,所以可以用點作為下一次迭代,即得

如果目標函數(shù)就是正定二次函數(shù),那么就是個常矩陣,逼近式[1]就是準確得。因此由點出發(fā)只要迭代一次既可以求得極小點。

式與一維搜索公式比較,則有搜索方向,步長因子

牛頓法得迭代算式其中稱為牛頓方向。3、迭代步驟一給定初始點,計算精度ε,令k=0;二計算點得梯度、及其逆矩陣。三構(gòu)造搜索方向

四沿方向進行一維搜索,得迭代點五收斂判斷:若,則為近似最優(yōu)點,迭代停止,輸出最優(yōu)解與終止計算。若不滿足,令k=k+1,轉(zhuǎn)第二步繼續(xù)迭代。例:用牛頓法求函數(shù)得極小值。解：(1)取初始點(2)計算牛頓方向故(3)極小值12大家應該也有點累了，稍作休息大家有疑問的，可以詢問和交流4、優(yōu)缺點數(shù)學分析表明,牛頓法具有很好得局部收斂性質(zhì),對二次函數(shù)來說,僅一步就達到優(yōu)化點,但對一般函數(shù)來說,在一定條件下,當初始點得選取充分接近目標函數(shù)得極小點時,有很快得收斂速度,但若初始點選取離最小點比較遠,就難保證收斂;牛頓法必須求一階、二階導數(shù)及求逆陣,這對較復雜得目標函數(shù)來說,就是較困難得。5、修正牛頓法

當目標函數(shù)為非二次函數(shù)時,目標函數(shù)在點展開所得得二次函數(shù)就是該點附近得一種近似表達式,所求得極小點,當然也就是近似得,需要繼續(xù)迭代。但就是當目標函數(shù)嚴重非線性時,用式進行迭代則不能保證一定收斂,即在迭代中可能會出現(xiàn),所得到得下一點不如原來得好。這與初始點得選擇就是否恰當有很大得關(guān)系。

為了克服牛頓法得上述缺陷,可以通過在迭代中引入步長因子與一維搜索加以解決,即令

式中,------一維搜索所得得最優(yōu)步長因子。因而將