TOC\o"1-4"\h\z\u第5章優(yōu)化問 foptions函 5章優(yōu)化問， 6.0解決的線性規(guī)，

f

xRnsub.to：AxAeqxlbxf、x、b、beq、lb、ub為向量，A、Aeq 6.0函數(shù)格式x= f'

Axbx=linprog(f,A,b,Aeq,beq) %AeqxbeqAxb，A=[]，b=[]。x= 指定xlbxub，若沒有等式約束Aeqx

Aeq，beqx= x=linprog(f,A,b,Aeq,beq,lb,ub,x0,options) %options為指定的優(yōu)化參數(shù)[x,fval]=linprog(…) %返回目標(biāo)函數(shù)最優(yōu)值，即fval=f'*x。[x,lambda,exitflag]=linprog(…) %lambda為解x的Lagrange乘子。[x,lambda,fval,exitflag]=linprog(…) %exitflag為終止迭代的錯誤條件。[x,fvallambda,exitflag,output outputexitflag>0x，exitflag=0表示超過函數(shù)估值或迭代的最大數(shù)元素表示對應(yīng)的約束是有效約束；output=iterations表示迭代次數(shù)，output=algorithm表示使用的運算規(guī)則，output=cgiterationsPCG迭代次數(shù)。 求下面的優(yōu)化問

x1x2x3203x12x24x30x1,0x2,0>>f=[-5;-4;->>A=[1-11;324;32>>b=[20;42;>>lb=x= fval -exitflag= outputiterations:6%迭代次algorithmlipsol'%所使用規(guī)則lambda=ineqlin:[3x1double]eqlin:[0x1double]upper:[3x1double]lower:[3x1>>lambda.ineqlinans=>>lambda.lowerans=231foptions對于優(yōu)化控制 提供了18個參數(shù)，這些參數(shù)的具體意義為options(2)-優(yōu)化點x的精度控制(默認(rèn)值為1e-4)。 約束的結(jié)束標(biāo)準(zhǔn)(默認(rèn)值為1e-6)。options(6)-0BFCG1DFP算法。options(7)-01則采用立方插算法。options(8)-函數(shù)值顯示(Lambda)options(15)-用于目標(biāo)—達到問題中的特殊目標(biāo)。options(17)-優(yōu)化過程中變量的最大有限差分梯度值。options(18)-步長設(shè)置(1或更小)。Foptions已經(jīng)被optimset和optimget代替 單變量函數(shù)求最小值的標(biāo)準(zhǔn)形式為x

x1x 5.x中使用fmin函數(shù)求其最小值函數(shù)格式x=fminbnd(fun,x1,x2)%xx1xx2fun取最小x值，fun為目標(biāo)函數(shù)的表達式字符串或自定義函數(shù)的函數(shù)柄。x=fminbnd(fun,x1,x2,options) %options為指定優(yōu)化參數(shù)選項[x,fval]=fminbnd(…) %fval為目標(biāo)函數(shù)的最小值[x,fval,exitflag]=fminbnd(…) %xitflag為終止迭代的條件[x,fval,exitflag,output]=fminbnd(…) %output為優(yōu)化信息exitflag>0xexitflag=0，表示超過函數(shù)估計值或迭代的最大數(shù)字，exitflag<0xoutput=iterations表示迭代次數(shù)，output=funccount表示函數(shù)賦值次數(shù)，output=algorithm表示所使用的算法。 f(x)x3cosxxlog解：xfvalexitflag1outputiterations:funcCount:algorithm:'goldensectionsearch,parabolic 在[0，5]上求下面函數(shù)的最小值f(x)(x3)3解：先自定義函數(shù)： 編輯器中建立M文件為functionf=myfun(x)f=(x-3).^2-1;>>x3多元函數(shù)最小值的標(biāo)準(zhǔn)形式為x

其中：xxx1x2,xn] 5.x中使用fmins求其最小值命令fminsearch函數(shù)格式x=fminsearch(fun,x0) %x0為初始點，fun為目標(biāo)函數(shù)的表達式字符串或x=fminsearch(fun,x0,options) %options查optimset[x,fval]=fminsearch(…) [x,fval,exitflag] exitflag[x,fval,exitflag,output %output注意：fminsearch采用了Nelder-Mead 求y2x34xx310xxx2的最小值 1 1 X functionf=myfun(x)X=fminsearchmyfun',[0,0])X=fminsearch(@myfun,[X 命令fminunc函數(shù)格式x= %返回給定初始點x0的最小函數(shù)值x= options[x,fval %fvalx[x,fval,exitflag]=fminunc(…) %exitflag為終止迭代的條件，與上同。[x,fval,exitflag,output]=fminunc(…) %output為輸出優(yōu)化信息[x,fval,exitflag,output,grad]=fminunc(…) %grad為函數(shù)在解x處的梯度值[x,fval,exitflag,output,grad,hessian]=fminunc(…) %目標(biāo)函數(shù)在解x處的海賽注意：2fminunc比fminsearch更有效，但當(dāng)所選函數(shù)高度不連續(xù)時，使用fminsearch效果較好。 求f(x)3x22xxx2的最小值 1 >>>>x0=[1>>x1.0e-008 fvalexitflag1outputiterations:funcCount:stepsize:1.2353firstorderopt:1.6772e-007algorithm:'medium-scale:Quasi-Newtonlinegrad1.0e-006hessian >>fun=inline('3*x(1)^2+2*x(1)*x(2)+x(2)^2')fun=Inlinefun(x)=>>x0=[1>>x=fminunc(fun,x0)x=1.0e-008 x

C(x)Ceq(x)0AxbAeqxbeqlbx 5.x中，它的求解由函數(shù)constr實現(xiàn)。函數(shù)fmincon格式xx=x=x=x=fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options)[x,fval]=fmincon(…)[x,fval,exitflag]=fmincon(…)[x,fval,exitflag,output]=fmincon(…)[x,fval,exitflag,output,lambda]=fmincon(…)[x,fval,exitflag,output,lambda,grad]=fmincon(…)[x,fval,exitflag,output,lambda,grad,hessianfmincon(…)參數(shù)說明：fun為目標(biāo)函數(shù)，它可用前面的方法定義；x0為初始值；A、b滿足線性不等式約束AxbA=[，b=[]；Aeq、beqAeqxbeqAeq=[]，beq=[]；lb、ub滿足lbxublb=[]，ubnonlcon的作用是通過接受的向量x來計算非線性不等約束C(x)0和等式約束Ceq(x0分別在x處的估計C和Ceq，通過指定函數(shù)柄來使用，如：>>x=fmincon(@myfun,x0,A,b,Aeq,beq,lb,ub,@mycon)，先建立非線性約束函數(shù)，并保存為mycon.m：function[C,Ceq]=mycon(x)C= %x處的非線性不等約束C(x)0Ceq= %x處的非線性等式約束Ceq(x0lambdaLagrangeoutputgradxhessianxHessiab

x2x2xx2x 1

(x11)2x2

(x11)2x22x13x2先 編輯器中建立非線性約束函數(shù)文件function[c,ceq]=mycon(x)ceq M >>x0=[0>>A=[-2 >>Aeq >>beq=[>>lb %x沒有下、上>>ub=[x fvalexitflag= outputiterations:funcCount:stepsize:algorithm:'medium-scale:SQP,Quasi-Newton,line-search'firstorderopt:[]cgiterations:[]lambda=lower2x1 %x下界有效情況，通過lambda.lower可查看upper2x1 %x0eqlin0x1 eqnonlin:[0x1double] ineqlin:2.5081e-008 ineqnonlin:6.1938e-008 grad= 1.0e-006*0hessian %目標(biāo)函數(shù)在最小值點的Hessian - 求下面問題在初始點x=(10,10,10)處的最優(yōu)解

f(x) x1x22x3

x12x22x3x12x22x3>>fun='->>>>A=[-1-2-2;12>>>>x fval

1xHxfx

AxAeqxbeqlbxub其中，H、A、Aeq為矩陣，f、b、beq、lb、ub、x為向量5.xqp6.0quadprog函數(shù)格式x=quadprog(H,f,A,b) %其中H,f,A,b為標(biāo)準(zhǔn)形中的參數(shù)，x為目標(biāo)函數(shù)的最x= %Aeq,beqAeqxbeqx= lb,ubxx= %x0x= options[x,fval %fval[x,fval,exitflag]=quadprog(…) %exitflag與線性規(guī)劃中參數(shù)意義相同[x,fval,exitflag,output]=quadprog(…) %output與線性規(guī)劃中參數(shù)意義相同[x,fval,exitflag,output,lambda]=quadprog(…) %lambda與線性規(guī)劃中參數(shù)意義相同 求解下面二次規(guī)劃問 f(x)1x2x2x

2x1x2x12x22x1x2

1 0 0f(x1xHxfx則H 1，f2，xx1 2

x2 中實現(xiàn)如下>>H=[1-1;-12]>>f=[-2;->>A=[11;-12;2>>b=[2;2;>>lb=>>[x,fval,exitflag,output,lambda]=quadprog(H,f,A,b,[],[x= fval exitflag= outputiterations:algorithm:'medium-scale:active-set'firstorderopt:[]cgiterations:[]lambda=lower:[2x1double]upper:[2x1double]eqlin:[0x1double]ineqlin:[3x1>>lambda.ineqlinans=0>>lambda.lowerans=00說明1、2 求二次規(guī)劃的最優(yōu) f(x1,x2)=x1x2+3

x2 中實現(xiàn)如下

>>Aeq=[1>>[x,fval,exitflag,output,lambda]=quadprog(H,f,[],[xfvalexitflag1outputfirstorderopt:iterations:cgiterations:algorithm:[1x58lambdaeqlin:1.0000ineqlin:[]lower:[upper:[x

C(x)Ceq(x)0AxbAeqxK1(x,w1)0K2(x,w2)…Kn(x,wn)其中：x、b、beq、lb、ub都是向量；A、Aeq是矩陣；C(x)、Ceq(x)Ki(xwi)()w1w2,wn2函數(shù)格式xx=x=x=x=fseminf(fun,x0,ntheta,seminfcon,A,b,Aeq,beq,lb,ub,options)[x,fval]=fseminf(…)[x,fval,exitflag]=fseminf(…)[x,fval,exitflag,output]=fseminf(…)[x,fval,exitflag,output,lambda]fseminf(…)參數(shù)說明：x0為初始估計值；funA、b由線性不等式約束AxbA=[，bAeq、beqAeqxbeqAeq，beq=[]；Lb、ubx的范圍lbxub確定；optionsnthetax=先建立非線性約束和半無限約束函數(shù)文件，并保存為function[C,Ceq,K1,K2,…,Kntheta,S]=%S為向量w% S= Sntheta2w1= w2= …wntheta= %K1= %xw1K2= %xw2…Kntheta=…%xwnthetaC=… %在x處計算非線性不等式約束值Ceq=… %在x處計算非線性等式約束值如果沒有約束，則相應(yīng)的值取為“[]，如Ceq=[]fval為在x處的目標(biāo)函數(shù)最小值；exitflagoutputlambdaxLagrange 求下面一維情形的最優(yōu)化問x

f(x)(x10.5)2(x20.5)2(x3K1(x,w1)sin(w1x1)cos(w1x2)1(w150)2sin(w1x3)x3K2(x,w2)sin(w2x2)cos(w2x1)1(w250)2sin(w2x3)x31w11w2K1(x,w1)sin(w1x1)cos(w1x2)1(w150)2sin(w1x3)x31K2(x,w2)sin(w2x2)cos(w2x1)1(w250)2sin(w2x3)x31先建立非線性約束和半無限約束函數(shù)文件，并保存為function[C,Ceq,K1,K2,S]=%初始化樣本間距ifS=[0.20;0.2%產(chǎn)生樣本集w1=w2=%計算半無限約束K1=sin(w1*X(1)).*cos(w1*X(2))-1/1000*(w1-50).^2-sin(w1*X(3))-X(3)-K2=sin(w2*X(2)).*cos(w2*X(1))-1/1000*(w2-50).^2-sin(w2*X(3))-X(3)-%C=[];Ceq=[%然后 命令窗口或編輯器中建立M文件fun='sum((x-x0=[0.5;0.2;0.3]; %Startingguess[x,fval]=fseminf(fun,x0,2,@mycon)xfval>>[C,Ceq,K1,K2mycon %利用初始樣本間ans=-ans

-

5- x

f(x)(x10.2)2(x20.2)2(x3K1(x,w)sin(w1x1)cos(w2x2)1(w150)2sin(w1x3)x3sin(w2x2)cos(w1x1)1(w250)2sin(w2x3)x31w11w2x0=[0.25,0.25,0.25]解：先建立非線性和半無限約束函數(shù)文件，并保存為function[C,Ceq,K1,S]=%初始化樣本間距ifisnan(s(1,1)),s=[22];%w1x=w1y=[wx,wy]=%計算半無限約束函數(shù)%無非線性約C=[];Ceq=[m=camlighttitle('Semi-infiniteconstraint')然后 命令窗口下鍵入命令>>fun='sum((x->>x0=[0.25,0.25,>>[x,fval]=結(jié)果為（如圖x fval>>[c,ceq,K1]mycon(x,[0.5,0.5]);%樣本間距為ans=-

5-x

C(x)Ceq(x)0AxbAeqxbeqlbxub 5.x中，它的求解由函數(shù)minmax實現(xiàn)函數(shù)格式xfminimax(fun,x0)x=fminimax(fun,x0,A,b)x=x=x=x=fminimax(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options)[x,fval,maxfval]=fminimax(…)[x,fval,maxfval,exitflag]=fminimax(…)[x,fval,maxfval,exitflag,output]=fminimax(…)[x,fval,maxfval,exitflag,output,lambda]fminimax(…)參數(shù)說明：fun為目標(biāo)函數(shù)；x0A、b滿足線性不等約束AxbA=[]，b；Aeq、beqAeqxbeqAeq，beq；lb、ub滿足lbxublb=[]，ub=[]；nonlcon的作用是通過接受的向量x來計算非線性不等約束C(x)0和等式約束Ceq(x0分別在x處的值C和Ceq，通過指定函數(shù)柄來使用，如：>>x=fminimax(@myfun,x0,A,b,Aeq,beq,lb,ub,@mycon)，先建立非線性約束函數(shù)，并保存為mycon.m：function[C,Ceq]=mycon(x)C= %x處的非線性不等約束C(x)0Ceq= %x處的非線性等式約束Ceq(x0optionsfval為最優(yōu)點處的目標(biāo)函數(shù)值；maxfvalx處的最大值；exitflag為終止迭代的條件；lambdaLagrangeoutput 求下列函數(shù)最大值的最小化問[f1(x),f2(x),f3(x),f4(x),f5(x)其中f1(x2x2x248x

f2(x)x2 f3(x)x13x2f4(x)x1f5(x)x1x2myfun.m：functionff(1)=2*x(1)^2+x(2)^2-48*x(1)-40*x(2)+304;f(2)=-x(1)^2-3*x(2)^2;f(3)=x(1)+3*x(2)-f(4)=-x(1)-f(5)=x(1)+x(2)-x00.1; %初始[x,fval]=xfval0.0000- - -例5-13 目標(biāo)函數(shù)為：[|f1(x)|,|f2(x)|,|f3(x)|,|f4(x)|,|f5(x)|M文件：>>x00.1; %>>options %>>[x,fval]=fminimax(@myfun,x0,[],[],[],[],[],[],[xfval37.2356- - - [f1(x),f2(x),,fm(x)

gj(x)

x(x1x2,xn) 最優(yōu)。此時，我們使用有效解，即如果不存在xS，使得fi(x)fi(x*)，i=1,2,…m,則稱 中，多目標(biāo)問題的標(biāo)準(zhǔn)形式 x,

F(x)weightC(x)Ceq(x)0AxbAeqxbeqlbx標(biāo)函數(shù)與用戶定義的目標(biāo)函數(shù)值的接近程度；goal數(shù)值向量；為一個松弛因子標(biāo)量；F(x)為多目標(biāo)規(guī)劃中的目標(biāo)函數(shù)向量。 5.x中，它的最優(yōu)解由attgoal函數(shù)實現(xiàn)。函數(shù)格式xfgoalattain(fun,x0,goal,weight)x=fgoalattain(fun,x0,goal,weight,A,b)x=x=x=x=fgoalattain(fun,x0,goal,weight,A,b,Aeq,beq,lb,ub,nonlcon,options)[x,fval]=fgoalattain(…)[x,fval,attainfactor]=fgoalattain(…)[x,fval,attainfactor,exitflag]=fgoalattain(…)[x,fval,attainfactor,exitflag,output]=fgoalattain(…)[x,fval,attainfactor,exitflag,output,lambda]fgoalattain(…)x0funfungoalA、b滿足線性不等式約束AxbA=[，bAeq、beqAeqxbeqAeq，beq=[]；lb、ublbxub；nonlcon的作用是通過接受的向量x來計算非線性不等約束C(x)0和等式約束Ceq(x0xCCeq性約束函數(shù)，并保存為mycon.m：function [C,Ceq]=mycon(x)C= %x處的非線性不等式約束C(x)0Ceq= %x處的非線性等式約束Ceq(x0optionsfvalx處的值；attainfactorx處的目標(biāo)規(guī)劃因子；exitflag為終止迭代的條件；outputlambdaxLagrange例5-14 y

0

0其中：A

B

C

00yCx

4Kij

(i,j1,2)functionF=eigfun(K,A,B,C)F=sort(eig(A+B*K*C)); %估計目標(biāo)函數(shù)值A(chǔ)=[-0.500;0-210;01-B=[10;-22;0C=[100;00K011;-1 %初始化控制器矩goal53 %為閉合環(huán)路的特征值（極點）設(shè)置目標(biāo)值向weight %lb %ub %設(shè)置控制器的上options %設(shè)置顯示參數(shù)：顯示每次迭代的輸[K,fval,attainfactor]=weight 16121-31-41-Hessianmodified5-1-6-17-18-1Hessianmodified9-1--1-1Hessianmodified-1HessianmodifiedOptimizationterminatedSearchdirectionlessthan2*options.TolXand umconstraintviolationislessthanActive1249K fvalattainfactorx

1Cxd

AxAeqxbeqlbxub其中：C、A、Aeq為矩陣；d、b、beq、lb、ub、x是向量。 5.x中，約束線性最小二乘用函數(shù)conls求解。函數(shù)lsqlin格式x=lsqlin(C,d,A,b) %求在約束條件Axb下方程Cx=d的最小二乘解x。x= %Aeq、beq滿足等式約束Aeqxbeq，若沒有不等A=[，bx= %lb、ub滿足lbxubAeq，beqx=lsqlin(C,d,A,b,Aeq,beq,lb,ub,x0) %x0xlb=[]，ub=[]。x=lsqlin(C,d,A,b,Aeq,beq,lb,ub,x0,options) %options為指定優(yōu)化參數(shù)[x,resnorm]=lsqlin(…) %resnorm=norm(C*x-d)^2，即2-范數(shù)。[x,resnorm,residual]=lsqlin(…) [x,resnorm,residual,exitflag]=lsqlin(…) %exitflag為終止迭代的條件 %output表示輸出優(yōu)化信息= %lambda為解x的例5-15 AxblbxxC=d=[0.0578;0.3528;0.8131;0.0098;A=[b=[0.5251;0.2026;lb=-0.1*ones(4,1);ub=2*ones(4,1);[x,resnorm,residual,exitflag,output,lambda]=lsqlin(C,d,A,b,[],[xresnormresidualexitflag %說明解xoutputiterations:algorithm:'medium-scale:active-set'firstorderopt:[]cgiterations:[]lambda=lower:[4x1double]upper:[4x1double]eqlin:[0x1ineqlin:[3x1非線性數(shù)據(jù)（曲線）xdataydata，并且知道輸入與輸出的函數(shù)ydata=F(x,xdata)xx使得下式成立： 1F(x,xdata)ydata21(F(x,xdatai)ydatai 2 5.x中，使用函數(shù)curvefit解決這類問題函數(shù)格式xlsqcurvefit(fun,x0,xdata,ydata)x=lsqcurvefit(fun,x0,xdata,ydata,lb,ub)x=lsqcurvefit(fun,x0,xdata,ydata,lb,ub,options)[x,resnorm]=lsqcurvefit(…)[x,resnorm,residual]=lsqcurvefit(…)[x,resnorm,residual,exitflag]=lsqcurvefit(…)[x,resnorm,residual,exitflag,output]=lsqcurvefit(…)[x,resnorm,residual,exitflag,output,lambda]=lsqcurvefit(…)[x,resnorm,residual,exitflag,output,lambda,jacobianlsqcurvefit(…)x0為初始解向量；xdata，ydataydata=F(x,xdata)lb、ub為解向量的下界和上界lbxublb=[]，ub=[]；options為指定的優(yōu)化參數(shù)；fun為擬合函數(shù)，其定義方式為：x=其中myfun已定義 functionF=F=… %xfun的用法與前面相同；resnorm=sumfun(x,xdata)-ydata).^2)x處殘差的平方和；residual=fun(x,xdata)-ydatax處的殘差；exitflagoutputlambdaxLagrangejacobianxfunjacobian 求解如下最小二乘非線性擬合問xdataydata，且長度都是nn即目標(biāo)函數(shù)為x

1(F(x,xdatai)22x0=[0.3,0.4,0.1]functionF=F=x(1)*xdata.^2+x(2)*sin(xdata)+xdata>>xdata=[3.67.79.34.18.62.81.37.910.0>>ydata=[16.5150.6263.124.7208.59.92.7163.9325.0>>x01010 >>[x,resnorm]=OptimizationterminatedRelativefunctionvaluechangingbylessthanOPTIONS.TolFunx= resnormx

f(x)f1(x)2f2(x)2fm(x)2其中：L f1(x)f2(x)設(shè)F(x) fm(x) 則目標(biāo)函數(shù)可表達為 1F(x)21fi 2其中：x為向量，F(xiàn)(x)函數(shù)格式x=lsqnonlin(fun,x0) %x0為初始解向量；fun為fi(x)，i=1,2,…,m，fun返回向量值F，而不是平方和值，平方和隱含在算法中，fun的定義與前面相同。x= %lb、ubxlbxubx=lsqnonlin(fun,x0,lb,ub,options) %optionsxlb，ub=[]。[x,resnorm]=lsqnonlin(…) %resnorm=sum(fun(x).^2)，即解x處目標(biāo)函數(shù)值。[x,resnorm,residual]=lsqnonlin(…) %residual=fun(x)，即解x處fun的值。[x,resnorm,residual,exitflag]=lsqnonlin(…) %exitflag為終止迭代條件。[x,resnorm,residual,exitflag,output]=lsqnonlin(…) %output輸出優(yōu)化信息。[x,resnorm,residual,exitflag,output,lambda]=lsqnonlin(…) %lambda為Lagrage乘]= %funx例5- 求下面非線性最小二乘問題(22kekx1ekx2)2初始解向量為myfun.mlsqnonlinfun為向量形式而不是平方和形式，因此，myfun函數(shù)應(yīng)由fi(x)建立：fk(x)22kekx1 F=myfun(x)k=1:10;

F=2+2*k-exp(k*x(1))-x0=[0.3[x,resnorm]=Optimizationter