2025年大學(xué)《數(shù)理基礎(chǔ)科學(xué)》專業(yè)題庫(kù)——數(shù)值優(yōu)化算法與應(yīng)用考試時(shí)間：______分鐘總分：______分姓名：______一、填空題1.對(duì)于無(wú)約束優(yōu)化問(wèn)題minf(x)，如果x*是局部最優(yōu)解，且在x*處梯度?f(x*)=0，則f(x)在x*處可能是極小值點(diǎn)、極大值點(diǎn)或鞍點(diǎn)。2.擬牛頓法通過(guò)構(gòu)造一個(gè)近似Hessian矩陣的逆來(lái)加速梯度法的收斂，其中BFGS公式是一種常用的更新公式，它旨在保持近似Hessian矩陣的對(duì)稱正定性。3.在約束優(yōu)化問(wèn)題中，Lagrange乘子法通過(guò)引入Lagrange函數(shù)L(x,λ)=f(x)+λg(x)(對(duì)于等式約束g(x)=0)，將約束優(yōu)化問(wèn)題轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題，其中λ稱為L(zhǎng)agrange乘子。4.函數(shù)f(x)=x?2+2x?2在點(diǎn)x=(1,-1)處的梯度為?f(x)=[2x?,4x?]?，Hessian矩陣為H=[[2,0],[0,4]]。5.共軛梯度法是一種適用于求解大型稀疏正定線性方程組的方法，它也可以用于無(wú)約束優(yōu)化，特別是當(dāng)Hessian矩陣近似為病態(tài)或不可逆時(shí)。二、選擇題1.下列哪種方法屬于無(wú)約束優(yōu)化中的梯度類方法？()A.牛頓法B.共軛梯度法C.粒子群優(yōu)化算法D.內(nèi)點(diǎn)法2.對(duì)于凸優(yōu)化問(wèn)題，任意兩個(gè)局部最優(yōu)解都一定是全局最優(yōu)解，這一性質(zhì)稱為？()A.強(qiáng)凸性B.凸組合性質(zhì)C.局部最優(yōu)性定理D.凸性定理3.在序列二次規(guī)劃（SQP）方法中，每一迭代步求解一個(gè)二次規(guī)劃子問(wèn)題，其目標(biāo)函數(shù)通常取為原問(wèn)題目標(biāo)函數(shù)在當(dāng)前點(diǎn)的近似，可行性約束通常通過(guò)？()A.拉格朗日乘子引入B.罰函數(shù)引入C.可行方向保證D.牛頓方向保證4.如果無(wú)約束優(yōu)化問(wèn)題的目標(biāo)函數(shù)在定義域內(nèi)具有唯一的全局最小值，那么梯度下降法（學(xué)習(xí)率合適時(shí)）一定能收斂到該全局最小值。()A.正確B.錯(cuò)誤5.KKT條件是約束優(yōu)化問(wèn)題中，最優(yōu)解必須滿足的一組必要條件（在某些條件下也是充分條件），它涉及目標(biāo)函數(shù)梯度、約束梯度以及Lagrange乘子。()A.正確B.錯(cuò)誤三、簡(jiǎn)答題1.簡(jiǎn)述梯度下降法的基本思想及其可能存在的缺點(diǎn)。2.寫出牛頓法用于無(wú)約束優(yōu)化問(wèn)題的一步迭代公式，并簡(jiǎn)述其收斂速度可能優(yōu)于梯度下降法的原因。3.什么是約束優(yōu)化問(wèn)題的可行方向？請(qǐng)簡(jiǎn)述可行方向法的思想。4.與梯度下降法相比，BFGS算法在更新近似Hessian矩陣時(shí)有哪些優(yōu)勢(shì)？四、計(jì)算題1.考慮無(wú)約束優(yōu)化問(wèn)題minf(x)=x?2+2x?x?+3x?2，其中x∈?2。(1)計(jì)算函數(shù)f(x)在點(diǎn)x=(1,0)處的梯度?f(x)。(2)如果使用梯度下降法，設(shè)初始點(diǎn)為x^(0)=(1,0)，學(xué)習(xí)率α=0.1，求x^(1)=x^(0)-α?f(x^(0))。2.考慮約束優(yōu)化問(wèn)題minf(x)=x?2+x?2subjecttog(x)=x?+x?-1=0，其中x=(x?,x?)∈?2。(1)寫出該問(wèn)題的Lagrange函數(shù)L(x,λ)。(2)利用Lagrange乘子法，推導(dǎo)出最優(yōu)解x*和對(duì)應(yīng)的Lagrange乘子λ*所需滿足的必要條件（KKT條件的一部分）。3.設(shè)某無(wú)約束優(yōu)化問(wèn)題的Hessian矩陣近似為B=[[2,1],[1,2]]，初始點(diǎn)為x^(0)=(1,1)^(T)，目標(biāo)函數(shù)在某點(diǎn)的梯度為?f(x)=(1,-1)^(T)。(1)假設(shè)使用BFGS更新公式（簡(jiǎn)化形式），計(jì)算H^(1)=B^(0)-ρ?v^(0)v^(0)?+ρ?H^(0)u^(0)u^(0)?，其中B^(0)=B，H^(0)=B^(0)=I（單位矩陣），ρ?=1/(v^(0)?H^(0)v^(0))=1/3，ρ?=1/(u^(0)?H^(0)u^(0))=1/2，v^(0)=?f(x^(0))?H^(0)x^(0)=(1,-1)?(1,1)?=0，u^(0)=x^(0)-x^(0)=(0,0)?。（*提示：此題的ρ?ρ?v^0v^0?項(xiàng)為0，但請(qǐng)按公式結(jié)構(gòu)進(jìn)行計(jì)算*）(2)根據(jù)計(jì)算得到的H^(1)和梯度?f(x)=(1,-1)^(T)，計(jì)算牛頓方向d^(1)=-H^(1)?f(x)。五、應(yīng)用與分析題1.在機(jī)器學(xué)習(xí)中，邏輯回歸模型的參數(shù)估計(jì)問(wèn)題可以通過(guò)最小化邏輯損失函數(shù)（如交叉熵?fù)p失）來(lái)實(shí)現(xiàn)。設(shè)損失函數(shù)為L(zhǎng)(θ)=-1/m*Σ[log(1+exp(-z(x?)))+y?z(x?)]，其中z(x?)=x??θ，x?,y?為數(shù)據(jù)點(diǎn)，θ為參數(shù)向量。請(qǐng)分析該損失函數(shù)L(θ)的性質(zhì)（例如，是否為凸函數(shù)？為什么？），并說(shuō)明通常使用哪種梯度優(yōu)化算法來(lái)求解θ的最小值，簡(jiǎn)述其理由。2.考慮一個(gè)簡(jiǎn)單的工程優(yōu)化問(wèn)題：在單位圓盤x?2+x?2≤1內(nèi)，尋找使函數(shù)f(x)=-x?最大化點(diǎn)的位置。請(qǐng)分析該問(wèn)題的最優(yōu)解，并簡(jiǎn)要說(shuō)明如果將其轉(zhuǎn)化為標(biāo)準(zhǔn)約束優(yōu)化問(wèn)題，應(yīng)該如何設(shè)定目標(biāo)函數(shù)和約束條件。不需要求解，只需分析和說(shuō)明。試卷答案一、填空題1.極大值點(diǎn)2.近似Hessian矩陣的逆；對(duì)稱正定性3.拉格朗日函數(shù)；等式約束g(x)=04.[2,-4]?；[[2,0],[0,4]]5.求解大型稀疏正定線性方程組；無(wú)約束優(yōu)化二、選擇題1.B2.D3.A4.B5.A三、簡(jiǎn)答題1.思想：沿著目標(biāo)函數(shù)梯度的反方向（或負(fù)梯度方向）進(jìn)行搜索，因?yàn)樘荻戎赶蚝瘮?shù)值增長(zhǎng)最快的方向，其反方向指向函數(shù)值下降最快的方向，從而逐步接近極小值點(diǎn)。缺點(diǎn)：收斂速度通常較慢，尤其是在接近最優(yōu)解時(shí)，步長(zhǎng)難以自動(dòng)調(diào)整；對(duì)于非凸函數(shù)，可能陷入局部最優(yōu)解；需要計(jì)算梯度，計(jì)算量可能較大。2.迭代公式：x^(k+1)=x^(k)-H^(k)?f(x^(k))，其中H^(k)是在x^(k)處目標(biāo)函數(shù)f(x)的Hessian矩陣的近似。收斂原因：牛頓法利用了二階導(dǎo)數(shù)（Hessian矩陣）信息，能夠確定一個(gè)指向最優(yōu)解的“牛頓方向”，這個(gè)方向通常比梯度方向更接近最優(yōu)解，因此在每一步能夠?qū)崿F(xiàn)二次收斂（收斂速度更快），尤其是在接近最優(yōu)解時(shí)。相比之下，梯度下降法僅利用一階導(dǎo)數(shù)信息，其收斂速度通常是線性的。3.可行方向：對(duì)于約束優(yōu)化問(wèn)題minf(x)subjecttoc(x)≤0，若x是可行點(diǎn)，則一個(gè)方向d稱為可行方向，如果對(duì)于足夠小的步長(zhǎng)α>0，x+αd仍然是可行點(diǎn)，即滿足c(x+αd)≤0。思想：可行方向法在每一步尋找一個(gè)既保證搜索方向指向目標(biāo)函數(shù)值下降，又保證搜索后點(diǎn)仍然在可行域內(nèi)的方向d。具體步驟通常是從一個(gè)可行點(diǎn)出發(fā)，計(jì)算目標(biāo)函數(shù)的梯度（指向離開(kāi)最優(yōu)解的方向）和約束的梯度（指向違反約束的方向），然后構(gòu)造搜索方向，使其一部分指向下降方向，一部分指向滿足可行性要求的方向，通過(guò)投影或其它方法確保新點(diǎn)仍在可行域內(nèi)。4.優(yōu)勢(shì)：*保持正定性：BFGS公式能夠保證近似Hessian矩陣在迭代過(guò)程中始終保持對(duì)稱正定性，這保證了梯度下降方向總是指向局部極小值。*利用歷史信息：它利用了梯度信息（通過(guò)BFGS公式中的v和u向量）來(lái)更新近似Hessian矩陣，有效地結(jié)合了當(dāng)前梯度信息和之前迭代的信息，避免了直接計(jì)算和更新真實(shí)的Hessian矩陣，計(jì)算量相對(duì)較小。*收斂性：在許多實(shí)際應(yīng)用中，BFGS算法比梯度下降法收斂得更快，尤其是在處理中等規(guī)模的問(wèn)題時(shí)表現(xiàn)出色。四、計(jì)算題1.(1)?f(x)=[?f/?x?,?f/?x?]?=[2x?+2x?,2x?+6x?]?。將x=(1,0)代入，得到?f(1,0)=[2*1+2*0,2*1+6*0]?=[2,2]?。(2)x^(1)=x^(0)-α?f(x^(0))=(1,0)-0.1*[2,2]?=(1,0)-(0.2,0.2)=(0.8,-0.2)。2.(1)L(x,λ)=f(x)+λg(x)=x?2+2x?x?+3x?2+λ(x?+x?-1)。(2)必要條件（KKT條件的一部分）包括：*梯度條件：?_xL(x,λ)=?f(x)+λ?g(x)=0，即[2x?+2x?,2x?+6x?]?+λ[1,1]?=[0,0]?。這給出兩個(gè)方程：2x?+2x?+λ=0和2x?+6x?+λ=0。*約束條件：g(x)=x?+x?-1=0。3.(1)H^(0)=I=[[1,0],[0,1]]。v^(0)=?f(x^(0))?H^(0)x^(0)=[1,-1]?*[[1,0],[0,1]]*[1,1]?=[1,-1]?*[1,1]=[1-1,1+1]?=[0,2]?。u^(0)=x^(0)-x^(0)=[1,1]?-[1,1]?=[0,0]?。BFGS更新公式H^(k+1)=H^(k)-ρ?v^(k)v^(k)?+ρ?u^(k)u^(k)?。H^(1)=H^(0)-ρ?v^(0)v^(0)?+ρ?u^(0)u^(0)?=[[1,0],[0,1]]-1/3*[[0,0],[0,0]]+1/2*[[0,0],[0,0]]=[[1,0],[0,1]]-[[0,0],[0,0]]+[[0,0],[0,0]]=[[1,0],[0,1]]。（注意：此題計(jì)算中v^(0)?H^(0)v^(0)=[0,2]*[[1,0],[0,1]]*[0,2]?=[0,2]*[0,2]?=[0,4]=4。但ρ?v^(0)v^(0)?=(1/3)*[0,0]=[0,0]。同時(shí)u^(0)=[0,0]?，所以ρ?u^(0)u^(0)?=0。因此H^(1)=[[1,0],[0,1]]-[0,0]+[0,0]=[[1,0],[0,1]]。此題按公式結(jié)構(gòu)計(jì)算結(jié)果為單位矩陣，但提示中指出的ρ?ρ?v^0v^0?項(xiàng)為0是對(duì)的，因?yàn)関^0=0。）(2)d^(1)=-H^(1)?f(x)=-[[1,0],[0,1]]*[1,-1]?=-[1,-1]?=[-1,1]?。五、應(yīng)用與分析題1.性質(zhì)分析：L(θ)通常不是嚴(yán)格的凸函數(shù)。雖然對(duì)于每個(gè)固定的y?，h(θ)=log(1+exp(-z(x?)))+y?z(x?)是關(guān)于θ的凸函數(shù)，但由于求和是在所有數(shù)據(jù)點(diǎn)i上進(jìn)行的，L(θ)是這些h(θ)的加權(quán)（1/m）和，因此L(θ)是關(guān)于θ的凹函數(shù)。交叉熵?fù)p失函數(shù)的凹性是邏輯回歸模型能夠保證有唯一全局最優(yōu)解的理論基礎(chǔ)。優(yōu)化算法：通常使用梯度下降法（包括其變種如SGD、Adam等）來(lái)求解θ的最小值。理由：因?yàn)長(zhǎng)(θ)是凹函數(shù)，所以其全局最小值存在且唯一。梯度下降法是一種通用的迭代優(yōu)化算法，能夠有效地在凹函數(shù)上收斂到全局最小值。此外，梯度下降法計(jì)算簡(jiǎn)單（梯度容易計(jì)算），并且可以方便地應(yīng)用于大規(guī)模機(jī)器學(xué)習(xí)問(wèn)題。2.最優(yōu)解分析：在單位圓盤x?2+x?2≤1內(nèi)，函數(shù)f(x)=-x?的最大值發(fā)生在x?最小的地方。由于x?的取值范圍受到圓盤約束x?2+x?2≤1的限制，x?的最小值為-√(1-x?2)。要使x?最小，需要x?2最大，即x?=±1。當(dāng)x?=1時(shí)，x?=-√(1-12)=0；當(dāng)x?=-1時(shí)，x?=-√(1-(-1)2)=0。因此，在單位圓盤內(nèi)，f(x)的最大值為-0=0，最優(yōu)解位于圓盤邊界上，即x=(0,