2025年大學(xué)《數(shù)學(xué)與應(yīng)用數(shù)學(xué)》專業(yè)題庫——卷積神經(jīng)網(wǎng)絡(luò)中的梯度下降考試時間：______分鐘總分：______分姓名：______一、選擇題1.在批量梯度下降（BatchGradientDescent,BGD）中，每次參數(shù)更新所使用的梯度是基于整個訓(xùn)練數(shù)據(jù)集計算的，以下說法正確的是（）。A.BGD每次迭代計算量最小，但可能陷入局部最優(yōu)。B.BGD每次迭代計算量最大，但能保證找到全局最優(yōu)解。C.BGD收斂速度通常比隨機(jī)梯度下降（SGD）快。D.BGD對內(nèi)存需求較大，適合處理大規(guī)模數(shù)據(jù)集。2.在神經(jīng)網(wǎng)絡(luò)的反向傳播過程中，鏈?zhǔn)椒▌t主要用于（）。A.計算損失函數(shù)相對于網(wǎng)絡(luò)輸入的梯度。B.計算損失函數(shù)相對于網(wǎng)絡(luò)輸出的梯度。C.計算損失函數(shù)相對于網(wǎng)絡(luò)所有可訓(xùn)練參數(shù)（權(quán)重和偏置）的梯度。D.計算激活函數(shù)的導(dǎo)數(shù)。3.對于一個包含卷積層、ReLU激活層和全連接層的簡單CNN結(jié)構(gòu)，在反向傳播計算卷積層權(quán)重梯度時，需要用到輸入數(shù)據(jù)的（）。A.原始像素值。B.經(jīng)過卷積層后的特征圖。C.經(jīng)過ReLU激活層后的特征圖。D.經(jīng)過全連接層后的輸出向量。4.梯度爆炸（ExplodingGradients）問題通常發(fā)生在神經(jīng)網(wǎng)絡(luò)的（）。A.前向傳播階段。B.反向傳播初期，靠近輸入層。C.反向傳播后期，靠近輸出層。D.參數(shù)初始化階段。5.批量歸一化（BatchNormalization,BN）技術(shù)通常應(yīng)用于神經(jīng)網(wǎng)絡(luò)中的（）。A.卷積層之后，激活函數(shù)之前。B.激活函數(shù)之后，卷積層之前。C.全連接層之后，輸出層之前。D.輸出層之后。二、填空題6.梯度下降算法通過計算損失函數(shù)關(guān)于每個參數(shù)的________來確定參數(shù)更新的方向。7.在反向傳播中，鏈?zhǔn)椒▌t允許我們通過逐層計算導(dǎo)數(shù)并將它們________來得到損失函數(shù)相對于輸入?yún)?shù)的總導(dǎo)數(shù)。8.對于一個卷積層，其參數(shù)通常包括一組濾波器（權(quán)重）和每個濾波器對應(yīng)的________。9.梯度消失（VanishingGradients）問題是指在前向傳播過程中，梯度在反向傳播時逐漸變小，導(dǎo)致網(wǎng)絡(luò)________層的參數(shù)難以更新。10.假設(shè)某層神經(jīng)網(wǎng)絡(luò)的輸出為z，使用的激活函數(shù)是ReLU（f(x)=max(0,x)），則該層輸出相對于輸入z的梯度為________。三、計算題11.考慮一個簡單的全連接神經(jīng)網(wǎng)絡(luò)層，輸入向量x=[x?,x?]?，輸出向量y=[y?,y?]?，權(quán)重矩陣W=[[w??,w??],[w??,w??]]，偏置向量b=[b?,b?]?，損失函數(shù)關(guān)于該層輸出的梯度為?_yL=[[?L/?y?],[?L/?y?]]?。請使用鏈?zhǔn)椒▌t，推導(dǎo)損失函數(shù)L關(guān)于權(quán)重矩陣W的梯度?_WL的計算表達(dá)式。12.假設(shè)CNN中的一個卷積層使用大小為3x3的濾波器，步長為1，輸入特征圖的高度和寬度均為H，深度（通道數(shù)）為C。請推導(dǎo)出該卷積層輸出特征圖的高度和寬度公式。13.給定參數(shù)θ和梯度g，標(biāo)準(zhǔn)梯度下降（SGD）的參數(shù)更新規(guī)則為θ←θ-ηg，其中η是學(xué)習(xí)率?，F(xiàn)假設(shè)使用Adam優(yōu)化算法，其更新規(guī)則包含動量項m和緩存項v，初始化為m?=0,v?=0，動量系數(shù)β?=0.9，緩存系數(shù)β?=0.999，學(xué)習(xí)率η=0.01。在第一迭代步，計算得到梯度g=1。請計算更新后的參數(shù)θ，動量項m?和緩存項v?。四、分析題14.簡述什么是梯度消失問題？除了使用ReLU激活函數(shù)外，還可以列舉至少兩種緩解梯度消失問題的方法，并簡要說明其原理。15.比較批量梯度下降（BGD）、隨機(jī)梯度下降（SGD）和小批量梯度下降（Mini-batchGD）在訓(xùn)練速度、收斂穩(wěn)定性、內(nèi)存需求和對噪聲的敏感性方面的主要區(qū)別。試卷答案一、選擇題1.D2.C3.B4.C5.A二、填空題6.偏導(dǎo)數(shù)(或梯度)7.連乘(或相乘)8.偏置(或偏置項)9.較深(或深層)10.{1ifz>0else0}(或θ(z)*(1-θ(z))，其中θ(z)為ReLU函數(shù)的導(dǎo)數(shù))三、計算題11.解析：根據(jù)鏈?zhǔn)椒▌t，?_WL=(?_yL)?*(?_yz)?，其中?_yz=W?。因為y=Wx+b，所以?_yz=W?。因此，?_WL=(?_yL)?*W?=(?_yL*W)?。具體計算：設(shè)?_yL=[a?,a?]?，W=[[w??,w??],[w??,w??]]，則W?=[[w??,w??],[w??,w??]]。?_yz=W?=[[w??,w??],[w??,w??]]。?_WL=[[a?*w??+a?*w??],[a?*w??+a?*w??]]?=[[a?,a?]?*[w??,w??]]?=[[a?,a?]?*W]?=(?_yL*W)?。最終表達(dá)式為?_WL=(?_yL*W)?。答案：?_WL=(?_yL*W)?12.解析：設(shè)輸入特征圖高度為H，寬度為W，通道數(shù)為C。卷積層輸出特征圖的高度H'和寬度W'計算公式如下：H'=floor((H-filter_height+2*pad)/stride)+1W'=floor((W-filter_width+2*pad)/stride)+1題目中濾波器大小為3x3(filter_height=3,filter_width=3)，步長為1(stride=1)，假設(shè)無填充(pad=0)。代入公式：H'=floor((H-3+2*0)/1)+1=H-2+1=H-1W'=floor((W-3+2*0)/1)+1=W-2+1=W-1答案：輸出特征圖高度H'=H-2+1=H-1；輸出特征圖寬度W'=W-2+1=W-1。13.解析：根據(jù)Adam優(yōu)化算法的更新規(guī)則：m_t=β?*m_(t-1)+(1-β?)*gv_t=β?*v_(t-1)+(1-β?)*g2θ_(t+1)=θ_t-η*m_t/(sqrt(v_t)+ε)其中t=1，m?=0,v?=0,β?=0.9,β?=0.999,η=0.01,g=1,ε通常取一個很小的常數(shù)（如1e-8），此處可忽略。計算：m?=0.9*0+(1-0.9)*1=0*0+0.1*1=0.1v?=0.999*0+(1-0.999)*12=0*0+0.001*1=0.001θ_(t+1)=θ-0.01*(0.1)/(sqrt(0.001)+1e-8)=θ-0.01*0.1/(0.0316227766+1e-8)≈θ-0.01*0.1/0.0316227766≈θ-0.01*3.16227766≈θ-0.0316227766答案：θ_(t+1)≈θ-0.0316；m?=0.1；v?=0.001。四、分析題14.解析：梯度消失是指在深度神經(jīng)網(wǎng)絡(luò)的反向傳播過程中，梯度在從輸出層向輸入層傳遞時，隨著層疊次數(shù)的增加而變得非常小，導(dǎo)致靠近輸入層的參數(shù)更新極其緩慢甚至停滯，使得網(wǎng)絡(luò)難以學(xué)習(xí)到深層特征。緩解方法1：使用ReLU（RectifiedLinearUnit）或其變種（如LeakyReLU,PReLU）激活函數(shù)。ReLU函數(shù)在正區(qū)間導(dǎo)數(shù)為1，不會像Sigmoid或Tanh函數(shù)那樣在正負(fù)區(qū)間都存在導(dǎo)數(shù)衰減，能有效緩解梯度消失。緩解方法2：引入殘差連接（ResidualConnections/ResNets）。殘差網(wǎng)絡(luò)通過引入跨層連接，使得梯度可以直接從較深層的激活值傳遞到較淺層的參數(shù)，即使深層梯度很小，也能保證信息傳遞，緩解梯度消失。答案：梯度消失是指反向傳播時梯度變得非常小。緩解方法：使用ReLU激活函數(shù)（因其導(dǎo)數(shù)在正區(qū)間為1）；引入殘差連接（使其梯度可直接傳遞）。15.解析：BGD、SGD和Mini-batchGD的主要區(qū)別如下：訓(xùn)練速度：BGD計算每次迭代所需梯度，需要遍歷所有數(shù)據(jù)，計算最慢，但每次更新信息最全。SGD每次迭代只使用一個樣本計算梯度，速度最快，但每次更新信息最少。Mini-batchGD使用一小批樣本（如32,64個）計算梯度，速度介于BGD和SGD之間，是目前實踐中最常用的方法。收斂穩(wěn)定性：BGD由于每次更新基于全局梯度，收斂路徑最穩(wěn)定，但容易陷入局部最優(yōu)或鞍點。SGD由于梯度基于單一樣本，更新具有隨機(jī)性，更容易跳出局部最優(yōu)，但收斂路徑不穩(wěn)定，容易震蕩。Mini-batchGD結(jié)合了BGD和SGD的優(yōu)點，通過平均一批樣本的梯度，使更新比SGD更穩(wěn)定，收斂路徑介于BGD和SGD之間。內(nèi)存需求：BGD需要存儲整個數(shù)據(jù)集，內(nèi)存需求最大。SGD每次只需要存儲一個樣本，內(nèi)存需求最小。Mini-batchGD需要存儲一批樣本，內(nèi)存需求介于BGD和SGD之