2025年大學《數(shù)理基礎科學》專業(yè)題庫——深度學習算法的數(shù)學推導考試時間：______分鐘總分：______分姓名：______一、設$x=[x_1,x_2,\dots,x_n]^T$為一個$n$維向量，$\mathbf{W}$為一個$n\timesm$的矩陣，$\mathbf$為一個$m\times1$的列向量。定義函數(shù)$f(\mathbf{x})=\mathbf{x}^T\mathbf{W}+\mathbf$，其中$\mathbf{x}^T$表示$\mathbf{x}$的轉置。1.計算$f(\mathbf{x})$的梯度$\nablaf(\mathbf{x})$。2.若$\mathbf{W}$和$\mathbf$分別為$\begin{bmatrix}1&2\\3&4\\5&6\end{bmatrix}$和$\begin{bmatrix}1\\2\\3\end{bmatrix}$，且$\mathbf{x}=\begin{bmatrix}4\\5\end{bmatrix}$，計算$f(\mathbf{x})$的值。二、已知一個單層神經網絡，輸入為$x$，權重為$w$，偏置為$b$，激活函數(shù)為$h(x)=\sigma(x)$，其中$\sigma(x)=\frac{1}{1+e^{-x}}$是Sigmoid函數(shù)。輸出為$y$。1.推導前向傳播過程，即$y$關于$x,w,b$的表達式。2.推導輸出$y$對輸入$x$的梯度$\frac{\partialy}{\partialx}$。三、考慮二元分類問題，使用邏輯回歸模型。模型輸出$p$表示樣本屬于正類的概率，$p=\sigma(w_1x_1+w_2x_2+b)$。損失函數(shù)為交叉熵損失函數(shù)$L(p,y)=-[y\logp+(1-y)\log(1-p)]$，其中$y\in\{0,1\}$。1.推導損失函數(shù)$L$對權重$w_1,w_2$和偏置$b$的梯度。2.假設梯度分別為$\nabla_{w_1}L,\nabla_{w_2}L,\nabla_bL$，使用梯度下降法更新參數(shù)的公式是什么？四、設$J(\theta)$是一個關于參數(shù)$\theta$的凸函數(shù)，梯度為$\nablaJ(\theta)$。使用牛頓法更新參數(shù)$\theta$。1.寫出牛頓法的更新公式。2.牛頓法更新參數(shù)的每一步都需要計算Hessian矩陣$\nabla^2J(\theta)$的逆矩陣，請解釋為什么？五、一個卷積神經網絡(CNN)包含一個卷積層和一個全連接層。1.卷積層使用$3\times3$的卷積核，步長為1，填充為1。輸入圖像的尺寸為$224\times224\times3$（高$\times$寬$\times$通道數(shù)）。請計算卷積層輸出的特征圖尺寸。2.假設卷積層輸出一個包含64個特征圖的張量，每個特征圖的尺寸為$112\times112$。全連接層將這些特征圖展平成一個長度為786432的向量。接著，這個向量通過一個包含128個神經元的全連接層，并使用ReLU激活函數(shù)。請計算該全連接層的輸出維度。六、一個循環(huán)神經網絡(RNN)的隱藏層狀態(tài)更新公式為$h_t=\sigma(W_xh_{t-1}+W_hh_{t-1}+b_h)$，其中$h_t$是第$t$個時間步的隱藏狀態(tài)，$x_t$是第$t$個時間步的輸入，$W_x,W_h,b_h$分別是權重矩陣和偏置項。假設RNN的隱藏層維度為$d$。1.推導隱藏狀態(tài)$h_t$對上一時刻隱藏狀態(tài)$h_{t-1}$的梯度$\frac{\partialh_t}{\partialh_{t-1}}$。2.解釋為什么RNN的梯度計算會出現(xiàn)梯度消失或梯度爆炸的問題。七、比較并解釋以下三個優(yōu)化算法的優(yōu)缺點：梯度下降法(GD)、隨機梯度下降法(SGD)和Adam算法。八、設計一個簡單的卷積神經網絡用于手寫數(shù)字識別(MNIST數(shù)據(jù)集)，需要包含至少一個卷積層、一個池化層和一個全連接層。請描述每一層的結構（例如，卷積層的卷積核大小、數(shù)量、激活函數(shù)等），并簡要說明設計理由。試卷答案一、1.$\nablaf(\mathbf{x})=\mathbf{W}$2.$f(\mathbf{x})=\begin{bmatrix}4\\5\end{bmatrix}^T\begin{bmatrix}1&2\\3&4\\5&6\end{bmatrix}+\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}4+10+15\\5+10+18\end{bmatrix}+\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}30\\35\end{bmatrix}+\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}31\\37\\38\end{bmatrix}$解析：1.根據(jù)線性代數(shù)知識，向量與矩陣相乘的結果是一個向量，其第$i$個元素等于矩陣的第$i$行與向量的點積。因此，$f(\mathbf{x})$的梯度$\nablaf(\mathbf{x})$就是矩陣$\mathbf{W}$。2.直接將$\mathbf{x},\mathbf{W},\mathbf$的具體數(shù)值代入$f(\mathbf{x})=\mathbf{x}^T\mathbf{W}+\mathbf$的公式進行矩陣乘法和向量加法運算即可得到結果。二、1.$y=\sigma(w_1x+w_2x_2+b)$2.$\frac{\partialy}{\partialx}=\frac{\partial\sigma(w_1x+w_2x_2+b)}{\partialx}=\sigma'(w_1x+w_2x_2+b)\cdot(w_1+w_2)$，其中$\sigma'(z)=\sigma(z)(1-\sigma(z))$解析：1.前向傳播過程就是將輸入$x$通過權重$w$、偏置$b$和激活函數(shù)$\sigma$計算得到輸出$y$。根據(jù)鏈式法則，$y$關于$x,w,b$的表達式即為$y=\sigma(w_1x+w_2x_2+b)$。2.根據(jù)鏈式法則，$\frac{\partialy}{\partialx}$等于$\sigma'(w_1x+w_2x_2+b)$乘以$w_1x+w_2x_2+b$對$x$的偏導數(shù)。由于$w_1x+w_2x_2+b$對$x$的偏導數(shù)為$w_1+w_2$，因此最終結果為$\sigma'(w_1x+w_2x_2+b)\cdot(w_1+w_2)$。三、1.$\nabla_{w_1}L=p-y,\nabla_{w_2}L=p-y,\nabla_bL=p-y$2.$\theta_{new}=\theta_{old}-\alpha\nablaJ(\theta)$，其中$\alpha$是學習率解析：1.根據(jù)鏈式法則，$\nabla_{w_1}L=\frac{\partialL}{\partialp}\frac{\partialp}{\partialw_1}$。由于$L=-[y\logp+(1-y)\log(1-p)]$，$\frac{\partialL}{\partialp}=-\frac{y}{p}+\frac{1-y}{1-p}$。又因為$p=\sigma(w_1x_1+w_2x_2+b)$，$\frac{\partialp}{\partialw_1}=p(1-p)x_1$。將兩式相乘得到$\nabla_{w_1}L=p(1-p)x_1\left(-\frac{y}{p}+\frac{1-y}{1-p}\right)=(p-y)x_1$。同理可推導出$\nabla_{w_2}L=(p-y)x_2$，$\nabla_bL=p-y$。2.梯度下降法的更新公式為$\theta_{new}=\theta_{old}-\alpha\nablaJ(\theta)$，其中$\theta$表示模型參數(shù)，$\alpha$是學習率，$\nablaJ(\theta)$是損失函數(shù)$J(\theta)$對參數(shù)$\theta$的梯度。題目中已給出梯度$\nabla_{w_1}L,\nabla_{w_2}L,\nabla_bL$，因此可以使用梯度下降法更新參數(shù)$w_1,w_2,b$。四、1.$\theta_{new}=\theta_{old}-\frac{\nablaJ(\theta)}{\nabla^2J(\theta)}$2.牛頓法利用二階泰勒展開近似目標函數(shù)，通過同時考慮一階導數(shù)和二階導數(shù)來更快地找到最優(yōu)解。二階導數(shù)（Hessian矩陣）提供了目標函數(shù)曲率的信息，可以幫助選擇更合適的搜索方向，從而可能加快收斂速度。解析：1.牛頓法的更新公式來源于二階泰勒展開。將目標函數(shù)$J(\theta)$在$\theta_{old}$處進行二階泰勒展開，并令一階導數(shù)為零，可以得到一個關于$\theta$的二次函數(shù)。該二次函數(shù)的最優(yōu)解可以用$\theta_{new}=\theta_{old}-\nabla^2J(\theta)^{-1}\nablaJ(\theta)$表示。這就是牛頓法的更新公式。2.牛頓法之所以需要計算Hessian矩陣的逆矩陣，是因為它利用了二階導數(shù)信息。與梯度下降法只考慮一階導數(shù)不同，牛頓法通過Hessian矩陣來近似目標函數(shù)的曲率，從而能夠更準確地估計最優(yōu)解的方向，并可能以更快的速度收斂。五、1.輸出特征圖尺寸為$112\times112\times64$2.全連接層的輸出維度為128解析：1.根據(jù)卷積操作的公式，輸出特征圖的高度$H_{out}=\frac{H_{in}-F+2P}{S}+1$，寬度$W_{out}=\frac{W_{in}-F+2P}{S}+1$，其中$H_{in},W_{in}$分別是輸入特征圖的高度和寬度，$F$是卷積核大小，$P$是填充，$S$是步長。代入數(shù)據(jù)得到$H_{out}=\frac{224-3+2\times1}{1}+1=223$，$W_{out}=\frac{224-3+2\times1}{1}+1=223$。由于輸出特征圖的個數(shù)等于卷積核的數(shù)量，因此輸出特征圖尺寸為$223\times223\times64$。但是，由于填充為1，輸入圖像尺寸為224，經過卷積操作后，輸出特征圖尺寸會變?yōu)?112\times112\times64$。2.卷積層輸出一個包含64個特征圖的張量，每個特征圖的尺寸為$112\times112$。將這些特征圖展平成一個向量，其長度為$112\times112\times64=802816$。接著，這個向量通過一個包含128個神經元的全連接層，因此該全連接層的輸出維度為128。六、1.$\frac{\partialh_t}{\partialh_{t-1}}=\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$2.RNN的梯度計算過程中，梯度會沿著時間步反向傳播，并在時間步之間累積。如果Hessian矩陣的某些特征值的絕對值大于1，則梯度在反向傳播過程中會逐漸變大，導致梯度爆炸；如果Hessian矩陣的某些特征值的絕對值小于1，則梯度在反向傳播過程中會逐漸變小，導致梯度消失。解析：1.根據(jù)鏈式法則，$\frac{\partialh_t}{\partialh_{t-1}}=\frac{\partial\sigma(W_xh_{t-1}+W_hh_{t-1}+b_h)}{\partial(W_xh_{t-1}+W_hh_{t-1}+b_h)}\cdot\frac{\partial(W_xh_{t-1}+W_hh_{t-1}+b_h)}{\partialh_{t-1}}$。其中，$\frac{\partial\sigma(W_xh_{t-1}+W_hh_{t-1}+b_h)}{\partial(W_xh_{t-1}+W_hh_{t-1}+b_h)}=\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)$，$\frac{\partial(W_xh_{t-1}+W_hh_{t-1}+b_h)}{\partialh_{t-1}}=W_x+W_h$。因此，$\frac{\partialh_t}{\partialh_{t-1}}=\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$。2.RNN的梯度計算會出現(xiàn)梯度消失或梯度爆炸的問題，這是因為RNN的梯度在時間步之間會傳遞和累積。具體來說，假設$g_t$是第$t$個時間步的梯度，那么$g_{t-1}=\frac{\partialL}{\partialh_{t-1}}=\frac{\partialL}{\partialg_t}\frac{\partialg_t}{\partialh_{t-1}}=\nablaJ(h_t)\odot\frac{\partialh_t}{\partialh_{t-1}}$，其中$\nablaJ(h_t)$是損失函數(shù)對第$t$個時間步隱藏狀態(tài)的梯度，$\odot$表示元素級別的乘法。可以看到，梯度在時間步之間通過$\frac{\partialh_t}{\partialh_{t-1}}=\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$進行傳遞。如果$\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$的絕對值小于1，則梯度在反向傳播過程中會逐漸變小，導致梯度消失；如果$\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$的絕對值大于1，則梯度在反向傳播過程中會逐漸變大，導致梯度爆炸。七、梯度下降法(GD)是一種最基本的優(yōu)化算法，它通過計算損失函數(shù)對參數(shù)的梯度，并沿著梯度的負方向更新參數(shù)，從而逐漸減小損失函數(shù)的值。GD的優(yōu)點是簡單易實現(xiàn)，缺點是收斂速度可能較慢，尤其是在目標函數(shù)的非平穩(wěn)點附近。隨機梯度下降法(SGD)是GD的改進版本，它在每次迭代中只使用一個樣本或一小批樣本計算梯度，并更新參數(shù)。SGD的優(yōu)點是能夠跳出局部最優(yōu)解，缺點是收斂過程比較嘈雜，需要仔細調整學習率。Adam算法是一種自適應學習率優(yōu)化算法，它結合了Momentum和RMSprop的優(yōu)點，能夠自動調整每個參數(shù)的學習率，并能夠適應不同的目標函數(shù)。Adam算法的優(yōu)點是收斂速度快，對超參數(shù)不敏感，缺點是可能會陷入局部最優(yōu)解。解析：該題要求比較并解釋GD、SGD和Adam算法的優(yōu)缺點。GD的優(yōu)點是簡單易實現(xiàn)，計算效率高（當使用向量化操作時），但收斂速度可能較慢，尤其是在目標函數(shù)的非平穩(wěn)點附近，且容易陷入局部最優(yōu)解。SGD通過使用隨機梯度來更新參數(shù)，能夠有效地跳出局部最優(yōu)解，并且對于噪聲數(shù)據(jù)和稀疏數(shù)據(jù)具有較好的魯棒性，但收斂過程比較嘈雜，需要仔細調整學習率，且每次迭代只使用一個樣本，計算效率較低。Adam算法是一種自適應學習率優(yōu)化算法，它結合了Momentum和RMSprop的優(yōu)點，能夠自動調整每個參數(shù)的學習率，并能夠適應不同的目標函數(shù)，因此收斂速度快，對超參數(shù)不敏感，但可能會陷入局部最優(yōu)解，且對于某些問題可能會出現(xiàn)過擬合。八、設計一個簡單的卷積神經網絡用于手寫數(shù)字識別(MNIST數(shù)據(jù)集)：1.輸入層：輸入圖像尺寸為28x28x1。2.第一個卷積層：使用32個3x3的卷積核，步長為1，填充為0，激活函數(shù)為ReLU。輸出特征圖尺寸為28x28x32。3.第一個池化層：使用2x2的最大池化，步長為2。輸出特征圖尺寸為14x14x