2025年大學(xué)《數(shù)理基礎(chǔ)科學(xué)》專業(yè)題庫——深度學(xué)習(xí)中的數(shù)學(xué)原理解析考試時間：______分鐘總分：______分姓名：______一、1.設(shè)$\mathbf{A}$是一個$n\timesn$的實對稱正定矩陣，$\mathbf{x},\mathbf{y}$是$\mathbb{R}^n$中的向量。證明：對于任意實數(shù)$a$和$b$，不等式$a(\mathbf{x}^\top\mathbf{A}\mathbf{y})+b\|\mathbf{x}\|^2\geq0$成立的充要條件是$a\geq0$且$b\geq0$。2.設(shè)$\mathbf{W}\in\mathbb{R}^{d\timesn}$是一個權(quán)重矩陣，$\mathbf{X}\in\mathbb{R}^{n\timesm}$是一個數(shù)據(jù)矩陣。解釋$\mathbf{W}^\top\mathbf{W}$的幾何意義和代數(shù)意義，并說明其在線性回歸模型中的作用。3.已知隨機變量$X$服從參數(shù)為$\lambda$的泊松分布，$Y|X=x$服從參數(shù)為$x$的二項分布$B(x,p)$。求隨機變量$Y$的邊緣分布。二、1.設(shè)$f(x)=\frac{1}{1+x^2}$，計算$f'(x)$和$f''(x)$。2.考慮二元函數(shù)$z=x^2y+y^3e^x$。求$\frac{\partial^2z}{\partialx\partialy}$和$\frac{\partial^2z}{\partialy^2}$在點$(1,1)$處的值。3.證明函數(shù)$f(x)=x^3-3x+1$在區(qū)間$[-2,2]$上至少有一個零點。三、1.設(shè)$\mathbf{J}_\text{GD}(\theta)$表示使用梯度下降法更新參數(shù)$\theta$時目標函數(shù)的下降量。解釋$\mathbf{J}_\text{GD}(\theta)$的意義，并討論影響其大小的主要因素。2.定義損失函數(shù)$L(\theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(\mathbf{x}^{(i)})-y^{(i)})^2$，其中$h_\theta(\mathbf{x}^{(i)})=\sigma(\theta^\top\mathbf{x}^{(i)})$是邏輯回歸的預(yù)測函數(shù)，$\sigma(z)=\frac{1}{1+e^{-z}}$。計算損失函數(shù)$L(\theta)$關(guān)于參數(shù)$\theta_j$的梯度$\frac{\partialL}{\partial\theta_j}$。3.描述牛頓法（Newton'sMethod）的基本思想，并與其基本梯度下降法進行比較，指出牛頓法的優(yōu)勢。四、1.解釋過擬合（Overfitting）現(xiàn)象，并簡要說明常見的防止過擬合的技巧。2.設(shè)目標函數(shù)$J(\theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(\mathbf{x}^{(i)})-y^{(i)})^2$。證明函數(shù)$J(\theta)$是一個凸函數(shù)。3.說明為何在深度學(xué)習(xí)模型中，通常會使用正則化（例如L2正則化）項來改進模型的泛化能力。試卷答案一、1.證明：*思路：利用實對稱正定矩陣的性質(zhì)和柯西-施瓦茨不等式。*證明：充分性。若$a\geq0$且$b\geq0$，則顯然$a(\mathbf{x}^\top\mathbf{A}\mathbf{y})+b\|\mathbf{x}\|^2\geq0$。*必要性。設(shè)不等式對任意$\mathbf{x},\mathbf{y}$恒成立。取$\mathbf{y}=\mathbf{x}$，則$a\mathbf{x}^\top\mathbf{A}\mathbf{x}+b\|\mathbf{x}\|^2=a\mathbf{x}^\top\mathbf{A}\mathbf{x}+b\mathbf{x}^\top\mathbf{I}\mathbf{x}$。由$a(\mathbf{x}^\top\mathbf{A}\mathbf{y})+b\|\mathbf{x}\|^2\geq0$，得$a\mathbf{x}^\top\mathbf{A}\mathbf{x}+b\mathbf{x}^\top\mathbf{x}\geq0$。*由于$\mathbf{A}$是對稱正定矩陣，$\mathbf{x}^\top\mathbf{A}\mathbf{x}>0$對$\mathbf{x}\neq\mathbf{0}$成立，且$\mathbf{x}^\top\mathbf{x}>0$對$\mathbf{x}\neq\mathbf{0}$成立?？紤]$\mathbf{x}\neq\mathbf{0}$，令$\mathbf{z}=\frac{\mathbf{x}}{\|\mathbf{x}\|}$，則$\mathbf{z}^\top\mathbf{z}=1$，且$\mathbf{z}^\top\mathbf{A}\mathbf{z}>0$。原式變?yōu)?a\|\mathbf{x}\|^2\mathbf{z}^\top\mathbf{A}\mathbf{z}+b\|\mathbf{x}\|^2\geq0$，即$a(\mathbf{z}^\top\mathbf{A}\mathbf{z})+b\geq0$。由于$\mathbf{z}^\top\mathbf{A}\mathbf{z}>0$，必有$a\geq0$且$b\geq0$。當$\mathbf{x}=\mathbf{0}$時，原式顯然成立。2.思路：利用向量和矩陣運算定義，結(jié)合數(shù)據(jù)降維和特征提取的視角。*解釋：$\mathbf{W}^\top\mathbf{W}$是一個$d\timesd$的矩陣。其$(i,j)$元素為$\sum_{k=1}^nw_{ik}w_{jk}$，即第$i$個輸出特征與第$j$個輸入特征之間的加權(quán)內(nèi)積。幾何上，如果$\mathbf{W}$的列向量是正交歸一的，則$\mathbf{W}^\top\mathbf{W}=\mathbf{I}_d$，表示$\mathbf{W}$的列向量張成的$d$維子空間中的基向量是單位正交的。代數(shù)上，$\mathbf{W}^\top\mathbf{W}$是$\mathbf{W}$的協(xié)方差矩陣（如果列向量歸一化）或其相關(guān)性的度量。在線性回歸（例如嶺回歸）中，$\mathbf{W}^\top\mathbf{W}$出現(xiàn)在正則化項中（如$\lambda\mathbf{W}^\top\mathbf{W}$），它控制了權(quán)重$\mathbf{W}$的范數(shù)大小，有助于防止過擬合，并使解更加穩(wěn)定。3.思路：利用全概率公式計算邊緣分布。*解答：$P(Y=y)=\sum_{x=0}^{\infty}P(Y=y|X=x)P(X=x)$。已知$P(X=x)=\frac{\lambda^xe^{-\lambda}}{x!}$，$P(Y=y|X=x)=\binom{x}{y}p^y(1-p)^{x-y}$。則$P(Y=y)=\sum_{x=y}^{\infty}\binom{x}{y}p^y(1-p)^{x-y}\frac{\lambda^xe^{-\lambda}}{x!}$$=p^ye^{-\lambda}\sum_{x=y}^{\infty}\frac{x!}{y!(x-y)!}(1-p)^{x-y}\frac{\lambda^x}{x!}$$=p^ye^{-\lambda}\sum_{x=y}^{\infty}\frac{\lambda^y\lambda^{x-y}}{y!(x-y)!}(1-p)^{x-y}$$=p^ye^{-\lambda}\frac{\lambda^y}{y!}\sum_{k=0}^{\infty}\frac{\lambda^k(1-p)^k}{k!}$$=p^ye^{-\lambda}\frac{\lambda^y}{y!}e^{\lambda(1-p)}$（利用$e^z=\sum_{k=0}^{\infty}\frac{z^k}{k!}$）$=\frac{(\lambdap)^ye^{-\lambdap}}{y!}$。*因此，$Y$服從參數(shù)為$\lambdap$的泊松分布。二、1.思路：使用求導(dǎo)法則。*解答：$f'(x)=\fraccy06c2q{dx}\left(\frac{1}{1+x^2}\right)=-\frac{1}{(1+x^2)^2}\cdot2x=-\frac{2x}{(1+x^2)^2}$。*$f''(x)=\frackgge0ae{dx}\left(-\frac{2x}{(1+x^2)^2}\right)=-2\cdot\frac{(1+x^2)^2\cdot1-x\cdot2(1+x^2)\cdot2x}{(1+x^2)^4}$$=-2\cdot\frac{(1+x^2)^2-4x^2(1+x^2)}{(1+x^2)^4}$$=-2\cdot\frac{1+2x^2+x^4-4x^2-4x^4}{(1+x^2)^4}$$=-2\cdot\frac{1-2x^2-3x^4}{(1+x^2)^4}=\frac{2(2x^2+3x^4-1)}{(1+x^2)^4}$。2.思路：使用多元函數(shù)求偏導(dǎo)法則。*解答：$\frac{\partialz}{\partialx}=2xy+y^3e^x$。*$\frac{\partial^2z}{\partialx\partialy}=\frac{\partial}{\partialy}\left(2xy+y^3e^x\right)=2x+3y^2e^x$。在$(1,1)$處，$\frac{\partial^2z}{\partialx\partialy}|_{(1,1)}=2(1)+3(1)^2e^1=2+3e$。*$\frac{\partialz}{\partialy}=x^2+3y^2e^x$。*$\frac{\partial^2z}{\partialy^2}=\frac{\partial}{\partialy}\left(x^2+3y^2e^x\right)=6ye^x$。在$(1,1)$處，$\frac{\partial^2z}{\partialy^2}|_{(1,1)}=6(1)e^1=6e$。3.思路：使用介值定理。*證明：$f(x)$在區(qū)間$[-2,2]$上連續(xù)（多項式函數(shù)處處連續(xù)）。$f(-2)=(-2)^3-3(-2)+1=-8+6+1=-1$。$f(2)=(2)^3-3(2)+1=8-6+1=3$。由于$f(-2)=-1<0$且$f(2)=3>0$，根據(jù)介值定理，在$(-2,2)$內(nèi)至少存在一點$c$，使得$f(c)=0$。因此，$f(x)$在區(qū)間$[-2,2]$上至少有一個零點。三、1.思路：定義并解釋梯度下降迭代過程中損失函數(shù)的變化。*解釋：$\mathbf{J}_\text{GD}(\theta)=J(\theta^{(t+1)})-J(\theta^{(t)})$，其中$\theta^{(t+1)}=\theta^{(t)}-\alpha\nablaJ(\theta^{(t)})$是第$t+1$次迭代后的參數(shù)值，$\alpha$是學(xué)習(xí)率。$\mathbf{J}_\text{GD}(\theta)$表示在一次梯度下降迭代中，損失函數(shù)值減少的量。其大小受以下因素影響：1)當前參數(shù)$\theta^{(t)}$處的損失函數(shù)梯度$\nablaJ(\theta^{(t)})$的大小，梯度越大，下降量通常越大；2)學(xué)習(xí)率$\alpha$的大小，$\alpha$越大，單次迭代下降量可能越大，但可能導(dǎo)致不收斂；3)目標函數(shù)$J(\theta)$在$\theta^{(t)}$附近的形狀（例如曲率），在平坦區(qū)域下降量較小；4)參數(shù)更新方向與負梯度方向的夾角。2.思路：使用鏈式法則求導(dǎo)。*解答：$\frac{\partialL}{\partial\theta_j}=\frac{1}{2m}\sum_{i=1}^m\frac{\partial}{\partial\theta_j}\left((h_\theta(\mathbf{x}^{(i)})-y^{(i)})^2\right)$$=\frac{1}{2m}\sum_{i=1}^m2(h_\theta(\mathbf{x}^{(i)})-y^{(i)})\frac{\partial}{\partial\theta_j}h_\theta(\mathbf{x}^{(i)})$$=\frac{1}{m}\sum_{i=1}^m(h_\theta(\mathbf{x}^{(i)})-y^{(i)})\frac{\partial}{\partial\theta_j}\sigma(\theta^\top\mathbf{x}^{(i)})$$=\frac{1}{m}\sum_{i=1}^m(h_\theta(\mathbf{x}^{(i)})-y^{(i)})\sigma'(\theta^\top\mathbf{x}^{(i)})\mathbf{x}^{(i)j}$其中$\sigma'(z)=\sigma(z)(1-\sigma(z))$。3.思路：描述牛頓法思想和與梯度下降法的區(qū)別。*描述：牛頓法的基本思想是利用目標函數(shù)的二階導(dǎo)數(shù)（Hessian矩陣）來加速收斂。在梯度下降法中，更新方向是負梯度方向，步長由學(xué)習(xí)率決定。牛頓法通過求解二次方程$(\nablaJ(\theta))^\top\mathbf{H}^{-1}\nablaJ(\theta)=0$來確定搜索方向（其中$\mathbf{H}$是Hessian矩陣），其搜索方向是二次近似函數(shù)的負梯度方向，理論上更指向函數(shù)的最小值。牛頓法的更新步長由$-\mathbf{H}^{-1}\nablaJ(\theta)$與$\nablaJ(\theta)$的比例決定，通常比梯度下降法的固定步長更優(yōu)。優(yōu)勢在于：1)理論上收斂速度更快（二次收斂）；2)當Hessian矩陣可逆且接近正定時，能更快地找到精確或近似精確解。四、1.思路：定義并解釋過擬合現(xiàn)象及常見解決方法。*解釋：過擬合是指機器學(xué)習(xí)模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)很好，但在未見過的測試數(shù)據(jù)上表現(xiàn)很差的現(xiàn)象。模型過于復(fù)雜，學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的噪聲和細節(jié)，而非潛在的普遍規(guī)律。防止過擬合的技巧包括：1)減少模型復(fù)雜度（例如減少層數(shù)、神經(jīng)元數(shù)量）；2)獲取更多訓(xùn)練數(shù)據(jù)；3)使用正則化（如L1、L2正則化，Dropout）；4)早停法（EarlyStopping），即在驗證集性能不再提升時停止訓(xùn)練；5)數(shù)據(jù)增強（DataAugmentation）。2.思路：利用凸函數(shù)的定義證明。*證明：函數(shù)$J(\theta)$關(guān)于$\theta$是可微的。$J(\theta)$是凸函數(shù)的充要條件是其Hessian矩陣$\nabla^2J(\theta)$在整個$\theta$空間內(nèi)是正半定矩陣。計算Hessian矩陣：$\frac{\partial^2J}{\partial\theta_j\partial\theta_k}=\frac{\partial}{\partial\theta_k}\left(\frac{1}{m}\sum_{i=1}^m2(h_\theta(\mathbf{x}^{(i)})-y^{(i)})\frac{\partialh_\theta(\mathbf{x}^{(i)})}{\partial\theta_j}\right)$$=\frac{2}{m}\sum_{i=1}^m\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)\frac{\partial^2h_\theta(\mathbf{x}^{(i)})}{\partial\theta_j\partial\theta_k}$$=\frac{2}{m}\sum_{i=1}^m\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)x_{ik}\sigma'(\theta^\top\mathbf{x}^{(i)})$$=\frac{2}{m}\sum_{i=1}^m\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)x_{ik}\sigma(\theta^\top\mathbf{x}^{(i)})(1-\sigma(\theta^\top\mathbf{x}^{(i)}))$$=\frac{2}{m}\sum_{i=1}^m\left[\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)\sigma(\theta^\top\mathbf{x}^{(i)})-\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)^2\sigma(\theta^\top\mathbf{x}^{(i)})\right]x_{ik}$$=\frac{2}{m}\sum_{i=1}^m\left[\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)\sigma(\theta^\top\mathbf{x}^{(i)})x_{ik}-\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)^2\sigma(\theta^\top\mathbf{x}^{(i)})x_{ik}\right]$記$\mathbf{g}=\nablaJ(\theta)$，$\mathbf{h}=\mathbf{x}^\top\sigma(\theta^\top\mathbf{x})$。則$\frac{\partial^2J}{\partial\theta_j\partial\theta_k}=\frac{2}{m}\sum_{i=1}^m\left[g_ih_{ik}-g_i^2h_{ik}\right]=\frac{2}{m}\sum_{i=1}^mg_ih_{ik}(1-g_i)$。這是一個對稱矩陣?？紤]任意向量$\mathbf{v}$，計算$\mathbf{v}^\top\nabla^2J(\theta)\mathbf{v}$：$\mathbf{v}^\top\nabla^2J(\thet