2025年大學《數(shù)理基礎科學》專業(yè)題庫——線性代數(shù)在機器學習中的應用考試時間：______分鐘總分：______分姓名：______一、計算題1.設向量空間R3中的兩個向量u=(1,2,3)?和v=(0,1,-1)?。求向量w=2u-3v，并計算向量u,v,w的模長（即歐幾里得范數(shù)）。2.計算矩陣A=[(1,2),(3,4)]和B=[(0,1),(2,-1)]的乘積AB和BA。根據(jù)結果說明矩陣乘法是否滿足交換律。3.求矩陣A=[(2,1),(1,2)]的特征值和對應的特征向量。4.對矩陣M=[(3,2,0),(1,1,1),(0,2,1)]進行奇異值分解（SVD），即求M=UΣV?的形式。其中U和V是正交矩陣，Σ是對角矩陣。要求給出U,Σ,V的具體形式。（提示：可以先求M?M或MM?的特征值和特征向量）5.設矩陣X=[(1,2,3),(4,5,6),(7,8,9)]。計算X的秩（rank(X)）。并求X的行最簡形（行階梯形）矩陣。6.給定數(shù)據(jù)點(1,2),(2,3),(3,5),(4,4)。寫出使用最小二乘法擬合這些點所得到的線性回歸模型（y=wx+b）的正規(guī)方程（NormalEquation）。無需求解方程，但需寫出完整的矩陣形式。二、理論推導題1.推導線性方程組Ax=b的最小二乘解x?的表達式，即正規(guī)方程x?=(A?A)?1A?b。在推導過程中，請說明每一步的依據(jù)（例如，使用了哪個目標函數(shù)或優(yōu)化原理）。2.解釋主成分分析（PCA）的基本思想。假設數(shù)據(jù)矩陣X(m×n,m個樣本，n個特征)已通過中心化處理（即減去各特征均值）。寫出使用特征值分解（Eigendecomposition）方法求解PCA主成分（即投影方向向量w?）的過程。請明確說明需要求解的特征值/向量對應于哪個矩陣，以及最終w?的表達式。三、應用分析題1.簡述奇異值分解（SVD）在降維（DimensionalityReduction）中的應用原理。例如，如何利用SVD的前k個奇異值對應的奇異向量來近似原始數(shù)據(jù)矩陣？解釋這種近似在保持數(shù)據(jù)主要信息方面的優(yōu)勢。2.在機器學習的邏輯回歸（LogisticRegression）模型中，參數(shù)（權重）的梯度下降更新公式涉及到對數(shù)似然函數(shù)的梯度計算。設目標函數(shù)為J(θ)=-1/m*Σ[y*log(hθ(x?))+(1-y)*log(1-hθ(x?))]，其中hθ(x?)是預測概率，θ是參數(shù)向量，x?是第i個樣本特征向量。請推導參數(shù)θ關于J(θ)的梯度?θJ(θ)。在推導中，需要用到hθ(x?)的表達式以及鏈式法則。假設hθ(x?)≠0且hθ(x?)≠1。3.支持向量機（SVM）使用核函數(shù)K(x?,x?)將原始特征空間映射到高維特征空間。請解釋為何這種高維映射可以通過核技巧（KernelTrick）在原始空間內(nèi)直接計算相似性，而無需顯式地計算變換后的特征向量。結合線性SVM的對偶形式（DualFormulation）說明核函數(shù)K的作用。四、證明題1.設A是一個m×n矩陣，B是一個n×k矩陣。證明矩陣乘積AB的列空間（ColumnSpace）是矩陣B的列空間（ColumnSpace）的子空間。請說明證明過程，可以借助矩陣乘法的定義或線性組合的性質。---試卷答案一、計算題1.w=(2,4,6)?-(0,3,-3)?=(2,1,9)?。||w||=√(22+12+92)=√82。2.AB=[(0+6,1-2),(0+4,2-4)]=[(6,-1),(4,-2)]。BA=[(2+0,4+1),(1+0,2-1)]=[(2,5),(1,1)]。AB≠BA，故矩陣乘法不滿足交換律。3.特征方程|A-λI|=|(2-λ,1),(1,2-λ)|=(2-λ)2-1=λ2-4λ+3=0。解得λ?=1,λ?=3。*對λ?=1,(A-I)v=0=>[(1,1),(1,1)]v=0。解得基礎解系v=(-1,1)?。單位化得特征向量(?1/√2,1/√2)?。*對λ?=3,(A-3I)v=0=>[?1,1),(1,?1)]v=0。解得基礎解系v=(1,1)?。單位化得特征向量(1/√2,1/√2)?。*特征值λ?=1對應特征向量(?1/√2,1/√2)?；特征值λ?=3對應特征向量(1/√2,1/√2)?。（答案不唯一，可取非單位化向量）4.計算M?M=[(3,1,0),(2,1,2),(0,1,1)][(3,2,0),(1,1,1),(0,2,1)]=[(10,8,2),(8,6,4),(2,4,5)]。*求M?M的特征值：det(λI-M?M)=det([(λ-10,-8,-2),(-8,λ-6,-4),(-2,-4,λ-5)])=(λ-1)(λ-10)(λ-5)=0。得λ?=1,λ?=10,λ?=5。*對應Σ=diag(√10,√5,1)=[(√10,0,0),(0,√5,0),(0,0,1)]。*求M?M的特征向量（單位化后）：*對λ?=1:[(?9,?8,?2),(?8,?5,?4),(?2,?4,?4)]v=0。解得v∝(2,1,2)?。單位化v?=(2/√9,1/√9,2/√9)?=(2/3,1/3,2/3)?。V?的第一列v??=(2/3,1/3,2/3)。*對λ?=10:[(?8,?8,?2),(?8,4,?4),(?2,?4,5)]v=0。解得v∝(1,?1,0)?。單位化v?=(1/√2,?1/√2,0)?。V?的第二列v??=(1/√2,?1/√2,0)。*對λ?=5:[(?5,?8,?2),(?8,?1,?4),(?2,?4,0)]v=0。解得v∝(4,?2,5)?。單位化v?=(4/√45,?2/√45,5/√45)?=(4/3√5,?2/3√5,5/3√5)?。V?的第三列v??=(4/(3√5),?2/(3√5),5/(3√5))。*V?=[v??,v??,v??]=[(2/3,1/3,2/3),(1/√2,?1/√2,0),(4/(3√5),?2/(3√5),5/(3√5))]。V=V??。*求U:U的列向量為M的列向量經(jīng)V的對應列向量的線性組合。令u?=Mv?/||Mv?||,u?=Mv?/||Mv?||,u?=Mv?/||Mv?||。計算得：*u?=[(3,2,0),(1,1,1),(0,2,1)](2/3,1/3,2/3)?/√(10)=(4/√10,4/√10,4/√10)?。單位化得u?=(1/√10,1/√10,1/√10)?。*u?=[(3,2,0),(1,1,1),(0,2,1)](1/√2,?1/√2,0)?/√(10)=(1/√2,?1/√2,0)?。單位化得u?=(1/√2,?1/√2,0)?。*u?=[(3,2,0),(1,1,1),(0,2,1)](4/(3√5),?2/(3√5),5/(3√5))?/√(5)=(2/√5,?1/√5,2/√5)?。單位化得u?=(2/√5,?1/√5,2/√5)?。*U=[u?,u?,u?]=[(1/√10,1/√10,1/√10),(1/√2,?1/√2,0),(2/√5,?1/√5,2/√5)]。*最終M=UΣV?。U,Σ,V如上所示。5.計算行最簡形：*R?=R?-4R?=(1,1,1)-4*(1,2,3)=(1,1,1)-(4,8,12)=(?3,?7,?11)。*R?=R?-7R?=(0,2,1)-7*(1,2,3)=(0,2,1)-(7,14,21)=(?7,?12,?20)。*R?=R?/(?3)=(1,7/3,11/3)。*R?=R?-(?7)R?=(?7,?12,?20)-(?7)*(1,7/3,11/3)=(?7,?12,?20)-(?7,?49/3,?77/3)=(0,5/3,17/3)。*R?=R?*(3/5)=(0,1,17/5)。*R?=R?-(7/3)R?=(1,7/3,11/3)-(7/3)*(0,1,17/5)=(1,7/3,11/3)-(0,7/3,119/15)=(1,0,?8/15)。*行最簡形矩陣為[(1,0,?8/15),(0,1,17/5),(0,0,0)]。*秩rank(X)=2（非零行數(shù)為2）。6.正規(guī)方程為x?=(X?X)?1X?y。*X=[(1,1,1,1),(2,2,2,2),(3,3,3,3)],y=(2,3,5,4)?。*X?=[(1,2,3,4),(1,2,3,4),(1,2,3,4)]。*X?X=[(1,2,3,4),(1,2,3,4),(1,2,3,4)][(1,1,1,1),(2,2,2,2),(3,3,3,3),(4,4,4,4)]=[(30,30,30,30),(30,30,30,30),(30,30,30,30)]。*X?y=[(1,2,3,4),(1,2,3,4),(1,2,3,4)](2,3,5,4)?=[(1*2+2*3+3*5+4*4),(1*2+2*3+3*5+4*4),(1*2+2*3+3*5+4*4)]=[(2+6+15+16),(2+6+15+16),(2+6+15+16)]=[(39),(39),(39)]=(39,39,39)?。*正規(guī)方程為x?=(30I+30J)?1(39,39,39)?，其中I是3x3單位陣，J是3x3全1矩陣。*令Z=(X?X)?1=(30(I+J))?1=(30*6*M)?1=(5/6)M?1，其中M=I+J=[(1,1,1),(1,1,1),(1,1,1)]。*M的特征值為0(重數(shù)3),3(重數(shù)1)。M?1不存在，但(I+J)?1=(1/3)I-(1/9)J。*Z=(5/6)*(1/3)I-(5/6)*(1/9)J=(5/18)I-(5/54)J=(5/18)[(1,0,0),(0,1,0),(0,0,1)]-(5/54)[(1,1,1),(1,1,1),(1,1,1)]=[(5/18,?5/54,?5/54),(?5/54,5/18,?5/54),(?5/54,?5/54,5/18)]。*x?=Z(39,39,39)?=[(5/18*39-5/54*39-5/54*39),(?5/54*39+5/18*39-5/54*39),(?5/54*39?5/54*39+5/18*39)]?=[(195/18-195/54-195/54),(?195/54+195/18-195/54),(?195/54?195/54+195/18)]?=[(195/18-195/27-195/27),(?195/54+195/18-195/54),(?195/27-195/27+195/18)]?=[(195/18-390/54),(?390/54+585/54-390/54),(?390/54-390/54+585/54)]?=[(195/18-130/18),(?720/54+195/54),(?780/54+195/54)]?=[(65/18),(?525/54),(?585/54)]?=[(65/18),(?35/4),(?95/18)]?。*正規(guī)方程為x?=[(65/18),(?35/4),(?95/18)]?。二、理論推導題1.目標是最小化殘差平方和||Ax-b||2。展開得||Ax-b||2=(x?A?-b?)(Ax-b)=x?A?Ax-2b?Ax+b?b。*對x求導?/?x[x?A?Ax-2b?Ax+b?b]=2A?Ax-2A?b。*令導數(shù)為0，得2A?Ax-2A?b=0=>A?Ax=A?b。*若A?A可逆，則乘以(A?A)?1，得到x=(A?A)?1A?b。此即為最小二乘解x?的表達式。*依據(jù)：最小化殘差平方和；梯度的性質（導數(shù)為0處取極值）；矩陣可逆性條件。2.PCA思想：在保持數(shù)據(jù)最大方差的方向上進行降維，即找到數(shù)據(jù)協(xié)方差矩陣（或中心化數(shù)據(jù)矩陣X?X）的最大特征值對應的特征向量作為主成分方向。*中心化數(shù)據(jù)矩陣X(m×n)。協(xié)方差矩陣C=(1/m)X?X或X?X(若數(shù)據(jù)已中心化)。*求解C的特征值分解：C=VΣV?，其中V是特征向量矩陣（列向量是特征向量），Σ是對角矩陣（特征值）。*對應于最大特征值λ?的特征向量v?是數(shù)據(jù)方差最大的方向。*對應于次大特征值λ?的特征向量v?是與v?正交且數(shù)據(jù)方差次大的方向。*依次類推。選取前k個最大特征值對應的特征向量v?,...,v?作為主成分方向。*降維：將原始數(shù)據(jù)投影到這k個主成分方向上，得到降維后的數(shù)據(jù)。投影矩陣為W=[v?,...,v?](k×n)。降維后的數(shù)據(jù)為Z=WX(m×k)。*若使用特征值分解C=VΣV?，則Z=XW=XV??(假設k=1)，其中V?是V的前k列，Σ?是Σ的前k行k列對角塊。*依據(jù)：協(xié)方差矩陣定義；特征值分解理論；正交投影原理。三、應用分析題1.SVD用于降維的基本思想：將原始數(shù)據(jù)矩陣X(m×n)分解為X=UΣV?。U和V是正交矩陣，Σ是對角矩陣，包含奇異值σ?≥σ?≥...≥σ_r>0(r為秩)。降維的核心思想是利用奇異值的衰減性質，保留最大的幾個奇異值對應的奇異向量，忽略較小的奇異值對應的信息。*保留前k個奇異值(k<r)和對應的U的前k列、V的前k列，得到近似矩陣X?=U?Σ?V??，其中U?=[u?,...,u?]，Σ?=diag(σ?,...,σ?)，V??=[v?,...,v?]?。*數(shù)據(jù)點x?可以表示為X的列向量的線性組合，也可以表示為X?的列向量的線性組合。*近似X?在低維空間（由v?,...,v?張成）中表示了原始數(shù)據(jù)X的大部分重要信息（由σ?,...,σ?決定）。*優(yōu)勢：通過舍棄小的奇異值，減少了數(shù)據(jù)矩陣的“秩”，從而達到降維的目的。同時，由于U和V是正交矩陣，這種近似保留了數(shù)據(jù)在主要方向上的結構，丟失的是次要方向上的細節(jié)信息。這種信息丟失通常是可控的，且對數(shù)據(jù)的主要模式影響較小。例如，在圖像壓縮中，σ?越小，對應的v?方向上的信息越不重要，保留前k個奇異值就相當于只保留圖像的主要輪廓和邊緣信息，舍棄了高頻噪聲。2.邏輯回歸的目標函數(shù)為J(θ)=-1/m*Σ[y?*log(hθ(x?))+(1-y?)*log(1-hθ(x?))]。其中hθ(x?)=1/(1+exp(?θ?x?))是sigmoid函數(shù)，表示預測為正類的概率。*梯度?θJ(θ)=?J/?θ=(1/m)*Σ[(hθ(x?)-y?)x?]。*推導過程：*對J(θ)求導，使用鏈式法則：?J/?θ?=(1/m)*Σ[?/?θ?(y?*log(hθ(x?))+(1-y?)*log(1-hθ(x?)))]=(1/m)*Σ[(y?/hθ(x?))*?hθ(x?)/?θ?+((1-y?)/(1-hθ(x?)))*?(1-hθ(x?))/?θ?]=(1/m)*Σ[(y?/hθ(x?))*x?*hθ(x?)(1-hθ(x?))-((1-y?)/(1-hθ(x?)))*(-hθ(x?)(1-hθ(x?))*x?)]=(1/m)*Σ[y?*x?*(1-hθ(x?))+(1-y?)*x?*hθ(x?)]=(1/m)*Σ[x?*(y?*(1-hθ(x?))+(1-y?)*hθ(x?))]=(1/m)*Σ[x?*(y?-y?hθ(x?)+hθ(x?)-y?hθ(x?))]=(1/m)*Σ[x?*(y?-y?hθ(x?)+hθ(x?)-y?hθ(x?))]=(1/m)*Σ[x?*(y?-y?hθ(x?)+hθ(x?)-y?hθ(x?))]=(1/m)*Σ[x?*(y?-y?hθ(x?)+hθ(x?)-y?hθ(x?))]=(1/m)*Σ[x?*(y?-y?hθ(x?)+hθ(x?)-y?hθ(x?))]=(1/m)*Σ[x?*(y?-y?hθ(x?)+hθ(x?)-y?hθ(x?))]=(1/m)*Σ[x?*(y?-y?hθ(x?)+hθ(x?)-y?hθ(x?))]=(1/m)*Σ[x?*(y?-y?hθ(x?)+hθ(x?)-y?hθ(x?))]=(1/m)*Σ[x?*(y?-y?hθ(x?)+hθ(x?)-y?hθ(x?))]=(1/m)*Σ