2025年機(jī)器學(xué)習(xí)理論與方法(同濟(jì)大學(xué))網(wǎng)課章節(jié)測(cè)試答案1.機(jī)器學(xué)習(xí)基礎(chǔ)章節(jié)測(cè)試（1）簡述機(jī)器學(xué)習(xí)三要素及其相互關(guān)系。機(jī)器學(xué)習(xí)三要素包括模型、策略與算法。模型指假設(shè)空間中待學(xué)習(xí)的函數(shù)集合，如線性回歸中的線性函數(shù)族或神經(jīng)網(wǎng)絡(luò)中的非線性函數(shù)族；策略是從假設(shè)空間中選擇最優(yōu)模型的準(zhǔn)則，通常通過定義損失函數(shù)（如均方誤差、交叉熵）并構(gòu)造經(jīng)驗(yàn)風(fēng)險(xiǎn)或結(jié)構(gòu)風(fēng)險(xiǎn)最小化目標(biāo)來實(shí)現(xiàn)；算法是求解最優(yōu)模型的具體計(jì)算方法，如梯度下降、牛頓法等優(yōu)化算法。三者關(guān)系表現(xiàn)為：模型限定了學(xué)習(xí)的可能范圍，策略提供了評(píng)價(jià)模型優(yōu)劣的標(biāo)準(zhǔn)，算法則是將策略轉(zhuǎn)化為實(shí)際可計(jì)算的步驟，三者共同決定了學(xué)習(xí)系統(tǒng)的性能。（2）監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)的本質(zhì)區(qū)別是什么？各舉兩例典型任務(wù)。本質(zhì)區(qū)別在于訓(xùn)練數(shù)據(jù)是否包含標(biāo)簽信息。監(jiān)督學(xué)習(xí)的訓(xùn)練數(shù)據(jù)包含輸入x與對(duì)應(yīng)的輸出y（標(biāo)簽），目標(biāo)是學(xué)習(xí)輸入到輸出的映射函數(shù)，如分類（如垃圾郵件識(shí)別）和回歸（如房價(jià)預(yù)測(cè)）；無監(jiān)督學(xué)習(xí)的訓(xùn)練數(shù)據(jù)僅包含輸入x，無明確標(biāo)簽，目標(biāo)是挖掘數(shù)據(jù)內(nèi)在結(jié)構(gòu)或分布，如聚類（如用戶分群）和降維（如圖像特征提取）。（3）解釋過擬合與欠擬合的定義，并說明兩種現(xiàn)象的解決方法。過擬合指模型在訓(xùn)練集上表現(xiàn)很好（損失低），但在未見過的測(cè)試集上表現(xiàn)顯著下降的現(xiàn)象，本質(zhì)是模型過度學(xué)習(xí)了訓(xùn)練數(shù)據(jù)中的噪聲或局部特征；欠擬合指模型在訓(xùn)練集和測(cè)試集上表現(xiàn)均較差的現(xiàn)象，通常由于模型復(fù)雜度不足，無法捕捉數(shù)據(jù)中的關(guān)鍵模式。解決過擬合的方法包括增加訓(xùn)練數(shù)據(jù)量、引入正則化（如L1/L2正則化）、降低模型復(fù)雜度（如減少神經(jīng)網(wǎng)絡(luò)層數(shù)）、早停（在驗(yàn)證集誤差不再下降時(shí)停止訓(xùn)練）；解決欠擬合的方法包括增加模型復(fù)雜度（如使用更復(fù)雜的核函數(shù)或更深的網(wǎng)絡(luò)）、特征工程（提取更有效的特征）、調(diào)整超參數(shù)（如增大決策樹深度）。2.線性模型與梯度下降章節(jié)測(cè)試（1）線性回歸的目標(biāo)函數(shù)是什么？寫出其數(shù)學(xué)表達(dá)式并說明最小二乘法的幾何意義。線性回歸的目標(biāo)函數(shù)是最小化預(yù)測(cè)值與真實(shí)值的均方誤差（MSE）。假設(shè)訓(xùn)練集為{(x?,y?),…,(x?,y?)}，其中x?∈??，y?∈?，線性模型為f(x)=w?x+b，則目標(biāo)函數(shù)為：J(w,b)=1/(2n)Σ(y?w?x?b)2最小二乘法的幾何意義是尋找一個(gè)超平面（由w和b確定），使得所有數(shù)據(jù)點(diǎn)到該超平面的垂直距離平方和最小。（2）比較批量梯度下降（BGD）、隨機(jī)梯度下降（SGD）和小批量梯度下降（MBGD）的優(yōu)缺點(diǎn)。BGD計(jì)算所有樣本的梯度均值更新參數(shù)，優(yōu)點(diǎn)是參數(shù)更新穩(wěn)定，收斂到全局最優(yōu)（凸函數(shù)），但計(jì)算復(fù)雜度高（O(n)），不適用于大規(guī)模數(shù)據(jù)；SGD每次僅用一個(gè)樣本計(jì)算梯度并更新，優(yōu)點(diǎn)是計(jì)算快（O(1)），引入隨機(jī)噪聲可能跳出局部最優(yōu)，但參數(shù)更新波動(dòng)大，收斂過程不穩(wěn)定；MBGD折中，每次用m個(gè)樣本（1<m<n）的梯度均值更新，兼具SGD的效率和BGD的穩(wěn)定性，實(shí)際中最常用（如m=32~256）。（3）L1正則化與L2正則化的區(qū)別是什么？它們對(duì)模型參數(shù)的影響有何不同？L1正則化在目標(biāo)函數(shù)中添加參數(shù)的L1范數(shù)（Σ|w?|），L2正則化添加L2范數(shù)的平方（Σw?2）。L1正則化會(huì)使參數(shù)稀疏化（許多參數(shù)變?yōu)?），適用于特征選擇；L2正則化使參數(shù)值更小且平滑，防止過擬合但不會(huì)產(chǎn)生稀疏解。數(shù)學(xué)上，L1的梯度在w=0處不可導(dǎo)（存在“棱角”），優(yōu)化時(shí)易使參數(shù)收斂到0；L2的梯度是連續(xù)的，參數(shù)趨向于接近0但非0。3.決策樹與集成學(xué)習(xí)章節(jié)測(cè)試（1）決策樹劃分屬性時(shí)，信息增益與Gini指數(shù)的計(jì)算方式及適用場(chǎng)景。信息增益基于信息熵，定義為劃分前數(shù)據(jù)集的熵H(D)減去劃分后各子集的條件熵H(D|A)，即Gain(A)=H(D)-H(D|A)，其中H(D)=-Σ(p?log?p?)，p?是第i類樣本的比例。Gini指數(shù)衡量數(shù)據(jù)的不純度，Gini(D)=1-Σp?2，劃分后的Gini指數(shù)為Σ(|D?|/|D|)Gini(D?)。信息增益傾向于選擇取值較多的屬性（如ID3算法），可能導(dǎo)致過擬合；Gini指數(shù)計(jì)算更簡單（無需對(duì)數(shù)運(yùn)算），CART算法使用Gini指數(shù)進(jìn)行劃分，適用于分類與回歸任務(wù)（回歸時(shí)用平方誤差）。（2）隨機(jī)森林（RandomForest）與梯度提升樹（GBDT）的核心差異。隨機(jī)森林是Bagging（自助采樣）的典型代表，通過提供多棵決策樹（基學(xué)習(xí)器），每棵樹在隨機(jī)選擇的樣本子集和特征子集上訓(xùn)練，最終通過投票（分類）或平均（回歸）集成結(jié)果，具有強(qiáng)魯棒性；GBDT是Boosting的一種，基于前向分步算法，每棵新樹擬合前序模型的殘差（負(fù)梯度），通過累加所有樹的預(yù)測(cè)值得到最終結(jié)果，關(guān)注減少偏差，容易過擬合（需控制樹的深度和學(xué)習(xí)率）。（3）解釋XGBoost相對(duì)于GBDT的改進(jìn)點(diǎn)。XGBoost在GBDT基礎(chǔ)上引入正則化項(xiàng)（同時(shí)懲罰樹的復(fù)雜度和葉子節(jié)點(diǎn)權(quán)重），防止過擬合；使用二階泰勒展開近似損失函數(shù)，提升優(yōu)化精度；支持并行計(jì)算（特征預(yù)排序與分塊處理），加速訓(xùn)練；處理缺失值時(shí)自動(dòng)學(xué)習(xí)最優(yōu)分裂方向；支持多種損失函數(shù)（如邏輯回歸、泊松回歸），適用性更廣。4.支持向量機(jī)（SVM）章節(jié)測(cè)試（1）SVM的最大間隔分類器的幾何意義是什么？寫出硬間隔SVM的優(yōu)化目標(biāo)。最大間隔分類器的幾何意義是尋找一個(gè)超平面，使得正負(fù)樣本到超平面的最小距離（間隔）最大化。硬間隔SVM假設(shè)數(shù)據(jù)線性可分，優(yōu)化目標(biāo)為：min(1/2)||w||2s.t.y?(w?x?+b)≥1,i=1,…,n其中w是超平面法向量，b是偏置，約束條件確保所有樣本正確分類且到超平面的距離至少為1/||w||，最大化間隔等價(jià)于最小化||w||2。（2）核函數(shù)的作用是什么？常用核函數(shù)有哪些？各適用于什么場(chǎng)景？核函數(shù)將低維線性不可分的數(shù)據(jù)映射到高維特征空間，使其在高維空間線性可分，同時(shí)避免顯式計(jì)算高維特征（通過核技巧，K(x,z)=φ(x)?φ(z)）。常用核函數(shù)包括：線性核K(x,z)=x?z，適用于線性可分?jǐn)?shù)據(jù)（計(jì)算快）；多項(xiàng)式核K(x,z)=(γx?z+r)^d，適用于數(shù)據(jù)分布有一定非線性但復(fù)雜度可控的場(chǎng)景（需調(diào)參γ,r,d）；高斯核（RBF核）K(x,z)=exp(-γ||x-z||2)，適用于非線性復(fù)雜數(shù)據(jù)（默認(rèn)選擇，γ控制局部性）；Sigmoid核K(x,z)=tanh(γx?z+r)，類似神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，適用于特定非線性模式。（3）軟間隔SVM與硬間隔SVM的區(qū)別是什么？引入松弛變量ξ?的物理意義。硬間隔SVM要求所有樣本滿足約束（線性可分），但實(shí)際數(shù)據(jù)常不可分，軟間隔允許部分樣本違反約束，通過引入松弛變量ξ?≥0和懲罰參數(shù)C>0，優(yōu)化目標(biāo)變?yōu)椋簃in(1/2)||w||2+CΣξ?s.t.y?(w?x?+b)≥1ξ?,ξ?≥0C越大，對(duì)錯(cuò)誤的懲罰越重（接近硬間隔）；C越小，允許更多錯(cuò)誤（模型更魯棒）。松弛變量ξ?表示樣本違反間隔的程度（ξ?=0表示正確分類且在間隔外，0<ξ?<1表示正確分類但在間隔內(nèi)，ξ?≥1表示錯(cuò)誤分類）。5.無監(jiān)督學(xué)習(xí)章節(jié)測(cè)試（1）K-means算法的步驟及主要缺陷。步驟：①隨機(jī)選擇K個(gè)初始質(zhì)心；②將每個(gè)樣本分配到最近質(zhì)心的簇；③重新計(jì)算各簇的質(zhì)心；④重復(fù)②-③直到質(zhì)心不再變化或達(dá)到最大迭代次數(shù)。主要缺陷：對(duì)初始質(zhì)心敏感（可能陷入局部最優(yōu)）；需預(yù)先指定K值（實(shí)際中常用輪廓系數(shù)或肘部法則確定）；對(duì)噪聲和離群點(diǎn)敏感（質(zhì)心易被拉偏）；僅適用于凸形簇（對(duì)非凸簇效果差）。（2）DBSCAN算法的核心參數(shù)與特點(diǎn)。核心參數(shù)：鄰域半徑ε和最小樣本數(shù)MinPts。特點(diǎn)：無需預(yù)先指定簇?cái)?shù)K；能識(shí)別任意形狀的簇（如環(huán)形、月牙形）；自動(dòng)檢測(cè)離群點(diǎn)（不屬于任何簇的樣本）；對(duì)參數(shù)敏感（ε過大可能合并簇，過小可能分裂簇）；計(jì)算復(fù)雜度較高（O(n2)，但可通過空間索引優(yōu)化）。（3）PCA（主成分分析）的目標(biāo)與數(shù)學(xué)推導(dǎo)過程。PCA的目標(biāo)是找到一組正交的低維投影方向（主成分），使得數(shù)據(jù)在這些方向上的投影方差最大（即保留最多信息）。數(shù)學(xué)推導(dǎo)：設(shè)數(shù)據(jù)矩陣X∈????（n樣本，d特征），中心化后X?=Xμ（μ為均值向量），協(xié)方差矩陣S=(1/n)X??X?。主成分是S的特征向量，對(duì)應(yīng)特征值從大到小排列，前k個(gè)特征向量構(gòu)成投影矩陣W∈????，降維后數(shù)據(jù)為Z=X?W∈????。最大方差等價(jià)于最大化tr(W?SW)，約束W?W=I（正交），通過拉格朗日乘數(shù)法可得SW=λW（特征方程），故主成分是協(xié)方差矩陣的特征向量。6.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)章節(jié)測(cè)試（1）激活函數(shù)的作用是什么？比較Sigmoid、Tanh和ReLU的優(yōu)缺點(diǎn)。激活函數(shù)為神經(jīng)網(wǎng)絡(luò)引入非線性，否則多層網(wǎng)絡(luò)等價(jià)于單層線性模型。Sigmoid函數(shù)σ(x)=1/(1+e??)，輸出范圍(0,1)，缺點(diǎn)是梯度消失（x絕對(duì)值大時(shí)梯度接近0）、輸出非零中心（影響權(quán)重更新）；Tanh函數(shù)tanh(x)=(e?-e??)/(e?+e??)，輸出范圍(-1,1)，零中心但仍存在梯度消失問題；ReLU（修正線性單元）f(x)=max(0,x)，優(yōu)點(diǎn)是梯度計(jì)算簡單（x>0時(shí)梯度為1，避免梯度消失）、加速訓(xùn)練，缺點(diǎn)是x<0時(shí)梯度為0（“神經(jīng)元死亡”），可通過LeakyReLU（f(x)=max(0.01x,x)）或PReLU（學(xué)習(xí)斜率）改進(jìn)。（2）反向傳播（BP）算法的核心思想，寫出均方誤差損失下的梯度推導(dǎo)過程。BP算法通過鏈?zhǔn)椒▌t從輸出層向輸入層反向計(jì)算各層參數(shù)的梯度，實(shí)現(xiàn)參數(shù)更新。假設(shè)網(wǎng)絡(luò)結(jié)構(gòu)為輸入層→隱藏層→輸出層，隱藏層激活函數(shù)為σ，輸出層為線性函數(shù)，均方誤差損失L=1/(2m)Σ(y???)2，其中??=W2a1+b2，a1=σ(W1x?+b1)。梯度計(jì)算步驟：①輸出層誤差δ2=?_z2L=(??y?)⊙1（⊙為逐元素乘，輸出層無激活函數(shù)導(dǎo)數(shù)）；②隱藏層誤差δ1=(W2?δ2)⊙σ’(z1)（z1=W1x?+b1）；③參數(shù)梯度?_W2L=δ2a1?，?_b2L=δ2；?_W1L=δ1x??，?_b1L=δ1。（3）CNN中卷積核（Filter）的作用是什么？說明感受野（ReceptiveField）與池化（Pooling）的意義。卷積核通過滑動(dòng)窗口提取局部特征（如邊緣、紋理），共享權(quán)重減少參數(shù)數(shù)量。感受野指輸出特征圖中一個(gè)像素對(duì)應(yīng)的輸入圖像區(qū)域大小，深層網(wǎng)絡(luò)的感受野更大，能捕捉全局信息。池化（如最大池化、平均池化）通過下采樣（如2×2池化步長2）減少特征圖尺寸，降低計(jì)算量，同時(shí)增強(qiáng)平移不變性（對(duì)局部位置變化不敏感）。7.強(qiáng)化學(xué)習(xí)基礎(chǔ)章節(jié)測(cè)試（1）馬爾可夫決策過程（MDP）的五元組是什么？各元素的含義。MDP的五元組為<S,A,P,R,γ>，其中：S：狀態(tài)空間（所有可能狀態(tài)的集合）；A：動(dòng)作空間（當(dāng)前狀態(tài)可執(zhí)行的動(dòng)作集合）；P：狀態(tài)轉(zhuǎn)移概率P(s’|s,a)表示在狀態(tài)s執(zhí)行動(dòng)作a后轉(zhuǎn)移到s’的概率；R：獎(jiǎng)勵(lì)函數(shù)R(s,a,s’)表示從s→s’執(zhí)行a獲得的即時(shí)獎(jiǎng)勵(lì)；γ：折扣因子（0≤γ≤1），用于權(quán)衡即時(shí)獎(jiǎng)勵(lì)與未來獎(jiǎng)勵(lì)的重要性。（2）比較Q-learning與SARSA算法的異同。相同點(diǎn)：均為基于值函數(shù)的時(shí)序差分（TD）學(xué)習(xí)方法，適用于離散動(dòng)作空間；均通過Q表（狀態(tài)-動(dòng)作值函數(shù)）更新策略。不同點(diǎn)：Q-learning是異策略（off-policy）算法，更新時(shí)使用貪婪策略選擇動(dòng)作（maxQ(s’,a’)），行為策略（探索）與目標(biāo)策略（利用）不同；SARSA是同策略（on-policy）算法，更新時(shí)使用與行為策略相同的動(dòng)作（a’由當(dāng)前策略選擇），更保守（考慮實(shí)際探索中的動(dòng)作）。（3）策略梯度（PolicyGradient）方法的核心思想，寫出目標(biāo)函數(shù)與梯度公式。策略梯度直接參數(shù)化策略π_θ(a|s)（θ為參數(shù)），通過優(yōu)化期望累積獎(jiǎng)勵(lì)J(θ)=E[Σγ?R?|π_θ]來更新θ。核心思想是通過梯度上升最大化J(θ)，梯度公式為?_θJ(θ)=E[?_θlogπ_θ(a|s)Q^π(s,a)]，其中Q^π(s,a)是狀態(tài)-動(dòng)作值函數(shù)。實(shí)際中常用蒙特卡洛估計(jì)或TD誤差替代Q值，如REINFORCE算法使用回報(bào)G?代替Q值，梯度為?_θJ(θ)=E[G??_θlogπ_θ(a|s)]。8.模型評(píng)估與優(yōu)化章節(jié)測(cè)試（1）簡述交叉驗(yàn)證（CrossValidation）的常用方法及其適用場(chǎng)景。常用方法：①簡單交叉驗(yàn)證（隨機(jī)劃分訓(xùn)練集和驗(yàn)證集，如7:3），適用于數(shù)據(jù)量較大時(shí)；②k折交叉驗(yàn)證（將數(shù)據(jù)分為k份，每次用k-1份訓(xùn)練，1份驗(yàn)證，取平均結(jié)果），適用于數(shù)據(jù)量中等（k=5或10）；③留一交叉驗(yàn)證（k=n，每次留1個(gè)樣本驗(yàn)證），適用于小樣本（計(jì)算成本高）；④分層交叉驗(yàn)證（保持各層類別比例與原數(shù)據(jù)一致），適用于類別不平衡數(shù)據(jù)。（2）精確率（Precision）與召回率（Recall）的定義，說明F1分?jǐn)?shù)的意義。精確率P=TP/(TP+FP)（預(yù)測(cè)為正的樣本中實(shí)際為正的比例）；召回率R=TP/(TP+FN)（實(shí)際為正的樣本中被正確預(yù)測(cè)的比例）。F1分?jǐn)?shù)是P和R的調(diào)和平均，F(xiàn)1=2PR/(P+R)，綜合考慮了精確率和召回率，適用于需要平衡兩者的場(chǎng)景（如