監(jiān)督學(xué)考試題目及答案解析(2025版)一、單項(xiàng)選擇題（每題2分，共20分）1.在監(jiān)督學(xué)習(xí)中，下列哪一項(xiàng)最能體現(xiàn)“過擬合”現(xiàn)象？A.訓(xùn)練誤差持續(xù)下降，驗(yàn)證誤差同步下降B.訓(xùn)練誤差接近零，驗(yàn)證誤差突然上升C.訓(xùn)練誤差與驗(yàn)證誤差同時(shí)保持高位D.訓(xùn)練誤差高于驗(yàn)證誤差答案：B解析：過擬合指模型在訓(xùn)練集上表現(xiàn)極好，但在未見數(shù)據(jù)上表現(xiàn)驟降。B選項(xiàng)描述訓(xùn)練誤差接近零而驗(yàn)證誤差上升，正是典型過擬合曲線。2.若特征維度遠(yuǎn)高于樣本量，優(yōu)先選擇下列哪種模型？A.深度神經(jīng)網(wǎng)絡(luò)B.梯度提升樹C.線性支持向量機(jī)（L2正則）D.k近鄰答案：C解析：高維小樣本場(chǎng)景下，線性模型配合強(qiáng)正則化可有效控制方差；深度網(wǎng)絡(luò)與樹模型易過擬合；k近鄰在高維面臨“維度災(zāi)難”。3.在梯度下降中引入Momentum的主要目的是：A.增加學(xué)習(xí)率B.抑制震蕩、加速收斂C.自動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)D.減少內(nèi)存占用答案：B解析：Momentum通過累積歷史梯度，在峽谷型損失面上抑制震蕩，沿主方向加速前進(jìn)。4.對(duì)類別極度不平衡的二分類數(shù)據(jù)，下列哪種評(píng)價(jià)指標(biāo)最不適用？A.F1-scoreB.AUC-ROCC.平均準(zhǔn)確率（Accuracy）D.AUC-PR答案：C解析：Accuracy受多數(shù)類主導(dǎo)，極度不平衡時(shí)99%負(fù)例即可得“虛高”99%準(zhǔn)確率，無(wú)法反映模型對(duì)少數(shù)類的識(shí)別能力。5.在隨機(jī)森林中，關(guān)于“特征子采樣”說法正確的是：A.每棵樹使用全部特征B.每棵樹在每個(gè)節(jié)點(diǎn)分裂時(shí)隨機(jī)抽取√p個(gè)特征C.每棵樹隨機(jī)抽取√n個(gè)樣本D.每棵樹固定使用相同隨機(jī)種子答案：B解析：隨機(jī)森林通過“行采樣”與“列采樣”雙重隨機(jī)化降低樹間相關(guān)性；節(jié)點(diǎn)分裂時(shí)抽取√p（分類）或p/3（回歸）個(gè)特征屬經(jīng)典實(shí)現(xiàn)。6.若將Lasso回歸的正則化系數(shù)λ調(diào)為無(wú)窮大，則權(quán)重向量w將變?yōu)椋篈.全1B.全0C.隨機(jī)小數(shù)值D.與特征方差成正比答案：B解析：λ→∞時(shí)，優(yōu)化目標(biāo)退化為最小化L1范數(shù)，最優(yōu)解是所有權(quán)重被壓縮至0。7.在神經(jīng)網(wǎng)絡(luò)中，BatchNormalization放在激活函數(shù)之前的主要好處是：A.減少參數(shù)數(shù)量B.使輸入落入激活函數(shù)線性區(qū)，緩解梯度消失C.提高模型可解釋性D.降低對(duì)初始學(xué)習(xí)率敏感度答案：B解析：BN將預(yù)激活規(guī)范化至N(0,1)，使Sigmoid/Tanh等函數(shù)處于近似線性區(qū)，梯度更大，訓(xùn)練更深網(wǎng)絡(luò)更穩(wěn)定。8.使用早停（EarlyStopping）時(shí)，若驗(yàn)證損失連續(xù)10輪未下降即終止，則“耐心值”為：A.1B.5C.10D.20答案：C解析：耐心值（patience）即容忍驗(yàn)證指標(biāo)不改善的輪次數(shù)，題干明確10輪，故選C。9.在XGBoost中，默認(rèn)的樹生長(zhǎng)策略是：A.深度限制優(yōu)先B.葉子節(jié)點(diǎn)權(quán)重優(yōu)先C.損失下降量?jī)?yōu)先（maximizelossreduction）D.基尼系數(shù)優(yōu)先答案：C解析：XGBoost采用“按損失下降量”分裂，兼顧結(jié)構(gòu)風(fēng)險(xiǎn)與正則項(xiàng)，而非傳統(tǒng)CART的基尼或信息增益。10.對(duì)文本分類任務(wù)，若詞匯表大小為50000，使用TF-IDF+邏輯回歸，最可能遇到的瓶頸是：A.過擬合B.梯度爆炸C.內(nèi)存與計(jì)算開銷D.標(biāo)簽泄漏答案：C解析：高維稀疏矩陣導(dǎo)致內(nèi)存占用大、計(jì)算慢；正則化邏輯回歸本身抗過擬合能力較強(qiáng)，梯度爆炸多出現(xiàn)在深層網(wǎng)絡(luò)。二、多項(xiàng)選擇題（每題3分，共15分，多選少選均不得分）11.下列哪些技術(shù)可直接用于緩解神經(jīng)網(wǎng)絡(luò)過擬合？A.DropoutB.L2weightdecayC.BatchNormalizationD.增加網(wǎng)絡(luò)深度答案：A、B、C解析：Dropout隨機(jī)失活神經(jīng)元；L2懲罰大權(quán)重；BN有輕微正則化效應(yīng)；單純加深網(wǎng)絡(luò)反而加劇過擬合。12.關(guān)于k折交叉驗(yàn)證，正確的有：A.k越大，方差越小，計(jì)算量越大B.分層k折可保持每折類別比例C.k=1即為留一法D.最終性能指標(biāo)取k折平均答案：A、B、D解析：k=1是留出法，留一法k=n；其余選項(xiàng)均正確。13.在SVM中，使用高斯RBF核相較線性核可能帶來(lái)的結(jié)果：A.訓(xùn)練誤差更低B.決策邊界更復(fù)雜C.對(duì)超參數(shù)γ更敏感D.一定提高測(cè)試準(zhǔn)確率答案：A、B、C解析：RBF可擬合非線性，訓(xùn)練誤差易下降；γ控制半徑，過大易過擬合；測(cè)試準(zhǔn)確率不一定提高。14.以下屬于集成方法“多樣性”來(lái)源的有：A.Bootstrap采樣B.特征子采樣C.不同超參數(shù)D.不同算法族答案：A、B、C、D解析：多樣性可通過數(shù)據(jù)、特征、參數(shù)、算法四個(gè)層面引入。15.在深度卷積網(wǎng)絡(luò)中，可“下采樣”特征圖的操作有：A.MaxPoolingB.stride=2的卷積C.AveragePoolingD.1×1卷積答案：A、B、C解析：1×1卷積不改變空間尺寸，僅調(diào)整通道數(shù)；其余均可降采樣。三、判斷題（每題1分，共10分，正確寫“T”，錯(cuò)誤寫“F”）16.增加決策樹的最大深度一定能降低偏差。答案：T解析：深度增加，模型復(fù)雜度上升，偏差下降，方差上升。17.邏輯回歸可天然處理多分類問題，無(wú)需任何改造。答案：F解析：需通過OvR或Softmax擴(kuò)展。18.在PCA中，主成分方向?qū)?yīng)協(xié)方差矩陣特征值最大的特征向量。答案：T解析：PCA即按特征值降序投影。19.使用ReLU激活的深層網(wǎng)絡(luò)一定不會(huì)梯度消失。答案：F解析：ReLU在負(fù)半?yún)^(qū)梯度為零，深層網(wǎng)絡(luò)仍可能出現(xiàn)“神經(jīng)元死亡”導(dǎo)致梯度無(wú)法回傳。20.AUC-ROC對(duì)正負(fù)類分布變化不敏感。答案：T解析：ROC曲線基于排序，僅關(guān)心正負(fù)樣本相對(duì)順序，與各自基數(shù)無(wú)關(guān)。21.梯度提升樹中，學(xué)習(xí)率越大，模型越穩(wěn)健。答案：F解析：學(xué)習(xí)率大，步長(zhǎng)大，易過擬合，需與樹數(shù)量權(quán)衡。22.在k近鄰中，使用曼哈頓距離比歐氏距離更抗離群點(diǎn)。答案：F解析：兩者均受離群點(diǎn)影響，曼哈頓對(duì)坐標(biāo)尺度更敏感。23.對(duì)神經(jīng)網(wǎng)絡(luò)使用數(shù)據(jù)增強(qiáng)屬于“顯式正則化”。答案：T解析：數(shù)據(jù)增強(qiáng)通過擴(kuò)大數(shù)據(jù)分布隱式限制模型復(fù)雜度，歸類為顯式正則化手段。24.當(dāng)特征存在多重共線性時(shí)，嶺回歸比Lasso更穩(wěn)定。答案：T解析：Lasso會(huì)隨機(jī)選擇共線特征之一，嶺回歸則均分權(quán)重，解更穩(wěn)定。25.使用Adam優(yōu)化器時(shí)，無(wú)需手動(dòng)調(diào)整學(xué)習(xí)率。答案：F解析：Adam默認(rèn)0.001，但在不同任務(wù)仍需調(diào)優(yōu)。四、填空題（每空2分，共20分）26.若某二分類數(shù)據(jù)集正負(fù)樣本比為1:99，采用“平衡交叉熵”損失時(shí)，需對(duì)正類樣本乘以權(quán)重________。答案：99解析：權(quán)重=負(fù)例數(shù)/正例數(shù)=99/1。27.在卷積神經(jīng)網(wǎng)絡(luò)中，若輸入為32×32×3，使用10個(gè)5×5卷積核，padding=0，stride=1，則輸出特征圖尺寸為________。答案：28×28×10解析：(32?5+1)=28，通道數(shù)等于卷積核數(shù)。28.若某決策樹節(jié)點(diǎn)包含樣本100條，其中A類70、B類30，則該節(jié)點(diǎn)的基尼指數(shù)為________。（保留三位小數(shù)）答案：0.420解析：1?(0.72+0.32)=1?0.58=0.42。29.在XGBoost的目標(biāo)函數(shù)推導(dǎo)中，對(duì)損失函數(shù)進(jìn)行二階泰勒展開后，葉子節(jié)點(diǎn)最優(yōu)權(quán)重公式為________。答案：?G/(H+λ)解析：G為一階梯度和，H為二階梯度和，λ為正則系數(shù)。30.假設(shè)某神經(jīng)網(wǎng)絡(luò)第l層輸出為h，使用Dropout(rate=0.5)訓(xùn)練時(shí)，期望輸出變?yōu)開_______。答案：0.5h解析：訓(xùn)練時(shí)隨機(jī)失活一半神經(jīng)元，測(cè)試時(shí)需縮放補(bǔ)償；反向傳播時(shí)保持期望一致。31.若SVM高斯核參數(shù)γ→∞，則模型復(fù)雜度趨于________，偏差趨于________。答案：高；低解析：γ大，核函數(shù)峰值尖銳，決策邊界復(fù)雜，偏差下降，方差上升。32.在BERT微調(diào)中，若最大序列長(zhǎng)度設(shè)為128，批次大小為32，則單個(gè)GPU顯存占用主要與________成正比。答案：1282（序列長(zhǎng)度平方）解析：注意力機(jī)制顯存復(fù)雜度O(L2)。33.使用TF-IDF時(shí)，若某詞在全部文檔均出現(xiàn)，則其IDF值為________。答案：0解析：IDF=log(N/df)，df=N時(shí)為零，該詞無(wú)區(qū)分度。34.若某隨機(jī)森林由100棵樹組成，單棵樹對(duì)樣本x預(yù)測(cè)概率為0.7，則森林平均概率為________。答案：0.7解析：平均即期望，單樹期望0.7，百樹平均仍為0.7。35.在深度強(qiáng)化學(xué)習(xí)里，將監(jiān)督學(xué)習(xí)的“標(biāo)簽”替換為________，即可實(shí)現(xiàn)Q學(xué)習(xí)。答案：時(shí)序差分目標(biāo)（r+γmaxQ(s′,a′)）五、簡(jiǎn)答題（每題8分，共40分）36.描述“偏差-方差分解”在監(jiān)督學(xué)習(xí)中的物理意義，并給出兩種可同時(shí)降低兩者的工程手段。答案：物理意義：期望誤差=偏差2+方差+噪聲。偏差度量模型假設(shè)與真實(shí)規(guī)律的偏離；方度量同樣本不同訓(xùn)練集下模型輸出的波動(dòng)。工程手段：1.高質(zhì)量特征工程：引入領(lǐng)域知識(shí)構(gòu)造新特征，降低真實(shí)規(guī)律與假設(shè)空間距離（降偏差），同時(shí)減少噪聲對(duì)方差影響。2.集成學(xué)習(xí)：Bagging通過平均降低方差；Boosting通過迭代修正殘差降低偏差；兩者結(jié)合如RandomSubspace可同時(shí)雙降。37.給出L1與L2正則化在優(yōu)化過程中的幾何解釋，并說明為何L1更易產(chǎn)生稀疏解。答案：幾何解釋：無(wú)約束損失函數(shù)等高線為橢圓；L1約束為菱形，L2為圓形。橢圓與約束首次相交處即為最優(yōu)解。L1菱形頂點(diǎn)位于坐標(biāo)軸，相交概率高，權(quán)重被壓至零；L2圓形光滑，相交點(diǎn)極少落在軸上，故權(quán)重趨于小但非零。數(shù)學(xué)上，L1在零點(diǎn)處次梯度含零，滿足最優(yōu)條件時(shí)可直接鎖定稀疏；L2梯度連續(xù)，無(wú)“強(qiáng)制清零”機(jī)制。38.闡述梯度消失與梯度爆炸在RNN中的成因，并給出三種針對(duì)性改進(jìn)方案。答案：成因：時(shí)間步反向傳播時(shí)，梯度連乘雅可比矩陣。若特征值<1，連乘趨零（消失）；>1則指數(shù)放大（爆炸）。改進(jìn)：1.梯度裁剪：設(shè)定閾值，若全局范數(shù)超限則等比例縮放，防爆炸。2.門控機(jī)制：LSTM/GRU引入sigmoid門控制信息流，梯度highway緩解連乘衰減。3.正交初始化+ReLU：權(quán)重初始化為正交矩陣，特征值接近1；配合ReLU使雅可比對(duì)角線元素穩(wěn)定。39.比較“預(yù)訓(xùn)練+微調(diào)”與“從零訓(xùn)練”在小型醫(yī)療圖像數(shù)據(jù)集上的優(yōu)劣，并給出實(shí)施步驟。答案：優(yōu)劣：預(yù)訓(xùn)練+微調(diào)：借大型自然圖像（ImageNet）特征，低層通用邊緣/紋理可遷移，需更少醫(yī)療數(shù)據(jù)即可收斂，降低過擬合風(fēng)險(xiǎn)；但領(lǐng)域差異大時(shí)高層語(yǔ)義需大幅調(diào)整。從零訓(xùn)練：無(wú)領(lǐng)域偏差，可學(xué)到醫(yī)療專屬特征；但需大量數(shù)據(jù)與算力，小數(shù)據(jù)集易過擬合。實(shí)施步驟：1.選擇架構(gòu)：ResNet-50。2.預(yù)訓(xùn)練：在ImageNet訓(xùn)練100epoch，保存權(quán)重。3.醫(yī)療數(shù)據(jù)預(yù)處理：統(tǒng)一512×512，灰度圖復(fù)制三通道。4.微調(diào)：凍結(jié)前兩層殘差塊，學(xué)習(xí)率1e-4，訓(xùn)練50epoch，采用數(shù)據(jù)增強(qiáng)（旋轉(zhuǎn)、彈性形變）。5.評(píng)估：五折交叉驗(yàn)證，指標(biāo)AUC-ROC、F1；若AUC<0.85，解凍更多層再微調(diào)。40.給出類別不平衡場(chǎng)景下，閾值調(diào)整的具體算法流程（含偽代碼），并解釋為何優(yōu)于簡(jiǎn)單過采樣。答案：算法流程（Platt縮放+最優(yōu)F1搜索）：輸入：訓(xùn)練集{(x,y)}，驗(yàn)證集V，模型f輸出概率p。1.在訓(xùn)練集上訓(xùn)練模型f。2.在驗(yàn)證集V上預(yù)測(cè)概率p_v，真實(shí)標(biāo)簽y_v。3.對(duì)p_v排序，枚舉閾值t∈[0,1]，步長(zhǎng)0.001，計(jì)算F1(t)。4.取t=argmaxF1(t)。5.測(cè)試階段，若p≥t則預(yù)測(cè)正類，否則負(fù)類。偽代碼：best_t,best_f1←0,0fortinlinspace(0,1,1000):y?←(p_v≥t)f1←2·(y?·y_v).sum()/(y?.sum()+y_v.sum())iff1>best_f1:best_t,best_f1←t,f1returnbest_t優(yōu)于過采樣：1.不引入重復(fù)樣本，避免模型對(duì)少數(shù)類過擬合；2.直接優(yōu)化業(yè)務(wù)指標(biāo)（F1），而非代理準(zhǔn)確率；3.計(jì)算開銷小，無(wú)需生成合成樣本，適用于高維稀疏文本或大型圖像。六、計(jì)算與推導(dǎo)題（共45分）41.（10分）給定二維數(shù)據(jù)集：正例(1,1),(2,2)；負(fù)例(2,0),(0,2)。使用硬間隔SVM，求最優(yōu)超平面方程及支持向量。答案：觀察數(shù)據(jù)線性可分，且對(duì)稱。猜測(cè)決策邊界為x+y?2=0。驗(yàn)證：正例：1+1?2=0，2+2?2=2>0負(fù)例：2+0?2=0，0+2?2=0間隔：2/||w||=2/√2=√2，最大。支持向量：全部四點(diǎn)均在間隔邊界，故均為支持向量。最優(yōu)超平面：x+y?2=0。42.（10分）某回歸任務(wù)采用線性模型y=w?x，損失函數(shù)J=?Σ(y??w?x?)2+λ||w||2。推導(dǎo)w的閉式解，并說明當(dāng)λ增大時(shí)偏差與方差如何變化。答案：矩陣形式：J=?||y?Xw||2+λw?w。對(duì)w求導(dǎo)：?X?(y?Xw)+2λw=0得：w=(X?X+2λI)?1X?yλ增大：偏差↑，因懲罰大權(quán)重，模型更簡(jiǎn)單，假設(shè)空間縮?。环讲睢?，權(quán)重被壓縮，對(duì)數(shù)據(jù)擾動(dòng)敏感度降低。43.（12分）設(shè)神經(jīng)網(wǎng)絡(luò)采用Sigmoid激活，單隱藏層，平方誤差損失。證明當(dāng)輸出層權(quán)重初始值過大時(shí)，損失landscape在0.5附近出現(xiàn)“平坦高原”，導(dǎo)致梯度消失。答案：令網(wǎng)絡(luò)輸出a=σ(z)，z=∑v?h?+b，h?=σ(w?x)。平方誤差E=?(a?y)2。梯度?E/?v=(a?y)·a(1?a)·h?。若v初始過大，z大，a≈0或1，a(1?a)≈0，梯度≈0，權(quán)重幾乎不更新，形成平坦高原。實(shí)驗(yàn)：隨機(jī)初始化v~N(0,100)，觀察a≈0.5時(shí)梯度量級(jí)<1e?5，驗(yàn)證梯度消失。44.（13分）使用XGBoost回歸樹，某節(jié)點(diǎn)有8個(gè)樣本，標(biāo)簽[3,5,7,9,11,13,15,17]。分裂候選點(diǎn)將數(shù)據(jù)集分為左子節(jié)點(diǎn)[3,5,7,9]與右子節(jié)點(diǎn)[11,13,15,17]。設(shè)正則參數(shù)λ=1，求該分裂帶來(lái)的損失減少量。答案：節(jié)點(diǎn)均值μ=10，GL=3+5+7+9=24，HL=4；GR=44，HR=4。分裂前損失：?G2/(H+λ)=?802/(8+1)=?711.11分裂后損失：?(242/(4+1)+442/(4+1))=?(115.2+387.2)=?502.4損失減少：?502.4?(?711.11)=208.71（單位：目標(biāo)函數(shù)值）七、綜合設(shè)計(jì)題（共50分）45.（50分）某市共享單車需求預(yù)測(cè)背景：提供2019?2024年每日訂單量、天氣、節(jié)假日、POI、地鐵客流等共47維特征，預(yù)測(cè)未來(lái)7天日訂單量。數(shù)據(jù)含極端天氣導(dǎo)致的長(zhǎng)尾尖峰，評(píng)價(jià)指標(biāo)為SMAPE。要求：1.給出數(shù)據(jù)清洗與特征工程完整方案；2.設(shè)計(jì)模型棧（至少兩層），說明初級(jí)、次級(jí)模型選擇理由；3.給出訓(xùn)練-驗(yàn)證-測(cè)試劃分策略，防止信息泄漏；4.描述超參數(shù)優(yōu)化流程，含搜索空間與早停策略；5.提供模型可解釋性方案，量化各特征對(duì)極端峰值貢獻(xiàn)；6.給出線上部署實(shí)時(shí)推斷延遲<100ms的技術(shù)細(xì)節(jié)。答案：1.數(shù)據(jù)清洗：缺失值：天氣字段<0.5%用KNN插值；地鐵客流缺失用同期均值填充。異常值：訂單量>Q3+3×IQR視為極端，標(biāo)記為“極端日”而非刪除。特征工程：時(shí)間窗：滑動(dòng)7、14、30天均值、標(biāo)準(zhǔn)差、環(huán)比；節(jié)假日：中國(guó)假期表編碼，假期前1天、后1天單獨(dú)標(biāo)記；天氣：溫度分段桶化，濕度與風(fēng)速交互項(xiàng)；POI：地鐵站點(diǎn)密度+商業(yè)區(qū)指數(shù)，PC