2025年大學(xué)《統(tǒng)計(jì)學(xué)》專業(yè)題庫——偏最小二乘回歸與機(jī)器學(xué)習(xí)模型考試時(shí)間：______分鐘總分：______分姓名：______一、選擇題（每題2分，共20分。請(qǐng)將正確選項(xiàng)的字母填在題干后的括號(hào)內(nèi)。）1.偏最小二乘回歸（PLS）主要用于解決以下哪種問題？(A)數(shù)據(jù)降維(B)處理自變量多重共線性(C)進(jìn)行高斯過程回歸(D)對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)測(cè)2.在PLS回歸建模過程中，下列哪個(gè)步驟通常被認(rèn)為是迭代進(jìn)行的？(A)計(jì)算X矩陣的得分向量(B)選擇潛變量（成分）的數(shù)量(C)計(jì)算權(quán)重向量(D)計(jì)算Y矩陣的載荷向量3.下列哪種模型屬于非參數(shù)模型？(A)線性回歸(B)邏輯回歸(C)K近鄰（KNN）(D)支持向量機(jī)（SVM）4.在機(jī)器學(xué)習(xí)模型的評(píng)估中，交叉驗(yàn)證（Cross-Validation）的主要目的是？(A)提高模型的復(fù)雜度(B)減少模型的過擬合風(fēng)險(xiǎn)(C)直接得到模型的最終預(yù)測(cè)結(jié)果(D)用于對(duì)模型進(jìn)行特征選擇5.決策樹（DecisionTree）模型在處理不均衡數(shù)據(jù)集時(shí)，可能遇到的主要問題是？(A)模型訓(xùn)練速度變慢(B)預(yù)測(cè)性能對(duì)多數(shù)類樣本過于敏感(C)容易產(chǎn)生過度擬合(D)對(duì)缺失值不敏感6.下列哪種指標(biāo)最適合用于評(píng)估回歸模型的預(yù)測(cè)精度？(A)準(zhǔn)確率（Accuracy）(B)F1分?jǐn)?shù)(C)均方根誤差（RMSE）(D)召回率（Recall）7.主成分回歸（PCR）和偏最小二乘回歸（PLS）在處理多重共線性問題時(shí)，主要區(qū)別在于？(A)PCR使用正則化技術(shù)，PLS不使用(B)PCR通過降維解決共線性，PLS通過構(gòu)建新變量(C)PCR適用于因變量多，PLS適用于自變量多(D)PCR是監(jiān)督學(xué)習(xí)，PLS是非監(jiān)督學(xué)習(xí)8.支持向量機(jī)（SVM）在處理線性不可分問題時(shí)，通常采用哪種方法？(A)增加核函數(shù)(B)減少正則化參數(shù)C(C)增加特征維度(D)改用邏輯回歸模型9.在進(jìn)行特征工程時(shí)，標(biāo)準(zhǔn)化（Standardization）指的是將特征值轉(zhuǎn)換為？(A){-1,1}之間的值(B)[0,1]之間的值(C)具有均值為0，標(biāo)準(zhǔn)差為1的分布(D)非負(fù)值10.隨機(jī)森林（RandomForest）模型相較于單個(gè)決策樹，其主要優(yōu)勢(shì)在于？(A)訓(xùn)練速度更快(B)對(duì)參數(shù)不敏感(C)顯著降低過擬合風(fēng)險(xiǎn)，提高泛化能力(D)能夠直接處理類別型自變量二、填空題（每空1分，共15分。請(qǐng)將答案填在題干后的橫線上。）1.偏最小二乘回歸中，X空間和Y空間被投影到同一個(gè)低維的潛變量（成分）空間，這兩個(gè)空間分別由__________和__________表示。2.機(jī)器學(xué)習(xí)中，將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集的主要目的是為了__________。3.決策樹模型中，常用的分裂標(biāo)準(zhǔn)有__________和__________。4.在評(píng)估分類模型性能時(shí)，混淆矩陣是一個(gè)重要的工具，它能夠幫助我們計(jì)算準(zhǔn)確率、精確率、召回率等指標(biāo)。其中，精確率是指__________。5.對(duì)于回歸問題，如果模型的訓(xùn)練誤差很小，但測(cè)試誤差很大，則通常認(rèn)為模型存在__________現(xiàn)象。6.偏最小二乘回歸的潛變量數(shù)通常需要通過__________等方法來確定。7.在邏輯回歸模型中，輸出結(jié)果通常通過__________函數(shù)進(jìn)行映射，以產(chǎn)生概率值。8.降維方法PCA的核心思想是將原始高維變量投影到新的低維子空間，使得投影后的數(shù)據(jù)在__________最大。9.機(jī)器學(xué)習(xí)中的過擬合（Overfitting）是指模型對(duì)訓(xùn)練數(shù)據(jù)學(xué)習(xí)得太好，以至于失去了對(duì)__________數(shù)據(jù)的預(yù)測(cè)能力。10.增益樹（如GBDT,XGBoost）在每次分裂時(shí)，選擇分裂點(diǎn)的標(biāo)準(zhǔn)是能夠最大化__________。三、簡(jiǎn)答題（每題5分，共20分。）1.簡(jiǎn)述偏最小二乘回歸（PLS）與多重線性回歸（MLR）在處理自變量多重共線性方面的主要區(qū)別。2.解釋機(jī)器學(xué)習(xí)中過擬合（Overfitting）和欠擬合（Underfitting）的概念，并簡(jiǎn)述可能導(dǎo)致這兩種情況的原因。3.簡(jiǎn)述K近鄰（KNN）算法的基本原理。4.描述使用交叉驗(yàn)證（Cross-Validation）評(píng)估機(jī)器學(xué)習(xí)模型性能的基本步驟。四、計(jì)算與分析題（共45分。）1.（15分）設(shè)有一組PLS回歸數(shù)據(jù)，通過建模得到以下信息：選擇了2個(gè)潛變量（成分）；X空間和Y空間的權(quán)重向量（Wx,Wy）以及得分向量（Tx,Ty）的部分?jǐn)?shù)據(jù)如下（得分向量的前兩個(gè)成分和權(quán)重向量的前兩個(gè)分量）：Tx1=1.5,Tx2=-0.5Wy1=0.8,Wy2=0.6Wx1=0.7,Wx2=-0.4Wx1'=0.5,Wx2'=0.8（'表示Y空間的權(quán)重）假設(shè)原始自變量矩陣X的一個(gè)樣本點(diǎn)（p1,p2）在經(jīng)過X空間的第一個(gè)權(quán)重向量Wx1后得到投影點(diǎn)p'1=1.0。請(qǐng)計(jì)算該樣本點(diǎn)在Y空間對(duì)應(yīng)的投影點(diǎn)（即預(yù)測(cè)的因變量值）y1'和y2'。并解釋計(jì)算中用到的關(guān)系。2.（15分）考慮一個(gè)二分類問題，使用決策樹模型進(jìn)行預(yù)測(cè)。對(duì)于某個(gè)測(cè)試樣本，其特征如下：特征A=3（類別型），特征B=5（數(shù)值型），特征C=0.2（數(shù)值型）。決策樹的部分結(jié)構(gòu)如下：根節(jié)點(diǎn)基于特征B進(jìn)行分裂（閾值=4），左子樹基于特征C進(jìn)行分裂（閾值=0.1），右子樹輸出類別標(biāo)簽為“負(fù)類”。請(qǐng)回答：(1)該測(cè)試樣本將進(jìn)入決策樹的哪個(gè)分支？(2)如果在左子樹中，該樣本是否會(huì)繼續(xù)分裂？(3)最終該測(cè)試樣本被預(yù)測(cè)為什么類別？請(qǐng)簡(jiǎn)述判斷過程。3.（15分）描述一下在使用支持向量機(jī)（SVM）進(jìn)行回歸（SVR）時(shí)，如何通過調(diào)整模型參數(shù)（如ε和C）來控制模型的復(fù)雜度以及對(duì)訓(xùn)練數(shù)據(jù)的擬合程度。解釋較大的ε和較大的C值分別傾向于產(chǎn)生什么樣的模型行為。試卷答案一、選擇題1.B2.C3.C4.B5.B6.C7.B8.A9.C10.C二、填空題1.T空間，Q空間2.避免過擬合，評(píng)估模型泛化能力3.信息增益（或信息增益率），基尼不純度4.真正預(yù)測(cè)為正類的樣本中，實(shí)際為正類的比例5.過擬合6.交叉驗(yàn)證，留一法7.Sigmoid（或logistic）8.方差（或散布）9.未見過的新數(shù)據(jù)（或測(cè)試數(shù)據(jù)）10.信息增益（或貪心策略）三、簡(jiǎn)答題1.MLR通過方差分解的方法處理共線性，將共線性變量合并成一個(gè)綜合變量，或者通過正則化（如嶺回歸）來懲罰系數(shù)的大小。PLS則直接在自變量和因變量空間中同時(shí)提取相互正交的成分，這些成分是自變量和因變量協(xié)方差的最大線性組合，從而有效地消除了自變量間的共線性，并且能夠同時(shí)處理自變量和因變量的多重共線性。2.過擬合是指模型學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的噪聲和細(xì)節(jié)，導(dǎo)致模型在訓(xùn)練集上表現(xiàn)很好，但在新的、未見過的數(shù)據(jù)上表現(xiàn)很差。欠擬合是指模型過于簡(jiǎn)單，未能捕捉到數(shù)據(jù)中的基本模式，導(dǎo)致在訓(xùn)練集和測(cè)試集上都表現(xiàn)不佳。過擬合可能由于模型復(fù)雜度過高或訓(xùn)練數(shù)據(jù)量不足導(dǎo)致；欠擬合可能由于模型復(fù)雜度過低或特征不足導(dǎo)致。3.K近鄰（KNN）算法是一種實(shí)例基于的學(xué)習(xí)方法。其基本原理是：對(duì)于一個(gè)待分類的樣本，計(jì)算它與訓(xùn)練集中所有樣本的距離，找到距離最近的K個(gè)樣本（即“近鄰”），然后根據(jù)這K個(gè)近鄰的類別，通過投票（多數(shù)表決）或距離加權(quán)等方式，決定待分類樣本的類別。K值是一個(gè)用戶定義的參數(shù)。4.使用交叉驗(yàn)證評(píng)估模型性能的基本步驟如下：(1)將原始數(shù)據(jù)集隨機(jī)劃分為K個(gè)大小相等的子集（稱為“折”或“fold”）。(2)進(jìn)行K次訓(xùn)練和評(píng)估。每次，選擇其中一個(gè)子集作為測(cè)試集，其余K-1個(gè)子集合并作為訓(xùn)練集。(3)使用訓(xùn)練集訓(xùn)練模型，然后在測(cè)試集上評(píng)估模型性能，記錄該次評(píng)估結(jié)果。(4)將K次評(píng)估結(jié)果（如均方誤差、準(zhǔn)確率等）進(jìn)行平均或匯總，得到模型的最終交叉驗(yàn)證性能估計(jì)。四、計(jì)算與分析題1.解：計(jì)算Y空間權(quán)重向量Wy：Wy1=(Tx1*Wx1')+(Tx2*Wx2')=(1.5*0.5)+(-0.5*0.8)=0.75-0.4=0.35Wy2=(Tx1*Wx2')+(Tx2*Wx2')=(1.5*0.8)+(-0.5*0.6)=1.2-0.3=0.9計(jì)算樣本點(diǎn)在Y空間的投影點(diǎn)：y1'=Tx1*Wy1+Tx2*Wy2=(1.5*0.35)+(-0.5*0.9)=0.525-0.45=0.075y2'=Tx1*Wy2+Tx2*Wy2=(1.5*0.9)+(-0.5*0.9)=1.35-0.45=0.9解析思路：PLS回歸中，Y空間的得分向量Ty與X空間的權(quán)重向量Wx正交，Wy是Wx正交化后的結(jié)果。樣本在Y空間的投影y'是原始得分Tx與Wy的點(diǎn)積。計(jì)算Wy是為了將X空間的投影點(diǎn)轉(zhuǎn)換到Y(jié)空間，得到對(duì)因變量的預(yù)測(cè)值。2.解：(1)測(cè)試樣本特征B=5，大于分裂閾值4，因此進(jìn)入決策樹的右子樹。(2)在右子樹中，測(cè)試樣本特征C=0.2，小于分裂閾值0.1，因此會(huì)繼續(xù)在該分支進(jìn)行分裂。(3)最終該測(cè)試樣本被預(yù)測(cè)為“負(fù)類”。判斷過程：樣本進(jìn)入右子樹后，繼續(xù)基于特征C進(jìn)行分裂，由于C=0.2<0.1，進(jìn)入左子樹，而左子樹沒有進(jìn)一步的分裂規(guī)則或輸出，根據(jù)題目描述，其默認(rèn)輸出類別為“負(fù)類”。解析思路：決策樹是基于規(guī)則進(jìn)行判斷的。從根節(jié)點(diǎn)開始，根據(jù)節(jié)點(diǎn)指定的特征值和閾值進(jìn)行判斷，決定走左子樹還是右子樹，直到到達(dá)葉節(jié)點(diǎn)或滿足停止條件。葉節(jié)點(diǎn)的輸出通常是類別預(yù)測(cè)。3.解：在SVR中，參數(shù)ε（epsilon）和C（正則化參數(shù)）用于控制模型的行為。(1)ε（epsilon）是容錯(cuò)邊界。較大的ε值意味著模型可以容忍更大的預(yù)測(cè)誤差（即更多的樣本點(diǎn)可以在ε-帶外），這會(huì)使模型更平滑，復(fù)雜度降低，有助于防止過擬合。較小的ε值則要求模型更精確地?cái)M合所有樣本點(diǎn)（或至少在ε-帶內(nèi)），模型可能更復(fù)雜。(2)C是懲罰系數(shù)，控制對(duì)違反ε-帶約束的樣本點(diǎn)的懲罰力度。較大的C值意味著對(duì)誤差的容忍度較低，模型會(huì)盡力使所有樣本點(diǎn)都在ε-帶內(nèi)（或至少受到懲罰），這