2025年大學(xué)《應(yīng)用統(tǒng)計(jì)學(xué)》專業(yè)題庫——統(tǒng)計(jì)信號處理與機(jī)器學(xué)習(xí)技術(shù)考試時(shí)間：______分鐘總分：______分姓名：______一、簡述平穩(wěn)隨機(jī)過程的主要特性。舉例說明一個(gè)平穩(wěn)過程和一個(gè)非平穩(wěn)過程。二、比較自相關(guān)函數(shù)和功率譜密度的關(guān)系。簡述周期圖法估計(jì)功率譜密度的原理及其主要優(yōu)缺點(diǎn)。三、已知一個(gè)零均值離散時(shí)間信號可以由其過去的兩個(gè)樣本線性回歸，即$X(n)=-a_1X(n-1)-a_2X(n-2)+W(n)$，其中$W(n)$是零均值的白噪聲，$E[W(n)]=0$,$E[W(n)W(m)]=\delta(n-m)$。寫出Yule-Walker方程，并說明其中各項(xiàng)的含義。四、設(shè)一個(gè)實(shí)數(shù)零均值平穩(wěn)過程$X(n)$的自相關(guān)函數(shù)為$R_X(m)=\frac{1}{2}\cos(\pim/4)$。求該過程的功率譜密度$S_X(e^{j\omega})$。五、說明數(shù)字濾波器因果性和穩(wěn)定性的定義，并討論一個(gè)因果的IIR濾波器穩(wěn)定的充分必要條件。六、簡述K近鄰（KNN）分類算法的基本思想。討論選擇合適的K值時(shí)需要考慮的因素。七、比較邏輯回歸和線性回歸在分類問題上的主要區(qū)別。邏輯回歸模型的輸出為什么是概率形式？八、簡述支持向量機(jī)（SVM）分類器的基本原理。解釋什么是支持向量，以及它們在SVM分類中的作用。九、什么是過擬合？簡述嶺回歸（RidgeRegression）如何通過引入L2正則化來緩解過擬合問題。十、解釋交叉驗(yàn)證（Cross-Validation）在模型選擇中的作用。簡述K折交叉驗(yàn)證的基本步驟。十一、簡述K均值（K-Means）聚類算法的主要步驟。在應(yīng)用K-Means算法時(shí)，如何選擇合適的聚類數(shù)目K？十二、解釋主成分分析（PCA）的基本思想。說明PCA在降維過程中如何保留數(shù)據(jù)的主要信息？十三、在處理高維數(shù)據(jù)時(shí)，什么是“維度災(zāi)難”？簡述特征選擇和降維技術(shù)如何緩解維度災(zāi)難問題。十四、設(shè)想你有一組包含房價(jià)（目標(biāo)變量）和房屋面積、房間數(shù)量、建造年份（特征變量）的數(shù)據(jù)。如果要預(yù)測房價(jià)，你會選擇哪些機(jī)器學(xué)習(xí)算法？簡述選擇這些算法的理由，并說明你會如何評估模型的預(yù)測性能。十五、解釋統(tǒng)計(jì)信號處理與機(jī)器學(xué)習(xí)在處理生物醫(yī)學(xué)信號（如心電圖ECG或腦電圖EEG）時(shí)可能如何結(jié)合。請描述一個(gè)具體的結(jié)合應(yīng)用場景。試卷答案一、平穩(wěn)隨機(jī)過程的主要特性包括：(1)均值不隨時(shí)間變化，$E[X(t)]=\mu$（對于寬平穩(wěn)過程，均值恒為常數(shù)）；(2)自相關(guān)函數(shù)僅依賴于時(shí)間差，$R_X(m)=E[X(t)X(t+m)]$，與具體時(shí)刻$t$無關(guān)。平穩(wěn)過程可以是寬平穩(wěn)（弱平穩(wěn)），要求二階矩存在且自相關(guān)函數(shù)滿足上述條件；也可以是嚴(yán)平穩(wěn)（強(qiáng)平穩(wěn)），要求任意時(shí)刻$t$的概率分布函數(shù)與時(shí)刻$0$相同。非平穩(wěn)過程的自相關(guān)函數(shù)隨時(shí)間變化，或均值隨時(shí)間變化。例如，白噪聲$X(t)=W(t)$是平穩(wěn)過程（寬平穩(wěn)），而$X(t)=t$是非平穩(wěn)過程。二、自相關(guān)函數(shù)$R_X(m)$是隨機(jī)過程$X(t)$在不同時(shí)刻$t$和$t+m$的乘積的期望值，它反映了信號自身在不同時(shí)間滯后下的相關(guān)程度。功率譜密度$S_X(e^{j\omega})$是自相關(guān)函數(shù)$R_X(m)$的傅里葉變換，$S_X(e^{j\omega})=\sum_{m=-\infty}^{\infty}R_X(m)e^{-j\omegam}$。功率譜密度描述了信號功率在頻率域上的分布情況。周期圖法估計(jì)功率譜密度的原理是：將有限長觀測數(shù)據(jù)序列視為無限長周期序列的一個(gè)段，利用離散傅里葉變換（DFT）計(jì)算其DFT，再取模平方后除以數(shù)據(jù)長度，得到功率譜的初步估計(jì)。其主要優(yōu)點(diǎn)是原理簡單，計(jì)算直接。主要缺點(diǎn)是方差較大，且對于有限長數(shù)據(jù)，會呈現(xiàn)柵欄效應(yīng)（頻譜泄露），導(dǎo)致估計(jì)不夠平滑，分辨率受數(shù)據(jù)長度限制。三、根據(jù)題意，自協(xié)方差函數(shù)為$C_X(m)=E[X(n)X(n+m)]=-a_1C_X(m-1)-a_2C_X(m-2)+E[W(n)X(n+m)]$。由于$W(n)$是白噪聲且與$X(n)$相關(guān)性取決于$m$，有$E[W(n)X(n+m)]=\begin{cases}-a_1C_X(m-1)-a_2C_X(m-2)&\text{if}m=0\\0&\text{if}m\neq0\end{cases}$。因此，$C_X(m)=-a_1C_X(m-1)-a_2C_X(m-2)$。Yule-Walker方程是基于自協(xié)方差函數(shù)的線性方程組，用于估計(jì)AR模型參數(shù)。對于AR(p)模型$X(n)=\phi_1X(n-1)+\ldots+\phi_pX(n-p)+W(n)$，其自協(xié)方差函數(shù)滿足遞推關(guān)系$C_X(m)=\sum_{k=1}^p\phi_kC_X(m-k)$。對于本例的AR(2)模型，方程為：$C_X(0)=-a_1C_X(1)-a_2C_X(-1)$，$C_X(1)=-a_1C_X(0)-a_2C_X(-1)$。其中，$C_X(0)$是信號的總功率，$C_X(1)$和$C_X(-1)$是信號與其自身滯后一個(gè)樣本的相關(guān)性。求解此方程組即可得到模型參數(shù)$a_1,a_2$（注意：通常需要估計(jì)自協(xié)方差或自相關(guān)函數(shù)值，如使用樣本估計(jì)）。四、根據(jù)自相關(guān)函數(shù)的偶函數(shù)特性，$R_X(m)=R_X(-m)$。利用傅里葉變換的性質(zhì)，實(shí)數(shù)序列的自相關(guān)函數(shù)的功率譜密度是實(shí)數(shù)且偶函數(shù)。因此，$S_X(e^{j\omega})=2\sum_{m=0}^{\infty}R_X(m)\cos(\omegam)$。將$R_X(m)=\frac{1}{2}\cos(\pim/4)$代入，得到$S_X(e^{j\omega})=2\left[\frac{1}{2}\cos(0\cdot\omega/4)+\frac{1}{2}\cos(\omega/4)+\frac{1}{2}\cos(2\omega/4)+\frac{1}{2}\cos(3\omega/4)\right]$。計(jì)算各項(xiàng)：$\cos(0)=1$,$\cos(\omega/4)$,$\cos(\omega/2)=\cos(2\omega/4)$,$\cos(3\omega/4)$。將這些代入上式并合并，得到$S_X(e^{j\omega})=\cos(\omega/4)+\cos(\omega/2)+\cos(3\omega/4)$。利用和差化積公式或查表，可將其進(jìn)一步化簡為$S_X(e^{j\omega})=\frac{1}{2}[\cos(\omega/2)+1+\cos(\omega/2)-1]=\cos(\omega/2)$?；蛘吒啙嵉乇硎緸?S_X(e^{j\omega})=1+\cos(\pi\omega/2)$。五、一個(gè)數(shù)字濾波器是因果的，如果它的當(dāng)前輸出$y(n)$只依賴于當(dāng)前和過去的輸入$x(n),x(n-1),\ldots$，而不依賴于未來的輸入。即滿足$y(n)=\sum_{k=0}^Mb_kx(n-k)-\sum_{k=1}^Na_ky(n-k)$，其中$b_k,a_k$為濾波器系數(shù)，$M$為零點(diǎn)數(shù)，$N$為極點(diǎn)數(shù)。濾波器是穩(wěn)定的，如果它的單位脈沖響應(yīng)$h(n)$滿足絕對可和條件，即$\sum_{n=-\infty}^{\infty}|h(n)|<\infty$。對于IIR濾波器，其系統(tǒng)函數(shù)為$H(z)=\frac{\sum_{k=0}^Mb_kz^{-k}}{1+\sum_{k=1}^Na_kz^{-k}}$。一個(gè)因果的IIR濾波器穩(wěn)定的充分必要條件是：其系統(tǒng)函數(shù)$H(z)$的所有極點(diǎn)$z_i$的模都小于1，即$|z_i|<1$對于所有$i=1,2,\ldots,N$。這意味著極點(diǎn)必須位于單位圓內(nèi)。六、K近鄰（KNN）分類算法的基本思想是：對于一個(gè)待分類的新樣本點(diǎn)，計(jì)算它與訓(xùn)練數(shù)據(jù)集中所有已知類別樣本點(diǎn)的距離（或相似度），找出其中距離最近的K個(gè)樣本點(diǎn)（“近鄰”），然后根據(jù)這K個(gè)近鄰的類別，通過投票（多數(shù)表決）或加權(quán)平均等方式，決定新樣本點(diǎn)的類別。選擇合適的K值需要考慮：1）K值大小直接影響決策邊界：K值小，決策邊界復(fù)雜，容易過擬合；K值大，決策邊界平滑，容易欠擬合。2）噪聲和異常值的影響：較小的K值更容易受到噪聲和異常值的影響，較大的K值則相對穩(wěn)健。3）計(jì)算復(fù)雜度：K值越大，分類時(shí)需要比較的近鄰數(shù)量越多，計(jì)算成本越高。通常需要通過交叉驗(yàn)證等方法在驗(yàn)證集上測試不同K值的性能，選擇最優(yōu)的K。七、線性回歸主要用于預(yù)測連續(xù)數(shù)值型目標(biāo)變量，其模型形式為$y=\beta_0+\beta_1x_1+\ldots+\beta_px_p+\epsilon$，輸出$y$是連續(xù)的。邏輯回歸主要用于二分類或多分類問題，其模型形式通?；谶壿嫼瘮?shù)（Sigmoid函數(shù)）$\sigma(z)=\frac{1}{1+e^{-z}}$，其中$z=\beta_0+\beta_1x_1+\ldots+\beta_px_p$。輸出是邏輯函數(shù)的輸入$z$，其值域在(0,1)之間，代表事件發(fā)生的概率。最后通過設(shè)定閾值（通常是0.5）將概率轉(zhuǎn)換為類別標(biāo)簽（如0或1）。邏輯回歸通過最大化似然函數(shù)來估計(jì)參數(shù)，確保輸出結(jié)果在0和1之間，并符合概率分布的要求。八、支持向量機(jī)（SVM）分類器的基本原理是：找到一個(gè)最優(yōu)的決策邊界（超平面），使得該邊界能夠?qū)⒉煌悇e的樣本點(diǎn)盡可能分開，并且要求這個(gè)邊界距離兩類樣本點(diǎn)的“間隔”（Margin）最大。這個(gè)最優(yōu)超平面由位于分類邊界上的支持向量（SupportVectors）決定，即那些距離超平面最近的樣本點(diǎn)。只有這些支持向量對超平面的確定有貢獻(xiàn)，其他遠(yuǎn)離邊界的樣本點(diǎn)不影響超平面的位置。SVM通過求解一個(gè)對偶優(yōu)化問題來找到這個(gè)最優(yōu)解，該問題轉(zhuǎn)化為最大化間隔，并引入松弛變量處理不可分的情況。SVM在高維空間中表現(xiàn)良好，對小樣本數(shù)據(jù)也具有較好的魯棒性。九、過擬合是指機(jī)器學(xué)習(xí)模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)非常好（訓(xùn)練誤差很?。?，但在未見過的測試數(shù)據(jù)上表現(xiàn)很差（測試誤差很大）。這是因?yàn)槟Ｐ瓦^于復(fù)雜，不僅學(xué)習(xí)到了數(shù)據(jù)中的潛在模式，還無差別地學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的噪聲和隨機(jī)波動。嶺回歸（RidgeRegression）是一種L2正則化方法，它在普通最小二乘回歸的目標(biāo)函數(shù)（最小化殘差平方和）的基礎(chǔ)上，增加了一個(gè)懲罰項(xiàng)$\lambda\sum_{j=1}^p\beta_j^2$，其中$\beta_j$是模型參數(shù)（系數(shù)），$\lambda>0$是正則化參數(shù)。這個(gè)懲罰項(xiàng)會使得模型系數(shù)的絕對值向零收縮，從而限制模型的復(fù)雜度，減少模型對訓(xùn)練數(shù)據(jù)的敏感度，達(dá)到緩解過擬合的目的。$\lambda$控制著正則化的強(qiáng)度。十、交叉驗(yàn)證（Cross-Validation）是一種在模型選擇和評估中常用的技術(shù)，旨在更可靠地估計(jì)模型在未知數(shù)據(jù)上的泛化能力，避免使用單一分割的測試集可能帶來的偏差。K折交叉驗(yàn)證（K-FoldCross-Validation）的基本步驟如下：1）將整個(gè)訓(xùn)練數(shù)據(jù)集隨機(jī)劃分為K個(gè)大小相等的子集（稱為“折”或“Fold”）。2）進(jìn)行K次迭代，每次迭代選擇一個(gè)不同的子集作為測試集，其余K-1個(gè)子集合并成一個(gè)大的訓(xùn)練集。3）在合并的訓(xùn)練集上訓(xùn)練模型，然后在選定的測試集上評估模型性能（如計(jì)算損失函數(shù)值、準(zhǔn)確率等）。4）對K次迭代的評估結(jié)果取平均值，得到模型在該數(shù)據(jù)集上的最終交叉驗(yàn)證性能估計(jì)。這種方法利用了幾乎所有數(shù)據(jù)點(diǎn)都參與了訓(xùn)練和測試，能更全面、穩(wěn)定地評價(jià)模型的泛化性能。十一、K均值（K-Means）聚類算法的主要步驟如下：1）隨機(jī)選擇K個(gè)數(shù)據(jù)點(diǎn)作為初始聚類中心。2）分配階段：計(jì)算每個(gè)數(shù)據(jù)點(diǎn)到K個(gè)聚類中心的距離，將每個(gè)數(shù)據(jù)點(diǎn)分配給距離最近的聚類中心所屬的簇。3）更新階段：對于每個(gè)簇，計(jì)算該簇內(nèi)所有數(shù)據(jù)點(diǎn)的均值，并將該均值作為新的聚類中心。4）重復(fù)步驟2和3，直到聚類中心不再發(fā)生顯著變化，或者達(dá)到預(yù)設(shè)的迭代次數(shù)上限。在應(yīng)用K-Means算法時(shí)，選擇合適的聚類數(shù)目K是一個(gè)關(guān)鍵問題。常用的方法有：1）肘部法則（ElbowMethod）：計(jì)算不同K值下的簇內(nèi)平方和（SSE，Within-ClusterSumofSquares），繪制KvsSSE的曲線。觀察曲線形狀，找到SSE降低速度明顯變緩的“肘點(diǎn)”所對應(yīng)的K值。2）輪廓系數(shù)法（SilhouetteScore）：對于每個(gè)數(shù)據(jù)點(diǎn)，計(jì)算其與同簇內(nèi)其他點(diǎn)的平均距離（a）和與最近非同簇內(nèi)點(diǎn)的平均距離（b），其輪廓系數(shù)為$s=\frac{b-a}{\max(a,b)}$。計(jì)算所有數(shù)據(jù)點(diǎn)的平均輪廓系數(shù)，選擇使該平均輪廓系數(shù)最大的K值。3）GapStatistic等。十二、主成分分析（PCA）的基本思想是：通過正交變換將原始的多個(gè)可能相關(guān)的變量（特征）轉(zhuǎn)換為一組新的、相互獨(dú)立的變量（主成分），這些新變量按照它們所解釋的原始數(shù)據(jù)總方差的大小進(jìn)行排序。前幾個(gè)主成分保留了原始數(shù)據(jù)中的大部分重要信息（方差）。具體步驟通常包括：1）對原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理（均值為0，方差為1）。2）計(jì)算標(biāo)準(zhǔn)化數(shù)據(jù)的協(xié)方差矩陣。3）對協(xié)方差矩陣進(jìn)行特征值分解，得到特征值和對應(yīng)的特征向量。4）根據(jù)特征值的大小對特征向量進(jìn)行排序。選擇前k個(gè)最大的特征值對應(yīng)的特征向量，這些向量就是構(gòu)成前k個(gè)主成分的方向。5）將標(biāo)準(zhǔn)化后的數(shù)據(jù)投影到這k個(gè)主成分構(gòu)成的子空間上，得到新的k維數(shù)據(jù)表示。在降維過程中，只保留前k個(gè)主成分，舍棄方差較小的后m-k個(gè)主成分，從而達(dá)到降低數(shù)據(jù)維度的目的，同時(shí)盡可能保留數(shù)據(jù)的原始信息。十三、在處理高維數(shù)據(jù)時(shí)，會出現(xiàn)“維度災(zāi)難”（CurseofDimensionality）問題。其主要表現(xiàn)包括：1）數(shù)據(jù)稀疏性：隨著維度增加，在高維空間中數(shù)據(jù)點(diǎn)之間的距離趨于相等，數(shù)據(jù)點(diǎn)變得非常稀疏，導(dǎo)致許多算法（如基于距離的算法KNN、SVM）的效率急劇下降，效果變差。2）計(jì)算復(fù)雜度增加：許多算法的計(jì)算復(fù)雜度與維度呈指數(shù)關(guān)系增長，使得在高維空間中計(jì)算變得非常昂貴甚至不可行。3）過擬合風(fēng)險(xiǎn)增大：高維空間中，即使是非常復(fù)雜、訓(xùn)練數(shù)據(jù)中微小的噪聲也可能被模型學(xué)習(xí)，導(dǎo)致過擬合。特征選擇和降維技術(shù)是緩解維度災(zāi)難問題的有效手段。特征選擇（FeatureSelection）是從原始特征集中選擇出一個(gè)子集，這些子集包含對目標(biāo)變量最有預(yù)測能力的特征，從而減少維度并提高模型性能和效率。降維（DimensionalityReduction）是將原始的高維特征空間映射到一個(gè)低維特征空間，同時(shí)盡可能保留原始數(shù)據(jù)的重要信息。PCA是常用的降維方法，而LASSO等正則化方法也可用于特征選擇。十四、如果要預(yù)測房價(jià)，我會考慮使用以下機(jī)器學(xué)習(xí)算法：1）線性回歸/嶺回歸/Lasso回歸：如果房價(jià)與房屋面積、房間數(shù)量、建造年份之間存在近似線性的關(guān)系，或者希望進(jìn)行初步預(yù)測。這些算法簡單直觀，易于解釋。2）支持向量機(jī)（SVM）：特別是使用RBF核函數(shù)的SVM，可以處理非線性關(guān)系，如果房價(jià)與特征之間存在復(fù)雜的非線性模式。3）決策樹/隨機(jī)森林/梯度提升樹（如XGBoost,L