《模式識(shí)別II》期末考試試卷第第14頁(yè)共6頁(yè)P(yáng)AGE2024——2025學(xué)年第1學(xué)期《模式識(shí)別II》考試試卷B卷考試說(shuō)明：考試時(shí)間：95分鐘；考試形式：閉卷適用專業(yè)：人工智能承諾：本人已學(xué)習(xí)了《北考場(chǎng)規(guī)則》和《學(xué)生違紀(jì)處分條例》，承諾在考試過(guò)程中自覺(jué)遵守有關(guān)規(guī)定，服從監(jiān)考教師管理，誠(chéng)信考試，做到不違紀(jì)、不作弊、不替考。若有違反，愿接受相應(yīng)的處分。承諾人：學(xué)號(hào)：班號(hào)：。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。注：本試卷共五大題，共6頁(yè)，滿分100分，考試時(shí)必須使用卷后附加的統(tǒng)一答題紙或草稿紙。請(qǐng)將答案統(tǒng)一寫(xiě)在答題紙上，答案寫(xiě)在其他位置造成的成績(jī)?nèi)笔в煽忌约贺?fù)責(zé)。卷面成績(jī)匯總表（閱卷教師填寫(xiě)）題號(hào)一二三四五總成績(jī)滿分4020102010得分得分一、判斷及解釋題（每題4分，共40分）請(qǐng)?jiān)诖痤}紙對(duì)應(yīng)題號(hào)下方空格處為正確說(shuō)法打√,錯(cuò)誤說(shuō)法打×，并對(duì)答案進(jìn)行解釋。隨著事件A發(fā)生的頻次越高，對(duì)事件A發(fā)生的概率估計(jì)就越準(zhǔn)確。（√）解釋：頻率派認(rèn)為事件發(fā)生的次數(shù)越多越高，估計(jì)越準(zhǔn)確；bayes是在最大似然的基礎(chǔ)上加先驗(yàn)，合理的先驗(yàn)會(huì)讓A的概率估計(jì)越準(zhǔn)確，和這個(gè)假設(shè)不矛盾。模式識(shí)別中，對(duì)于一個(gè)分類器模型而言，必須要求特征的大小歸一化到0-1之間。（×）解釋：沒(méi)有要求0-1之前，要求進(jìn)行合理的歸一化，如均值-方差歸一化對(duì)模式識(shí)別系統(tǒng)而言，歸一化可以提高梯度下降法求解最優(yōu)解的速度。（√）解釋：梯度下降過(guò)程中，通常我們用同一個(gè)學(xué)習(xí)率，歸一化能提高解的速度，同時(shí)多個(gè)維度的空間中，能提高解的精度。在感知機(jī)中，我們可以利用核函數(shù)和對(duì)偶形式將感知機(jī)進(jìn)行非線性化。(√)解釋：感知機(jī)其實(shí)也是計(jì)算兩個(gè)向量的內(nèi)積，因此可以用核函數(shù)進(jìn)行非線性化在線性分類器y=wTx+b中，偏置b的大小會(huì)隨著x維度的增加而增加解釋：錯(cuò)誤，偏執(zhí)b的大小是由分類函數(shù)的形式，如sign所決定因?yàn)閟igmoid函數(shù)是非線性函數(shù)，所以用y=wTx+b作為分類器的解釋：錯(cuò)誤，Logistic回歸的輸出是非線性的，但是y=wBoosting算法的弱分類器之間是強(qiáng)相關(guān)的。(√)解釋：弱分類器是靠不同權(quán)重的樣本訓(xùn)練得到，因此弱分類器之間是強(qiáng)相關(guān)Boosting算法的非線性能力是從單個(gè)弱分類的非線性能力中獲得。(×)解釋：可以從弱分類器，也可從多個(gè)弱分類器的組合。Boosting本質(zhì)是從組合中獲得。在梯度下降中，隨機(jī)梯度下降算法的梯度受到每次迭代采樣到樣本的影響。因此，與批處理梯度下降相比，每次迭代計(jì)算的梯度存在著較大的方差。(√)解釋：樣本的方差會(huì)自然帶入到梯度的方差計(jì)算中Bagging算法是將一些高方差的弱分類器組合為低方差的強(qiáng)分類器。(√)解釋：bagging實(shí)現(xiàn)的基本目標(biāo)得分二、單選或多選題（共20分，每題完全選對(duì)得2分）請(qǐng)?jiān)诖痤}紙對(duì)應(yīng)題號(hào)下方空格處填入A、B、C、D、E中的一個(gè)或多個(gè)選項(xiàng)，多選或錯(cuò)選都不記分。關(guān)于感知機(jī)中線性函數(shù)y=wTx+b的b與邏輯斯回歸（Logistic）中y=wTx+b中的b感知機(jī)中的b與邏輯斯回歸中的b作用相同（感知機(jī)中的b讓y>0=>+1,而邏輯斯回歸是讓概率>0.5=>+1）B．感知機(jī)中的b比邏輯回歸中的b難求解C．感知機(jī)中的b是為了配合符號(hào)函數(shù)而引入的D．邏輯斯回歸中的b是為了讓sigmoid函數(shù)轉(zhuǎn)換后的概率和為1（Sigmoid函數(shù)能將任意的（-無(wú)窮，+無(wú)窮）隱射到概率和為1，b的作用是讓0.5是判斷事情發(fā)生的決策點(diǎn)）E．在梯度下降過(guò)程中，邏輯斯回歸中的b和w可以用不同的學(xué)習(xí)率（可以用不同的學(xué)習(xí)率）關(guān)于損失函數(shù)與最大后驗(yàn)估計(jì)的關(guān)系，以下陳述正確為（B,C）。A．平方損失函數(shù)下，中位數(shù)是所求的最大似然估計(jì)B．平方損失函數(shù)下，均值是所求的最大似然估計(jì)C．損失函數(shù)是評(píng)估模型性能的一種指標(biāo)D．以上答案都不正確以下哪些選項(xiàng)正確地描述了Boosting算法與Bagging算法的區(qū)別？（A,B,C）A.Boosting算法中的弱學(xué)習(xí)器是串行生成的，而B(niǎo)agging算法中的弱學(xué)習(xí)器是并行生成的

B.Boosting算法主要用于降低模型的偏差，而B(niǎo)agging算法主要用于減少模型的方差

C.Boosting算法通過(guò)調(diào)整訓(xùn)練數(shù)據(jù)的權(quán)重來(lái)關(guān)注前一輪分類錯(cuò)誤的樣本，而B(niǎo)agging算法則通過(guò)隨機(jī)抽樣來(lái)形成不同的訓(xùn)練子集

D.Boosting算法和Bagging算法都只能用于分類問(wèn)題下列哪種情況不能用最大后驗(yàn)估計(jì)方法進(jìn)行參數(shù)估計(jì)（D）。A．訓(xùn)練集較大B．無(wú)法對(duì)所有參數(shù)的先驗(yàn)分布進(jìn)行確定(可以對(duì)部分參數(shù)進(jìn)行最大后驗(yàn)估計(jì)，部分用最大似然估計(jì))C．樣本屬性之間是條件獨(dú)立D．系統(tǒng)要求比最大似然估計(jì)方法有更高的準(zhǔn)確率（用合理的先驗(yàn)可能會(huì)比最大似然估計(jì)有更高的準(zhǔn)確率，意味著最大后驗(yàn)不一定能提高性能）E.當(dāng)訓(xùn)練集較小時(shí)，甲方又要求設(shè)計(jì)出更高性能的分類器下列哪些選項(xiàng)正確地描述了損失函數(shù)在最大似然估計(jì)中的作用？（A，B，D）

A.損失函數(shù)用于定義模型預(yù)測(cè)與觀測(cè)數(shù)據(jù)之間的誤差（可以定義為gaussion損失）

B.在最大似然估計(jì)中，我們通常最小化負(fù)對(duì)數(shù)似然函數(shù)

C.損失函數(shù)的選擇對(duì)最大似然估計(jì)的結(jié)果沒(méi)有影響（這顯然是錯(cuò)誤，不通的概率假設(shè)有不同的結(jié)果）

D.通過(guò)最小化損失函數(shù)，最大似然估計(jì)能夠找到最符合觀測(cè)數(shù)據(jù)的模型參數(shù)以線性分類器y=wTx+b，Logistic回歸無(wú)法直接而高效地適用于以下問(wèn)題（A．類別不平衡的多類分類問(wèn)題C．類別平衡的多類分類問(wèn)題B．用于4000個(gè)漢字的OCR字符識(shí)別D.用于垃圾郵件的分類問(wèn)題以下哪項(xiàng)陳述是錯(cuò)誤的（A,B，D）。對(duì)于Logistic回歸，梯度下降會(huì)收斂到一個(gè)局部最小值（logistic是凸函數(shù)，收斂到全局最?。〣．Sigmoid函數(shù)無(wú)法對(duì)符號(hào)函數(shù)進(jìn)行近似C．在Logistic回歸中，線性函數(shù)y=wTx+b可以被函數(shù)y=D．Logistic回歸無(wú)法解決非線性可分的問(wèn)題E．交叉熵比較兩個(gè)概率密度差異（divergence）大小，因此交叉熵可以用作為目標(biāo)函數(shù)來(lái)刻畫(huà)任意兩個(gè)概率密度的差異以下哪些論述是正確的（D,E）。數(shù)據(jù)不均衡問(wèn)題是由于在樣本的收集過(guò)程中，我們沒(méi)有考慮到正負(fù)樣本數(shù)量的比例。只要比例合理，我們訓(xùn)練的分類器就能獲得良好性能在歸一化指數(shù)函數(shù)代碼實(shí)現(xiàn)時(shí)，指數(shù)運(yùn)算意味著內(nèi)存大的電腦會(huì)減少指數(shù)運(yùn)算的數(shù)值在存儲(chǔ)中溢出的可能性接受者操作（ROC）曲線意味著我們要訓(xùn)練多個(gè)分類器計(jì)算多次查全率和查準(zhǔn)率Logistic回歸可以擴(kuò)展到多類分類問(wèn)題數(shù)據(jù)不均衡可以從損失函數(shù)進(jìn)行解決，解決的思路是降低易分對(duì)樣本的權(quán)重或比例評(píng)價(jià)數(shù)據(jù)不平衡情況下分類器的性能可以用（C,D）。用精度B.用精度和召回率用精度和召回率構(gòu)成的曲線D.用精度和召回率構(gòu)成曲線下的面積以下哪些論述是正確的（C，D，E）。梯度下降算法無(wú)法逃出局部最小值最大似然估計(jì)的能力與樣本數(shù)量成正相關(guān)最大后驗(yàn)估計(jì)的關(guān)鍵是對(duì)參數(shù)先驗(yàn)的合理假設(shè)Boosting算法無(wú)法利用并行運(yùn)算對(duì)整個(gè)算法進(jìn)行加速獨(dú)立同分布假設(shè)只是數(shù)學(xué)上的假設(shè)，實(shí)際上我們無(wú)法完全滿足該假設(shè)得分三、填空題（每空2分，共10分）請(qǐng)?jiān)诖痤}紙對(duì)應(yīng)題號(hào)后的空格處順序填寫(xiě)答案。Sigmoid函數(shù)導(dǎo)數(shù)的最大值為0.25(x-x^2的最大值為：-（x-1/2）^2+1/4,或者sigmoid函數(shù)在0.5處變化最為劇烈0.5（1-0.5）)。以線性分類器y=wTx+b為神經(jīng)元，Logistic回歸中的sigmoid函數(shù)被y=x+0.5?0.5<x<0.51在使用AdaBoost算法時(shí)，通常選擇__指數(shù)損失__作為基學(xué)習(xí)器的損失函數(shù)，因?yàn)樵摀p失函數(shù)對(duì)分類錯(cuò)誤具有較高的敏感性，能夠使得算法更加關(guān)注于難以分類的樣本。在Logistic回歸使用交叉熵?fù)p失來(lái)衡量模型的預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的差異。假設(shè)我們有一個(gè)樣本，其真實(shí)標(biāo)簽為1，模型對(duì)該樣本的預(yù)測(cè)概率為p，那么該樣本的交叉熵?fù)p失為_(kāi)_-ln(p)____（用p表示）。如果利用Boosting作為分類器，我們使用損失函數(shù)L(x,y)=1-yf(x)作為目標(biāo)函數(shù)。每次弱學(xué)習(xí)器學(xué)習(xí)時(shí)，樣本的權(quán)重為y。得分四、計(jì)算題（每題5-10分，共20分）請(qǐng)?jiān)诖痤}紙對(duì)應(yīng)題號(hào)后的空格處順序填寫(xiě)答案。令函數(shù)L（y,f(x))=max0,1?e?yf(x)作為目標(biāo)函數(shù)。請(qǐng)用gradientboosting如果gradientboosting采用了對(duì)目標(biāo)函數(shù)在函數(shù)空間中的1階泰勒展開(kāi)進(jìn)行逼近，請(qǐng)給出CART(x)需要擬合數(shù)值r的表達(dá)式。（5分）。其中，泰勒展開(kāi)為：f(x)=f(當(dāng)1?e?yf(x)否則，為0令x為一個(gè)D維隨機(jī)向量且服從多元高斯分布，即x～P如果，我們假設(shè)均值μ=[μ1,...,μi,...,μn解：將μiML（μ,Σ）+ln假設(shè)，x=[x,...,xd,xd+1,...,xD]，其中，x,...,\prod_{i=1}^d1給出前d項(xiàng)是乘積關(guān)系，后是多元高斯分布的乘積。對(duì)于一個(gè)已經(jīng)收斂的logistic回歸模型，如果我們用線性函數(shù)y=wTx+b作為分類器。請(qǐng)給出收斂后Logistic回歸損失函數(shù)的二階泰勒展開(kāi)表達(dá)式，并對(duì)表達(dá)式進(jìn)行化簡(jiǎn)，并對(duì)簡(jiǎn)化的結(jié)果進(jìn)行說(shuō)明原因解：給出一階導(dǎo)數(shù)等于0，而二階導(dǎo)數(shù)不等于0即可。得分五、分析題（每題10分，共10分）請(qǐng)?jiān)诖痤}紙對(duì)應(yīng)題號(hào)下方標(biāo)明具體題號(hào)、順序作答。在線性分類器y=wTx歸一化有哪些方法，請(qǐng)列出2種，并解釋每種歸一化方法的特點(diǎn)；（2分）：解：max-min線性歸一化，均值方差歸一化綜合y=wTx+b數(shù)學(xué)表達(dá)式和對(duì)推理證據(jù)信x任度的角度，詳細(xì)闡述為什么一定需要對(duì)輸入進(jìn)行歸一化的原因解：不同的X需要將量綱進(jìn)行歸一化到同一尺度上。圖2圖像中關(guān)節(jié)點(diǎn)的位置估計(jì)如圖2所示，在大小為H×W的圖像中（H為圖像的高而W為圖像的寬）