2025年大學(xué)《應(yīng)用統(tǒng)計學(xué)》專業(yè)題庫——馬爾可夫鏈蒙特卡洛方法在概率推斷中的作用考試時間：______分鐘總分：______分姓名：______一、簡答題1.請簡述馬爾可夫鏈蒙特卡洛（MCMC）方法的基本思想和核心目標(biāo)。2.簡述Metropolis-Hastings（MH）算法的原理和主要步驟。在算法執(zhí)行過程中，接受概率是如何計算的？3.在Gibbs抽樣中，為什么要求每個變量的條件分布必須是可接受的（即具有歸一化概率密度函數(shù)）？請說明Gibbs抽樣的基本步驟。4.什么是馬爾可夫鏈的平穩(wěn)分布？對于一個通過Metropolis-Hastings算法構(gòu)造的馬爾可夫鏈，其平穩(wěn)分布與什么有關(guān)？如何確保鏈能夠收斂到該平穩(wěn)分布？5.解釋什么是MCMC抽樣中的“burn-in”階段，以及為什么需要進行“thinning”處理？這兩個步驟分別旨在解決什么問題？二、計算與分析題6.假設(shè)我們要從二維標(biāo)準(zhǔn)正態(tài)分布$N(0,I_2)$中進行抽樣，但無法直接使用現(xiàn)有函數(shù)。考慮使用Metropolis-Hastings算法，選擇對角線高斯分布$q(x')=N(x,\sigma^2I_2)$作為提議分布，其中$x=(x_1,x_2)$和$x'=(x'_1,x'_2)$，$\sigma^2=1$。(1)寫出提議分布$q(x'|x)$的具體形式（即提議向量的條件分布）。(2)推導(dǎo)MH算法的接受概率$\alpha(x,x')$。(3)寫出MH算法的詳細(xì)步驟（包括提議、接受/拒絕判斷）。7.考慮一個簡單的伯努利模型，有參數(shù)$\theta$，觀測數(shù)據(jù)$y=(y_1,\dots,y_n)$，其中$y_i\in\{0,1\}$。假設(shè)我們使用共軛先驗Beta($\alpha_0,\beta_0$)對$\theta$進行貝葉斯推斷。即后驗分布$p(\theta|y)\proptop(y|\theta)p(\theta)$，且最終形式為Beta($\alpha_0+\sumy_i,\beta_0+n-\sumy_i$)。(1)請使用Gibbs抽樣方法為$\theta$構(gòu)造抽樣步驟。你需要計算哪個變量的條件分布？(2)假設(shè)觀測數(shù)據(jù)$y=(1,0,1,1,0)$，先驗參數(shù)為Beta(2,2)。請寫出前5次Gibbs抽樣的具體步驟（即每次迭代得到的$\theta$值），假設(shè)初始值$\theta^{(0)}=0.5$。8.假設(shè)我們使用MH算法（提議分布為對角線高斯，$\sigma^2=1$）從目標(biāo)分布$p(\theta)=\thetae^{-\theta}$（定義在$\theta>0$上）中抽取樣本，得到以下鏈的樣本值（共10個）：0.5,1.2,0.8,1.5,0.9,2.1,1.0,0.7,1.3,0.6。(1)請繪制這些樣本值的狀態(tài)軌跡圖（或折線圖）。(2)基于這些樣本，計算鏈的均值$\bar{\theta}$和自相關(guān)系數(shù)（以第一個樣本的自相關(guān)系數(shù)為例）。(3)解釋上述計算結(jié)果對MCMC抽樣效率（有效樣本量）的潛在影響。如果不做任何處理直接使用這些樣本計算$\theta$的均值，結(jié)果會是多少？為什么？9.在進行MCMC模擬時，計算后驗分布$p(\theta|y)$的期望值$E_{p(\theta|y)}[h(\theta)]$，其中$h(\theta)$是一個關(guān)于$\theta$的函數(shù)。假設(shè)我們進行了$M$次MCMC抽樣，得到的樣本為$\theta^{(1)},\theta^{(2)},\dots,\theta^{(M)}$，有效樣本量為$ESS$。(1)寫出基于MCMC樣本的$h(\theta)$的估計量的表達式。(2)解釋有效樣本量$ESS$在這個估計量中的作用是什么？如果$ESS$很小，意味著什么？如何提高$ESS$？10.設(shè)我們使用MH算法抽樣，提議分布為$q(x'|x)=N(x',x+\sigma^2I)$（即以當(dāng)前狀態(tài)為中心的正態(tài)分布），其中$\sigma^2$是提議的標(biāo)準(zhǔn)差。請分析當(dāng)$\sigma^2$較大和較小時，MH鏈的探索能力（探索新狀態(tài)的速度和廣度）會有什么不同？并簡要說明如何選擇合適的$\sigma^2$值。試卷答案一、簡答題1.MCMC方法的基本思想是通過構(gòu)造一個馬爾可夫鏈，使其平穩(wěn)分布恰好等于我們感興趣的目標(biāo)分布（通常是后驗分布或某個復(fù)雜概率分布）。通過迭代生成鏈的樣本，這些樣本可以用來對目標(biāo)分布進行統(tǒng)計推斷，如計算后驗分布的估計值、置信區(qū)間等。核心目標(biāo)是將復(fù)雜的直接抽樣問題轉(zhuǎn)化為相對簡單的馬爾可夫鏈模擬問題。2.MH算法的原理是：在給定當(dāng)前狀態(tài)$x$的情況下，從提議分布$q(x'|x)$中生成一個候選狀態(tài)$x'$，然后根據(jù)接受概率$\alpha(x,x')=\min(1,\frac{p(x')q(x|x')}{p(xq(x'|x)})$來決定是否接受$x'$作為下一個狀態(tài)。主要步驟包括：初始化狀態(tài)->從提議分布$q(x'|x)$中抽樣得到候選狀態(tài)$x'$->計算接受概率$\alpha$->生成均勻隨機數(shù)$u\simU(0,1)$->若$u<\alpha$，則接受$x'$作為下一個狀態(tài)；否則拒絕$x'$，保持當(dāng)前狀態(tài)不變。3.Gibbs抽樣要求每個變量的條件分布已知且可接受，意味著這些條件分布必須是嚴(yán)格單調(diào)且具有有限、歸一化的概率密度函數(shù)，這樣才能保證從該分布中抽樣是可行的，并且抽樣結(jié)果能夠代表真實的條件分布?；静襟E：初始化所有變量的值->從給定其他變量值的條件下，當(dāng)前變量的條件分布中抽樣->更新所有變量的值->重復(fù)此過程。4.馬爾可夫鏈的平穩(wěn)分布是指在長時間運行后，鏈的各狀態(tài)的概率分布達到的一個穩(wěn)定狀態(tài)，即鏈的分布滿足轉(zhuǎn)移概率矩陣的平穩(wěn)方程。對于MH算法構(gòu)造的鏈，其平穩(wěn)分布就是目標(biāo)分布$p(\theta)$。確保鏈?zhǔn)諗康狡椒€(wěn)分布需要滿足mixingcondition（混合條件），即鏈能夠快速探索狀態(tài)空間，使得不同狀態(tài)的訪問概率逐漸趨于平穩(wěn)分布的比例。通常需要足夠長的抽樣時間（burn-in）和合適的提議分布。5.“burn-in”階段是指MCMC鏈開始運行時，狀態(tài)分布尚未達到目標(biāo)平穩(wěn)分布的階段。需要進行burn-in是為了丟棄這些可能偏離目標(biāo)分布的早期樣本，確保后續(xù)用于推斷的樣本來自平穩(wěn)分布?！皌hinning”處理是指以一定的間隔（如每$k$步）選取一個樣本，目的是減少樣本之間的自相關(guān)性，使得得到的樣本序列可以被視為近似獨立的樣本。這兩個步驟都是為了獲得高質(zhì)量、自相關(guān)性低的MCMC樣本，從而提高估計的效率和準(zhǔn)確性。二、計算與分析題6.(1)提議分布$q(x'|x)=N(x',x,\sigma^2I_2)$的概率密度函數(shù)為$q(x')=\frac{1}{2\pi\sigma^2}\exp\left(-\frac{1}{2\sigma^2}(x'_1-x_1)^2+(x'_2-x_2)^2\right)$。(2)接受概率$\alpha(x,x')=\min\left(1,\frac{p(x')p(x)}{p(x)p(x')}\right)=\min\left(1,\frac{q(x|x')p(x')}{q(x'|x)p(x)}\right)$。由于提議分布是對稱的（$q(x'|x)=q(x|x')$），接受概率簡化為$\alpha(x,x')=\min\left(1,\frac{p(x')p(x)}{p(x)q(x'|x)}\right)$。利用標(biāo)準(zhǔn)正態(tài)分布的性質(zhì)，可以推導(dǎo)出接受概率只依賴于$\frac{|x'_1-x_1|}{\sigma}$和$\frac{|x'_2-x_2|}{\sigma}$。(3)MH算法步驟：*初始化：選擇一個初始狀態(tài)$x^{(0)}$。*迭代$i=1,2,\dots$：*從提議分布$q(x'|x^{(i-1)})=N(x',x^{(i-1)},I_2)$中抽樣，得到候選狀態(tài)$x'$。*計算接受概率$\alpha(x^{(i-1)},x')=\min\left(1,\frac{\exp\left(-\frac{x'^2}{2}\right)\exp\left(-\frac{x^{(i-1)}^2}{2}\right)}{\exp\left(-\frac{x^{(i-1)}^2}{2}\right)\exp\left(-\frac{x'^2}{2}\right)}\right)=\min\left(1,\exp\left(-\frac{(x'^2-x^{(i-1)}^2)}{2}\right)\right)$。*生成$u\simU(0,1)$。*如果$u<\alpha(x^{(i-1)},x')$，則接受$x'$，設(shè)置$x^{(i)}=x'$。*否則，拒絕$x'$，保持當(dāng)前狀態(tài)$x^{(i)}=x^{(i-1)}$。7.(1)Gibbs抽樣步驟需要計算$\theta$的條件后驗分布$p(\theta|y,\theta_{-i})$，其中$\theta_{-i}$表示除了$\theta$之外的其他參數(shù)（在這個簡單模型中，沒有其他參數(shù)，所以條件分布就是后驗分布本身）。條件后驗分布$p(\theta|y)\proptop(y|\theta)p(\theta)$，已知形式為Beta($\alpha_0+\sumy_i,\beta_0+n-\sumy_i$)。因此，$p(\theta|y)\propto\theta^{\alpha_0+\sumy_i-1}(1-\theta)^{\beta_0+n-\sumy_i-1}$，這正是Beta($\alpha_0+\sumy_i,\beta_0+n-\sumy_i$)的概率密度函數(shù)。從Beta分布中抽樣即可得到$\theta$的樣本。抽樣步驟：從Beta($\alpha_0+\sumy_i,\beta_0+n-\sumy_i$)分布中抽樣得到$\theta$的值。(2)數(shù)據(jù)$y=(1,0,1,1,0)$，$\sumy_i=3$。先驗參數(shù)Beta(2,2)。初始值$\theta^{(0)}=0.5$。*迭代1:$\alpha_0+\sumy_i=2+3=5$,$\beta_0+n-\sumy_i=2+5-3=4$。從Beta(5,4)中抽樣，假設(shè)得到$\theta^{(1)}=0.625$。*迭代2:參數(shù)不變。從Beta(5,4)中抽樣，假設(shè)得到$\theta^{(2)}=0.583$。*迭代3:參數(shù)不變。從Beta(5,4)中抽樣，假設(shè)得到$\theta^{(3)}=0.667$。*迭代4:參數(shù)不變。從Beta(5,4)中抽樣，假設(shè)得到$\theta^{(4)}=0.615$。*迭代5:參數(shù)不變。從Beta(5,4)中抽樣，假設(shè)得到$\theta^{(5)}=0.631$。所以前5次抽樣值分別為：0.625,0.583,0.667,0.615,0.631。8.(1)狀態(tài)軌跡圖（以$\theta$為縱軸，迭代次數(shù)$i$為橫軸）：```2.2+-----------------+||2.0+**|**|1.8+**||**|1.6+**||**|1.4+***||***|1.2+***||**|1.0+-----------------+*(0.5,1.0,0.8,...)|**|0.8+**||**|0.6+**|+-----------------+---------------+---->i0.40.60.81.01.21.41.61.82.0```(2)均值$\bar{\theta}=\frac{1}{10}(0.5+1.2+0.8+1.5+0.9+2.1+1.0+0.7+1.3+0.6)=\frac{10.0}{10}=1.0$。計算第一個樣本（$\theta^{(1)}=0.5$）的自相關(guān)系數(shù)：$r_1=\frac{\sum_{k=1}^{10}(\theta^{(1+k)}-\bar{\theta})(\theta^{(1)}-\bar{\theta})}{\sum_{k=1}^{10}(\theta^{(1+k)}-\bar{\theta})^2}$。$(\theta^{(1+k)}-\bar{\theta})$:-0.5,0.2,-0.2,0.4,-0.1,1.1,0.0,-0.3,0.3,-0.4。分子$\sum_{k=1}^{10}(\theta^{(1+k)}-\bar{\theta})(\theta^{(1)}-\bar{\theta})=(-0.5)(-0.5)+(0.2)(-0.5)+(-0.2)(-0.5)+(0.4)(-0.5)+(-0.1)(-0.5)+(1.1)(-0.5)+(0.0)(-0.5)+(-0.3)(-0.5)+(0.3)(-0.5)+(-0.4)(-0.5)=0.25-0.1+0.1-0.2+0.05-0.55+0+0.15-0.15+0.2=-0.15$。分母$\sum_{k=1}^{10}(\theta^{(1+k)}-\bar{\theta})^2=(-0.5)^2+(0.2)^2+(-0.2)^2+(0.4)^2+(-0.1)^2+(1.1)^2+(0.0)^2+(-0.3)^2+(0.3)^2+(-0.4)^2=0.25+0.04+0.04+0.16+0.01+1.21+0+0.09+0.09+0.16=2.05$。$r_1=\frac{-0.15}{2.05}\approx-0.073$。(3)自相關(guān)系數(shù)$r_1\approx-0.073$接近于0，表明樣本之間的自相關(guān)性較低。這通常意味著有效樣本量（ESS）相對較高，樣本可以近似視為獨立。如果直接使用這些樣本計算$\theta$的均值，得到的結(jié)果就是樣本均值$\bar{\theta}=1.0$。由于樣本之間自相關(guān)性很低，這個均值估計的方差會較小，即估計比較精確。如果樣本之間存在較強的自相關(guān)（例如$r_1$絕對值較大），則ESS會較小，樣本均值$\bar{\theta}$的估計方差會相對較大，導(dǎo)致估計不夠精確。在本例中，由于自相關(guān)較低，直接使用樣本均值是合理的。9.(1)基于MCMC樣本$S=\{\theta^{(1)},\theta^{(2)},\dots,\theta^{(M)}\}$，估計量$E_{p(\theta|y)}[h(\theta)]$的MCMC估計為$\hat{E}=\frac{1}{M}\sum_{i