浙江大學(xué)《概率論與數(shù)理統(tǒng)計》第7章參數(shù)估計是統(tǒng)計推斷的重要組成部分，其核心任務(wù)是利用樣本數(shù)據(jù)對總體分布中的未知參數(shù)（或參數(shù)的函數(shù)）進(jìn)行估計。根據(jù)估計形式的不同，參數(shù)估計可分為點估計與區(qū)間估計兩大類。點估計通過構(gòu)造一個統(tǒng)計量（稱為估計量），將樣本觀測值代入后得到一個具體的數(shù)值（稱為估計值），作為未知參數(shù)的近似值；區(qū)間估計則通過構(gòu)造一個隨機(jī)區(qū)間（稱為置信區(qū)間），使得該區(qū)間以給定的概率（稱為置信水平）包含未知參數(shù)的真值。一、點估計的常用方法（一）矩估計法矩估計法的基本思想是利用樣本矩來估計總體矩，進(jìn)而通過矩的等式關(guān)系解出未知參數(shù)。設(shè)總體\(X\)的分布中包含\(k\)個未知參數(shù)\(\theta_1,\theta_2,\dots,\theta_k\)，假設(shè)總體的前\(k\)階原點矩\(\mu_i=E(X^i)\)（\(i=1,2,\dots,k\)）存在且均為\(\theta_1,\theta_2,\dots,\theta_k\)的函數(shù)。記樣本的前\(k\)階原點矩為\(A_i=\frac{1}{n}\sum_{j=1}^nX_j^i\)（\(i=1,2,\dots,k\)），根據(jù)大數(shù)定律，當(dāng)樣本量\(n\)較大時，樣本矩\(A_i\)會依概率收斂到總體矩\(\mu_i\)。因此，矩估計法通過建立方程組\(\mu_i(\theta_1,\dots,\theta_k)=A_i\)（\(i=1,2,\dots,k\)），并求解該方程組得到未知參數(shù)的估計量\(\hat{\theta}_1,\hat{\theta}_2,\dots,\hat{\theta}_k\)，稱為矩估計量（矩估計值為代入樣本觀測值后的結(jié)果）。例如，設(shè)總體\(X\simN(\mu,\sigma^2)\)，其中\(zhòng)(\mu\)和\(\sigma^2\)未知?？傮w一階原點矩\(\mu_1=E(X)=\mu\)，二階原點矩\(\mu_2=E(X^2)=\mu^2+\sigma^2\)。樣本一階原點矩\(A_1=\frac{1}{n}\sum_{j=1}^nX_j=\bar{X}\)，二階原點矩\(A_2=\frac{1}{n}\sum_{j=1}^nX_j^2\)。建立方程組\(\mu=\bar{X}\)，\(\mu^2+\sigma^2=A_2\)，解得矩估計量\(\hat{\mu}=\bar{X}\)，\(\hat{\sigma}^2=A_2\bar{X}^2=\frac{1}{n}\sum_{j=1}^n(X_j\bar{X})^2\)（即樣本二階中心矩）。（二）最大似然估計法最大似然估計法的基本思想是：在已知樣本觀測值的情況下，選擇使得該觀測值出現(xiàn)概率最大的參數(shù)值作為估計值。設(shè)總體\(X\)的概率密度（或分布律）為\(f(x;\theta)\)，其中\(zhòng)(\theta\)是未知參數(shù)（若為多維參數(shù)，則\(\theta=(\theta_1,\dots,\theta_k)\)）。對于獨(dú)立同分布的樣本\(X_1,X_2,\dots,X_n\)，其聯(lián)合概率密度（或聯(lián)合分布律）為\(L(\theta;x_1,x_2,\dots,x_n)=\prod_{j=1}^nf(x_j;\theta)\)，稱為似然函數(shù)。最大似然估計（MLE）的目標(biāo)是找到\(\theta\)的值\(\hat{\theta}\)，使得\(L(\theta)\)達(dá)到最大值，即\(\hat{\theta}=\arg\max_{\theta}L(\theta)\)。由于對數(shù)函數(shù)是單調(diào)遞增函數(shù)，最大化\(L(\theta)\)等價于最大化對數(shù)似然函數(shù)\(l(\theta)=\lnL(\theta)=\sum_{j=1}^n\lnf(x_j;\theta)\)，這通常更便于求導(dǎo)計算。若\(l(\theta)\)可導(dǎo)，則通過求解似然方程\(\frac{\partiall(\theta)}{\partial\theta_i}=0\)（\(i=1,2,\dots,k\)）可得到極值點，再驗證其是否為最大值點。以正態(tài)總體\(N(\mu,\sigma^2)\)為例，似然函數(shù)為\(L(\mu,\sigma^2)=\prod_{j=1}^n\frac{1}{\sqrt{2\pi}\sigma}e^{\frac{(x_j\mu)^2}{2\sigma^2}}\)，對數(shù)似然函數(shù)為\(l(\mu,\sigma^2)=\frac{n}{2}\ln(2\pi)\frac{n}{2}\ln\sigma^2\frac{1}{2\sigma^2}\sum_{j=1}^n(x_j\mu)^2\)。分別對\(\mu\)和\(\sigma^2\)求偏導(dǎo)并令其為零，解得\(\hat{\mu}=\bar{X}\)，\(\hat{\sigma}^2=\frac{1}{n}\sum_{j=1}^n(X_j\bar{X})^2\)，與矩估計結(jié)果一致（但在其他分布中可能不同）。對于離散型總體，似然函數(shù)的構(gòu)造類似，只需將概率密度替換為分布律。例如，設(shè)總體\(X\sim\text{Poisson}(\lambda)\)，分布律為\(P(X=k)=\frac{\lambda^ke^{\lambda}}{k!}\)，則似然函數(shù)\(L(\lambda)=\prod_{j=1}^n\frac{\lambda^{x_j}e^{\lambda}}{x_j!}\)，對數(shù)似然函數(shù)\(l(\lambda)=(\sum_{j=1}^nx_j)\ln\lambdan\lambda\sum_{j=1}^n\ln(x_j!)\)，求導(dǎo)后得\(\hat{\lambda}=\bar{X}\)，即樣本均值為\(\lambda\)的最大似然估計。最大似然估計具有不變性：若\(\hat{\theta}\)是\(\theta\)的最大似然估計，則對任意函數(shù)\(g(\theta)\)，其最大似然估計為\(g(\hat{\theta})\)。例如，若\(\hat{\sigma}^2\)是\(\sigma^2\)的MLE，則\(\hat{\sigma}=\sqrt{\hat{\sigma}^2}\)是\(\sigma\)的MLE。二、估計量的評選標(biāo)準(zhǔn)不同的點估計方法可能得到不同的估計量，需通過一定標(biāo)準(zhǔn)評價其優(yōu)劣。常用的標(biāo)準(zhǔn)包括無偏性、有效性和相合性（一致性）。（一）無偏性若估計量\(\hat{\theta}\)的期望等于被估計參數(shù)\(\theta\)，即\(E(\hat{\theta})=\theta\)，則稱\(\hat{\theta}\)為\(\theta\)的無偏估計量。無偏性反映了估計量在多次抽樣中的平均結(jié)果與真值一致，避免了系統(tǒng)性偏差。例如，樣本均值\(\bar{X}=\frac{1}{n}\sum_{j=1}^nX_j\)是總體均值\(\mu\)的無偏估計，因為\(E(\bar{X})=\frac{1}{n}\sum_{j=1}^nE(X_j)=\mu\)。但樣本方差\(S_n^2=\frac{1}{n}\sum_{j=1}^n(X_j\bar{X})^2\)不是總體方差\(\sigma^2\)的無偏估計，因為\(E(S_n^2)=\frac{n1}{n}\sigma^2\)；而修正樣本方差\(S^2=\frac{1}{n1}\sum_{j=1}^n(X_j\bar{X})^2\)是\(\sigma^2\)的無偏估計，因為\(E(S^2)=\sigma^2\)。（二）有效性對于同一參數(shù)的兩個無偏估計量\(\hat{\theta}_1\)和\(\hat{\theta}_2\)，若\(D(\hat{\theta}_1)<D(\hat{\theta}_2)\)，則稱\(\hat{\theta}_1\)比\(\hat{\theta}_2\)更有效。有效性反映了估計量取值的集中程度，方差越小，估計結(jié)果越精確。例如，設(shè)總體\(X\)的方差\(\sigma^2\)有限，考慮總體均值\(\mu\)的兩個無偏估計量：樣本均值\(\bar{X}\)和任意加權(quán)平均\(\sum_{j=1}^na_jX_j\)（其中\(zhòng)(\sum_{j=1}^na_j=1\)）。由柯西施瓦茨不等式，\(D(\sum_{j=1}^na_jX_j)=\sigma^2\sum_{j=1}^na_j^2\geq\sigma^2\cdot\frac{(\sum_{j=1}^na_j)^2}{n}=\frac{\sigma^2}{n}=D(\bar{X})\)，當(dāng)且僅當(dāng)\(a_j=1/n\)時等號成立，故\(\bar{X}\)是所有線性無偏估計量中方差最小的，稱為最優(yōu)線性無偏估計（BLUE）。（三）相合性（一致性）若對任意\(\epsilon>0\)，有\(zhòng)(\lim_{n\to\infty}P(|\hat{\theta}_n\theta|<\epsilon)=1\)，則稱估計量\(\hat{\theta}_n\)是\(\theta\)的相合估計量（或一致估計量）。相合性反映了隨著樣本量增大，估計量依概率收斂到真值的特性，是大樣本下對估計量的基本要求。根據(jù)大數(shù)定律，樣本矩是總體矩的相合估計量，因此矩估計量通常具有相合性。最大似然估計在滿足一定正則條件下（如分布密度的支撐集與參數(shù)無關(guān)、似然函數(shù)可導(dǎo)等）也是相合估計量。例如，樣本均值\(\bar{X}\)是總體均值\(\mu\)的相合估計，因為由辛欽大數(shù)定律，\(\bar{X}\xrightarrow{P}\mu\)（\(n\to\infty\)）。三、區(qū)間估計區(qū)間估計通過構(gòu)造一個隨機(jī)區(qū)間\((\hat{\theta}_L,\hat{\theta}_U)\)，使得該區(qū)間以給定的置信水平\(1\alpha\)（\(0<\alpha<1\)）包含未知參數(shù)\(\theta\)，即\(P(\hat{\theta}_L<\theta<\hat{\theta}_U)=1\alpha\)。其中，\(\hat{\theta}_L\)和\(\hat{\theta}_U\)分別稱為置信下限和置信上限，\(1\alpha\)表示置信水平（常用值為0.90、0.95、0.99）。（一）單個正態(tài)總體參數(shù)的區(qū)間估計設(shè)總體\(X\simN(\mu,\sigma^2)\)，\(X_1,X_2,\dots,X_n\)為樣本，\(\bar{X}\)為樣本均值，\(S^2\)為修正樣本方差。1.均值\(\mu\)的區(qū)間估計當(dāng)\(\sigma^2\)已知時，選取樞軸量\(Z=\frac{\bar{X}\mu}{\sigma/\sqrt{n}}\simN(0,1)\)。對置信水平\(1\alpha\)，查標(biāo)準(zhǔn)正態(tài)分布表得\(z_{\alpha/2}\)（滿足\(\Phi(z_{\alpha/2})=1\alpha/2\)），則\(P(z_{\alpha/2}<Z<z_{\alpha/2})=1\alpha\)，解得\(\mu\)的置信區(qū)間為\(\left(\bar{X}\frac{\sigma}{\sqrt{n}}z_{\alpha/2},\bar{X}+\frac{\sigma}{\sqrt{n}}z_{\alpha/2}\right)\)。當(dāng)\(\sigma^2\)未知時，用\(S\)代替\(\sigma\)，選取樞軸量\(T=\frac{\bar{X}\mu}{S/\sqrt{n}}\simt(n1)\)（\(t\)分布，自由度\(n1\)）。查\(t\)分布表得\(t_{\alpha/2}(n1)\)，則\(\mu\)的置信區(qū)間為\(\left(\bar{X}\frac{S}{\sqrt{n}}t_{\alpha/2}(n1),\bar{X}+\frac{S}{\sqrt{n}}t_{\alpha/2}(n1)\right)\)。2.方差\(\sigma^2\)的區(qū)間估計選取樞軸量\(\chi^2=\frac{(n1)S^2}{\sigma^2}\sim\chi^2(n1)\)（卡方分布，自由度\(n1\)）。對置信水平\(1\alpha\)，查卡方分布表得\(\chi^2_{1\alpha/2}(n1)\)和\(\chi^2_{\alpha/2}(n1)\)，滿足\(P(\chi^2_{1\alpha/2}(n1)<\chi^2<\chi^2_{\alpha/2}(n1))=1\alpha\)，解得\(\sigma^2\)的置信區(qū)間為\(\left(\frac{(n1)S^2}{\chi^2_{\alpha/2}(n1)},\frac{(n1)S^2}{\chi^2_{1\alpha/2}(n1)}\right)\)。（二）兩個正態(tài)總體參數(shù)的區(qū)間估計設(shè)總體\(X\simN(\mu_1,\sigma_1^2)\)，總體\(Y\simN(\mu_2,\sigma_2^2)\)，樣本分別為\(X_1,\dots,X_{n_1}\)和\(Y_1,\dots,Y_{n_2}\)，樣本均值分別為\(\bar{X},\bar{Y}\)，修正樣本方差分別為\(S_1^2,S_2^2\)。1.均值差\(\mu_1\mu_2\)的區(qū)間估計當(dāng)\(\sigma_1^2,\sigma_2^2\)已知時，樞軸量\(Z=\frac{(\bar{X}\bar{Y})(\mu_1\mu_2)}{\sqrt{\sigma_1^2/n_1+\sigma_2^2/n_2}}\simN(0,1)\)，置信區(qū)間為\(\left(\bar{X}\bar{Y}z_{\alpha/2}\sqrt{\sigma_1^2/n_1+\sigma_2^2/n_2},\bar{X}\bar{Y}+z_{\alpha/2}\sqrt{\sigma_1^2/n_1+\sigma_2^2/n_2}\right)\)。當(dāng)\(\sigma_1^2=\sigma_2^2=\sigma^2\)未知時，選取合并方差\(S_p^2=\frac{(n_11)S_1^2+(n_21)S_2^2}{n_1+n_22}\)，樞軸量\(T=\frac{(\bar{X}\bar{Y})(\mu_1\mu_2)}{S_p\sqrt{1/n_1+1/n_2}}\simt(n_1+n_22)\)