參數(shù)統(tǒng)計(jì)與概率論相比，統(tǒng)計(jì)的重要特點(diǎn)在于分布的不確定性。實(shí)際中，在得到樣本以后，我們最關(guān)心的問(wèn)題之一便是想知道是分布族中的哪一個(gè)分布產(chǎn)生此樣本，即要從樣本推斷總體分布或其各種特征數(shù)。英國(guó)著名統(tǒng)計(jì)學(xué)家R.A.Fisher

把統(tǒng)計(jì)推斷歸納為三個(gè)方面：抽樣分布、參數(shù)估計(jì)、假設(shè)檢驗(yàn)。什么是參數(shù)估計(jì)問(wèn)題X~P(λ),X~E(λ),X~N(μ,σ2)用所獲得的樣本值去估計(jì)參數(shù)取值稱(chēng)為參數(shù)估計(jì).參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)用某一數(shù)值作為參數(shù)的近似值在要求的精度范圍內(nèi)指出參數(shù)所在的區(qū)間

參數(shù)估計(jì)的基本思想?yún)?shù)的點(diǎn)估計(jì)估計(jì)的優(yōu)良性估計(jì)的概念相當(dāng)廣泛，任何人都可以給出估計(jì)，如果不對(duì)估計(jì)的好壞加以明確，估計(jì)是沒(méi)有意義的。下面介紹估計(jì)的好壞標(biāo)準(zhǔn)。估計(jì)量的評(píng)選標(biāo)準(zhǔn)對(duì)于總體的同一個(gè)未知參數(shù)，由于采用的估計(jì)方法不同，可能會(huì)產(chǎn)生多個(gè)不同的估計(jì)量。這就提出了一個(gè)問(wèn)題，當(dāng)總體的同一個(gè)參數(shù)存在不同的估計(jì)量時(shí)，究竟采用哪一個(gè)更好？這涉及到用什么樣的標(biāo)準(zhǔn)來(lái)評(píng)價(jià)估計(jì)量的好壞問(wèn)題，對(duì)此，我們介紹幾個(gè)常用的評(píng)價(jià)標(biāo)準(zhǔn)：無(wú)偏性、有效性和一致性。無(wú)偏性在評(píng)價(jià)一個(gè)估計(jì)量的好壞時(shí),我們當(dāng)然希望估計(jì)量與被估參數(shù)越接近越好.但估計(jì)量是一個(gè)隨機(jī)變量,它的取值隨樣本的觀測(cè)值而變,有時(shí)與被估參數(shù)的真值近些,有時(shí)遠(yuǎn)些,我們只能從平均意義上看估計(jì)量是否與被估參數(shù)盡量接近,最好是等于被估參數(shù).于是有無(wú)偏估計(jì)量的概念.無(wú)偏性體現(xiàn)了一種頻率思想。只有在大量重復(fù)使用時(shí)，無(wú)偏性才有意義。如估計(jì)某批產(chǎn)品的合格率p，從中抽取n個(gè)產(chǎn)品進(jìn)行檢查，發(fā)現(xiàn)有X個(gè)合格。容易驗(yàn)證，在假定X服從二項(xiàng)分布下，X/n是p的無(wú)偏估計(jì)。然而對(duì)一次具體觀測(cè)值x來(lái)說(shuō)，x/n要么等于p,要么不等于p,此時(shí)無(wú)偏性顯得沒(méi)有意義。若問(wèn)題改為某一工廠每天都對(duì)其生產(chǎn)的產(chǎn)品進(jìn)行抽檢，假定生產(chǎn)過(guò)程相對(duì)穩(wěn)定，則估計(jì)的無(wú)偏性要求便是合理的。比如用X/n估計(jì)p,對(duì)每一天而言，該估計(jì)可能偏大也可能偏小，但在一段較長(zhǎng)的時(shí)期內(nèi)，x/n平均來(lái)說(shuō)在p的周?chē)?，有效性一個(gè)參數(shù)的無(wú)偏估計(jì)量不是唯一的,假若參數(shù)θ有兩個(gè)無(wú)偏估計(jì)量,我們認(rèn)為其觀測(cè)值更密集在參數(shù)θ真值附近的一個(gè)較為理想.由于方差是隨機(jī)變量取值與其數(shù)學(xué)期望的偏離程度的度量,所以無(wú)偏估計(jì)以方差小者為好.這就引出了估計(jì)量的有效性這一概念.一致性估計(jì)量的無(wú)偏性和有效性都是在樣本容量固定的前提下提出的.我們自然希望隨著樣本容量的增大,一個(gè)估計(jì)量的值穩(wěn)定于待估參數(shù)的真值.這就對(duì)估計(jì)量提出了一致性的要求.如何找出參數(shù)的估計(jì)方法矩法、極大似然方法和最小二乘法是尋找參數(shù)點(diǎn)估計(jì)的三種主要方法。矩是基于一種簡(jiǎn)單的“替換”思想建立起來(lái)的一種估計(jì)方法，它由K.Pearson在20世紀(jì)初提出，其基本思想是用樣本矩估計(jì)總體矩。理論依據(jù)：大數(shù)定律矩估計(jì)法的具體步驟設(shè)總體X的分布函數(shù)中含有個(gè)未知參數(shù)，假定總體X的前階矩存在，則可通過(guò)下列步驟求未知參數(shù)的矩估計(jì)量:(1)求總體X的前階矩若總體X是離散型隨機(jī)變量，其分布律為：則：則：總之，是參數(shù)的函數(shù)，記為：若總體X是連續(xù)型隨機(jī)變量，其密度函數(shù)為：(2)由（*）式解出為：(3)用的估計(jì)量分別代替（**）中的則得的矩估計(jì)量

注:▲上述計(jì)算步驟對(duì)階中心矩也是成立的。

因?yàn)殡A中心矩總可以通過(guò)展開(kāi)的方法展開(kāi)為不超過(guò)總體階原點(diǎn)矩的函數(shù)?！毓烙?jì)法的優(yōu)缺點(diǎn)：矩估計(jì)法并不要求知道總體分布的具體形式就能對(duì)總體的數(shù)字特征作出估計(jì)矩估計(jì)法要求總體的矩存在，若總體的矩不存在則矩估計(jì)法失效；優(yōu)點(diǎn)：

缺點(diǎn)：對(duì)某些總體的參數(shù)矩估計(jì)量不唯一，這在應(yīng)用時(shí)會(huì)帶來(lái)不利；對(duì)某些總體的參數(shù)矩估計(jì)量有時(shí)不合理;矩估計(jì)法只是利用了矩的信息而沒(méi)有充分利用總體分布函數(shù)的信息

極大似然估計(jì)

極大似然估計(jì)是在母體類(lèi)型已知條件下使用的一種參數(shù)估計(jì)方法.

它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).

先通過(guò)一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明極大似然估計(jì)的基本思想一只野兔從前方竄過(guò)，是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下.

下面我們?cè)倏匆粋€(gè)例子,進(jìn)一步體會(huì)極大似然法的基本思想.

你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.

這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.例1

一個(gè)箱子里裝有黑、白球共9個(gè),我們從中隨機(jī)地?zé)o放回地抽取三個(gè)球，發(fā)現(xiàn)恰有2個(gè)黑球，請(qǐng)猜一下(估計(jì))箱子里有幾個(gè)黑球，幾個(gè)白球.

這是典型的“黑箱”問(wèn)題.可以這樣來(lái)分析、推斷：隨機(jī)所以能取得“二個(gè)黑球一個(gè)白球”這是由箱中球的狀況決定的.我們就從這個(gè)“信息”出發(fā).

箱中球的狀況能取得二個(gè)黑球一個(gè)白球的(所有可能情形)可能性大小

黑球數(shù)白球數(shù)P1.1802.273.364.455.546.637.728.819.90010.090

比較這些概率的大小，我們可以推斷箱中黑球數(shù)最有可能是6個(gè)(顯然，這個(gè)推斷不是絕對(duì)正確的).

這是一種新的邏輯推理方法：根據(jù)概率最大，推斷“事情”發(fā)生的原因是什么.最小二乘估計(jì)---常見(jiàn)于線(xiàn)性模型1801年，意大利天文學(xué)家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過(guò)40天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽(yáng)背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)據(jù)開(kāi)始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來(lái)尋找谷神星都沒(méi)有結(jié)果。時(shí)年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里希·奧爾伯斯根據(jù)高斯計(jì)算出來(lái)的軌道重新發(fā)現(xiàn)了谷神星。高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運(yùn)動(dòng)論》中。法國(guó)科學(xué)家勒讓德于1806年獨(dú)立發(fā)現(xiàn)最小二乘法，但因不為時(shí)人所知而默默無(wú)聞。勒讓德曾與高斯為誰(shuí)最早創(chuàng)立最小二乘法原理發(fā)生爭(zhēng)執(zhí)。1829年，高斯提供了最小二乘法的優(yōu)化效果強(qiáng)于其他方法的證明，因此被稱(chēng)為高斯-莫卡夫定理。最小二乘的思想就是要使得觀測(cè)點(diǎn)和估計(jì)