1、 數(shù)理統(tǒng)計(jì)的基本概念與抽樣分布§1.1 引言 什么是數(shù)理統(tǒng)計(jì)學(xué)？它的研究內(nèi)容有哪些？這是每位初學(xué)者所關(guān)心的問題。 我們先看一個(gè)這樣的例子： 某鋼筋廠每天可以生產(chǎn)某型號(hào)鋼筋10000根，鋼筋廠每天需要對(duì)生產(chǎn)過程進(jìn)行控制，對(duì)產(chǎn)品的質(zhì)量進(jìn)行檢驗(yàn)。如果把鋼筋的強(qiáng)度作為鋼筋質(zhì)量的重有指標(biāo)，于是質(zhì)量管理人員需要做如下方面的工作 第一，對(duì)生產(chǎn)出來的鋼筋的強(qiáng)度進(jìn)行檢測，獲得必要的數(shù)據(jù)。這里有兩種獲得數(shù)據(jù)的方法， 對(duì)10000根鋼筋的強(qiáng)度均進(jìn)行檢測，可得到10000個(gè)強(qiáng)度數(shù)據(jù)，這種檢測方式稱為全面試驗(yàn)，全面地進(jìn)行試驗(yàn)一般是不可取的，它費(fèi)時(shí)、費(fèi)力、甚至于不可能。 從10000根鋼筋中抽取一部分鋼筋進(jìn)行檢

2、測，得到部分強(qiáng)度數(shù)據(jù)。這里抽取部分鋼筋進(jìn)行檢測的方式稱為抽樣。抽取的方式也有很多種方法，它是數(shù)理統(tǒng)計(jì)的一個(gè)重要內(nèi)容，形成了試驗(yàn)設(shè)計(jì)與抽樣理論。 第二，對(duì)通過抽樣獲取的部分?jǐn)?shù)據(jù)進(jìn)行整理、分析并推斷出這10000根鋼筋的質(zhì)量是否合乎要求。由于抽取的數(shù)據(jù)不全面,并且檢測過程中每個(gè)數(shù)據(jù)還有測量誤差(我們稱為隨機(jī)誤差)。含有隨機(jī)誤差的數(shù)據(jù)會(huì)給我們帶來一定影響,并且難以獲得準(zhǔn)確的結(jié)論。概率論就是解決這些問題主要數(shù)學(xué)工具。為解決這些問題所發(fā)展起來的理論和方法就構(gòu)成了數(shù)理統(tǒng)計(jì)的內(nèi)容。一般說來，數(shù)理統(tǒng)計(jì)是以概率論為主要的數(shù)學(xué)工具，研究如何有效地收集、整理和分析受隨機(jī)影響的數(shù)據(jù)，并對(duì)所考慮的問題作出推斷和預(yù)測，為

3、決策和行動(dòng)提供依據(jù)和建議的一門數(shù)學(xué)學(xué)科。數(shù)理統(tǒng)計(jì)方法的應(yīng)用十分廣泛，幾乎在人類活動(dòng)的一切領(lǐng)域都能不同程度地找到它的應(yīng)用。英國著名的統(tǒng)計(jì)學(xué)家費(fèi)歇（.A.Fisher）和皮爾遜(K.Pearson)是數(shù)理統(tǒng)計(jì)的奠基人,在20世紀(jì)初從事大量的數(shù)理統(tǒng)計(jì)方法的研究,就是出于在生物學(xué)、數(shù)量遺傳學(xué)、優(yōu)生學(xué)和農(nóng)業(yè)科學(xué)的需要。數(shù)理統(tǒng)計(jì)的內(nèi)容十分豐富，一般可分為兩大類：一類是抽樣理論與試驗(yàn)設(shè)計(jì)；另一類是統(tǒng)計(jì)推斷，其中包括估計(jì)理與假設(shè)檢驗(yàn)等?；貧w分析、方差分析、Bayes分析，聚類分析，主成分分析等是數(shù)理統(tǒng)計(jì)的應(yīng)用分支。§1.2 總體、個(gè)體、樣本1.21 總體與個(gè)體我們把所研究對(duì)象的全體稱為總體或母體。組

4、成總體的每個(gè)單元稱為個(gè)體。例如：在研究某批燈泡的質(zhì)量時(shí)，該批燈泡的全體就是問題的總體，而其中每個(gè)燈泡就是個(gè)體。又如：在研究某校男大學(xué)生的身高與體重的分布時(shí)，該校的每個(gè)男大學(xué)生就是一個(gè)個(gè)體，所有這些個(gè)體就構(gòu)成了問題的總體。在實(shí)際問題中，我們關(guān)心的常常是總體的某項(xiàng)或幾項(xiàng)數(shù)量指標(biāo)X（可以是向量）。例如，在研究燈泡的質(zhì)量時(shí)，我們關(guān)心的是燈泡的使用壽命X，而不是它的外觀。在研究某校男大學(xué)生的身高與體重時(shí)，我們關(guān)心的是它們的身高和體重，而不是其它特征。而數(shù)量指標(biāo)X對(duì)不同的個(gè)體，其指標(biāo)值是不同的，因而X可看作一個(gè)隨機(jī)變量。（或隨機(jī)向量），X的概率分布就完全描述了總體中指標(biāo)X的取值情況。稱X的概率分布為總體分

5、布，稱X的數(shù)字特征稱為總體的數(shù)字特征。當(dāng)X為離散型隨機(jī)變量時(shí)稱總體為離散總體；當(dāng)X為連續(xù)型隨機(jī)變量時(shí)，稱總體為連續(xù)總體。當(dāng)總體分布為正態(tài)分布時(shí)，稱總體為正態(tài)總體，當(dāng)總體分布為指數(shù)分布時(shí)，稱總體為指數(shù)分布總體等。對(duì)總體進(jìn)行研究就是對(duì)總體的分布或?qū)傮w的數(shù)字特征進(jìn)行研究。1.2.2 樣本從總體中抽取的一部分個(gè)體稱為樣本或者子樣，其中所含個(gè)體的個(gè)數(shù)稱為樣本容量。從總體中抽取樣本的過程稱為抽樣。樣本和總體一樣也是考慮其數(shù)量指標(biāo)，如果記為樣本中第個(gè)個(gè)體的數(shù)量指標(biāo)，則表示樣本容量為n的樣本，它可以看作是對(duì)總體X作n次觀測的結(jié)果，它的值隨著從總體中抽取的對(duì)象的不同而不同。因此，它是隨機(jī)變量，然而，一旦確定抽

6、取對(duì)象后，我們就得到一組具體的數(shù)值，它可以看作是隨機(jī)變量的一組觀測值，有時(shí)也稱為樣本。因此，從某種意義上來說，樣本具有二重性：隨機(jī)性和確定性。注意樣本的這種二重性非常重要。對(duì)理論工作者而言，他更多注意的是它的隨機(jī)性，他所得到的統(tǒng)計(jì)方法應(yīng)有一定的普遍性，不單純針對(duì)某些具體樣本觀測值。而對(duì)應(yīng)用工作者而言，他們雖然習(xí)慣把樣本看成具體數(shù)字，但仍不能忘記樣本的隨機(jī)性，要不然對(duì)那些雜亂無章的數(shù)據(jù)無法進(jìn)行統(tǒng)計(jì)處理。數(shù)理統(tǒng)計(jì)的實(shí)質(zhì)就是利用樣本的信息去研究總體，去研究總體的某種性能。樣本的“好”與“不好”對(duì)推斷總體影響很大。怎樣才是“好”的樣本？定義1.1 設(shè)總體X的樣本滿足 獨(dú)立性：每次觀測結(jié)果既不影響其它結(jié)

7、果，也不受其它結(jié)果的影響；即相互獨(dú)立； 代表性：中每一個(gè)個(gè)體都與總體X有相同分布。則稱此樣本為簡單隨機(jī)樣本。 例如，在N根鋼筋中抽取n根鋼筋進(jìn)行檢測，如果進(jìn)行有放回抽樣即每次隨機(jī)地從N根鋼筋中抽取一根鋼筋，檢測后放回并混勻，然后再從中抽取。這樣得到的樣本就是簡單隨機(jī)樣本。如果采取無放回抽樣即每次抽取一根鋼筋，檢測后不放回，然后再從剩余中抽取一根或者隨機(jī)地從N根鋼筋中一次性抽取n根鋼筋，得到的樣本就不是簡單隨機(jī)樣本。但N很大，n相對(duì)較小時(shí)無放回抽樣得到的樣本可以近似看作簡單隨機(jī)樣本。樣本的分布稱為樣本分布。如果為簡單隨機(jī)樣本，為總體X的分布函數(shù)，則樣本分布有比較簡單的形式 = （1.1）它完全由

8、總體X的分布函數(shù)確定。如果X為連續(xù)總體且X的分布密度為，則亦為連續(xù)型隨機(jī)變量，它的分布密度稱為樣本分布密度。在簡單隨機(jī)樣本的情況下，樣本分布密度也有簡單的形式 (1.2)如果X為離散總體且X的概率分布為，則亦為離散型隨機(jī)變量，它的概率分布也有簡單形式 (1.3)例1.1 設(shè)有一批產(chǎn)品，其次品率為p，如果記“”表示抽取一件產(chǎn)品是次品；“” 表示抽取一件產(chǎn)品是正品；那么，產(chǎn)品的質(zhì)量就可以用X的分布來衡量。X服從0-1分布，參數(shù)就是次品率p。如果為簡單隨機(jī)樣本，求樣本分布。解：總體X的概率分布為 所以的概率分布為 (1.4) 例1.2 設(shè)總體X服從區(qū)間上的均勻分布，求樣本的分布密度。解：總體X的分布

9、密度為所以的概率分布為 (1.5) §1.3 統(tǒng)計(jì)量1.3.1 統(tǒng)計(jì)量的定義我們研究總體總是研究總體的某些特性，而樣本提供了總體比較多的信息，它是一個(gè)n維隨機(jī)變量，研究起來不是很方便，并且在實(shí)際中對(duì)某些信息我們并不是感興趣，我們可以將其壓縮為我們所需要的信息，然后利用這些信息來解決實(shí)際問題。例如，研究某種型號(hào)的燈泡的壽命X，我們并不關(guān)心X的具體分布如何，而我們關(guān)心的只是燈泡的平均壽命E（X）。如果為簡單隨機(jī)樣本，直觀地反映了E（X）的值。我們稱它為統(tǒng)計(jì)量，它是樣本的函數(shù)。定義1.2 設(shè)為總體X的一個(gè)樣本，為的連續(xù)函數(shù)，且不含有任何未知參數(shù)，則稱T為一個(gè)統(tǒng)計(jì)量。從定義可以看出，統(tǒng)計(jì)量是

10、完全由樣本確定的一個(gè)量，即樣本有一個(gè)觀測值時(shí)統(tǒng)計(jì)量就有一個(gè)唯一確定的值。并且統(tǒng)計(jì)量是一個(gè)隨機(jī)變量，它將高維隨機(jī)變量問題轉(zhuǎn)化為一維隨機(jī)變量來處理，使問題得到簡化。我們必須理解，將高維問題轉(zhuǎn)化為低維問題，信息的損失是必然的（好比將平面問題轉(zhuǎn)化為直線問題），關(guān)鍵在于我們要求的只是研究總體的某一特定的性質(zhì)時(shí)，能找到一個(gè)與這一特定性質(zhì)有關(guān)的信息量不受損失的統(tǒng)計(jì)量，也就是說，在針對(duì)這一特定性質(zhì)時(shí)，這個(gè)統(tǒng)計(jì)量所含的信息與整個(gè)樣本是一樣多。這樣損失的只是與這個(gè)特定性質(zhì)無關(guān)的信息。 1.3.2 常見的統(tǒng)計(jì)量1. 樣本矩設(shè)為總體X的一個(gè)樣本，稱統(tǒng)計(jì)量 (1.6)為樣本均值；稱 (1.7)為樣本方差；稱 (1.8)

11、 為樣本的k 階原點(diǎn)矩， ；稱 (1.9)為樣本的k 階中心矩， 。樣本均值就是樣本一階原點(diǎn)矩，樣本二階中心矩與樣本方差只相差一個(gè)倍數(shù)。直觀地，樣本均值集中反映了總體數(shù)學(xué)期望的信息，常用來推斷總體數(shù)學(xué)期望。樣本方差與二階中心矩集中反映了總體方差的信息,常用來推斷總體方差。2. 順序統(tǒng)計(jì)量設(shè)為總體X的樣本，為樣本觀測值，將樣本觀測值按從小到大的順序排列成 定義，它的觀測值就是，。不同的樣本觀測值就有不同的。因此，為隨機(jī)變量，它也是的函數(shù)，故它是一個(gè)統(tǒng)計(jì)量，我們稱它為第k順序統(tǒng)計(jì)量。稱為最小順序統(tǒng)計(jì)量，為最大順序統(tǒng)計(jì)量。顯然有稱 為樣本極差；稱為樣本中位數(shù)。樣本極差R是最大順序統(tǒng)計(jì)量與最小順序統(tǒng)計(jì)

12、量的函數(shù)，樣本中位數(shù)是把樣本分成大數(shù)部分與小數(shù)部分的分界線。它們分別反映了總體X的波動(dòng)性大小和總體平均值的信息。例1.3 設(shè)總體X為服從區(qū)間0，上的均勻分布，為X的樣本，求，的分布密度。解：因?yàn)閄為服從區(qū)間0，上的均勻分布，所以X的分布函數(shù)為的分布函數(shù) = (1.10)從而的密度函數(shù)為 (1.11)的分布函數(shù) (1.12) 的分布密度為 (1.13)1.3.3 充分統(tǒng)計(jì)量 我們先看一個(gè)例子例：某廠要了解其產(chǎn)品的不合格率p，檢驗(yàn)員檢查了10件產(chǎn)品，檢查結(jié)果是，除前二件是不合格品（記為）外，其它都是合格品（記為）。當(dāng)廠長問及檢查結(jié)果時(shí)檢驗(yàn)員可作如下兩種回答：1. 10件中有兩件不合格；2. 前兩件

13、不合格。這兩種回答反映了檢驗(yàn)員對(duì)樣本的兩種不同的加工方法。其所用的統(tǒng)計(jì)量分別為 顯然，第二種回答是不能令人滿意的，因?yàn)榻y(tǒng)計(jì)量不包含樣本中有關(guān)p的全部信息。而第一種回答是綜合了樣本中有關(guān)p的全部信息。因?yàn)闃颖咎峁┝藘煞N信息：（1） 10次檢驗(yàn)中不合格品出現(xiàn)了幾次；（2） 不合格品出現(xiàn)在哪幾次試驗(yàn)上。第二種信息（試驗(yàn)編號(hào)信息）對(duì)了解不合格品率p是沒有什么幫助的。譬如在另一次檢驗(yàn)中，最后兩個(gè)產(chǎn)品是不合格品，其它8件都是合格品。這兩個(gè)樣本觀測值是不同的，但對(duì)了解p是沒有什么區(qū)別的，它們提供有關(guān)p的信息是相同的。在很多實(shí)際問題中，試驗(yàn)編號(hào)信息常常對(duì)了解總體或者參數(shù)是無關(guān)緊要的，所以人們常常在試驗(yàn)前對(duì)樣本

14、進(jìn)行隨機(jī)編號(hào)。由此看來，由樣本提供的第二種信息對(duì)p來說是無關(guān)緊要的。統(tǒng)計(jì)量雖然沒有提供試驗(yàn)編號(hào)信息，但它把有關(guān)p的最重要的信息綜合出來了。基于的統(tǒng)計(jì)推斷就能得到正確的結(jié)論，而基于的統(tǒng)計(jì)推斷就能導(dǎo)致錯(cuò)誤的結(jié)論。直觀地說，充分統(tǒng)計(jì)量就是能把含在樣本中有關(guān)總體或者參數(shù)一點(diǎn)都不損失地提取出來?；蛘哒f充分統(tǒng)計(jì)量包含了有關(guān)總體或有關(guān)參數(shù)的全部信息。用這樣的統(tǒng)計(jì)量來推斷總體或者參數(shù)是非常合適的。下面給出充分統(tǒng)計(jì)的嚴(yán)格定義：定義1.3 設(shè)總體X的分布為一個(gè)含未知參數(shù)的分布族，是X的一個(gè)樣本。是一個(gè)統(tǒng)計(jì)量,對(duì)給定的t ，樣本 在的條件下的條件分布與參數(shù)無關(guān)，則稱統(tǒng)計(jì)量T是參數(shù)的充分統(tǒng)計(jì)量。由此定義立即可推出下面

15、的定理。定理1.1 設(shè)是參數(shù)的充分統(tǒng)計(jì)量，是單值可逆函數(shù)，則也是參數(shù)的充分統(tǒng)計(jì)量。證明：由于是單值可逆函數(shù)，所以事件“S=s ”與事件“T=t”是相等的，由此可推得此結(jié)論。例1.4 設(shè)是來自0-1分布 , 的一個(gè)簡單隨機(jī)樣本，其中，0<，則 是參數(shù)的充分統(tǒng)計(jì)量。事實(shí)上，統(tǒng)計(jì)量T的分布為二項(xiàng)分布 ，從而樣本的條件分布為=它不含參數(shù)了，因此是的充分統(tǒng)計(jì)量。當(dāng)總體為連續(xù)型總體時(shí)，充分統(tǒng)計(jì)量要用條件分布密度來描述。奈曼（J.Neyman）和哈爾斯（P.R.Halmos）在20世紀(jì)40年代提出并嚴(yán)格證明了一個(gè)判別充分統(tǒng)計(jì)量的方法：因子分解定理。定理1.2 （因子分解定理）設(shè)樣本的聯(lián)合分布為一個(gè)含未

16、知參數(shù)的分布族，則是一個(gè)充分統(tǒng)計(jì)量當(dāng)且僅當(dāng)存在這樣的兩個(gè)函數(shù)：1. 與無關(guān)的非負(fù)函數(shù)；2. 與有關(guān)，且僅與統(tǒng)計(jì)量T的值有關(guān)的非負(fù)函數(shù)使得 (1.13) 其中在離散總體的情況下表示樣本的分布列，在連續(xù)總體的情況下表示樣本的分布密度。 證明略。例1.5 設(shè)是來自分布,即它的分布密度為 , 的一個(gè)簡單隨機(jī)樣本，其中，則 是參數(shù)的充分統(tǒng)計(jì)量。為的充分統(tǒng)計(jì)量，其中。事實(shí)上，樣本的聯(lián)合分布密度為 如果令由因子分解定理知 是的充分統(tǒng)計(jì)量。§1.4抽樣分布統(tǒng)計(jì)量是樣本的函數(shù)，它是一個(gè)隨機(jī)變量，因而它有自己的分布，并且統(tǒng)計(jì)量的分布完全為樣本的分布確定。而當(dāng)樣本為簡單隨機(jī)樣本時(shí)，樣本的分布又由總體分布確

17、定。因此，當(dāng)總體分布已知時(shí)，可以求得統(tǒng)計(jì)量的分布。統(tǒng)計(jì)量的分布稱為抽樣分布。它是數(shù)理統(tǒng)計(jì)學(xué)中的基本問題之一。下面介紹幾個(gè)重要的分布以及抽樣分布定理。1.4.1 幾個(gè)重要的分布1 伽瑪分布（分布）定義1.4 如果連續(xù)型隨機(jī)變量X的密度函數(shù)為 (1.14)其中 (1.15)為函數(shù)，則稱X為服從參數(shù)是的伽瑪分布，記為。設(shè)，可以證明：對(duì)任意整數(shù)k，我們有 (1.16)從而有 (1.17)如果， ，并且X和Y相互獨(dú)立，容易求得 (1.18)2 卡方分布（分布）定義1.5 設(shè)為相互獨(dú)立的隨機(jī)變量，且均服從，則它們的平方和 (1.19) 也是一個(gè)隨機(jī)變量，它所服從的分布稱為自由度為n的分布，記為?？梢宰C明：

18、若，則的密度函數(shù)為 (1.20)的圖象如圖11所示 顯然，分布是分布的一種特殊情況，即，則，因此，由分布的性質(zhì)立即可得（1） (1.21)（2） 如果，并且X和Y相互獨(dú)立，容易求得 (1.22)例1.6 設(shè)隨機(jī)變量，即X的分布密度為求證：。證明：當(dāng)時(shí)，我們有 因此，的分布密度為即 。3t 分布 定義1.6 設(shè)，且X與Y相互獨(dú)立，記 (1.23)也是一個(gè)隨機(jī)變量，它所服從的分布稱為自由度為n的t分布，記為。 可以證明：若，則T的密度函數(shù)為 ； (1.24)的圖象如圖11所示 易見 為偶函數(shù)，當(dāng)時(shí) (1.25)它是服從標(biāo)準(zhǔn)柯西分布（Canchy），此時(shí)不存在數(shù)學(xué)期望與方差。當(dāng)n>2時(shí)，有 ，

19、 (1.26)當(dāng)時(shí)，有 = = =為標(biāo)準(zhǔn)正態(tài)分布的分布密度，即當(dāng)n充分大時(shí)，T近似服從標(biāo)準(zhǔn)正態(tài)分布。3 F分布定義 1.5：設(shè)如果，且X和Y相互獨(dú)立，記 (1.27)則稱F所服從的分布為自由度是m與n的F分布，記為 可以證明，若，則F的分布密度為： (1.28)的圖象如圖12所示 由定義1.5容易可得：若，則 (1.29)1.4.2. 分位數(shù)：定義1.6 設(shè)X為連續(xù)型隨機(jī)變量，其分布函數(shù)為 ，對(duì)，如果存在數(shù) 滿足 (1.30)則稱為此分布的分位數(shù)分位數(shù)的幾何意義如圖 所示分布、分布、分布、分布的分位數(shù)分別記作、。它們的值可以通過附表1、附表2、附表3、附表4 查得。由分布的特點(diǎn)容易得到如下性質(zhì)

20、：（1） ； (1.31)（2）當(dāng)n 足夠大時(shí)（一般n > 45）有近似公式 ， ； (1.32)（3） 。 (1.33)我們只證明(1.32)中第一式與(1.33)，其它結(jié)論留給讀者。設(shè)，由分位數(shù)及分布的性質(zhì)，我們有 故，即若，則由分布的性質(zhì)有，從而 由此得即例1.7 查表求下列分位數(shù)的值 解： 即樣本方差小于56.38時(shí)的概率為0.95。1.4.3 抽樣分布定理：下面介紹統(tǒng)計(jì)中常見到的統(tǒng)計(jì)量的分布。定理1.1 設(shè)總體，為X的一個(gè)簡單隨機(jī)樣本，為樣本均值與樣本方差，則有： 或 (1.34) (1.35) 與相互獨(dú)立； (1.36) 。 (1.37) 證明： 由于為n維正態(tài)隨機(jī)變量，而為

21、的線性組合，故 仍為正態(tài)隨機(jī)變量。而正態(tài)隨機(jī)變量完全由數(shù)學(xué)期望與方差確定，因此，只須求出與。容易求得 故 。將它標(biāo)準(zhǔn)化即得 和的證明涉及到更多的數(shù)學(xué)知識(shí)，在此略。有興趣的讀者可參考文獻(xiàn) 由和及t分布的定義，我們有定理1.2 設(shè)有兩個(gè)總體，。從兩個(gè)總體中分別獨(dú)立抽取容量為m，n的簡單隨機(jī)樣本，。記為樣本的樣本均值與方差，為樣本的樣本均值與方差，則 (1.38) (1.39) 若，則 (1.40)其中 (1.41)證明留給讀者。定理1.3 設(shè)總體X為任意總體，存在，為X的一個(gè)樣本，當(dāng)n充分大時(shí)（稱之為大樣本），有 (1.42) (1.43)例1.8 設(shè)總體，分別從X中抽取容量為10與15的兩個(gè)獨(dú)立樣本，求它們的均值差大于0.3的概率。解：設(shè)與分別表示容量為10與15的兩個(gè)樣本的均值，由定理1.1得 又由于與相互獨(dú)立，從而 故 因此 查標(biāo)準(zhǔn)正態(tài)分布表：，我們有例1.9 設(shè)是總