1、第五章第五章 大數(shù)定律與中心極限定理大數(shù)定律與中心極限定理 大數(shù)定律和中心極限定理是概率論中兩類極限定理大數(shù)定律和中心極限定理是概率論中兩類極限定理. 前者是前者是從理論上證明隨機(jī)現(xiàn)象的從理論上證明隨機(jī)現(xiàn)象的“頻率穩(wěn)定性頻率穩(wěn)定性”，并進(jìn)一步推廣到，并進(jìn)一步推廣到“算算術(shù)術(shù)平均值法則平均值法則”；而后者證明了獨(dú)立隨機(jī)變量標(biāo)準(zhǔn)化和極限分布是；而后者證明了獨(dú)立隨機(jī)變量標(biāo)準(zhǔn)化和極限分布是正態(tài)分布或近似正態(tài)分布問題，這兩類極限定理揭示了隨機(jī)變正態(tài)分布或近似正態(tài)分布問題，這兩類極限定理揭示了隨機(jī)變量的重要的統(tǒng)計規(guī)律，在理論和應(yīng)用上都有很重要的意義。量的重要的統(tǒng)計規(guī)律，在理論和應(yīng)用上都有很重要的意義。 5

2、.1 5.1 大數(shù)定律大數(shù)定律 一、契貝謝夫不等式一、契貝謝夫不等式 隨機(jī)變量的方差反映了其分布的分散程度，下面這個定理隨機(jī)變量的方差反映了其分布的分散程度，下面這個定理 將更精確地說明這點(diǎn)將更精確地說明這點(diǎn) 定理定理1(契貝謝夫不等式契貝謝夫不等式) 設(shè)設(shè)E(X) =，D(X)=2，則，則 對任意正數(shù)對任意正數(shù)，有，有22| XP221| XPdxxfxx)()(|22 這個不等式稱為這個不等式稱為契貝謝夫不等式契貝謝夫不等式，它也等價于，它也等價于 證明證明 （1）連續(xù)型隨機(jī)變量的情況）連續(xù)型隨機(jī)變量的情況 設(shè)設(shè)X 的概率密度函數(shù)為的概率密度函數(shù)為f(x)，則，則| XP |)(xdxxf

3、dxxfx)()(22 222)( XD（2）離散型隨機(jī)變量的情況）離散型隨機(jī)變量的情況設(shè)設(shè)X 的概率分布律為的概率分布律為), 2 , 1( kxXPpkk| XP |22|)(kkxkkxkpxp2222)(1 kkkpx 運(yùn)用契貝謝夫不等式，可以在運(yùn)用契貝謝夫不等式，可以在X 的分布未知的情況下，利用的分布未知的情況下，利用X 的期望和方差，對其在某個范圍內(nèi)取值的概率作出估計契貝的期望和方差，對其在某個范圍內(nèi)取值的概率作出估計契貝謝夫不等式在理論上和應(yīng)用中都有重要價值如在謝夫不等式在理論上和應(yīng)用中都有重要價值如在3原理中取原理中取 則可得：則可得：,3,2 75. 0412|22 XP9

4、8913|22 XP 例例1 某地區(qū)有某地區(qū)有10000盞電燈盞電燈, 每晚每盞電燈開燈的概率均為每晚每盞電燈開燈的概率均為0.7, 假定燈的開頭互相獨(dú)立假定燈的開頭互相獨(dú)立, 用契貝謝夫不等式估計每晚同時開用契貝謝夫不等式估計每晚同時開著的電燈數(shù)在著的電燈數(shù)在6800到到7200盞之間的概率盞之間的概率 解令解令X表示夜晚同時開著的電燈數(shù)，則表示夜晚同時開著的電燈數(shù)，則XB(10000,0.7), 這這時時E(X)= np=7000，D(X) = np(1p)=2100.由契貝謝夫不等式由契貝謝夫不等式可得估計可得估計72006800 XP200|7000| XP95. 0200210012

5、 事實(shí)上，這個估計還比較粗糙，實(shí)際此概率的精確值可由事實(shí)上，這個估計還比較粗糙，實(shí)際此概率的精確值可由伯努利公式求得為伯努利公式求得為0.99999可見，雖然契貝謝夫不等式可以可見，雖然契貝謝夫不等式可以用來估計概率，但精度不高，對某些分布，有更精確的估計用來估計概率，但精度不高，對某些分布，有更精確的估計但契貝謝夫不等式有它的普適性，它對于任何一階矩和二階矩存但契貝謝夫不等式有它的普適性，它對于任何一階矩和二階矩存在的隨機(jī)變量都成立，因此有著廣泛的應(yīng)用在證明大數(shù)定理中在的隨機(jī)變量都成立，因此有著廣泛的應(yīng)用在證明大數(shù)定理中契貝謝夫不等式有著重要的作用契貝謝夫不等式有著重要的作用 二、大數(shù)定律二

6、、大數(shù)定律 在第一章提到過事件發(fā)生的頻率具有穩(wěn)定性，即隨機(jī)事件在第一章提到過事件發(fā)生的頻率具有穩(wěn)定性，即隨機(jī)事件 在一次試驗(yàn)中發(fā)生與否雖然是偶然的，但隨著試驗(yàn)次數(shù)的增加，在一次試驗(yàn)中發(fā)生與否雖然是偶然的，但隨著試驗(yàn)次數(shù)的增加， 隨機(jī)事件發(fā)生的頻率逐漸穩(wěn)定在某個常數(shù)隨機(jī)事件發(fā)生的頻率逐漸穩(wěn)定在某個常數(shù)p 的附近，大數(shù)定律的附近，大數(shù)定律 就是這一規(guī)律的一個數(shù)學(xué)描述就是這一規(guī)律的一個數(shù)學(xué)描述 首先介紹依概率收斂的概念首先介紹依概率收斂的概念 設(shè)設(shè)X1, X2, , Xn, 是一個隨機(jī)變量序列，是一個隨機(jī)變量序列，A為一個常數(shù)，若為一個常數(shù)，若對任意給的對任意給的0，有，有. 1|lim AXPnn

7、則稱隨機(jī)變量序則稱隨機(jī)變量序列列X1, X2, , Xn, 依概率收斂依概率收斂于于A， 記作記作AXPn 依概率收斂的意思依概率收斂的意思是，當(dāng)是，當(dāng)n 無限增大時，對任意給的無限增大時，對任意給的0，事件事件|XnA|發(fā)生的概率無限地接近發(fā)生的概率無限地接近1,21nXXX,)( iiXE lXDi)(), 2 , 1( i1|11|lim11 niiniinnXnP定理定理2(契貝謝夫大數(shù)定律契貝謝夫大數(shù)定律) 設(shè)是相互獨(dú)立是相互獨(dú)立l是正常數(shù)，且是正常數(shù)，且, 0 則對任意的則對任意的有有的隨機(jī)變量序列，的隨機(jī)變量序列， niniiiniinXEnXnE1111)(1)1( nlnln

8、XDnXnDniinii 21211)(1)1()1(11|11|1211 niiniiniiXnDnXnP 21 nl 0 ，有，有所以由契貝謝夫不等式，對任意的所以由契貝謝夫不等式，對任意的又因?yàn)槿魏问录母怕识疾怀^又因?yàn)槿魏问录母怕识疾怀^1，所以，所以1|11|1112 niiniinXnPnl是相互獨(dú)立是相互獨(dú)立證明證明 由定理?xiàng)l件知由定理?xiàng)l件知于是由極限的夾逼準(zhǔn)則即得于是由極限的夾逼準(zhǔn)則即得 1|11|lim11 niiniinnXnP,21nXXX,)( iXE 2)( iXD)., 2 , 1( i1|1|lim1 niinXnP定理定理3(辛欽大數(shù)定律辛欽大數(shù)定律) 設(shè)設(shè)

9、隨機(jī)變量序列，且隨機(jī)變量序列，且則對任意的則對任意的, 0 有有是獨(dú)立同分布的是獨(dú)立同分布的 辛欽大數(shù)定律是契貝謝夫大數(shù)定律的特例。該定律表明：隨機(jī)辛欽大數(shù)定律是契貝謝夫大數(shù)定律的特例。該定律表明：隨機(jī)變量序列的算術(shù)平均值序列變量序列的算術(shù)平均值序列 niiXnX11依概率收斂于其期望值依概率收斂于其期望值 , 亦即亦即X近。因此本定理使得算術(shù)平均值法則有了理論依據(jù)。近。因此本定理使得算術(shù)平均值法則有了理論依據(jù)。 在統(tǒng)計上具有穩(wěn)定性，其取值較為緊密地聚集在其期望附在統(tǒng)計上具有穩(wěn)定性，其取值較為緊密地聚集在其期望附nXXX,21 niiXn121例例2 設(shè)隨機(jī)變量設(shè)隨機(jī)變量指數(shù)分布，證明指數(shù)分布

10、，證明.81依概率收斂于依概率收斂于獨(dú)立同服從參數(shù)為獨(dú)立同服從參數(shù)為4的的.161)(,41)( iiXDXE81)()()(22 iiiXEXDXE niiXn121證明證明 由題設(shè)知由題設(shè)知從而從而所以由辛欽大數(shù)定律知所以由辛欽大數(shù)定律知.81依概率收斂于依概率收斂于 定理定理4(伯努利大數(shù)定律伯努利大數(shù)定律)設(shè)設(shè)nA是是n 次獨(dú)立試驗(yàn)中事件次獨(dú)立試驗(yàn)中事件A 發(fā)生的發(fā)生的次數(shù)次數(shù), p(0p1）是一次試驗(yàn)中）是一次試驗(yàn)中A發(fā)生的概率，則對任意發(fā)生的概率，則對任意0有有1lim pnnPAn221|XP 證明證明 令令Xi表示表示“第第i 次試驗(yàn)中次試驗(yàn)中A發(fā)生的次數(shù)發(fā)生的次數(shù)”(i=1,

11、 2, ), 則則Xi服從兩點(diǎn)分布，且服從兩點(diǎn)分布，且PXi=1=p，PXi=0=1 p，EXi= p，DXi= p(1p) (i=1, 2, ), 那么那么X1, X2, , Xn, 相互獨(dú)立，且有相互獨(dú)立，且有 nA= X1X2Xn， niiAXnnn111|1|lim31 niinXnP：由由定定理理1|lim pnnPAn也也就就是是nnA,001. 0 p 伯努利大數(shù)定律是辛欽大數(shù)定律的特殊情況，它表明在大量伯努利大數(shù)定律是辛欽大數(shù)定律的特殊情況，它表明在大量重復(fù)的獨(dú)立試驗(yàn)中，事件重復(fù)的獨(dú)立試驗(yàn)中，事件A發(fā)生的頻率發(fā)生的頻率依概率收斂于事件依概率收斂于事件A發(fā)生的概率發(fā)生的概率 p.

12、如果事件如果事件A在每次試驗(yàn)中發(fā)生的概率很小，則由伯努利大數(shù)定在每次試驗(yàn)中發(fā)生的概率很小，則由伯努利大數(shù)定律事件律事件A 發(fā)生的頻率也很小，即在發(fā)生的頻率也很小，即在 n次試驗(yàn)中事件次試驗(yàn)中事件A 發(fā)生的次數(shù)發(fā)生的次數(shù)很少。例如很少。例如則在則在1000次試驗(yàn)中只能希望事件次試驗(yàn)中只能希望事件A 發(fā)生發(fā)生1次次.該定理以嚴(yán)格的數(shù)學(xué)形式表述了頻率的穩(wěn)定性。該定理以嚴(yán)格的數(shù)學(xué)形式表述了頻率的穩(wěn)定性。 在實(shí)際當(dāng)中，概率很小的事件在一次試驗(yàn)中幾乎不可能發(fā)生。在實(shí)際當(dāng)中，概率很小的事件在一次試驗(yàn)中幾乎不可能發(fā)生。 因此，常常忽略那些概率很小的事件發(fā)生的可能性。這就是數(shù)理因此，常常忽略那些概率很小的事件發(fā)生的可能性。這就是數(shù)理 統(tǒng)計中常用的統(tǒng)計中常用的“小概率原理小概率原理”，至于，至于“小概率小概率”小到什么程度才小到什么程度才能看能看 作實(shí)際上不可能發(fā)生，要視具體問題的要求和性質(zhì)而定。例如自作實(shí)際上不可能發(fā)生，要視具體問題的要求和性質(zhì)而定。例