1、概率論(續(xù)）哎 念Ns巷5 m 導(dǎo)/今叨ll/lI”“l(fā)”“ 1第五章 大數(shù)定律和中心極限定理關(guān)鍵詞：契比雪夫不等式大數(shù)定律中心極限定理21 大數(shù)定律(laws of large numbers)背景本章的大數(shù)定律，對第一章中提出的“頻率穩(wěn)定性”，給出理論上的論證為了證明大數(shù)定理，先介紹一個(gè)重要不等式3定理5.1(契比雪夫不等式)：設(shè)隨量X 具有數(shù)學(xué)期望E ( X ) = m, 方差D ( X ) = s 2 則對于任意e 0, 都有：P定理的等價(jià)形式為：P X - m證明：(僅就X為連續(xù)型時(shí)證之 e 1- se 2( x - m )2則 P X - mf (x) e =x-m ef ( x)

2、dx2ex-m ef ( x) dx- 1 e 2+ ( x - m )2m -emm + e= D ( X )4例1：在n重貝努里試驗(yàn)中，若已知每次試驗(yàn)A出現(xiàn)的概率為0.75，試?yán)闷醣妊┓虿坏仁?(1)若n=7500,估計(jì)A出現(xiàn)的頻率在0.74至0.76之間的概率至少有多大；（2）估計(jì)n, 使A出現(xiàn)的頻率在0.74至0.76之間的概率不小于0.90。解：設(shè)在n重貝努里試驗(yàn)中，的次數(shù)為X則X b (nE ( X ) = np= 0.75n, D ( X又 fn( A)(1) n= 7500,P0.74 X 0.76=P X- 0.75n 0.01n 1-0.1875n= 1-1875(2)P

3、0.74 Xn 0.76=P X- 0.75n 0，有： lim PYn - m e = lim P 1 X- m e = 1.nkn1nn n k =1n即， Xkk =1Pm. 1n證明：由于E (Yn ) = ED (Y) = D 1 nX = 1nD ( X) = 1 ns 2nnk =1k n2 1k =1nkn2s 2 n由契比雪夫不等式得：P n Xk - m e 1-e 2k =1n lim P 1 X- m 0,均有：lim PYnn+- a 0，有： 1n lim PYn - m e = lim P Xk - m 0, 有：lim P nA - p 0, 有P nA n n

4、nn即得：lim P nAn+大數(shù)定律的重要意義：貝努里大數(shù)定律建立了在大量重復(fù)獨(dú)立試驗(yàn)中出現(xiàn)頻率的穩(wěn)定性，正因?yàn)檫@種穩(wěn)定性，概率的概念才有客觀意義，貝努里大數(shù)定律還提供了通過試驗(yàn)來確定概率的方法，既然頻率nA/n 與概率p有較大偏差的可能性很小，我們便可以通過做試驗(yàn)確定某發(fā)生的頻率并把它作為相應(yīng)的概率估計(jì)，這種方法即是在第7章將要介紹的參數(shù)估計(jì)法，參數(shù)估計(jì)的重要理論基礎(chǔ)之一就 12是大數(shù)定理。2 中心極限定理(Central Limit Theorem)背景：有許多隨 量，它們是由大量的相互獨(dú)立的隨 量的綜合影響所形成的，而其中每個(gè)個(gè)別的因素作用都很小，這種隨 量往往服從或近似服從正態(tài)分布，

5、或者說它的極限分布是正態(tài)分布，中心極限定理正是從數(shù)學(xué)上論證了這一現(xiàn)象，它在長達(dá)兩個(gè)世紀(jì)的時(shí)期內(nèi)曾是概率論研究的中心課題。13定理5.5(獨(dú)立同分布的設(shè)隨量X1 , X 2 , Xn ,相互獨(dú)立同分布，E ( Xi ) = m, D ( Xi思考題：X = 1nn i=1Xi的近似則前n個(gè)變量的和的標(biāo)準(zhǔn)化變量X-ni分布是什么？x R, 有： lim P (Y x) = lim P i=1 xn+nn+ns證明略。ns 2n此定理表明，當(dāng)n充分大時(shí)，Yn近似服從N (0,1).i=1i2s),（近似）N (nm, nX：)答案：N (m,即nsX b) F( ) - F( ).i=1nnm- a

6、 nm- b nsi，P(a 從而14定理5.6(德莫佛-拉普拉斯定理)P (a nA b) F( b - nnp則 X1 , X 2 , Xn ,相互獨(dú)立同分布,Xi b(1,p).-F(由于nA = X1 + X 2 +Xn ,n- npb1- t2由定理5.5,lim P a 1920) = 1- P ( X 1920) 1- F1920 -1600400= 1- F(0.8) = 0.211916例4：某保險(xiǎn)公司的老年人壽保險(xiǎn)有1萬人參加，每人每年交200元, 若老人在該年內(nèi)死亡，公司付給受益人1萬元。設(shè)老年人死亡率為0.017，試求保險(xiǎn)公司在一年內(nèi)這項(xiàng)保險(xiǎn)虧本的概率。解：設(shè)X為一年中

7、投保老人的死亡數(shù)，則X b (n, p), n = 10000, p = 0.017由德莫佛-拉普拉斯中心極限定理，保險(xiǎn)公司虧本的概率為P (10000 X 10= P ( X 200)思考題：- F 200 - np1求保險(xiǎn)公司至少盈利10萬元的概率。np (1- p) = 1- F(2.32答案：017例5：設(shè)某工廠有400臺同類機(jī)器，各臺機(jī)器發(fā)生故障的概率都是0.02，各臺機(jī)器工作是相互獨(dú)立的，試求機(jī)器出故障的臺數(shù)不小于2的概率。解：設(shè)機(jī)器出故障的臺數(shù)為X,則X b (4001. 用二項(xiàng)分布計(jì)算P ( X 2) = 1- P ( X= 0) - P ( X= 1) = 1- 0.9840

8、0 - 400 0.02 0.98399= 0.99722. 用泊松分布近似計(jì)算l = np = 400 0.02 = 8 ,P ( X 2) = 1- P ( X= 0) - P ( X= 1) 1- 0.000335 - 0.002684 0.9969.3. 用正態(tài)分布近似計(jì)算npq =400 0.02 0.98= 2.8P ( X 2) = 1- P( X 1) 1- F 1- np npq()18= F 7= 0.99382.8例6：設(shè)隨量X1 , X 20 , 相互獨(dú)立同分布，X1 U (-1, 1)。分別求1120120202（1） Xk，（2） Xk ，（3） Xk 的近似分布。

9、20 k =120 k =120 k =11120120202解：由中心極限定理， Xk， Xk ， Xk 均近似服從正態(tài)分布。20 k =120 k =120 k =1因?yàn)?，E( XD( X) = 4= 1 ,20近似1112320XE( X1) = 1 ,2D( X1 ) =E( X 2 ) -E(X)2= 1 ,1112 1 20X近似11 )20 k =1kN (,2 240E( X 2 ) = 1 ,D( X 2 ) =E( X 4 ) -E( X 2 )2= 1 - 1 =4 ,131115945 1 n2 近似11Xkn k =1 N (,)。3 22519例7：（例1續(xù)）在n重

10、貝努里試驗(yàn)中，若已知每次試驗(yàn)A出現(xiàn)的概率為0.75，試?yán)弥行臉O限定理, (1)若n=7500,估計(jì)A出現(xiàn)的頻率在0.74至0.76之間 的概率近似值；（2）估計(jì)n,使A出現(xiàn)的頻率在0.74 至0.76之間的概率不小于0.90。解：設(shè)在n重貝努里試驗(yàn)中，的次數(shù)為X則X b (nE ( X ) = np= 0.75n, D ( X(1) n= 7500, P0.7X F(0.76n - 0.75n) - F(0.74n - 0.75n)= 2F( 0.04n ) -1 = 20.1875n0.1875n(2)P0.74 X 0.76 F(0.76n - 0.75n ) - F(0.74n - 0

11、.75n )n0.1875n0.1875n 2F( 0.04n ) -1 0.9, F( 0.04n契比雪夫0.04 n33 1.645,n (251.645)2 3 = 5074不等式估計(jì)20n 18750。例1(用Chebyshev不等式的結(jié)果)解：設(shè)在n重貝努里試驗(yàn)中，的次數(shù)為X則X b (nE ( X ) = np= 0.75n, D ( X又 fn( A)(1) n= 7500,P0.74 X 0.76=P X- 0.75n 0.01n 1-0.1875n= 1-1875(2)P0.74 Xn 0.76=P X- 0.75n 0.01n 1-0.1875n(0.01n)2= 1- 1

12、875n 0.90 n 1875021大數(shù)定律與中心極限定理的區(qū)別與聯(lián)系：設(shè) X為獨(dú)立同分布隨量序列，則由 定理5.2(契比雪夫不等式的特殊情形)對任意的0有l(wèi)im 1PnXi - m e= 1n n i=1大數(shù)定律雖并未給出P 1nX- m e的表達(dá)式,但保證了其極限是1. n ii=1而在以上條件下，中心極限定理（林德伯格萊維）亦成立，這時(shí)，對于任意的0及某固定的n，有 nX - nm 1ine ne P Xi - m e = P i=1 0) 的指數(shù)分布, ( X1 , X 2 ,L, Xn ) 是來自總體的樣本,求樣本( X1 , X 2 ,L, Xn ) 的概率密度.le-l x ,

13、x 0解 總體X 的概率密度為f (x)= 0,x 0因?yàn)閄1 ,X2 ,L, X相互獨(dú)立, 且所以 (X1 ,X 2 , Xn)的聯(lián)合概率密度為f(x , x, x) = f (x-l) = l nexini=1,x 0, i= 1, 2, nn12nini=1i0,其它33例設(shè)總體 X服從兩點(diǎn)分布b(1,p),其中0 p 1,( X1,X 2 ,Xn )是來自總體的樣本,求樣本( X1,X 2 , Xn ) 的分布律.解 總體X 的分布f (x) =PX= x = px因?yàn)閄1 , X,L, X且與X 有相同的分布,所以 (X1 ,X 2 , Xn) 的聯(lián)合分布律為34fn (x1,x2

14、,xn ) =PX1= x1, X 2= x2 , Xn= xn = PX1n= x1P X 2= x2PX n= xn = fi=1( xi )nnxi= p i=1(1-n-xip) i=1, xi= 0,1, i= 1, 2, n即，其中x1,x2 , xn在集合0,1中取值35 統(tǒng)計(jì)量說明：（1） 統(tǒng)計(jì)量可以僅從其解析式上判斷；（2） 統(tǒng)計(jì)量仍然為一隨量；（3） 統(tǒng)計(jì)量的分布（稱為抽樣分布）一般與總體分布有關(guān)， 即，可以依賴未知參數(shù)；（4） 若（x1,x2 ,xn）為樣本（X1,X2 ,Xn）的觀察值，則g（x1,x2 ,xn）為g（X1,X2 ,Xn）的觀察值，稱之為統(tǒng)計(jì)量的值。36

15、（當(dāng)樣本的值給定，統(tǒng)計(jì)量的值也確定了）123思考題：設(shè)在總體N (m,s 2 )中抽取樣本( X , X , X ), 其中m已知，s 2未知 指出在 (1)( 4)X1 + X 2 + X3 1 3X 2s 2(2)X 2 + 2m(3) m答：只有(4)不是統(tǒng)計(jì)量。37 常用統(tǒng)計(jì)量：設(shè)（X1,X2,Xn）為取自總體X的樣本n1. 樣本均值2. 樣本方差S 2 = 1 n( X- X )2 , S為樣本標(biāo)準(zhǔn)差n -1ii=1n3. 樣本矩k階矩：A= 1 X k(k = 1, 2,)nkii=1nk階中心矩：B= 1 (X- X )k(k = 2,)nkii=1當(dāng)獲得樣本X1, X n的觀察

16、值x1, xn后，上述統(tǒng)計(jì)量的觀察值記為nnx = 1 x ，s2 = 1(x - x )2，n i=1in -1ii=1nnna= 1 xk，(k = 1, 2,)， b= 1 (x - x )k，(k = 2,)38kikni i=1i=1性質(zhì)若總體X 的k 階矩E( X k ) 記成mk 存在,則當(dāng)n 時(shí), APm, =k1, 2,.kk證明 因?yàn)閄1 , X2 ,L, Xn獨(dú)立且與X同分布,所以 X k , X k ,L, X k 獨(dú)立且與X k 同分布,12n故有E(X k ) = E(X k ) = E(X k ) = E(X k ) = m .12nk再根據(jù)第五章辛理知39nnA

17、= 1 X k Pm,=kk1, 2,;iki=1由第五章關(guān)于依概率收斂的序列的性質(zhì)知其中g(shù) 是連續(xù)函數(shù).以上結(jié)論是下一章所要介紹的矩估計(jì)法的理論根據(jù).40mss 22n2(1- x),0 x 1,例2 設(shè)總體X的概率密度為f(x) = n0,其它X1 , X2 ,., X 是總體X的樣本，則E( X ) =1,1+ 113E( X 2 ) =1_8_n9_, E(S 2 )= 18 .解：E( X ) =0 2x(1- x)dx = 3 ,E( X 2 ) =1 2x2 (1- x)dx = 1 ,1106D( X )=1 ,41182 常用的分布c 2分布定義：設(shè)隨量X1, X 2 ,nX

18、 n相互獨(dú)立，Xi N (0,1) (i= 1, 2, n) 則稱 c 2 = X 2(1nii=1 服從自由度為n的c 2分布，記為c 2 c 2 (n) 自由度指(1)式右端包含的獨(dú)立變量的個(gè)數(shù).說明：若隨量K c 2 (n)，那么一定存在相互獨(dú)立的 隨量X1,X 2 ,X n，X i N (0,1)(i= 1, 2, n) , 使得K可以表示為 K =242nXii=1n定理6.1：c 2 (n)分布的概率密度為：f 1( y ) = 2n 2n-1 y 2 其中f (x)n =n =n =x0c 2分布的概率43c 2分布的一些重要性質(zhì)1.設(shè)c 2 c 2 (n),則有E (c 2 )

19、 =n, D (c 2 ) = 2n2.設(shè)Y c 2 (n ),Y c 2 (n),且Y ,Y相互獨(dú)立112212 則有Y + Y c 2 (n+ n)1212性質(zhì)2稱為c 2分布的可加性，可推廣到有限個(gè)的情形設(shè)Y c 2 (n ),且Y ,Ym,Y 相互ii1244分布的分位點(diǎn)定義 設(shè)有分布函數(shù) F對給定的a (0 a xa) = a(*)則稱點(diǎn)xa 為F (x)的上a分位點(diǎn)當(dāng) F有密度函數(shù)f時(shí)，式（*）可寫成P(X xa ) =+ f (x)dx = axa(*)由上述定義得 c 2分布的上a 分位點(diǎn)為P(c 2 c 2 (n)=+ac (n )2af (y)dy = a45f (x)a0

20、ac 2 (n)xc 2分布的上a分位數(shù)46例1：設(shè)總體X N (m,s 2 ), m,s 2n已知。( X1, X 2 , Xn )是取自總體X的樣本 求(1)統(tǒng)計(jì)量 c 2= 1 ( X - m)2 的分布；s 2 i=1i12345 （2）設(shè)n = 5,若a(X- X )2 + b(2 X- X- X )2 則a, b, k各為多少？ c 2 (k ),n1顯然Y1,Y2 ,Yn相互獨(dú)立，且Y于是 c 2= ( Xi - m2na = 2s 2 ,(2)X1 - X 2 N (0, 2s2 ),( X- X )2122s 2 c 2(1)b =1, 6s 22X3 - X 4- X5 N

21、 (0, 6s 2(2X- X-2k = 2.X1 - X 2與2X3 - X 4 - X5相互獨(dú)立，( X- X )2(2X- X- X )22故 12 345 c(2)472s 26s 2t -分布定義：設(shè)X N則稱隨(0,1) ,Y c 2 (n) ,并且X,Y相互獨(dú)立， 記為TYn t (n).t分布又稱為學(xué)生氏（Student）分布。說明：若隨量T t (n)，那么一定存在隨量X N (0,1)， Y c 2 (n) ,并且X,Y相互獨(dú)立， T = XYn48G( n+1 )t - n+1定理6.2：t (n)分布的概率密度為：f(t, n) =221+2, - t 2時(shí)，有(2.

22、當(dāng)n足夠大時(shí)，t分布近似于標(biāo)準(zhǔn)正態(tài)分布N(0,1);3. 若Tt(n), NN (0,1).則對任意的n 1,都存在a0 0,使得P(| T| a0 ) P(| N| a0 ).4.t1-a(n)= -ta(n)50f ( x)at1-a (n)= -ta (n)0ta(n)xt分布的上a分位數(shù)51F分布定義：設(shè)X c 2 (n ),Y c 2 (n),且X ,Y 獨(dú)立，12 則稱隨 F分布，記為FX / n Y / n2 F (n1 , n2 )； 其中n1稱為第一自由度，n2稱為第二自由度.說明：若隨量F F (n1, n2 )，那么一定存在隨量 X c 2 (n ),Y c 2 (n)，

23、并且X,Y 相互獨(dú)立，使得F12 可以表示為 F= X / n1 .Y / n252f ( x)n1 = 20, n2 = n1 = 20, n2= 25n1 = 20, n012xF分布的密度函數(shù)53F分布的一些重要性質(zhì)1. F F(n , n),則F-1F(n, n );12212. F(n , n) = 1.1-a12Fa (n2 , n1 )54 對于給定的a , 0 aa21F(n , n ) = F (n , n )-1為F (n1, n2 )分布的 za = a, 0 a 1 則稱點(diǎn)za為標(biāo)準(zhǔn)正態(tài)分布的上a分位數(shù)。z1-a= -zaaz56分布的分位點(diǎn)定義 設(shè)有分布函數(shù) F對給定

24、的a (0 a xa) = a(*)則稱點(diǎn)xa 為F (x)的上a分位點(diǎn)當(dāng) F有密度函數(shù)f時(shí)，式（*）可寫成P(X xa ) =+ f (x)dx = axa(*)常用的有：Za ; c 2 (n);t(n); F(n , n )aaa12(結(jié)合附表25)57正態(tài)總體樣本均值和方差的分布12n定理6.4：設(shè)( X , X , X )是總體N (m,s 2 )的樣X , S 2分別是樣本均值和樣本方s 2 1n 221. X N m,n注：2即s 2( Xii=1- X ) c(n -1);2.(n -而 1 s 2( Xi - m)cn22i=11n定理6.5：設(shè)( X , X)是總體N (m

25、,s 2 )的樣本，X 和S 2分別是樣本 均值和樣本方差，則有：n ( XS- m ) t (n -1)n ( X- m )證明：由定理6.4 X - m(n -1) S 2知， ()N0,1 ,c 2 (n -1),s /ns 2且兩者獨(dú)立，由t分布定義得： X - m(n -1) S 2n ( X- m )s /ns 2(n -1) =S t (n -1)58定理6.6：設(shè)樣本( X, X)和(Y ,Y)分別來自總體N (m ,s 2 )和N (m ,s 2 )1n11n2112212 并且它們相互獨(dú)立，其樣本方差分別為S 2 , S 2 ,s 2 S 2S 2s 2則：1F = 21

26、= 1 1 F (n1 -1, n2 -1)s 2 S 2S 2s 21222( X - Y ) - (m1 - m2 )2 N (0,1),s 2s 2 1 + 2 n1n2( X - Y ) - (m1 - m2 )3當(dāng)s2 = s 2 = s 2時(shí)， t (n + n- 2)12S 1wn1+ 1n212n1 n2 其中S 2(n -1) S 2 + (n -1) S 2( Xi i=1- X )2 + (Yjj =1- Y )2,1122=wn + n - 2n + n - 2 S=S 21212ww59s 2 S 2S 2s 21F = 21 = 1 1 F (n1 -1, n2-1

27、)sSSs22221222(n-1) S 2(n-1) S 2證明：(1) 由定理6.4知， 11 c 2 (n -1),22 c 2 (n-1)s 21s 2212且兩者獨(dú)立，由F分布的定義，有(n -1) S 211(n-1)s 21s 2 S 2 1= 21 F (n1 -1, n2-1)(n-1) S 2s 2 S 2s22(n-1)1222260( X - Y ) - (m1 - m2 )2 N (0,1)s 2s 2 1 + 2 n1n2(2)由定理6.4, X2 s N (m1, 1 ), Y n12 sN (m2 , 2 ),且X 與Y 相互獨(dú)立，n2s 2s 2所以X - Y N (m1 - m2 , 1 + 2 )n1n2ss即( X - Y ) - (m1 - m2 ) 22 1613當(dāng)s 2 = s2 = s 2時(shí)，(3)當(dāng)s 2 =s 2 =s 2時(shí) 121( X- Y ) -(m1 - m2 ) t (n1 + n2 - 2)( X - Y )