概率理論復(fù)習(xí)概要概率論基礎(chǔ)知識(shí)體系總結(jié)從基本概念到統(tǒng)計(jì)推斷的全面梳理適用于期末復(fù)習(xí)與考試準(zhǔn)備課程大綱概率論基本概念隨機(jī)試驗(yàn)與事件隨機(jī)變量及分布離散型與連續(xù)型多維隨機(jī)變量聯(lián)合分布與邊緣分布數(shù)字特征期望與方差極限定理大數(shù)定律與中心極限定理統(tǒng)計(jì)推斷基礎(chǔ)估計(jì)與假設(shè)檢驗(yàn)第一部分：概率論的基本概念概率公理數(shù)學(xué)基礎(chǔ)概率計(jì)算條件概率與全概率公式隨機(jī)試驗(yàn)樣本空間與隨機(jī)事件隨機(jī)試驗(yàn)隨機(jī)試驗(yàn)定義可重復(fù)結(jié)果不確定所有可能結(jié)果已知樣本空間與樣本點(diǎn)所有可能結(jié)果的集合每個(gè)可能結(jié)果是樣本點(diǎn)隨機(jī)事件樣本空間的子集基本事件與復(fù)合事件事件關(guān)系與運(yùn)算包含關(guān)系A(chǔ)?B表示A是B的子事件并集A∪B表示事件A或B發(fā)生交集A∩B表示事件A和B同時(shí)發(fā)生對(duì)立ā表示事件A不發(fā)生概率的公理化定義公理一對(duì)任意事件A，P(A)≥0公理二對(duì)樣本空間S，P(S)=1公理三對(duì)互不相容事件，P(A∪B)=P(A)+P(B)條件概率條件概率定義P(A|B)=P(A∩B)/P(B)，P(B)>0乘法定理P(A∩B)=P(B)P(A|B)=P(A)P(B|A)全概率公式P(A)=∑P(B_i)P(A|B_i)貝葉斯公式公式表達(dá)P(B_i|A)=P(B_i)P(A|B_i)/P(A)先驗(yàn)與后驗(yàn)先驗(yàn)P(B_i)→后驗(yàn)P(B_i|A)應(yīng)用實(shí)例醫(yī)學(xué)診斷、垃圾郵件過濾事件的獨(dú)立性獨(dú)立性定義P(A∩B)=P(A)P(B)P(A|B)=P(A)相互獨(dú)立：事件之間無影響多事件獨(dú)立性兩兩獨(dú)立≠相互獨(dú)立n個(gè)事件獨(dú)立：任意組合乘積等于概率乘積獨(dú)立重復(fù)試驗(yàn)伯努利試驗(yàn)?zāi)Ｐ兔看卧囼?yàn)條件不變?cè)囼?yàn)結(jié)果相互獨(dú)立第二部分：隨機(jī)變量及其分布隨機(jī)變量的概念隨機(jī)變量定義樣本空間到實(shí)數(shù)集的映射函數(shù)離散型隨機(jī)變量取值有限或可數(shù)無限連續(xù)型隨機(jī)變量取值不可數(shù)無限混合型隨機(jī)變量離散與連續(xù)特性并存分布函數(shù)定義F(x)=P(X≤x)描述隨機(jī)變量的概率分布特征性質(zhì)單調(diào)非減右連續(xù)極限：F(-∞)=0，F(xiàn)(+∞)=1離散與連續(xù)離散：階梯函數(shù)連續(xù)：光滑曲線離散型隨機(jī)變量概率質(zhì)量函數(shù)p(x_i)=P(X=x_i)分布列列表所有可能值及其概率分布函數(shù)F(x)=∑_{x_i≤x}p(x_i)概率計(jì)算P(a伯努利試驗(yàn)與二項(xiàng)分布成功次數(shù)概率二項(xiàng)分布B(6,0.5)的概率質(zhì)量函數(shù)泊松分布λ參數(shù)單位時(shí)間內(nèi)平均發(fā)生次數(shù)λ期望E(X)=λλ方差D(X)=λ概率質(zhì)量函數(shù)：P(X=k)=e^(-λ)λ^k/k!幾何分布與負(fù)二項(xiàng)分布幾何分布X~Geo(p)首次成功所需試驗(yàn)次數(shù)P(X=k)=(1-p)^(k-1)pE(X)=1/pD(X)=(1-p)/p^2負(fù)二項(xiàng)分布X~NB(r,p)r次成功所需試驗(yàn)次數(shù)E(X)=r/pD(X)=r(1-p)/p^2無記憶性P(X>m+n|X>m)=P(X>n)幾何分布是唯一具有無記憶性的離散分布超幾何分布有限總體N個(gè)物品，其中M個(gè)為特征A不放回抽樣抽取n個(gè)抽中特征A個(gè)數(shù)X~H(N,M,n)概率質(zhì)量函數(shù)：P(X=k)=C(M,k)C(N-M,n-k)/C(N,n)連續(xù)型隨機(jī)變量概率密度函數(shù)f(x)≥0且∫f(x)dx=12分布函數(shù)F(x)=∫_{-∞}^{x}f(t)dt概率計(jì)算P(a均勻分布1/(b-a)概率密度區(qū)間[a,b]上常數(shù)值(a+b)/2期望區(qū)間中點(diǎn)(b-a)2/12方差與區(qū)間長(zhǎng)度相關(guān)F(x)=(x-a)/(b-a)，a≤x≤b指數(shù)分布參數(shù)λλ>0，表示率參數(shù)密度函數(shù)f(x)=λe^(-λx)，x>02無記憶性P(X>s+t|X>s)=P(X>t)與泊松過程關(guān)系事件間隔時(shí)間服從指數(shù)分布正態(tài)分布標(biāo)準(zhǔn)正態(tài)分布Z~N(0,1)一般正態(tài)分布X~N(μ,σ2)密度函數(shù)f(x)=(1/σ√2π)e^(-(x-μ)2/2σ2)標(biāo)準(zhǔn)化Z=(X-μ)/σ正態(tài)分布的性質(zhì)對(duì)稱性關(guān)于x=μ對(duì)稱3σ原則P(|X-μ|<3σ)≈0.9973標(biāo)準(zhǔn)正態(tài)表查表計(jì)算概率線性變換aX+b~N(aμ+b,a2σ2)其他重要分布伽馬分布Γ(α,λ)：等待α個(gè)事件發(fā)生的時(shí)間卡方分布χ2(n)：n個(gè)標(biāo)準(zhǔn)正態(tài)隨機(jī)變量平方和t分布與F分布與正態(tài)總體統(tǒng)計(jì)推斷相關(guān)第三部分：多維隨機(jī)變量1聯(lián)合分布完整描述多維隨機(jī)變量概率結(jié)構(gòu)邊緣分布單個(gè)變量的分布條件分布一個(gè)變量在給定另一個(gè)變量下的分布獨(dú)立性變量間相互無影響二維隨機(jī)變量聯(lián)合分布函數(shù)F(x,y)=P(X≤x,Y≤y)完整描述兩個(gè)隨機(jī)變量的概率關(guān)系邊緣分布F_X(x)=F(x,+∞)F_Y(y)=F(+∞,y)條件分布在一個(gè)變量取特定值條件下另一個(gè)變量的分布獨(dú)立性判定F(x,y)=F_X(x)F_Y(y)條件分布等于邊緣分布離散型二維隨機(jī)變量聯(lián)合概率p(x_i,y_j)=P(X=x_i,Y=y_j)邊緣分布p_X(x_i)=∑_jp(x_i,y_j)條件分布p(x_i|y_j)=p(x_i,y_j)/p_Y(y_j)獨(dú)立性p(x_i,y_j)=p_X(x_i)p_Y(y_j)連續(xù)型二維隨機(jī)變量聯(lián)合密度函數(shù)f(x,y)≥0且∫∫f(x,y)dxdy=1邊緣密度函數(shù)f_X(x)=∫f(x,y)dy條件密度函數(shù)f(x|y)=f(x,y)/f_Y(y)獨(dú)立性判定f(x,y)=f_X(x)f_Y(y)二維正態(tài)分布參數(shù)均值向量(μ_1,μ_2)和協(xié)方差矩陣邊緣分布X~N(μ_1,σ_12)，Y~N(μ_2,σ_22)條件分布仍為正態(tài)分布獨(dú)立與不相關(guān)ρ=0?不相關(guān)?獨(dú)立隨機(jī)變量的函數(shù)分布函數(shù)法Y=g(X)F_Y(y)=P(Y≤y)=P(g(X)≤y)密度函數(shù)法f_Y(y)=f_X(g^(-1)(y))|dg^(-1)/dy|矩生成函數(shù)法M_Y(t)=E(e^(tY))=E(e^(tg(X)))二維隨機(jī)變量的函數(shù)和與差Z=X+Y或Z=X-Y乘積與商Z=XY或Z=X/Y最大值與最小值Z=max(X,Y)或Z=min(X,Y)變量替換雅可比行列式方法第四部分：隨機(jī)變量的數(shù)字特征期望值離散型隨機(jī)變量期望E(X)=∑x_ip(x_i)加權(quán)平均值連續(xù)型隨機(jī)變量期望E(X)=∫xf(x)dx偏心矩期望的性質(zhì)線性性：E(aX+bY)=aE(X)+bE(Y)獨(dú)立時(shí)：E(XY)=E(X)E(Y)隨機(jī)變量函數(shù)的期望E(g(X))=∑g(x_i)p(x_i)或∫g(x)f(x)dx方差與標(biāo)準(zhǔn)差方差定義D(X)=E[(X-E(X))2]計(jì)算公式D(X)=E(X2)-[E(X)]2線性變換性質(zhì)D(aX+b)=a2D(X)切比雪夫不等式P(|X-μ|≥ε)≤σ2/ε2矩與中心矩k階原點(diǎn)矩E(X^k)k階中心矩E[(X-E(X))^k]偏度E[(X-μ)3]/σ3（分布偏斜度）峰度E[(X-μ)?]/σ?（尾部厚度）協(xié)方差與相關(guān)系數(shù)協(xié)方差定義Cov(X,Y)=E[(X-E(X))(Y-E(Y))]計(jì)算公式Cov(X,Y)=E(XY)-E(X)E(Y)3相關(guān)系數(shù)ρ=Cov(X,Y)/(σ_Xσ_Y)矩生成函數(shù)1定義M_X(t)=E(e^(tX))求矩E(X^k)=M_X^(k)(0)唯一確定分布不同分布有不同矩生成函數(shù)和的矩生成函數(shù)M_{X+Y}(t)=M_X(t)M_Y(t)（獨(dú)立時(shí)）特征函數(shù)定義φ_X(t)=E(e^(itX))矩生成函數(shù)的復(fù)數(shù)版本性質(zhì)|φ_X(t)|≤1φ_X(0)=1φ_X(-t)=φ?_X(t)應(yīng)用標(biāo)準(zhǔn)正態(tài)分布：φ(t)=e^(-t2/2)卷積計(jì)算反演公式第五部分：極限定理大數(shù)定律樣本均值趨于數(shù)學(xué)期望中心極限定理和的分布趨于正態(tài)分布大數(shù)定律依概率收斂X_n→_pX：對(duì)任意ε>0，lim_{n→∞}P(|X_n-X|<ε)=1弱大數(shù)定律樣本均值依概率收斂于期望值強(qiáng)大數(shù)定律樣本均值幾乎必然收斂于期望值應(yīng)用場(chǎng)景MonteCarlo模擬、頻率解釋概率中心極限定理1獨(dú)立同分布隨機(jī)變量X_1,X_2,...,X_n和的標(biāo)準(zhǔn)化Z_n=\frac{S_n-nμ}{σ\sqrt{n}}漸近正態(tài)分布Z_n→_dN(0,1)中心極限定理的應(yīng)用二項(xiàng)分布正態(tài)近似B(n,p)≈N(np,np(1-p))當(dāng)n較大時(shí)泊松分布正態(tài)近似P(λ)≈N(λ,λ)當(dāng)λ較大時(shí)統(tǒng)計(jì)推斷應(yīng)用抽樣分布假設(shè)檢驗(yàn)置信區(qū)間構(gòu)造第六部分：統(tǒng)計(jì)推斷基礎(chǔ)決策與結(jié)論接受或拒絕假設(shè)假設(shè)檢驗(yàn)評(píng)估樣本證據(jù)對(duì)假設(shè)的支持度區(qū)間估計(jì)參數(shù)可能取值的區(qū)間點(diǎn)估計(jì)參數(shù)的單一最佳估計(jì)抽樣與統(tǒng)計(jì)量從總體中獲取信息統(tǒng)計(jì)量與抽樣分布統(tǒng)計(jì)量樣本的函數(shù)，不含未知參數(shù)樣本均值正態(tài)總體：\bar{X}~N(μ,σ2/n)樣本方差正態(tài)總體：(n-1)S2/σ2~χ2(n-1)t統(tǒng)計(jì)量與F統(tǒng)計(jì)量比值的抽樣分布參數(shù)估計(jì)點(diǎn)估計(jì)尋找最接近真實(shí)參數(shù)值的單一估計(jì)矩估計(jì)法樣本矩等于總體矩簡(jiǎn)單但效率可能不高最大似然估計(jì)最大化似然函數(shù)大樣本性質(zhì)優(yōu)良貝葉斯估計(jì)結(jié)合先驗(yàn)信息參數(shù)視為隨機(jī)變量估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)無偏性E(\hat{θ})=θ有效性最小方差無偏估計(jì)一致性\hat{θ}_n→_pθ(n→∞)充分性包含樣本所有相關(guān)信息區(qū)間估計(jì)正態(tài)總體均值已知σ2:\bar{X}±z_{α/2}σ/\sqrt{n}未知σ2:\bar{X}±t_{α/2}S/\sqrt{n}正態(tài)總體方差(n-1)S2/χ2_{α/2}<σ2<(n-1)S2/χ2_{1-α/2}置信水平與樣本量置信水平↑→區(qū)間寬度↑樣本量↑→區(qū)間寬度↓假設(shè)檢驗(yàn)1提出假設(shè)