1、數(shù)理統(tǒng)計(jì)與隨機(jī)過(guò)程講義段法兵復(fù)雜性科學(xué)研究所第一章概率論回顧卜面是數(shù)理統(tǒng)計(jì)部分需要的掌握的，許多推導(dǎo)的基礎(chǔ)知識(shí)。§1.1幾種分布的由來(lái)指數(shù)分布：服務(wù)臺(tái)電話呼叫時(shí)間，公交車(chē)到達(dá)一個(gè)車(chē)站時(shí)間，這些時(shí)間分布的符合指數(shù)分布。設(shè)q(t)為區(qū)間t上沒(méi)有事件發(fā)生的概率，x為第一次事件發(fā)生等待的時(shí)間，那么q(t)P(xt),假設(shè)不同時(shí)間區(qū)間ti,t2相互不重疊且獨(dú)立，那么P(xt1)P(xt2)P(xt1t2)q(ti)q(t2)q(tit2)q(t)et為非平凡(非零)有界解，這里為狀態(tài)轉(zhuǎn)移概率那么我們有分布函數(shù)F(t)P(xt)1P(xt)1q(t)1etYtt0other0因此得到指數(shù)分布兩個(gè)

2、指數(shù)分布之和的分布?在x-y的空間內(nèi)，滿足xyz的區(qū)域如上，那么z的累計(jì)分布那么F(z)Pxyzzzy0dy°fxy(x,y)dxfz(z)竽dzz0fx(x)fy(zx)dx例如x與y為相互獨(dú)立的指數(shù)分布，fx(x)e、和fy(y)e，分別為其概率分布函數(shù)，那么zx+y的分布為fz(z)fx(x)*fy(y)0exezxdxz2ez2exe(zx)dxz2ez,z0Gamma分布：N個(gè)指數(shù)分布的隨機(jī)變量之和的分布為Gamma分布。例如x與y為相互獨(dú)立的指數(shù)分布，fx(x)e、和fy(y)e"分別為其概率分布函數(shù)，那么zx+y的分布為fz(z)fx(x)*fy(y)0exe

3、zxdxz2ezixef(x)()0如此卷積下去，N個(gè)相互獨(dú)立的指數(shù)分布相加的概率分布為Gamma分布，其概率密度函數(shù)other這里參數(shù)，0。Gamma函數(shù)1x()xedxo0性質(zhì)1:利用分部積分法得到遞推公式(1)(),當(dāng)為整數(shù)n時(shí)，利用分部積分法得到(n1)n(n)n!,而非整數(shù)1/2,利用變量代換xy2/2,得到(1/2).所以有/1、/1、/1、/1、/3、31J、(2n1)!(n)(n)(n)(n)(n)(一)nv°222222222n性質(zhì)2：1,Gamma分布為1/的指數(shù)分布；為整數(shù)n,Gamma分布為Erlang分布，如第一次故障后再次出現(xiàn)n2.n/2,1/1/2,Ga

4、mma分布為分布，抽樣理論中一種重要分布。§1.2隨機(jī)變量函數(shù)的分布因?yàn)槲覀冊(cè)诤竺娼y(tǒng)計(jì)假設(shè)，檢驗(yàn)時(shí)將遇到隨機(jī)變量的函數(shù)，因此求出隨機(jī)變量函數(shù)的分布是一個(gè)非常重要的基礎(chǔ)知識(shí)。分為單輸入單輸出和雙輸入單(雙)輸出三種類(lèi)型。類(lèi)型一:設(shè)x的分布fx(x),求yg(x)的分布fy(y)如圖所示，在dy區(qū)間y發(fā)生的概率為fy(y)dy,由于yg(x)不一定是單調(diào)函數(shù)，dy區(qū)間y對(duì)應(yīng)了多個(gè)區(qū)間dx1,dx2,dx3,；者B滿足yg(x)ydy,dy區(qū)間y發(fā)生的概率等于所對(duì)應(yīng)的x所在區(qū)間發(fā)生的概率：fx(xi)dy/dxify(y)dyfx(xi)dxdx；fy(y)fx(xi)d-idy我們?cè)O(shè)xi

5、'(y)為逆函數(shù)，則fy(y)ifxhi(y)|h'i(y)|fxh(y)i|g'My)|x2的概率分布函數(shù)。1X2解：x例子：設(shè)x的分布fx(x)J2e7，求分方律檢波一輸出方為反函數(shù)兩支，且dx/dy1/(2j9),則fy(y)fx(x)等2*dy2、y、2e221/2yey/2這個(gè)分布就是Gamma分布的(1/2,2),也是自由度為1的2分布。例子：設(shè)x的分布為均勻分布fx(x)=1/,x/2,/2,那么yarctan(x)的分布為柯西分布fy(y)1/TV逆問(wèn)題1:已知x的分布fx(x),如何構(gòu)造yg(x)函數(shù)使得y符合(0,1)之間的均勻分布fy(y)10由上

6、面推導(dǎo)知fy(y)dyfx(x)dx將fy(y)1代入上式，得出dyfx(x)dxyxfx(u)duFx(x)可以看出我們要找到函數(shù)g(x)就是x的累積分布函數(shù)Fx0應(yīng)用：數(shù)字圖像的直方圖均衡化【Gonzalez:數(shù)字圖像處理】數(shù)字圖像的直方圖就是圖像灰度的分布，比如電子顯微鏡下花粉圖像Matlab代碼：假設(shè)你有花粉圖像pollen.tif>>X=imread('pollen.tif);>>imshow(X)>>imhist(X)>>ylim('auto')原始花粉圖像灰度的分布直方圖可以看出圖像較暗，灰度集中在較低的灰度

7、級(jí)別-偏暗端，如果將灰度調(diào)節(jié)一下,使得整個(gè)灰度范圍內(nèi)(0,255)內(nèi)大致均勻分布，那么就達(dá)到了亮度調(diào)諧的目的。利用上面推導(dǎo)，g(x)就是x的累積分布函數(shù)Fx,這里是離散分布，那么就把積分改成加和的方式，設(shè)Px(xJ為不同灰度級(jí)j1,2,L灰度的概率，那么均衡化變換為kYkPx(xj)jik1,2,L,Yk就是輸出圖像的灰度值。這樣處理:>>Y=histeq(I,256);>>imshow(Y)>>figure,imhist(Y)>>Ylim('auto')可以看出輸出圖像的直方圖在256個(gè)灰度級(jí)都有分布，比較接近均勻分布，并不是完

8、全平坦。但是圖像已經(jīng)比較亮度合適了。逆問(wèn)題2:已知x的分布為(0,1)之間的均勻分布fx(x)=1,如何構(gòu)造yg(x)函數(shù)使得y符合任意分布fy(y)。同理，由fy(y)dyfx(x)dx,得到y(tǒng)xfy(u)du=Fy(y)就是xh(y)逆函數(shù)為y的累積概率密度函數(shù)Fy,自然g(x)就是Fy的逆函數(shù):1Z、yFy(x)例子：求Rayleigh分布這個(gè)是只對(duì)于r>0有定義，求CDF那么如果設(shè)u為均勻分布(xh(y)1-U也是均勻分布，即那么得出變換關(guān)系R就是瑞利分布了Rayleigh隨機(jī)數(shù)程序clearalln=input('Enternumberofpoints>'

9、);varR=3;%setpdfparameteru=rand(1,n);%generateUy_exp=sqrt(-2*varR*log(u);%transformationN_samp,r=hist(y_exp,20);%gethistogramparameterssubplot(2,1,1)bar(r,N_samp,1)%plothistogramylabel('NumberofSamples')xlabel('IndependentVariable-x')subplot(2,1,2)term1=r.*r/2/varR;%exponentray=(r/va

10、rR).*exp(-term1);%Rayleighpdfdel_r=r(3)-r(2);%determinebinwidthp_hist=N_samp/n/del_r;%probabilityfromhistogramplot(r,ray,'k',r,p_hist,'ok')%compareresultsylabel('ProbabilityDensity')xlabel('IndependentVariable-x')legend('truepdf,'samplesfromhistogram',1)15

11、01005000.40.30.20.104IndependentVariable-x4IndependentVariable-xtruepdfsamplesfromhistogramSFPmasforeDmuNWFSneDyo8Pp類(lèi)型二：設(shè)x和y的聯(lián)合分布fxy(x,y),那么求zg(x,y)的分布fz,這里主要考慮zxy,zxy,zx/y,以及zmax(x,y),zmin(x,y),此類(lèi)問(wèn)題的重要處在于二重積分的積分區(qū)問(wèn)。例如：zx/y解：Px/yzPxyz|y0Pxyz|y0上述兩個(gè)分割概率可以用圖形表示-_/x=yz那么z的累積概率密度函數(shù)xyz0Fz(z)P-zfxy(x,y)dxd

12、yfxy(x,y)dxdyyy0xyxyz按照復(fù)合函數(shù)求導(dǎo)法則一、dFz，、，ofz(z)-0yfxy(x,y)dyyfxy(x,y)dydz0IyIfxy(yz,y)dy同理可得：zxy對(duì)應(yīng)的分布為fz(z)fxy(zy,y)dy對(duì)于x>0分布fx(x)y>0分布fy(y)類(lèi)型，比如前面的指數(shù)分布zfz(z)0fxy(zy,y)dy因?yàn)榇藭r(shí)積分區(qū)間為F(z)Fxyzf(x,y)dxdyy0x0那么dFzzyzfz(z)(一f(x,y)dx)dyf(zy,y)dydz0z00比如兩個(gè)系統(tǒng)x,y表示其故障發(fā)生時(shí)間，那么備用系統(tǒng)模型S的故障時(shí)間分布為x+y和的分布設(shè)x和丫相互獨(dú)立，fX

13、y(x,y)fx(x)fy(y),zmax(x,y)的分布為fz(z)Fx(z)fy(z)fx(z)Fy(z)比如并聯(lián)系統(tǒng)zmin(x,y)的分布為fz(z)fx(z)fy(z)Fx(z)fy(z)fx(z)Fy(z)比如用聯(lián)系統(tǒng)wh(x,y)的聯(lián)xk(z,w),類(lèi)型三：已知設(shè)x和y的聯(lián)合分布fxy(x,y),那么求zg(x,y),合分布fzw(z,w),這里設(shè)g和h函數(shù)連續(xù)可導(dǎo)，且有可逆函數(shù)ywfzw(z,w)zwPzg(x,y)zz,wh(x,y)w我們將ABCD對(duì)應(yīng)的微元映射到xy概率空間上的AB'C'微沅S,那么fzw(z,w)zwfxy(x,y)S因此，我們可以解出f

14、zw(z,w)fxy(x,y)S-,問(wèn)題的關(guān)鍵轉(zhuǎn)化為求一S-,zwzw點(diǎn)(z,w)變換為A'點(diǎn)(xk(z,w),ym(z,w),那么B'點(diǎn)的坐標(biāo)可以表示為(Xb',yB')=(k(zz,w),m(zz,w)(k(z,w)km_、一z,m(z,w)z)zzz,/k=(xz同理C'點(diǎn)的坐標(biāo)可以表示為(xc，yc,)=(xw,w那么S的面積可以用平行四邊形面積求出m、yw)wSA'B'A'C'sin(A'B'cosA'C'sinmzwkA'B'sinA'C'cosk

15、zww|J(z,w)|zw代入fzw(Z,W)zwfxy(x,y)S,我們得到fzw(z,w)|J(z,w)|fxy(x,y)fx,y(x,y)|J(x,y)|這里Jacobi矩陣|J(z,w)|J(x,y)|,二者互為逆陣。為什么這么做？因?yàn)橛袝r(shí)候知道zg(x,y),wh(x,y),已經(jīng)給出，求其反函數(shù)沒(méi)有必要了。例子：求zxy的概率分布函數(shù)。解：輔助變量法，zg(x,y)xy,wh(x,y)x,那么逆函數(shù)為xk(z,w)w,ym(z,w)z/xz/w,雅克比矩陣行列式IJ(x,y)|x|w|J(z,w)|1z2w1，一，那么我們得到|w|那么邊緣概率密度f(wàn)zw(z,w)fx,y(w,W)|

16、J(z,w)|fxy(x,y)|w|fx,y(w,)fz(z)fzw(z,w)dwdw|w|§1.3特征函數(shù)與矩矩對(duì)于研究隨機(jī)變量的性質(zhì)非常重要,mnExn定義原點(diǎn)矩為xnf(x)dx定義中心矩為nE(xm)n(xm1)nf(x)dxmk(m1)我們熟悉的一階原點(diǎn)矩就是期望均值，二階中心矩就是方差。例如：正態(tài)隨機(jī)變量f(x)t1e,2x2不，那么0,mn(2kn2k11)!n,n2k對(duì)于任意兩個(gè)隨機(jī)變量x和y的聯(lián)系用聯(lián)合矩來(lái)衡量,mkrExkyrxnyrf(x,y)dxdykrE(xmx)k(ymy)rkr(xmx)(ymy)f(x,y)dxdy這里mx,my分別表示各自的均值。那么

17、協(xié)方差為Cx,yiiE(xmx)(ymy)(xm*)(ymy)f(x,y)dxdy任意兩個(gè)隨機(jī)變量x和y的相關(guān)性用相關(guān)系數(shù)Cxyx,yx,y1xy兩個(gè)隨機(jī)變量X和y線性相關(guān)則為+1或-1,不相關(guān)為0.對(duì)于高斯分布，只要知道均值和方差，那么各階矩都可以求出，但是對(duì)于非高斯分布，那么各階矩是不容易求出的，但是非常重要，比如信號(hào)處理中的高階統(tǒng)計(jì)量分析，因?yàn)槎A統(tǒng)計(jì)量不能辨識(shí)非最小相位系統(tǒng)，僅僅對(duì)于加性噪聲處理方便。數(shù)學(xué)家引入Fourier變換來(lái)求出分布的特征函數(shù)，然后通過(guò)特征函數(shù)求取各階矩。特征函數(shù)定義為()Eejxejwxf(x)dx性質(zhì)1:若x1和*2相互獨(dú)立，那么yx1x2的分布的特征函數(shù)jwyjw(3x2)jwx1jwx2iy()EeEeEeEexi()x2()n推論yx,若x相互各自獨(dú)