第三章隨機(jī)過程

主要內(nèi)容（1）概率隨機(jī)變量分布函數(shù)多維隨機(jī)變量隨機(jī)變量的數(shù)字特征隨機(jī)變量的獨(dú)立性與相關(guān)性主要內(nèi)容（2）隨機(jī)過程的基本概念及其統(tǒng)計(jì)分析方法平穩(wěn)隨機(jī)過程的特征高斯過程的分析方法和統(tǒng)計(jì)特征窄帶過程的分析方法和統(tǒng)計(jì)特征正弦波加窄帶過程的分析方法和統(tǒng)計(jì)特性隨機(jī)過程通過線性系統(tǒng)的分析方法重點(diǎn)掌握隨機(jī)過程的基本概念和一般分析方法；掌握高斯過程的統(tǒng)計(jì)平均量求解方法；掌握窄帶過程和正弦波加窄帶過程的分析方法以及它們的包絡(luò)統(tǒng)計(jì)特性和相位統(tǒng)計(jì)特性；掌握隨機(jī)過程通過線性系統(tǒng)的分析方法。概率概率：對(duì)于一個(gè)給定的隨機(jī)事件發(fā)生可能性大小的度量。如何度量？設(shè)N次觀測(cè)中隨機(jī)事件A出現(xiàn)了mA次，A發(fā)生的頻率為mA/N。當(dāng)N逐漸增多時(shí)，頻率在一個(gè)常數(shù)附近擺動(dòng)，而逐漸穩(wěn)定于這個(gè)常數(shù)。概率是頻率的穩(wěn)定值

獨(dú)立性如果A和B同時(shí)出現(xiàn)的概率P(AB)=P(A)P(B)，則稱事件A、B是相互獨(dú)立的，簡(jiǎn)稱為獨(dú)立的。概率的性質(zhì)（1）任何隨機(jī)事件的概率P(A)，其值介于0≤P(A)≤1之間。條件概率：P(A|B)

為事件B已出現(xiàn)的條件下，事件A發(fā)生的概率。若A、B獨(dú)立：P(A|B)＝P(A)

， 若P(B|A)＝P(B)

：A、B獨(dú)立。一般情況下P(A|B)≠P(B|A)概率的性質(zhì)（2）P(A)P(B|A)=P(B)P(A|B)

貝葉斯（Bayes）公式例題：信源包含兩個(gè)獨(dú)立的符號(hào)0和1，事件A0和A1分別表示信源發(fā)出0和1，事件B0和B1分別表示信宿收到0和收到1。已知：P(A0)=2/3，P(B1|A0)=1/6，P(B0|A1)=1/4。求：(1)收到1和收到0的概率；

(2)誤碼率；

(3)在已知B0和B1分別發(fā)生的條件下，求A0和A1發(fā)生的概率（后驗(yàn)概率）。解：

(1）收到1和收到0的概率

P(A1)=1-P(A0)=1/3 P(B0|A0)=1-P(B1|A0)=5/6P(B1|A1)=1-P(B0|A1)=3/4

求出4個(gè)聯(lián)合概率為：

P(A0B0)=P(A0)P(B0|A0)=5/9，為發(fā)0收0概率

P(A1B0)=P(A1)P(B0|A1)=1/12，為發(fā)1收0概率

P(A0B1)=P(A0)P(B1|A0)=1/9，為發(fā)0收1概率

P(A1B1)=P(A1)P(B1|A1)=1/4，為發(fā)1收1概率收到0的概率為：P(B0)=

P(A0B0)+P(A1B0)=23/36；收到1的概率為：P(B1)=P(A0B1)+P(A1B1)=13/36；P(A0)=2/3，P(B1|A0)=1/6，P(B0|A1)=1/4（2）誤碼率

Pe=P(發(fā)1而且收0)+P(發(fā)0而且收1)=P(A1B0)+P(A0B1)=7/36P(A0)=2/3，P(B1|A0)=1/6，P(B0|A1)=1/4（3）在已知B0和B1分別發(fā)生的條件下，求A0和A1發(fā)生的概率（后驗(yàn)概率）。根據(jù)貝葉斯公式在已收到0的條件下：發(fā)出的是0的概率為

P(A0|B0)=P(A0B0)/P(B0)=20/23

發(fā)出的是1的概率為

P(A1|B0)=P(A1B0)/P(B0)=3/23在已收到1的條件下：發(fā)出的是0的概率為

P(A0|B1)=P(A0B1)/P(B1)=4/13

發(fā)出的是1的概率為

P(A1|B1)=P(A1B1)/P(B1)=9/13P(A0)=2/3，P(B1|A0)=1/6，P(B0|A1)=1/4隨機(jī)變量（1）在實(shí)際問題中，隨機(jī)試驗(yàn)的結(jié)果可以用數(shù)量來表示，也可以用非數(shù)量表示。我們將隨機(jī)試驗(yàn)的結(jié)果與實(shí)數(shù)對(duì)應(yīng)起來，將隨機(jī)試驗(yàn)的結(jié)果數(shù)量化。硬幣問題不管隨機(jī)試驗(yàn)的結(jié)果是否具有數(shù)量的性質(zhì)，我們都可以建立一個(gè)樣本空間和實(shí)數(shù)空間的對(duì)應(yīng)關(guān)系，使之與數(shù)值發(fā)生聯(lián)系。隨機(jī)變量（2）定義：一個(gè)隨機(jī)試驗(yàn)的可能結(jié)果的全體組成一個(gè)基本空間Ω。隨機(jī)變量x是定義于Ω上的單值函數(shù)，即對(duì)每一基本事件ω∈Ω，有一數(shù)值x(ω)與之對(duì)應(yīng)。特點(diǎn)：定義域:Ω隨機(jī)性:隨機(jī)變量X的可能取值不止一個(gè)，試驗(yàn)前只能預(yù)知它的可能的取值但不能預(yù)知取哪個(gè)值概率特性:X以一定的概率取某個(gè)值隨機(jī)變量的分布函數(shù)定義：設(shè)X是一個(gè)隨機(jī)變量，x為任意實(shí)數(shù)，函數(shù)F(x)=P{X≤x}，稱為隨機(jī)變量的分布函數(shù)。性質(zhì)：取值范圍

F(x)是非減函數(shù)，如果有x1<x2,那么F(x1)≤F(x2)。右連續(xù)，X落在區(qū)間(a,b]內(nèi)的概率離散隨機(jī)變量的分布函數(shù)連續(xù)隨機(jī)變量的密度函數(shù)定義：設(shè)是隨機(jī)變量，F(xiàn)(x)是它的分布函數(shù)，若存在一個(gè)非負(fù)可積函數(shù)p(x)使得對(duì)任意的，有,則稱為連續(xù)性隨機(jī)變量，稱為的概率密度函數(shù)或分布密度函數(shù)。性質(zhì)非負(fù)性：規(guī)范性：若在x處是連續(xù)的，則設(shè)a，b為任意實(shí)數(shù)，且，則多維隨機(jī)變量同一概率空間(Ω,F,p)上的n個(gè)隨機(jī)變量構(gòu)成的n維向量X=(x1,x2,…,xn)為n維隨機(jī)向量。X的聯(lián)合分布函數(shù)

F(x1,x2,…,xn)＝P{X1x1,X2x2,…,Xnxn}隨機(jī)變量的獨(dú)立性F(x1,x2,…,xn)＝P{X1x1}P{X2x2}…,P{Xnxn}常見隨機(jī)變量舉例均勻分布隨機(jī)變量高斯分布隨機(jī)變量瑞利(Rayleigh)分布隨機(jī)變量指數(shù)分布隨機(jī)變量泊松（Poisson）分布隨機(jī)變量的數(shù)字特征隨機(jī)變量某一方面的概率特性都可用數(shù)字來描寫數(shù)學(xué)期望：隨機(jī)變量的平均取值方差：隨機(jī)變量取值平均偏離均值的情況協(xié)方差與相關(guān)系數(shù)：描述兩個(gè)隨機(jī)變量間的某種關(guān)系的數(shù)數(shù)學(xué)期望連續(xù)型離散型數(shù)學(xué)期望的本質(zhì)——加權(quán)平均，它是一個(gè)數(shù)不再是隨機(jī)變量

E(C)=C

E(aX)=aE(X)

E(X+Y)=E(X)+E(Y)

當(dāng)X,Y獨(dú)立時(shí)，E(XY)=E(X)E(Y).

若存在數(shù)

a使

P(Xa)=1,則

E(X)a

；若存在數(shù)

b使

P(Xb)=1,則

E(X)b.常數(shù)方差定義：D(X)=E[X-E(X)]2連續(xù)型離散型

D(C)=0

D(aX)=a2D(X)D(aX+b)=a2D(X)

特別地，若X,Y相互獨(dú)立，則性質(zhì)協(xié)方差和相關(guān)系數(shù)對(duì)二維隨機(jī)變量，除每個(gè)隨機(jī)變量各自的概率特性外,相互之間可能還有某種聯(lián)系，問題是用一個(gè)怎樣的數(shù)去反映這種聯(lián)系。協(xié)方差相關(guān)系數(shù)協(xié)方差的性質(zhì)

協(xié)性質(zhì)

相關(guān)系數(shù)的性質(zhì)

系性質(zhì)存在常數(shù)a,b使P{Y=a+bX}=1

X、Y互不相關(guān)相關(guān)系數(shù)的性質(zhì)與含義（1）以X的線性函數(shù)a+bX來近似表示Y，那么均方誤差e=E[(Y?(a+bX))2]=E(Y2)+b2E(X2)+a2?2bE(XY)+2abE(X)?2aE(Y)相關(guān)系數(shù)的性質(zhì)與含義（2）當(dāng)a、b取何值的時(shí)候，得到最佳近似式？相關(guān)系數(shù)的性質(zhì)與含義（3）最小的均方誤差

存在常數(shù)a,b使P{Y=a+bX}=1

X、Y互不相關(guān)相關(guān)系數(shù)的性質(zhì)與含義（4）當(dāng)相關(guān)系數(shù)=1時(shí)，表明X,Y之間有絕對(duì)（以概率1）正相關(guān)當(dāng)相關(guān)系數(shù)=?1時(shí)，表明X,Y之間有絕對(duì)（以概率1）負(fù)相關(guān)當(dāng)0<相關(guān)系數(shù)<1時(shí)，則稱X,Y正相關(guān)當(dāng)?1<相關(guān)系數(shù)<0時(shí)，則稱X,Y負(fù)相關(guān)當(dāng)相關(guān)系數(shù)=0時(shí)，稱X,Y不相關(guān)當(dāng)相關(guān)系數(shù)較大時(shí)，通常說X,Y線性相關(guān)的程度較好；當(dāng)相關(guān)系數(shù)較小時(shí)，就說X,Y線性相關(guān)的程度較差。相關(guān)與獨(dú)立獨(dú)立一定不相關(guān)，但不相關(guān)不一定獨(dú)立。不相關(guān)只是就線性關(guān)系而言的，而相互獨(dú)立是就一般關(guān)系而言的。小結(jié)理解隨機(jī)事件和概率部分基本概念熟練掌握用隨機(jī)變量表達(dá)事件以及計(jì)算概率的方法，以及有關(guān)分布函數(shù)和概率密度的計(jì)算。掌握數(shù)學(xué)期望，方差定義、性質(zhì)和計(jì)算，會(huì)計(jì)算協(xié)方差和相關(guān)系數(shù)，理解獨(dú)立性和相關(guān)性的概念。什么是隨機(jī)過程？（1）統(tǒng)計(jì)電話總機(jī)在[0，t]時(shí)間內(nèi)收到的呼喚次數(shù)。當(dāng)t0（>0）固定時(shí)，總機(jī)在[0，t0]內(nèi)收到的呼喚次數(shù)是個(gè)隨機(jī)變量，記為X（t0,ω）或X（ω）簡(jiǎn)寫X，它的所有可能取值是0，1，2，……，n，……。X（ω）是相對(duì)時(shí)間t不變的“靜止”的隨機(jī)變量，是概率論研究的問題。那么當(dāng)t從0變到+∞時(shí)，t時(shí)刻前收到的呼喚次數(shù)？什么是隨機(jī)過程？（2）設(shè)Sk(k=1,2,…)是隨機(jī)試驗(yàn)，每一次試驗(yàn)都有一條時(shí)間波形xi(t)，是一個(gè)樣本函數(shù)，或一條樣本曲線，它表示一次試驗(yàn)結(jié)果，是ω的函數(shù)。[0，t]時(shí)間內(nèi)總機(jī)收到的呼喚次數(shù)的問題可看作一族樣本曲線x1(t)，x2(t)，…xn(t)…對(duì)某個(gè)t0∈T，對(duì)應(yīng)值是x1(t0),x2(t0),…xn(t0)…是隨機(jī)變量取值，記此隨機(jī)變量為X(t0)。對(duì)所有的t∈T對(duì)應(yīng)X(t)是一族（無限多個(gè)）隨機(jī)變量，此結(jié)果是t的函數(shù)。

故我們要研究t從0→+∞時(shí)在[0,t]內(nèi)收到的呼喚次數(shù)，要用一族（無窮多個(gè)）隨機(jī)變量來描述，記成{X（t，ω），t∈[0，+∞），ω∈Ω}或{X（t），t∈（0，+∞）}。這是一個(gè)隨機(jī)過程，它是依賴一個(gè)參數(shù)t而變化的一族隨機(jī)變量?？煽闯鏊茄芯恳粋€(gè)“過程”問題的。具有隨機(jī)初位相的簡(jiǎn)諧波

X（t）=acos（ω0t+Φ），-∞<t<+∞，其中a與ω0是正常數(shù)，Φ是在[0，2π]上均勻分布的隨機(jī)變量。隨機(jī)過程X（t）是一族隨機(jī)變量。對(duì)每個(gè)固定t0，X（t0

）=acos(ω0t0+Φ)是個(gè)隨機(jī)變量。隨機(jī)過程是一族樣本函數(shù)。Φ在Ω=[0，2π]上任給定一個(gè)相位φi=e，就對(duì)應(yīng)一個(gè)樣本曲線。隨機(jī)過程的定義設(shè)隨機(jī)試驗(yàn)E的可能結(jié)果為ξ(t)，試驗(yàn)的樣本空間S為{x1(t),x2(t)，…,xn(t),…}，xi(t)是第i次試驗(yàn)的樣本函數(shù)或?qū)崿F(xiàn)，每次試驗(yàn)得到一個(gè)樣本函數(shù)，所有可能出現(xiàn)的結(jié)果的總體就構(gòu)成一隨機(jī)過程，記作ξ(t)。兩層含義：隨機(jī)過程ξ(t)在任一時(shí)刻都是隨機(jī)變量；隨機(jī)過程ξ(t)是大量樣本函數(shù)的集合。隨機(jī)過程的特點(diǎn)它是一個(gè)時(shí)間函數(shù)。在固定的某一觀察時(shí)刻t1，ξ(t1)是隨機(jī)變量。隨機(jī)過程具有隨機(jī)變量和時(shí)間函數(shù)的特點(diǎn)。隨機(jī)過程ξ(t)在任一時(shí)刻都是隨機(jī)變量，在進(jìn)行觀測(cè)前是無法預(yù)知是空間中哪一個(gè)樣本，全體樣本在t1時(shí)刻的取值ξ(t1)是一個(gè)不含t變化的隨機(jī)變量；隨機(jī)過程ξ(t)是大量樣本函數(shù)的集合。一維隨機(jī)過程的統(tǒng)計(jì)特性（1）設(shè)ξ(t)表示一個(gè)隨機(jī)過程，在任意給定的時(shí)刻t1∈T，其取值ξ(t1)是一個(gè)一維隨機(jī)變量。我們把隨機(jī)變量ξ(t1)小于或等于某一數(shù)值x1的概率簡(jiǎn)記為F1(x1,t1)，即分布函數(shù)一維隨機(jī)過程的統(tǒng)計(jì)特性（2）如果下式存在則稱為ξ(t)的一維概率密度函數(shù)N維隨機(jī)過程的統(tǒng)計(jì)特性任意給定t1,t2,…,tn∈T,則ξ(t)的n維分布函數(shù)被定義為如果下面的公式存在的話，為ξ(t)的n維概率密度函數(shù)隨機(jī)過程的數(shù)字特征（1）數(shù)學(xué)期望方差隨機(jī)過程的數(shù)字特征（2）自協(xié)方差函數(shù)

自相關(guān)函數(shù)

設(shè)ξ(t)和η(t)分別表示兩個(gè)隨機(jī)過程，互相關(guān)函數(shù)

平穩(wěn)隨機(jī)過程平穩(wěn)隨機(jī)過程（嚴(yán)平穩(wěn)隨機(jī)過程）：統(tǒng)計(jì)特性與時(shí)間起點(diǎn)無關(guān)。設(shè)隨機(jī)過程ξ(t),若對(duì)于任意n和任意選定t1＜t2

＜…＜tn,tk∈T，k=1,2,…,n，以及τ為任意值，且x1,x2,…,xn∈R，有

fn(x1,x2,…,xn;t1,t2,…,tn)=fn(x1,x2,…,xn;t1+τ,t2+τ,…,tn+τ)

則稱ξ(t)是平穩(wěn)隨機(jī)過程推論平穩(wěn)隨機(jī)過程的一維分布與時(shí)間t無關(guān)，二維分布只與時(shí)間間隔τ有關(guān)。從而有

廣義平穩(wěn)隨機(jī)過程若隨機(jī)過程ξ(t)的均值為常數(shù)，自相關(guān)函數(shù)僅是τ的函數(shù)，則稱它為寬平穩(wěn)隨機(jī)過程或廣義平穩(wěn)隨機(jī)過程。平穩(wěn)的理解數(shù)學(xué)上：嚴(yán)平穩(wěn)是說多維分布獨(dú)立于時(shí)移，寬平穩(wěn)是說均值及自相關(guān)函數(shù)與絕對(duì)時(shí)間無關(guān)。實(shí)際信號(hào)：嚴(yán)平穩(wěn)包含了寬平穩(wěn)。通信中多數(shù)情況只涉及二維分布特性，因此以后說的平穩(wěn)都指寬平穩(wěn)。各態(tài)遍歷如果某個(gè)時(shí)間平均的特征（比如均值、功率等等）對(duì)所有的樣本都相同，則稱此特征具有遍歷性。集合平均與時(shí)間平均集合平均：由涉及到隨機(jī)過程的所有可能“現(xiàn)實(shí)”得到的統(tǒng)計(jì)特征是隨機(jī)過程的集合均值。時(shí)間平均：對(duì)隨機(jī)過程的每一個(gè)現(xiàn)實(shí)而言的。例如隨機(jī)過程的某一個(gè)現(xiàn)實(shí)的時(shí)間平均平穩(wěn)遍歷的隨機(jī)信號(hào)的相關(guān)函數(shù)偶函數(shù)性：極值性：平均功率：直流功率：交流功率：平穩(wěn)隨機(jī)過程的功率譜密度隨機(jī)過程的功率譜密度應(yīng)看作是每一個(gè)實(shí)現(xiàn)的功率譜的統(tǒng)計(jì)平均平穩(wěn)隨機(jī)過程ξ(t)的自相關(guān)函數(shù)與其功率譜密度之間互為傅里葉變換。高斯隨機(jī)過程如果隨機(jī)過程的任意n維概率分布都是正態(tài)分布，則稱它為正態(tài)隨機(jī)過程或高斯隨機(jī)過程，簡(jiǎn)稱正態(tài)過程或高斯過程。高斯隨機(jī)過程的性質(zhì)高斯過程若是廣義平穩(wěn)的，則必是狹義平穩(wěn)的。如果高斯過程中隨機(jī)變量間互不相關(guān)，則它們也是統(tǒng)計(jì)獨(dú)立的。不相關(guān)?統(tǒng)計(jì)獨(dú)立平穩(wěn)高斯隨機(jī)過程X(t)與確定信號(hào)s(t)之和的概率分布仍為正態(tài)分布。（但一般不再是平穩(wěn)的）若干個(gè)高斯過程之和的過程仍是高斯型。高斯過程經(jīng)過線性變換（或通過線性系統(tǒng)）后的過程仍是高斯過程。誤差函數(shù)（1）正態(tài)分布函數(shù)即是一維分布密度函數(shù)的積分：

φ（x）稱為概率積分函數(shù)，簡(jiǎn)稱概率積分。由于此積分不易計(jì)算，引入誤差函數(shù)erf（x）。引入它的好處在于，其簡(jiǎn)潔的特性有助于分析通信系統(tǒng)的抗噪聲性能。誤差函數(shù)（2）誤差函數(shù)補(bǔ)誤差函數(shù)正態(tài)分布函數(shù)誤差函數(shù)的性質(zhì)誤差函數(shù)是自變量的遞增函數(shù)，而且：

erf(-x)=-erf(x)；erf(∞)=1。補(bǔ)誤差函數(shù)是自變量的遞減函數(shù)，而且：

erfc(0)=1;erfc(∞)=0;erfc(-x)=2-erfc(x)。高斯白噪聲功率譜密度在很寬的頻帶范圍都是常數(shù)。由大量互相獨(dú)立的任意分布的隨機(jī)雜波迭加而成。平均直流分量為零。高斯白噪聲是用來描述廣泛存在于信道中的起伏噪聲的數(shù)學(xué)模型。它有以下特性：隨時(shí)間無序變化，隨意樣本不可預(yù)測(cè)。平均值與時(shí)間無關(guān)，相關(guān)函數(shù)只取決于時(shí)差。長(zhǎng)時(shí)間的平均等于大量樣本的統(tǒng)計(jì)平均。概率密度函數(shù)是均值為零的高斯型曲線。功率譜密度呈均勻分布（在很寬的范圍內(nèi)不變）。自相關(guān)函數(shù)為沖擊函數(shù)，表明它是隨機(jī)毫無記憶可言。低通高斯噪聲帶通（窄帶）高斯噪聲窄帶隨機(jī)過程一個(gè)平穩(wěn)過程，若它的功率譜帶寬為有限值，那么則稱它為限帶過程。在電子通信系統(tǒng)中所遇到的隨機(jī)過程幾乎都是限帶過程。

aX(t)－窄帶隨機(jī)過程的隨機(jī)包絡(luò)；

X(t)

－窄帶隨機(jī)過程的隨機(jī)相位；

0

－正弦波的角頻率。

上式可以改寫為：

－X(t)的同相分量