§5.1嚴平穩(wěn)過程

1.嚴平穩(wěn)過程定義

2、實例

3.嚴平穩(wěn)過程的基本性質(zhì)4.二階矩嚴平穩(wěn)過程的數(shù)字特征

1.嚴平穩(wěn)過程定義其n維分布函數(shù)相等，即定義設(shè){X(t),t∈T}為一隨機過程，若對任意整數(shù)n，任意的則稱此隨機過程為嚴平穩(wěn)過程，或稱強（狹義）平穩(wěn)過程。上式稱之為平移不變性或嚴平穩(wěn)性。易見，嚴平穩(wěn)過程的概率特性不隨時間的平移而改變例1：設(shè){X(n),n≥1}為一隨機過程，其中X(n),n=1,2,…相互獨立且同分布，則此隨機過程為嚴平穩(wěn)過程。如令X(n)=第n次投擲一枚硬幣正面出現(xiàn)次數(shù),則{X(n),n≥1}構(gòu)成一嚴平穩(wěn)隨機過程又如令X(n)=測試同類型同一批次的第n只燈泡的壽命,則{X(n),n≥1}構(gòu)成一嚴平穩(wěn)隨機過程這是因為對于任意的m及k

2、實例

注1

一般來說，用定義去判斷某個隨機過程是否具有嚴平穩(wěn)性是很困難的。若在實際問題中產(chǎn)生隨機過程的主要物理條件在時間進行中保持不變，則可認為此過程就是嚴平穩(wěn)的。又如,自由電子的不規(guī)則運動（熱運動）引起電路中的電壓或電流的隨機波動(熱擾動)，其概率特性可視為不隨時間推移而變化，故此波動過程就是嚴平穩(wěn)隨機過程例如，一個工作在穩(wěn)定狀態(tài)下的接收機，其輸出噪聲就可以認為是嚴平穩(wěn)的隨機過程。注2

嚴平穩(wěn)性過程的所有樣本曲線都在某一水平直線上下隨機波動。注3

當參數(shù)集T為離散時，嚴平穩(wěn)過程稱為嚴平穩(wěn)序列,如例1.1中{X(n),n≥1}的即為嚴平穩(wěn)序列。另外，如某個地理位置上海浪的波高過程,照明用的電網(wǎng)中電壓的波動過程，以及各種噪聲和干擾的變化過程等等，在工程上都近似認為是嚴平穩(wěn)的。3.嚴平穩(wěn)過程的基本性質(zhì)(1)嚴平穩(wěn)過程的一維分布函數(shù)與時間t無關(guān)因為其一維分布函數(shù)為若令ε=-t代入可得即嚴平穩(wěn)過程的一維分布函數(shù)與時間t無關(guān)，此時其一維概率密度為(2)嚴平穩(wěn)過程的二維分布與時間起點無關(guān)，只與時間間隔有關(guān)。因為嚴平穩(wěn)過程的二維分布函數(shù)為若令ε=-t1代入可得其二維密度函數(shù)為由上述性質(zhì)易得嚴平穩(wěn)過程的數(shù)字特征的相關(guān)性質(zhì)(1)均值函數(shù)（2）均方值函數(shù)（3）方差函數(shù)4.嚴平穩(wěn)過程的數(shù)字特征（4）自相關(guān)函數(shù)即自相關(guān)函數(shù)與時間起點t1無關(guān)，只與時間間隔t2-t1有關(guān)。（5）自協(xié)方差函數(shù)§5.2寬平穩(wěn)過程一.寬平穩(wěn)過程定義二.寬平穩(wěn)過程的實例三.寬平穩(wěn)過程的數(shù)字特征四.寬平穩(wěn)過程的均方微積分性質(zhì)

五.嚴平穩(wěn)過程與寬平穩(wěn)過程的關(guān)系一.寬平穩(wěn)過程定義定義設(shè){X(t),t∈T}為復（或?qū)崳╇S機過程，若滿足條件則稱該過程為寬（或弱，廣義）平穩(wěn)過程。即寬平穩(wěn)過程是其均值函數(shù)為常數(shù)，且自相關(guān)函數(shù)僅與時間間隔有關(guān)的二階矩過程。

例設(shè)隨機過程{X(n),n=±1,±2,…}為實的互不相關(guān)隨機變量序列，且其自相關(guān)函數(shù)為易見此過程為一寬平穩(wěn)過程。這個平穩(wěn)序列稱為離散白噪聲.則稱其為正態(tài)白噪聲。二.寬平穩(wěn)過程的實例證明，此隨機序列是寬平穩(wěn)過程。。易見此過程為一寬平穩(wěn)過程。例易見此過程為一寬平穩(wěn)過程。此隨機過程是寬平穩(wěn)過程。例2，例3此隨機過程是寬平穩(wěn)過程。例4

（隨機電報信號過程）設(shè)隨機過程

{X(t),t∈[0,+∞)}為且N(t)和X(0)相互獨立，試X(t)討論的平穩(wěn)性。X(t)是平穩(wěn)性例5(隨機相位周期過程)設(shè)s(t)是一個周期為2T的連續(xù)函數(shù),Y是服從區(qū)間[-T,T]上均勻分布的隨機變量.定義X(t)=s(t+Y)為隨機相位周期過程,試討論其平穩(wěn)性.解(1)連續(xù)的周期函數(shù)為有界函數(shù),故X(t)二階矩有限(2)X(t)的均值函數(shù)為因此隨機相位周期過程X(t)=s(t+Y)為寬平穩(wěn)過程.例6

設(shè)X(t)=Ycos(

t)+Zsin(

t),

t>0，且Y,Z相互獨立，EY=EZ=0，DY=DZ=

2，試討論隨機過程{X(t),t>0}的平穩(wěn)性。

所以{X(t)，t

T

}為寬平穩(wěn)過程。三、數(shù)字特征（1）均值函數(shù)與時間t無關(guān),即（2）均方值函數(shù)有限,即（3）方差函數(shù)有限,即§5.2寬平穩(wěn)過程一.寬平穩(wěn)過程定義二.寬平穩(wěn)過程的實例三.寬平穩(wěn)過程的數(shù)字特征四.寬平穩(wěn)過程的均方微積分性質(zhì)

五.嚴平穩(wěn)過程與寬平穩(wěn)過程的關(guān)系（二)自相關(guān)函數(shù)的性質(zhì)柯西－施瓦茲不等式四.寬平穩(wěn)過程的均方微積分性質(zhì)（1）設(shè){X(t),t∈T}為寬平穩(wěn)過程，RX(τ)為其自相關(guān)函數(shù)，則寬平穩(wěn)過程{X(t),t∈T}均方連續(xù)的充要條件是RX(τ)在τ=0處連續(xù)，此時，RX(τ)是連續(xù)函數(shù)。（2）設(shè){X(t),t∈T}為寬平穩(wěn)過程，RX(τ)為其自相關(guān)函數(shù)，則寬平穩(wěn)過程{X(t),t∈T}均方可導的充分條件是RX(τ)在τ=0處一階導數(shù)存在，二階導數(shù)存在而且連續(xù)。（4）設(shè){X(t),t∈T}為寬平穩(wěn)過程，RX(τ)為其自相關(guān)函數(shù)，則X(t)為k（正整數(shù)）次均方可導的充分條件是RX(τ)在τ=0處2k次可導且連續(xù)，此時RX(τ)處處都2k次可微，且（3）設(shè){X(t),t∈T}為寬平穩(wěn)過程，RX(τ)為其自相關(guān)函數(shù)，則寬平穩(wěn)過程{X(t),t∈T}均方可導的必要條件是RX(τ)在τ=0處一階、二階導數(shù)都存在。公式的應(yīng)用RX(τ)在τ=0處一階導數(shù)存在，而且RX(τ)在τ=0處二階導數(shù)存在，而且RX(τ)在τ=0處二階導數(shù)連續(xù)，故{X(t),t>=0}均方可導。（5）設(shè){X(t),t∈T}為寬平穩(wěn)過程，RX(τ)為其自相關(guān)函數(shù)，如果{X(t),t∈T}是均方可導的，那么，其導過程仍為寬平穩(wěn)過程，而且證明：（6）設(shè){X(t),t∈T}為均方可微的實寬平穩(wěn)過程，則有而實平穩(wěn)過程的自相關(guān)函數(shù)有性質(zhì)而實平穩(wěn)過程的自相關(guān)函數(shù)有性質(zhì)（7）設(shè){X(t),t∈(-∞,+∞)}為寬平穩(wěn)過程

例設(shè)實寬平穩(wěn)過程{X(t),t∈(-∞,+∞)}的自相關(guān)函數(shù)為試求X(t)的均值與方差。解即此實寬平穩(wěn)過程的均值為（8）設(shè){X(t),t∈(-∞,+∞)}為均方連續(xù)的寬平穩(wěn)過程,f(t)為分段連續(xù)函數(shù)，則在任意有限區(qū)間[a,b]上，下列積分在均方意義下存在：例題解：不滿足寬平穩(wěn)過程的定義，不是寬平穩(wěn)過程。

五.嚴平穩(wěn)過程與寬平穩(wěn)過程的關(guān)系（1）若X(t)是嚴平穩(wěn)過程，若其二階絕對原點矩有限，則X(t)必為寬平穩(wěn)過程；（2）若X(t)為寬平穩(wěn)過程，它不一定是嚴平穩(wěn)過程，（3）若X(t)為寬平穩(wěn)的正態(tài)過程，則它必為嚴平穩(wěn)過程。證明：因為正態(tài)過程的有限維分布完全由其自協(xié)方差函數(shù)決定，而自協(xié)方差只與時間間隔有關(guān)，而與時間起點無關(guān)，故寬平穩(wěn)正態(tài)過程的有限維分布亦只與時間間隔有關(guān)，與時間起點無關(guān)，此即嚴平穩(wěn)性，故寬平穩(wěn)正態(tài)過程為嚴平穩(wěn)過程。例設(shè){W(t),t≥0}是參數(shù)為σ2的Wiener過程,a為正實數(shù),令試證明{X(t),t≥0}是嚴平穩(wěn)的正態(tài)過程.同理可得因此,此X(t)是寬平穩(wěn)的正態(tài)過程，即是嚴平穩(wěn)的過程．第五節(jié)平穩(wěn)過程的遍歷性一、時間平均和時間自相關(guān)函數(shù)的定義；二、平穩(wěn)過程的遍歷性——定義三、均值遍歷性——定理四、自相關(guān)函數(shù)遍歷性——定理五、均值函數(shù)與相關(guān)函數(shù)的估計式定義

設(shè){X(t),-

<t<

}是均方連續(xù)的實平穩(wěn)過程，如果下列的均方極限存在，1、時間平均的定義一、時間平均和時間自相關(guān)函數(shù)的定義；存在，則稱它為X(t)在(-∞,+∞)上的時相關(guān)函數(shù)，記為<X(t)X(t+τ)>，

即2、時間自相關(guān)函數(shù)的定義定義

設(shè){X(t),-

<t<

}是均方連續(xù)的實平穩(wěn)過程，如果對于固定的τ，下列的，均方極限存在時間自相關(guān)函數(shù)3、統(tǒng)計平均實寬平穩(wěn)過程的時間平均與其均值函數(shù)之間有何關(guān)系呢？實寬平穩(wěn)過程的時間自相關(guān)函數(shù)與其自相關(guān)函數(shù)之間又有何關(guān)系呢？二、平穩(wěn)過程的遍歷性——定義1、時平均遍歷性的判斷(方法一）三、均值遍歷性證明時間均值具有遍歷性的方法一：Step1，計算時間平均；Step2，計算時間平均的方差。如果方差為零，那么具有遍歷性。如果方差不是零，不具有遍歷性（1）證明：（2）判斷即：均值具有遍歷性。在什么情況下，平穩(wěn)過程的均值具有遍歷性？下面的遍歷性定理給出解答。2、均值遍歷性定理3：判斷時間均值具有遍歷性的方法二：Step1，計算自相關(guān)函數(shù)；Step4，如果極限為零，具有均值遍歷性。否則，不具有。4、定理1的推論定理：平穩(wěn)過程X(t)的均值具有遍歷性的充要條件是：則均值具有遍歷性;則均值具有遍歷性;均值不具有遍歷性.則均值具有遍歷性;例：

試討論隨機電報信號過程的均值遍歷性。其中N(t)與X(0)相互獨立，且N(t)為泊松過程。解：由上節(jié)課程內(nèi)容知，此隨機過程為寬平穩(wěn)過程，且其自相關(guān)函數(shù)為： 所以由推論2知此隨機過程的均值具有遍歷性。四、時間自相關(guān)函數(shù)的遍歷性證明時間均值具有遍歷性的方法一：Step1，計算時間自相關(guān)函數(shù)；Step2，計算時間自相關(guān)函數(shù)的方差。如果方差為零，那么具有遍歷性。如果方差不是零，不具有遍歷性1、時間自相關(guān)函數(shù)遍歷性的判斷(方法一）

2、自相關(guān)函數(shù)遍歷性——定理3、推廣

各態(tài)歷經(jīng)定理的重要價值在于它從理論上給出了如下保證：一個平穩(wěn)過程X(t)，若0<t<+∞，只要它滿足各態(tài)歷經(jīng)性條件，便可以根據(jù)“以概率1成立”的含義，從一次試驗所得到的樣本函數(shù)x(t)來確定該過程的均值和自相關(guān)函數(shù)。五、均值函數(shù)與自相關(guān)函數(shù)的估計式如何根據(jù)實驗記錄確定平穩(wěn)過程的均值和自相關(guān)函數(shù)呢？按照均值函數(shù)和自相關(guān)函數(shù)的定義，需要對一個平穩(wěn)過程重復進行大量觀察，獲得一族樣本函數(shù)用統(tǒng)計實驗方法，均值和自相關(guān)函數(shù)近似地為：

第六節(jié)譜密度的物理意義一、實函數(shù)（確定信號）的功率譜密度二、隨機過程的功率譜密度三、寬平穩(wěn)過程的功率譜密度四、實平穩(wěn)過程的功率譜密度——性質(zhì)五、譜函數(shù)與譜分解式一、實函數(shù)（確定信號）的功率譜密度2、實函數(shù)的頻譜則它的Fourier變換存在:并稱為其頻譜定理：Parseval等式（能量公式）證明Parseval’等式我們稱為的能量譜密度。證明：4、平均功率通常情況下，狄利克雷條件不能滿足，如正弦函數(shù)。所以我們轉(zhuǎn)而去研究在上的平均功率。5、定義x(t)的功率譜密度為公式刻畫了平均功率隨頻率的變化規(guī)律。這也是功率譜密度這個名字的由來二、隨機過程的功率譜密度設(shè)隨機過程在均方可積，定義為隨機過程的平均功率.西南交通大學王沁1、設(shè)實平穩(wěn)過程在均方可積，定義為實平穩(wěn)過程的平均功率.三、實平穩(wěn)過程的平均功率設(shè)平穩(wěn)過程在均方可積，定義為平穩(wěn)過程過程的平均功率.2.定理.(維納-辛欽公式)設(shè)均方連續(xù)的平穩(wěn)過程的相關(guān)函數(shù)在任一有限區(qū)間上只有有限個極值，且在上絕對可積，則有證明：三、實平穩(wěn)隨機過程的功率譜密度的性質(zhì)第一式表明了譜密度曲線下的總面積（即平均功率）等于平穩(wěn)過程的均方值；第二式表明了譜密度的零頻率分量等于相關(guān)函數(shù)曲線下的總面積。

4、設(shè)X(t)與Y(t)為兩個正交的平穩(wěn)過程(即RXY(s,t)=0）則Z(t)=X(t)+Y(t)的譜密度為兩過程的譜密度之和，即則有四、實平穩(wěn)隨機過程的譜函數(shù)第5節(jié)平穩(wěn)過程的功率譜密度西南交通大學王沁功率譜是功率譜密度函數(shù)的簡稱，它定義為單位頻帶內(nèi)的信號功率。功率譜表示了信號功率隨著頻率的變化關(guān)系，即信號功率在頻域的分布狀況。西南交通大學王沁PSD

(PowerSpectralDensity)

功率譜密度則它的Fourier變換存在

1.功率譜密度的定義

2、歐拉公式（1）（2）X(t)的自相關(guān)函數(shù)RX(τ)與譜密度SX(ω)是一付氏變換對，即3.維納一辛欽公式這樣，在應(yīng)用中我們可根據(jù)實際情形選擇適當?shù)臅r間域方法或頻率域方法去解決實際問題。這兩式即著名的維納一辛欽公式，它說明了平穩(wěn)過程的自相關(guān)函數(shù)和譜密度之間的密切關(guān)系，揭示了從時間角度描述平穩(wěn)過程X(t)的統(tǒng)計規(guī)律和從頻率角度描述X(t)的統(tǒng)計規(guī)律之間的聯(lián)系。上兩式成立的條件是RX(τ)與SX(ω)絕對可積，即

例1已知一平穩(wěn)過程X(t)的自相關(guān)函數(shù)為試求其譜密度。

4、

已知自相關(guān)函數(shù)求譜密度-11直接計算

例1已知一平穩(wěn)過程X(t)的自相關(guān)函數(shù)為試求其譜密度。

例1-0已知一平穩(wěn)過程X(t)的自相關(guān)函數(shù)為試求其譜密度。

5.維納一辛欽公式(常用的公式）

試求其譜密度。

西南交通大學王沁例3

已知一實平穩(wěn)過程的自相關(guān)函數(shù)為

其中α,ω0均為常數(shù)，試求其譜密度。對τ配方可得:西南交通大學王沁例4解西南交通大學王沁西南交通大學王沁第5節(jié)平穩(wěn)過程的功率譜密度(1)自相關(guān)函數(shù)的性質(zhì)(2)功率譜密度的性質(zhì)(3)已知功率譜密度如何求自相關(guān)函數(shù)一、平穩(wěn)過程的自相關(guān)函數(shù)的性質(zhì)1.復習：自相關(guān)函數(shù)的定義：那么，X(t)的自相關(guān)函數(shù)RX(τ)與譜密度SX(ω)是一傅氏變換對，即二.維納一辛欽公式X(t)的相關(guān)函數(shù)RX(τ)與譜密度SX(ω)是一付氏變換對，即三、平穩(wěn)過程的功率譜的性質(zhì)（1）功率譜SX(ω)是

的實值非負函數(shù)。(2)若X(t)為實平穩(wěn)過程，則其譜密度為偶函數(shù)。4.設(shè)X(t)與Y(t)為兩個正交的平穩(wěn)過程(即RXY(s,t)=0）則Z(t)=X(t)+Y(t)的譜密度為兩過程的譜密度之和，即則有證明：四.已知功率譜，求自相關(guān)函數(shù)第一類：功率譜是有理函數(shù)，求其自相關(guān)函數(shù)。解(1)例

已知平穩(wěn)隨機過程的功率譜密度為試求其自相關(guān)函數(shù)RX(τ)和平均功率W。Step2:Step1:Step3:Step4:例

已知 ，其中s0，c為常數(shù)，試求RX(τ)。

第二類：功率譜是呈負指數(shù)衰減到零，求其自相關(guān)函數(shù)。5.雙邊譜密度與單邊譜密度(1)雙邊譜密度由于定義3.1式中的譜密度SX(ω)在整個頻率軸ω上都有定義，因此被稱為X(t)的雙邊譜密度,即(2)單邊譜密度定義3.2

設(shè)X(t)為實平穩(wěn)過程,SX(ω)為定義3.1中定義的雙邊譜密度，則稱

為X(t)的單邊譜密度.見下圖0ωSX(ω)

例

設(shè)平穩(wěn)過程的譜密度為

試求X(t)的自相關(guān)函數(shù)，單邊譜密度與平均功率。單邊譜密度為

例3.9設(shè)平穩(wěn)過程的譜密度為

試求X(t)的自相關(guān)函數(shù)，單邊譜密度與平均功率。再由性質(zhì)5

可知，SX(ω)的逆變換為單邊譜密度為利用δ-函數(shù)求譜密度與自相關(guān)函數(shù)第5節(jié)平穩(wěn)過程的功率譜密度在工程中遇到的平穩(wěn)過程X(t)的自相關(guān)函數(shù)一般有以下三種情況：（1）當τ→∞時，RX(τ)→0，其傅立葉變換SX(ω)存在；（2）當τ→∞時，RX(τ)→mX

，此時在ω=0處引入

-函數(shù)，可求出的傅立葉變換SX(ω)；（3）當τ→∞時，RX(τ)呈振蕩形式，引入

函數(shù)，也可求出RX(τ)的付立葉變換SX(ω)。1、δ-函數(shù)的定義定義：

若函數(shù)為則稱其為δ-函數(shù)。通常用單位有向線段來表示.

─函數(shù)常用來表示作用在一點的沖擊力或脈沖信號。當沖擊力或脈沖發(fā)生在t0時刻，這時定義

─函數(shù)為據(jù)此可得：2、─函數(shù)的基本性質(zhì)：

據(jù)此，我們可得到

─函數(shù)的付立葉變換對：利用上面的兩式，求實際情況中三種自相關(guān)函數(shù)(功率譜)形式對應(yīng)的譜密度（自相關(guān)函數(shù)）。據(jù)此可得：據(jù)此，我們可得到

─函數(shù)的付立葉變換對：西南交通大學王沁例

白噪聲過程：通常稱譜密度在整個頻率軸

上為非零常數(shù)，且均值為0的平穩(wěn)過程為白噪聲過程，簡稱白噪聲（由于白色光的光譜成分大體上是均勻的，白噪聲因此而得名），其功率譜密度為3.已知功率譜，利用δ-函數(shù)求自相關(guān)函數(shù)這表明白噪聲的平均功率是無限的，因此白噪聲只是一個理想的數(shù)學模型，是一個相對的概念。例

若平穩(wěn)過程X(t)的功率譜密度如下：求其對應(yīng)的自相關(guān)函數(shù)。

例已知隨機電報信號過程的自相關(guān)函數(shù)為試求其功率譜密度。解：由于自相關(guān)函數(shù)存在直流分量，故在ω=0處引入

─函數(shù)，即可求出功率譜密度，即4、已知自相關(guān)函數(shù)，利用δ-函數(shù)求功率譜

例

已知一隨機過程的自相關(guān)函數(shù)為試求其功率譜密度。解：由于此自相關(guān)函數(shù)既包括直流分量，又包括一個頻率為ω0的正弦分量，因此，分別在ω=0和ω=±ω0處引入

─函數(shù)，可得譜密度強調(diào)一下：白噪聲過程的概念(1)白噪聲過程：通常稱譜密度在整個頻率軸

上為非零常數(shù)，且均值為0的平穩(wěn)過程為白噪聲過程，簡稱白噪聲。(2)設(shè)隨機過程{X(n),n=±1,±2,…}為實的互不相關(guān)隨機變量序列，且其自相關(guān)函數(shù)為易見此過程為一寬平穩(wěn)過程。這個平穩(wěn)序列稱為離散白噪聲.例

若平穩(wěn)過程X(t)在有限頻率帶上的功率譜密度為常數(shù)，在此頻率帶之外為零，即稱此過程為限帶白噪聲，對應(yīng)的自相關(guān)函數(shù)為此時X(t)與X(t+τ)不相關(guān)。西南交通大學王沁第七節(jié)平穩(wěn)過程的譜分解1、平穩(wěn)過程的譜表示定理4.1

設(shè){X(t),-∞<t

<+∞}是零均值，且均方連續(xù)的復平穩(wěn)過程，其譜密度為SX(ω)，則X(t)可表示為1平穩(wěn)過程的譜表示稱為X(t)的隨機譜函數(shù)。隨機譜函數(shù)Z(ω)

具有以下性質(zhì)：2

{Z(ω),-∞<ω<+∞}是右連續(xù)的正交增量過程；3

對于任意的ω1<ω2稱為X(t)的譜分布函數(shù)，或稱功率譜函數(shù)，簡稱譜函數(shù)。定理4.1表明一個平穩(wěn)過程可表示為隨機譜函數(shù)的傅立葉積分,而隨機譜函數(shù)的增量的二階矩可用譜密度函數(shù)來描述。

注意到X(t)為平穩(wěn)過程,而Z(ω)為X(t)的線性函數(shù)的均方積分,因而亦為一平穩(wěn)隨機過程,且為一正交增量過程。由X(t)的譜分解式可見

X(t)實際上是和式均方收斂的極限，換言之，我們可用Xn(t)來逼近X(t)，而Xn(t)的表達式表明，它就是頻率為ωj的具有隨機振幅[Z(ωj+1)-Z(ωj)]的隨機簡諧振動的疊加，而Z(ω)是正交增量過程，故Xn(t)中的各隨機振幅[Z(ωj+1)-Z(ωj)]是互不相關(guān)的，如果對

的分割加密，再取極限，即得例3.14

設(shè)平穩(wěn)過程X(t)的相關(guān)函數(shù)為即平穩(wěn)過程X(t)的譜表示就是說明X(t)為無限多個各種不同頻率隨機振動的疊加的一種數(shù)學描述。其中

、

是正數(shù)，試求X(t)的譜密度、譜函數(shù)。

解：由X(t)的自相關(guān)函數(shù)，利用付氏變換可得，其譜密度為推論4.1

設(shè)X(t)為零均值的均方連續(xù)正態(tài)平穩(wěn)過程的充要條件是它的譜分解式中的隨機譜函數(shù)為正態(tài)獨立增量過程。2實平穩(wěn)過程的譜分解定理定理4.2

設(shè){X(t),-∞<t<+∞}是零均值，且均方連續(xù)的實平穩(wěn)過程，其譜函數(shù)為FX(ω)，則X(t)可表示為隨機函數(shù)有以下性質(zhì)：2

對于任意不相重疊的區(qū)間：[ω1,ω2],[ω3,ω4]，有3

對于任意的ω1<ω2,有3復平穩(wěn)時間序列的譜分解定理4.3

設(shè){X(n),n=0,±1,±2,…}是零均值的復平穩(wěn)序列，其譜函數(shù)為FX(ω)，則X(n)可表示為

為X(t)的隨機譜函數(shù)，滿足以下性質(zhì)3

對于任意的ω1<ω2，有對于實平穩(wěn)序列,有相應(yīng)譜分解定理如下：

2

{Z(ω),-∞<ω<+∞}是右連續(xù)的正交增量過程；定理4.4

設(shè){X(n),n=0,±1,±2,…}是零均值的實平穩(wěn)序列，其譜函數(shù)為FX(ω)，則X(n)可表示為稱為X(n)的隨機譜函數(shù)，具有以下性質(zhì)：2

對于任意不相重疊的區(qū)間:3

對于任意的ω1<ω2，有[ω1,ω2],[ω3,ω4]，有

（1）試證明{Y(n),n=0,±1,±2,…}亦為平穩(wěn)過程，并求其隨機譜函數(shù)；例3.15

設(shè){X(n),n=0,±1,±2,…}為實平穩(wěn)序列，E[X(n)]=0，其對應(yīng)的隨機譜函數(shù)為{ZX(ω),

-π<ω<π}，又設(shè){an,n=0,±1,±2,…}是實數(shù)列，滿足（2）若X(n)有譜密度函數(shù)SX(ω)，求Y(n)的譜密度函數(shù)。

故由定義知{Y(n),n=0,±1,±2,…}為平穩(wěn)過程。故由定義知{Y(n),n=0,±1,±2,…}為平穩(wěn)過程。第六章離散時間馬爾可夫鏈馬爾可夫過程是前蘇聯(lián)數(shù)學家A.A.Markov首先提出和研究的一類隨機過程.經(jīng)過世界各國幾代數(shù)學家的相繼努力,至今已成為內(nèi)容十分豐富,理論上相當完整,應(yīng)用也十分廣泛的一門數(shù)學分支.它的應(yīng)用領(lǐng)域涉及計算機、通訊、自動控制、隨機服務(wù)、可靠性、生物、經(jīng)濟、管理、氣象、物理、化學等.馬爾可夫

(1856年6月14日——1922年7月20日）

馬爾可夫?qū)?shù)學的最大貢獻是在概率論領(lǐng)域作出的．十九世紀后二十年，他主要是沿著切比雪夫開創(chuàng)的方向，致力于獨立隨機變量和古典極值理論的研究，從而改進和完善了大數(shù)定律和中心極限定理．二十世紀初，他的興趣轉(zhuǎn)移到相依隨機變量序列的研究上來，從而創(chuàng)立了以他命名的著名概率模型——馬爾可夫鏈．王梓坤院士(1929年—)江西吉安人,1952年大學畢業(yè)后，被分派到天津南開大學數(shù)學系任教.是一位對我國科學和教育事業(yè)作出卓越貢獻的數(shù)學家和教育家，也是我國概率論研究的先驅(qū)和學術(shù)帶頭人之一。

1954年，他又以優(yōu)異的成績考取了赴蘇研究生。踏進世界著名學府－莫斯科大學，在這個學府世界概率論的奠基人柯爾莫哥洛夫院士正領(lǐng)導看一個強有力的概率研究集團?？聽柲呗宸蚧垩圩R英才，非常信賴這位由中國選派的年輕人的能力，把他選作自己的研究生，去攻概率論的中心問題隨機過程理論。當時中國近代數(shù)學才剛剛起步，大學也沒有概率課程。此時蘇聯(lián)的概率論水平已屆于世界最前列。王梓坤也根本不知道什么是概率，可他的研究方向又恰恰被定為概率論，著有《概率論基礎(chǔ)及其應(yīng)用》、《隨機過程論》、《生滅過程與馬爾科夫鏈》等9部數(shù)學著作。§6.1馬爾可夫過程概念一、馬爾可夫過程的數(shù)學定義二、滿足馬氏性的隨機過程三、馬氏隨機過程的證明四、馬氏過程的分類一、馬爾可夫過程的概念1.馬爾可夫性(無后效性)馬爾可夫性或無后效性.即:過程“將來”的情況與“過去”的情況是無關(guān)的.定義設(shè){X(t),t∈T}為一隨機過程，I為其狀態(tài)空間，若對任意的t1<t2<…<tn<t，任意的x1,x2,…,xn,x?I，隨機變量X(t)在已知條件X(t1)=x1,X(t2)=x2,…,X(tn)=xn下的條件分布函數(shù)若只與X(tn)=xn有關(guān)，而與X(tn-1)=xn-1,...,X(t2)=x2,X(t1)=x1無關(guān)，即條件分布函數(shù)滿足等式：2.馬爾可夫過程的數(shù)學定義此式即為馬爾可夫性的數(shù)學表示則稱此過程為馬爾可夫過程，簡稱為馬氏過程。注2若X(t)為連續(xù)型隨機變量時,上式等價為注1若X(t)為離散型隨機變量時,上式等價為3.馬爾可夫特性的數(shù)學解釋

若把時刻tn視作“現(xiàn)在”，而t>tn

，故視t為“將來”，自然視時刻t1<t2<…<tn-1為“過去”，因此上述定義中的條件可表述為：在tn時刻過程X(t)處于X(tn)=xn的狀態(tài)條件下，X(t)的“將來”狀態(tài)（可以）只與“現(xiàn)在”狀態(tài)有關(guān)，而（可以）與“過去”狀態(tài)無關(guān)。所以有人形象地將馬氏過程戲稱為一個“健忘”過程，即指它是一個只注重現(xiàn)在，而把過去經(jīng)歷統(tǒng)統(tǒng)忘卻的一類特殊的隨機過程。也可以說，過程X(t)的“將來”只通過“現(xiàn)在”與“過去”發(fā)生聯(lián)系，一旦“現(xiàn)在”已經(jīng)確定，則“將來”與過去無關(guān)。例如:假設(shè)一部電梯是由進入電梯內(nèi)的人自行操縱的，那么電梯下一步會運行到何處，只依賴于當前在電梯內(nèi)的人的意圖，而與過去電梯從何而來是無關(guān)的；又如:某電話交換臺在時段[0,tk)內(nèi)收到xk次呼喚，則在時段內(nèi)[0,t)(t>tk)收到的呼喚次數(shù)X(t)為在[0,tk)內(nèi)收到的呼喚次數(shù)與[tk,t)內(nèi)收到的呼喚次數(shù)之和，其中xk為確定已知時，這個數(shù)X(t)就與tk以前呼喚的歷史情況無關(guān).二、滿足馬氏性的隨機過程1獨立隨機過程為馬氏過程

證：設(shè)X(t)為一獨立隨機過程，則由定義可知，對于任意的

例1.1

設(shè)X(t)為一個隨機過程，其中X(n)如下定義

由于n次投擲同一枚硬幣時，每一次投擲與其它各次投擲是相互獨立的，故而為一獨立隨機過程，故知它是馬氏過程。注意:獨立過程為馬氏過程，但馬氏過程不一定為獨立過程，馬氏過程只是滿足馬氏性的特殊隨機過程。例1.2

設(shè)X(n)為第n次投擲一骰子出現(xiàn)朝上的點數(shù)，X(n)的參數(shù)空間T={n,n≥1},狀態(tài)空間E={1,2,…,6},且對于任意的n≠m,X(n)與X(m)相互獨立的，即此X(n)是一獨立隨機過程，亦為一馬氏過程。定理：如果{X(t),t∈[0,+∞)}為一獨立增量過程，且有P(X(0)=x0)=1（x0為常數(shù)），則此X(t)為馬氏過程。2獨立增量過程為馬氏過程

證：因為X(t)為一獨立增量過程，由定義可知，對于任意的0<t1<t2<…<tn<t∈T，相應(yīng)的增量相互獨立.所以：所以，獨立增量過程為馬氏過程分別表示在時間段[0,t1),[t1,t2),…,[tn,t)內(nèi)電話交換臺接到的呼叫次數(shù)，自然可以認為它們是相互獨立的，所以是一獨立增量過程，因而亦為馬爾可夫過程。

例1.3

設(shè)X(t)表示電話交換臺在時段[0,t)內(nèi)收到的呼叫次數(shù),則X(t)為一隨機過程。顯見對于任意的0<t1<t2<…<tn<t∈T，相應(yīng)的增量

例1.4（二項過程）設(shè)在每次試驗中，事件A發(fā)生的概率為p(0<p<1)，獨立地重復進行這項試驗，以X(n)表示到第n次為止事件A發(fā)生的次數(shù)，則{X(n),n=1,2,…}是一個平穩(wěn)獨立增量過程。實際上，由二項分布知識可知，X(n)服從二項分布B(n,p)，故稱此為二項過程。若令增量為顯見Yn是第n次試驗中事件A發(fā)生的次數(shù)：即為一平穩(wěn)獨立增量過程，亦為一馬氏過程。三、馬氏隨機過程的證明四、馬氏過程的分類馬氏過程亦可根據(jù)參數(shù)空間與狀態(tài)空間的離散與連續(xù)類型分為以下四種類型：（1）離散參數(shù)集，離散狀態(tài)集馬氏過程；（2）離散參數(shù)集，連續(xù)狀態(tài)集馬氏過程；（3）連續(xù)參數(shù)集，離散狀態(tài)集馬氏過程；（4）連續(xù)參數(shù)集，連續(xù)狀態(tài)集馬氏過程.其中第一種類型，即離散參數(shù)集，離散狀態(tài)集的馬氏過程，稱之為馬爾可夫鏈，簡稱馬氏鏈。§6.2馬爾可夫鏈一、馬氏鏈的定義二、齊次馬氏鏈（時齊馬氏鏈）定義三、一步轉(zhuǎn)移概率矩陣的確定四、狀態(tài)傳遞圖與概率轉(zhuǎn)移圖一、馬爾可夫的定義1.參數(shù)集為離散集，狀態(tài)集亦為離散集的馬氏過程謂之馬爾可夫鏈。

此時參數(shù)集常當作為時間集，即取T={0,1,2,…},其中t=0稱為初始時刻，且其狀態(tài)集E為簡單計數(shù)，常取作:整數(shù)集E1={0,±1,±2,…};正整數(shù)的子集E2={0,1,2,…};整數(shù)子集E3=

{i0,i1,i2,…};有限子集E4=

{0,1,2,…,n}。定義1

設(shè){X(n),n≥0}為一隨機序列，其狀態(tài)集為E={i0,i1,i2,…}，若對于任意的n，及i0,i1,i2,…in+1，對應(yīng)的隨機變量X(0),X(1),X(2),…,X(n+1)滿足則稱此隨機序列為一馬爾可夫鏈，簡稱馬氏鏈。2.馬氏鏈的有限維概率分布

若{X(n),n≥0}是一個馬爾可夫鏈，則其n+2維變量(X(0),X(1),X(2),...,X(n+1))的概率分布為其中條件概率記為：易見,馬氏鏈的有限維分布律是由一些條件分布與初始分布的乘積而得，因此討論馬氏鏈的概率特性,將重點討論馬氏鏈的轉(zhuǎn)移概率與初始分布.稱為初始分布稱為轉(zhuǎn)移概率,稱馬氏鏈在時刻k時所處狀態(tài)i,而下一步將處于狀態(tài)j的一步轉(zhuǎn)移概率為3、馬氏鏈的一步轉(zhuǎn)移概率即此條件概率表示馬氏鏈在時刻k時取i值的條件下，在下一時刻(下一步)取j值的概率。起始時刻轉(zhuǎn)移步長起始狀態(tài)到達狀態(tài)稱馬氏鏈在時刻k時所處狀態(tài)i,而下m步將處于狀態(tài)j的一步轉(zhuǎn)移概率為4、馬氏鏈的m步轉(zhuǎn)移概率馬氏鏈的m步轉(zhuǎn)移概率具有下述兩個性質(zhì)：起始時刻轉(zhuǎn)移步長起始狀態(tài)到達狀態(tài)

第1)條性質(zhì)是由概率定義所決定的;第2)條性質(zhì)利用全概率公式可知其正確性，實際上上式表明馬氏鏈在時刻k處于狀態(tài)i的條件下，下一步到達狀態(tài)集E中之一狀態(tài)的概率為1.馬氏過程的m步轉(zhuǎn)移概率構(gòu)成的矩陣，稱為m步轉(zhuǎn)移概率矩陣，表示為

4、m步轉(zhuǎn)移概率矩陣二、齊次馬氏鏈（時齊馬氏鏈）定義

1、定義設(shè){X(n),n≥1}是一馬氏鏈，狀態(tài)空間為E={0,1,2,…}

，若其一步轉(zhuǎn)移概率與馬氏鏈現(xiàn)在所在起始時刻無關(guān)，即滿足等式起始時刻轉(zhuǎn)移步長起始狀態(tài)到達狀態(tài)則稱此馬氏鏈為齊次馬氏鏈（或時齊馬氏鏈），亦稱之具有平穩(wěn)轉(zhuǎn)移概率的馬氏鏈。注意:齊次馬氏鏈從i狀態(tài)轉(zhuǎn)移到j(luò)狀態(tài)的一步（m步）轉(zhuǎn)移概率只與起始狀態(tài)i、到達狀態(tài)j有關(guān),而與現(xiàn)在所在時刻k,即絕對時間k無關(guān)。不是齊次的馬氏鏈稱為非齊次馬氏鏈。2齊次馬氏鏈的轉(zhuǎn)移概率矩陣若將齊次馬氏鏈的所有一步轉(zhuǎn)移概率表示為矩陣的形式，則有則稱P為馬氏鏈的一步轉(zhuǎn)移概率矩陣，其中pij為P的腹元.起始狀態(tài)作為行到達狀態(tài)作為列三、齊次馬氏鏈一步轉(zhuǎn)移概率矩陣的確定例1，從1,2,3,4,5,6等6個數(shù)中等可能地任意取出一數(shù)，取后還原，如此不斷地連續(xù)取下去，如在前n次中所取得的最大數(shù)為j，則稱質(zhì)點在第n步時的位置處于狀態(tài)j，試問這樣的質(zhì)點運動是否構(gòu)成馬氏鏈？是否為齊次的？如果是齊次馬氏鏈，求出轉(zhuǎn)移概率矩陣。解：令X(n)=前n次取得的最大數(shù)，n=1,2,…,則X(n)的可能取值為1,2,3,4,5,6，即狀態(tài)空間E={1,2,3,4,5,6}.所以，X(n+1)的取值僅與X(n)的取值和第n取數(shù)的結(jié)果有關(guān)系，與X(n-1)，X(n-2)…X(1)的取值無關(guān)。所以，這樣的質(zhì)點運動構(gòu)成了馬氏鏈。如此類推可得

例，一質(zhì)點在圓周上作隨機游動，圓周上共有N格，質(zhì)點以概率p順時針游動一格，以概率逆時針移動一格。試用馬氏鏈描述游動過程，并確定狀態(tài)空間及轉(zhuǎn)移概率矩陣。解：圓周上N格N個格點，記為1,2,3,…,N,順時針排列，記X(n)為n

時質(zhì)點所在的位置。顯只與X(n-1)時的位置有關(guān)，為馬氏過程。E={1,2,......,N},X(n)為馬氏鏈。四、狀態(tài)傳遞圖與概率轉(zhuǎn)移圖

為了能更加直觀形象地表現(xiàn)馬氏鏈的狀態(tài)轉(zhuǎn)移過程及狀態(tài)轉(zhuǎn)移的概率特性，我們借助于轉(zhuǎn)移圖與標明轉(zhuǎn)移概率的概率轉(zhuǎn)移圖加以描述。1馬氏鏈的狀態(tài)傳遞圖

若將馬氏鏈所具有的各個狀態(tài)用數(shù)字一一標出，并用標有箭頭的連線將各狀態(tài)連接起來，箭頭所指的狀態(tài)，就是箭尾所連狀態(tài)一步能到達的狀態(tài)，這樣描繪的圖形稱為馬氏鏈的狀態(tài)轉(zhuǎn)移圖.如下狀態(tài)轉(zhuǎn)移圖表示此馬氏鏈包含1,2,3等3個狀態(tài)，即其狀態(tài)空間為E={1,2,3}且可看出,從狀態(tài)1可一步到達狀態(tài)2，經(jīng)狀態(tài)2兩步到達狀態(tài)3，再由狀態(tài)3可一步返回到狀態(tài)1；從狀態(tài)2又可一步到達狀態(tài)1，也可一步到達狀態(tài)3；從狀態(tài)3出發(fā)可一步到達狀態(tài)1，也可經(jīng)一步又返回到自身的狀態(tài)的傳遞特性。

1

3

2

若在馬氏鏈的狀態(tài)轉(zhuǎn)移圖的狀態(tài)之間的連線上再標出相應(yīng)的一步轉(zhuǎn)移概率，這樣所得的圖形稱為馬氏鏈的概率轉(zhuǎn)移圖.2馬氏鏈的概率傳遞圖例如,在上圖中狀態(tài)轉(zhuǎn)移的連線上,添加相應(yīng)的一步轉(zhuǎn)移概率,即為

1

3

21/21/32/31/21/32/3由此可看出,若已知馬氏鏈的一步轉(zhuǎn)移概率矩陣,容易畫出其概率轉(zhuǎn)移圖;若已給出馬氏鏈的概率轉(zhuǎn)移圖,容易得出其一步轉(zhuǎn)移概率矩陣.且概率轉(zhuǎn)移圖表示馬氏鏈的概率特征比較直觀.這給我們研究狀態(tài)的相通性、可達性、常返性及馬氏鏈的可約性等概念提供了許多方便。故其一步轉(zhuǎn)移概率矩陣為[例]

設(shè)質(zhì)點在線段[1,4]上作隨機游動。假設(shè)它只能在時刻n

T發(fā)生移動，且只能停留在1,2,3,4點上。當質(zhì)點轉(zhuǎn)移到2,3點時，它以1/3的概率向左或向右移動一格，或停留在原處。當質(zhì)點移動到點1時，它以概率1停留在原處。當質(zhì)點移動到點4時，它以概率1移動到點3。若以Xn

表示質(zhì)點在時刻n

所處的位置，則{Xn

,n

T}是一個齊次馬爾可夫鏈。描述馬氏鏈的三種方式（1）狀態(tài)轉(zhuǎn)移圖（2）轉(zhuǎn)移概率矩陣（3）函數(shù)表達式④①②③11/31/31/31/31/31/31吸收壁反射壁

pij=f(i,j)§6.3切普曼—柯爾莫哥洛夫方程一、切普曼柯爾莫哥洛夫方程（C－K方程）1、非齊次馬氏鏈C－K方程定理：

設(shè){X(n),n=0,1,2,…}為一馬氏鏈，狀態(tài)空間E={0,±1,±2,…}或有限子集，則其n步轉(zhuǎn)移概率滿足下述等式：即n步轉(zhuǎn)移概率矩陣等于一個m步轉(zhuǎn)移概率矩陣與一個n-m步轉(zhuǎn)移概率矩陣的乘積.

對應(yīng)的n步轉(zhuǎn)移概率矩陣為C-K方程的實際背景C-K方程基于下述事實，即“從時刻s所處的狀態(tài)ai，即X(s)=ai出發(fā)，經(jīng)時段u+v轉(zhuǎn)移到狀態(tài)aj,即X(s+u+v）=aj”這一事件可分解成“從X（s）=ai

”出發(fā)，先經(jīng)時段u轉(zhuǎn)移到中間狀態(tài)ak(k,=1,2…)，再從ak經(jīng)時段v轉(zhuǎn)移到狀態(tài)aj”這樣一些事件和事件。aiajOss+us+u+v293m步ijkn-m步n步EEE證明：利用全概率公式，概率加法公式以及馬氏性可以證明這個結(jié)論.實際上，時間起點為r的n步轉(zhuǎn)移概率為

再由矩陣運算可得，P(n)(r)的第i行，j行的元素，恰好等于P(m)(r)的第i行元素與P(n-m)(r+m)的第j列元素相乘并求和而得。例如E={1,2,…,k},則有2、齊次馬氏鏈C－K方程定理3.2

設(shè){X(n),n=0,1,2,…}為一一齊次馬氏鏈馬氏鏈，狀態(tài)空間E={0,±1,±2,…}或有限子集，則其n步轉(zhuǎn)移概率滿足下述等式：對應(yīng)的n步轉(zhuǎn)移概率矩陣為即：上述定理與推論中所得的等式：上述等式均稱為C-K方程。

例

設(shè){X(n),n=0,1,2,…}為齊次馬爾可夫鏈，狀態(tài)空間為E={1,2,3}，其一步轉(zhuǎn)移概率矩陣為試求其二步及三步轉(zhuǎn)移概率矩陣.

例設(shè){X(n),n≥1}為齊次馬氏鏈，E={1,2,…5}為其狀態(tài)空間，一步轉(zhuǎn)移概率為其余為0，試求：

（1）兩步轉(zhuǎn)移概率矩陣；（2）從狀態(tài)3經(jīng)過兩步到達狀態(tài)3的概率；（3）從狀態(tài)3經(jīng)過四步到達狀態(tài)5的概率。

解：由所給條件得{X(n),n≥1}的一步轉(zhuǎn)移概率矩陣為：

（1）由齊次性及C-K方程得兩步轉(zhuǎn)移概率矩陣（2）由此可知

（3）再由C-K方程計算四步轉(zhuǎn)移概率：例解概率為[例]

設(shè){Xn

,n

T}是一個馬爾可夫鏈，其狀態(tài)空間I={a,b,c}，轉(zhuǎn)移矩陣為求：解：二步轉(zhuǎn)移概率矩陣：§6.初始分布與絕對分布定義

設(shè){X(n),n≥0}為一馬氏鏈，E={0,±1,±2,…}或有限子集為其狀態(tài)空間，令且對于任意的i∈E，均有

1初始分布與初始概率則稱此為該馬氏鏈的初始分布，或稱初始概率。一、初始分布和絕對分布2絕對分布與絕對概率定義

設(shè){X(n),n≥0}為一馬氏鏈，E={0,±1,±2,…}或有限子集為其狀態(tài)空間，令且對于任意的i∈E，均有則稱{pi(n),i∈E,n≥1}為該馬氏鏈的絕對分布，或稱絕對概率。

馬氏鏈的絕對概率與初始概率的關(guān)系由如下定理給出：定理3.2

馬氏鏈的絕對概率由其初始分布及相應(yīng)的轉(zhuǎn)移概率唯一確定。

一般地，當n≥2時，絕對概率推論3.4

馬氏鏈的絕對概率由其初始分布及一步轉(zhuǎn)移概率唯一確定。

某計算機房的一臺計算機經(jīng)常出故障,研究者每隔15分鐘觀察一次計算機運行狀態(tài),收集了24小時的數(shù)據(jù)(共作97次觀察).用1表示正常狀態(tài),用0表示不正常狀態(tài),所得的數(shù)據(jù)序列如下:1110010011111110011110111111001111111110001101101分析狀態(tài)空間:I={0,1}.例11101101101011110111011110111111001101111110011196次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近似地表示為:在傳輸系統(tǒng)中,傳輸后的誤碼率;系統(tǒng)經(jīng)n級傳輸后輸出為1,問原發(fā)字符也是1的概率是多少?續(xù)例

定理3.3

馬氏鏈的有限維概率分布由其初始分布及一步轉(zhuǎn)移概率唯一確定。

證：設(shè){X(n),n≥0}為一馬氏鏈，E為其狀態(tài)空間，初始分布為pj(0),j∈E，則對于任意的k及k個非負整數(shù)0<n1<n2<…<nk-1<nk及任意數(shù)ij∈E,j=1,2,…,k,隨機變量X(n1),X(n2),…,X(nk)的聯(lián)合概率分布為二、馬氏鏈的有限維分布(1)當n1=0時，聯(lián)合分布律就由初始分布pi1(0)與多步轉(zhuǎn)移概率唯一確定.且多步轉(zhuǎn)移概率又由其一步轉(zhuǎn)移概率確定，故知定理3.3結(jié)論成立；(2)當n1>0時，其聯(lián)合分布律由絕對概率pi1(n1)與多步轉(zhuǎn)移概率唯一確定.且由定理3.2知絕對概率由其初始分布及一步轉(zhuǎn)移概率唯一確定.故知結(jié)論正確.

由定理3.2與3.3知，馬氏鏈的初始分布與一步轉(zhuǎn)移概率唯一確定了其概率特性，因此討論初始分布與一步轉(zhuǎn)移概率對馬氏鏈研究是非常重要的。

定理3.3

馬氏鏈的有限維概率分布由其初始分布及一步轉(zhuǎn)移概率唯一確定。

四、馬氏鏈的數(shù)字特征

定理3.4

如果馬氏鏈是二階矩存在的隨機序列，那么，其數(shù)字特征由其初始分布及一步轉(zhuǎn)移概率唯一確定。

342343常返態(tài)和瞬時態(tài)基本概念：首達時間和首達概率常返態(tài)和瞬時態(tài)首達概率和轉(zhuǎn)移概率的關(guān)系判斷常返態(tài)和瞬時態(tài)的方法1．首達時間系統(tǒng)從狀態(tài)i出發(fā)，首次到達狀態(tài)j的時刻稱為從狀態(tài)i出發(fā)首次進入狀態(tài)j的時間，或稱自i

到j(luò)的首達時間。如果這樣的n不存在，就規(guī)定說明一、基本概念自狀態(tài)i出發(fā)，經(jīng)過n步首次到達狀態(tài)j的概率2.首達概率自狀態(tài)i出發(fā)，經(jīng)過n步首次到達狀態(tài)j的概率自狀態(tài)i出發(fā)，經(jīng)有限步終于到達狀態(tài)j的概率注13.狀態(tài)i的首達時間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時間狀態(tài)i的首返概率狀態(tài)i的首達時間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時間相應(yīng)的便是從狀態(tài)i出發(fā)，經(jīng)有限步終于返回狀態(tài)i的概率，從0出發(fā)，經(jīng)4步首次回到0狀態(tài)二、常返態(tài)和瞬時態(tài)1.常返態(tài)：注:

如果狀態(tài)i是常返的,那么從狀態(tài)i出發(fā)經(jīng)過有限步轉(zhuǎn)移后最后又回到i的概率為1.2．瞬時態(tài)注意：“常返”一詞，有時又稱“返回”、“常駐”或“持久”“瞬時”也稱“滑過”或“非常返”例轉(zhuǎn)移矩陣試證明：狀態(tài)1是常返態(tài)解按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖21/4111/41/411/4143于是狀態(tài)1是常返的。1.定義

設(shè)i和j是齊次的Markov鏈的兩個狀態(tài),如果存在n0,使得,則稱從狀態(tài)i可達狀態(tài)j,記作i

j.反之,以ij表示從狀態(tài)i不可達狀態(tài)j,即對一切n0,.

若i

j且j

i,則稱狀態(tài)i和j互達(相通),記作i

j.三、首達概率和轉(zhuǎn)移概率的關(guān)系2.定義自狀態(tài)i出發(fā)，經(jīng)有限步終于到達狀態(tài)i的概率定理2

證設(shè)系統(tǒng)從狀態(tài)i經(jīng)n步轉(zhuǎn)移到狀態(tài)j，由條件概率及馬氏性得對任意Iji?,及13n，有定理

對任意及，有說明1該定理表示n步轉(zhuǎn)移概率按照首次到達時間的所有可能值進行分解說明2說明3說明4四、判斷常返態(tài)和瞬時態(tài)的方法方法一：按照定義判斷：逐步計算方法二：利用n步轉(zhuǎn)移概率：①狀態(tài)i是常返的②狀態(tài)i是瞬過的方法三：利用n步轉(zhuǎn)移概率：例3.9考慮整數(shù)點上的隨機游動.向右移動一格的概率為p,向左移動一格的概率為q=1-p.從原點0出發(fā),則一步轉(zhuǎn)移概率矩陣為:所以利用Stirling公式知,當n充分大時于是因此,當p=0.5時,當p

0.5時即當p=0.5時狀態(tài)0是常返的;當p

0.5時0是瞬過的.正常返態(tài)和零常返態(tài)基本概念判斷方法典型例題1.狀態(tài)i的首達時間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時間狀態(tài)i的首返概率一、基本概念自狀態(tài)i出發(fā)，經(jīng)有限步終于到達狀態(tài)i的概率定義1：

如果fii=1,則稱狀態(tài)i是常返的.否則,即fii<1,稱狀態(tài)i為非常返的或瞬過的.說明1：當狀態(tài)i為常返狀態(tài)時，那么，不能構(gòu)成一個分布。說明2：當狀態(tài)i為瞬時狀態(tài)時，那么，構(gòu)成了一個分布，所以，對應(yīng)了一個隨機變量，其數(shù)學期望為：稱狀態(tài)i是零常返的。

定義2：

如果狀態(tài)i是常返狀態(tài)，當且僅當稱狀態(tài)i是正常返狀態(tài)。定義3：

如果狀態(tài)i是常返狀態(tài)，當且僅當二、判斷方法方法一：按照定義判斷：第1步：計算判定狀態(tài)是否為常返態(tài)。當狀態(tài)為常返態(tài)，再進行下一步。第2步：計算判定狀態(tài)為正常返態(tài)，還是零常返態(tài)。例轉(zhuǎn)移矩陣解于是狀態(tài)4是非常返的。于是狀態(tài)3是非常返的。于是狀態(tài)1是正常返的。于是狀態(tài)2是正常返的。定義

設(shè)i和j是齊次的Markov鏈的兩個狀態(tài),如果存在n0,使得,則稱從狀態(tài)i可達狀態(tài)j,記作i

j.反之,以ij表示從狀態(tài)i不可達狀態(tài)j,即對一切n0,.

若i

j且j

i,則稱狀態(tài)i和j互達(相通),記作i

j.推論1：

如果i是常返的,且i

j,則j也是常返的.推論2：

如果i，j是常返態(tài)的,且i

j,則i,j同為正常返或同為零常返.推論3：

如果i，j是互通的,即i

j,那么，狀態(tài)i和狀態(tài)j是同一類型的狀態(tài)。1/31/211/31/211/31234例，設(shè)馬氏鏈的狀態(tài)空間S={1，2，3，4}，其一步轉(zhuǎn)移矩陣為解試對其狀態(tài)分類。按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖鏈中四個狀態(tài)都是互通的。因此，所有狀態(tài)都是一種類型的狀態(tài)。可討論狀態(tài)1狀態(tài)1是常返態(tài)狀態(tài)1是正常返態(tài)所以，全部狀態(tài)都是正常返態(tài)例4

設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，其一步轉(zhuǎn)移概率為其中試證此馬氏鏈是一個不可約常返態(tài)鏈證先證S不可約設(shè)i，j是I中任意兩個狀態(tài)，則有類似地可證所以即I中任意兩個狀態(tài)都是相通的。因此，S是一個不可約的閉集再證S中狀態(tài)0是一個常返態(tài)：由狀態(tài)的轉(zhuǎn)移規(guī)則，得所以由定義知狀態(tài)0為常返態(tài)。因此，由定理知S中所有狀態(tài)都是常返態(tài)。故此馬氏鏈為不可約常返鏈。定理設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i是正常返態(tài)的充要條件是說明用極限判斷狀態(tài)類型的準則（2）i是零常返態(tài)（2）i是正常返態(tài)（1）i是瞬時態(tài)且且定理設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i是正常返態(tài)的充要條件是推論如果j是零常返態(tài)，i是任一狀態(tài)，則由定理9，上式第一項有從而推論得證。推論如果j是零常返態(tài)，i是任一狀態(tài)，則第7節(jié)周期態(tài)定義1：

設(shè)i為Markov鏈的一個狀態(tài),使的所有正整數(shù)n(n

1)的最大公約數(shù),稱為狀態(tài)i的周期,最大公約數(shù)記作d(i)或di

.

如果對所有n

1,都有,則約定周期為

;

如果d(i)=1，狀態(tài)i稱為是非周期的.一、周期態(tài)的定義和性質(zhì)推論:

如果n不能被周期d(i)整除,則必有.推論1

設(shè)狀態(tài)i的周期為di.如果,則存在整數(shù)N,使得對所有n

N恒有命題1

如果狀態(tài)i有周期d,則存在整數(shù)N,使得對所有nN恒有.若hi

>1,稱i是周期的；若hi=1,稱i是非周期的。定義2：

(1)若，則存在，使得(2)若，則存在，使得(3)若和中一個存在，則另一個也存在，并且相等。引理：如果i是周期態(tài)的定理：如果i

j,則di=dj.試求狀態(tài)0的周期.例3.7若Markov鏈有狀態(tài)0,1,2,3和轉(zhuǎn)移概率矩陣解:

狀態(tài)轉(zhuǎn)移可以用下圖表示猜想：:用數(shù)學歸納法不難求出:所以d(0)=2.試求狀態(tài)1的周期.例2:若Markov鏈有狀態(tài)1,2,3和轉(zhuǎn)移概率矩陣解:

狀態(tài)轉(zhuǎn)移可以用下圖表示所以d(1)=2.您能求出狀態(tài)2的周期嗎?二、判別狀態(tài)是否為周期態(tài)的方法(4)互通的兩個狀態(tài)必有相同的狀態(tài)類型三、狀態(tài)類別的分類和判別1.狀態(tài)類別的劃分說明（2）i是零常返態(tài)（2）i是正常返態(tài)（1）i是瞬時態(tài)且且周期態(tài)和狀態(tài)的分類定義1：

設(shè)i為Markov鏈的一個狀態(tài),使的所有正整數(shù)n(n

1)的最大公約數(shù),稱為狀態(tài)i的周期,最大公約數(shù)記作d(i)或di

.

如果對所有n

1,都有,則約定周期為

;

如果d(i)=1，狀態(tài)i稱為是非周期的.一、周期態(tài)的定義和性質(zhì)推論:

如果n不能被周期d(i)整除,則必有.推論1

設(shè)狀態(tài)i的周期為di.如果,則存在整數(shù)N,使得對所有n

N恒有命題1

如果狀態(tài)i有周期d,則存在整數(shù)N,使得對所有nN恒有.若hi

>1,稱i是周期的；若hi=1,稱i是非周期的。定義2：

(1)若，則存在，使得(2)若，則存在，使得(3)若和中一個存在，則另一個也存在，并且相等。引理：如果i是周期態(tài)的定理：如果i

j,則di=dj.試求狀態(tài)0的周期.例3.7若Markov鏈有狀態(tài)0,1,2,3和轉(zhuǎn)移概率矩陣解:

狀態(tài)轉(zhuǎn)移可以用下圖表示猜想：:用數(shù)學歸納法不難求出:所以d(0)=2.試求狀態(tài)1的周期.例2:若Markov鏈有狀態(tài)1,2,3和轉(zhuǎn)移概率矩陣解:

狀態(tài)轉(zhuǎn)移可以用下圖表示所以d(1)=2.您能求出狀態(tài)2的周期嗎?二、判別狀態(tài)是否為周期態(tài)的方法(4)互通的兩個狀態(tài)必有相同的狀態(tài)類型三、狀態(tài)類別的分類和判別1.狀態(tài)類別的劃分說明（2）i是零常返態(tài)（2）i是正常返態(tài)（1）i是瞬時態(tài)且且狀態(tài)空間的分解一、相關(guān)定義和性質(zhì)二、狀態(tài)空間的分解三、若干例子定義

設(shè)i和j是時齊的Markov鏈的兩個狀態(tài),如果存在n0,使得,則稱從狀態(tài)i可達狀態(tài)j,記作i

j.反之,以ij表示從狀態(tài)i不可達狀態(tài)j,即對一切n0,.

若i

j且j

i,則稱狀態(tài)i和j互達(相通),記作i

j.1、互通性：一、相關(guān)定義和性質(zhì)命題

互達性是等價關(guān)系,即滿足: (1)自反性:i

i; (2)

對成性:若i

j,則j

i

; (3)傳遞性:若i

k

且k

j,則i

j.證:

(3)若i

k且k

j,則存在整數(shù)n和m使得:由Chapman-Kolmogorov方程得:即:i

j.類似可證j

i.

互通關(guān)系是等價關(guān)系，所以，可以把狀態(tài)空間S

按照互通關(guān)系，劃分為若干個不相交的集合（或者說等價類)。

2．閉集注1

若C為閉集，則表示自C內(nèi)任意狀態(tài)i出發(fā)，始終不能到達C以外的任何狀態(tài)j。顯然，整個狀態(tài)空間構(gòu)成一個閉集。注2定義引理

(有關(guān)閉集的判定和性質(zhì))證明(1)用數(shù)學歸納法則顯然{1,2}和{3,4,5}是狀態(tài)在互達意義下的兩個等價類.因此,這個Markov鏈是可約的.比如其中一個子鏈為:例1若Markov鏈有轉(zhuǎn)移概率矩陣{3,4,5}是周期為2的常返態(tài){1，2}是周期為1的常返態(tài)例2其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系，并畫出狀態(tài)傳遞圖。解先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖2/31/41/41/31/21/20121/2圖3---1由圖可知狀態(tài)0可到達狀態(tài)1，經(jīng)過狀態(tài)1又可到達狀態(tài)2；反之，從狀態(tài)2出發(fā)經(jīng)狀態(tài)1也可到達狀態(tài)0。因此，狀態(tài)空間S的各狀態(tài)都是互通的。又由于S的任意狀態(tài)i(i=0，1，2)不能到達S以外的任何狀態(tài)，所以S是一個閉集而且S中沒有其它閉集所以此馬氏鏈是不可約的。例3其一步轉(zhuǎn)移矩陣為試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。解先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖111/21/21/2311/2圖3---24521

閉集，由圖可知狀態(tài)3為吸收態(tài)且閉集，閉集，其中是不可約的。又因狀態(tài)空間S有閉子集，故此鏈為非不可約鏈。二、狀態(tài)空間的分解如果已知類中有一個常返態(tài)，則這個類中其它狀態(tài)都是常返的。若類中有一個非常返態(tài)，則類中其它狀態(tài)都是非常返態(tài)。若對不可約馬氏鏈，則要么全是常返態(tài)，要么全是非常返態(tài)。把狀態(tài)空間S劃分為若干個不相交的集合，每一一個集合是同一類狀態(tài)構(gòu)成的集合——狀態(tài)空間的分解。

如果從某一非常返態(tài)出發(fā)，系統(tǒng)可能一直在非常返集中，也可能進入某個常返閉集，一旦進入某個常返閉集后，將一直停留在這個常返閉集中；如果系統(tǒng)從某一常返狀態(tài)出發(fā)，則系統(tǒng)就一直停留在這個狀態(tài)所在的常返閉集中。說明1定理7（1）非常返態(tài)集N不可能是閉集；（2）至少有一個常返態(tài)；（3）不存在零常返態(tài)；（4）若鏈是不可約的，那么狀態(tài)都是正常返的（5）其狀態(tài)空間可分解為是互不相交的由正常返態(tài)組成的閉集。定理8(周期鏈分解定理)轉(zhuǎn)移概率矩陣的標準形式狀態(tài)空間的分解周期鏈的分解例．設(shè)馬氏鏈的狀態(tài)空間為S={1，2，3，4}，其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系。解10.60.20.20.71120.334狀態(tài)空間為S分兩個部分：={1，2，3}，={4}

是閉集

中狀態(tài)4可到達中各狀態(tài)，且它非吸收狀態(tài)，所以不是閉集。例其一步轉(zhuǎn)移矩陣如下，是對I進行分解。I可分解為：C1={2，3,4}C2={5，6,7}兩個閉集及N={1}，即I=N+C1+C24、遍歷狀態(tài)若狀態(tài)i是正常返且非周期，則稱i為遍歷狀態(tài)。例5設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，轉(zhuǎn)移概率為試討論各狀態(tài)的遍歷性。解根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖…1/21/21/21/21/21/20121/2圖3---431/2從圖可知，對任一狀態(tài)都有，故由定理可知，S中的所以狀態(tài)都是相通的，因此只需考慮狀態(tài)0是否正常返即可?！蕪亩?是常返態(tài)。又因為所以狀態(tài)0為正常返。又由于故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。故所有狀態(tài)i都是遍歷的。7．設(shè)馬氏鏈的狀態(tài)空間S={1，2，3，4，5}，其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)的類及周期性解各狀態(tài)間的傳遞圖對于任意有，即S為不可再分閉集。所以S中每一個狀態(tài)都是常返態(tài)，且此馬氏鏈為有限狀態(tài)不可約常返鏈。0.40.2110.50.50.80.631254所以狀態(tài)1的周期為3，由定理知，S中所有狀態(tài)都為周期態(tài)，且周期都為3。因此，這個馬氏鏈又是以3為周期的周期鏈。又因為馬氏鏈為有限狀態(tài)不可約鏈，所以所有狀態(tài)都是正常返狀態(tài)。8．設(shè)馬氏鏈的狀態(tài)空間為S={1，2，3}，其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系。解0.50.50.5120.513可繼續(xù)討論正常返2153411試分解此鏈并指出各狀態(tài)的常返性及周期性解：由轉(zhuǎn)移矩陣可得轉(zhuǎn)移圖.1352111146第9節(jié)

轉(zhuǎn)移概率的極限性質(zhì)相關(guān)例子相關(guān)定理相關(guān)例子1.引例設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為試討論轉(zhuǎn)移概率的極限.解例表明2.相關(guān)定理定理

若i是周期為di的常返狀態(tài)，則（2）j是零常返態(tài)（1）j是瞬時態(tài)且定理2

若是一個非周期的正常返狀態(tài)，則三、極限分布注2：此定理指出了如何求出極限分布的方法。定理例設(shè)有6個球（其中2個紅球，4個白球）分放于甲、乙兩個盒子中，每盒放3個，今每次從兩個盒中