應(yīng)用隨機(jī)過程2005年5月25日聯(lián)系方式：電話：Email:yonghongd馬爾可夫過程馬爾可夫鏈

馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率4.2馬爾可夫鏈的狀態(tài)分類4.3狀態(tài)空間的分解4.4漸近性質(zhì)與平穩(wěn)分布4.5連續(xù)時間馬爾可夫鏈4.6柯爾莫哥洛夫微分方程3馬爾可夫過程

馬爾可夫過程的定義定義4.1設(shè){X(t)，t

T

}為隨機(jī)過程，若對任意正整數(shù)n及t1<t2<

<tn，P{X(t1)=x1,

,X(tn-1)=xn-1}>0，且條件分布P{X(tn)

xn|X(t1)=x1,

,X(tn-1)=xn-1}=P{X(tn)

xn|X(tn-1)=xn-1}，則稱{X(t)，t

T

}為馬爾可夫過程。若t1,t2,,tn-2表示過去，tn-1表示現(xiàn)在，tn表示將來，馬爾可夫過程表明：在已知現(xiàn)在狀態(tài)的條件下，將來所處的狀態(tài)與過去狀態(tài)無關(guān)。4馬爾可夫過程馬爾可夫過程的定義馬爾可夫過程通常分為三類：(1)時間、狀態(tài)都是離散的，稱為馬爾可夫鏈(2)時間連續(xù)、狀態(tài)離散的，稱為連續(xù)時間馬爾可夫鏈(3)時間、狀態(tài)都是連續(xù)的，稱為馬爾可夫過程5馬爾可夫過程馬爾可夫鏈的一個應(yīng)用——

含體制變化的時間序列建模

如果人們觀察宏觀經(jīng)濟(jì)或金融時間序列足夠長時期,則可以看到類似的戲劇性中斷。時間序列的這種明顯變化可能源于戰(zhàn)爭、金融恐慌或政府政策的顯著變化。一個有吸引力的例子是墨西哥銀行美元帳戶的比索值對墨西哥銀行美元帳戶的比索值之比率（Rogers,1992)。6馬爾可夫過程墨西哥銀行美元帳戶的比索值對墨西哥銀行美元帳戶的比索值之比率，月度數(shù)據(jù)，1978—198578798281808485837馬爾可夫過程馬爾可夫鏈的一個應(yīng)用——

含體制變化的時間序列建模對于一個具體的時間序列過程，我們?nèi)绾谓Ｄ兀恳粋€簡單的想法可能是1982年自回歸的常數(shù)項(xiàng)發(fā)生了變化。對于1982年前的數(shù)據(jù)，我們可使用模型如yt-μ1=

ф

(yt-1-μ1)+εt而1982年后的數(shù)據(jù)則可描述作yt-μ2=

ф

(yt-1-μ2)+εt8馬爾可夫過程馬爾可夫鏈的一個應(yīng)用——

含體制變化的時間序列建模上面的模型看起來是對數(shù)據(jù)的一個可行描述，但作為一個時間序列模型并不令人滿意。如果過去的過程發(fā)生了變化，顯然它在將來也可能發(fā)生變化，所以在預(yù)測是應(yīng)考慮到這一點(diǎn)。另外，體制的變化肯定不能視做完全可預(yù)見的、確定性事件。還有，體制變化本身是一個隨機(jī)變量。因而一個完整的時間序列模型應(yīng)該包括參數(shù)從μ1到μ2之變化的概率規(guī)律。9馬爾可夫過程馬爾可夫鏈的一個應(yīng)用——

含體制變化的時間序列建模上述觀察表明，我們應(yīng)該考慮未被觀察到的隨機(jī)變量s(t)的影響，s(t)表示過程在時刻t的狀態(tài)或體制。如果s(t)=1，則過程處在體制1，而s(t)=2則意味著過程處于體制2。則上面的模型可等價寫作yt-μs(t)=

ф

(yt-1-μs(t))+εt其中描述這類離散性隨機(jī)變量s(t)的最簡單而有效的時間序列模型是馬爾可夫鏈。（見hamilton，《時間序列分析》，1998）10馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率隨機(jī)過程{Xn，n

T

}，參數(shù)T={0,1,2,

},狀態(tài)空間I={i0,i1,i2,

}定義4.2若隨機(jī)過程{Xn，n

T

}，對任意n

T和i0,i1,

,in+1

I，條件概率P{Xn+1=in+1|X0=i0,X1=i1,

,Xn=in}=P{Xn+1=in+1|Xn=in}，則稱{Xn，n

T

}為馬爾可夫鏈，簡稱馬氏鏈。11馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率馬爾可夫鏈的性質(zhì)P{X0=i0,X1=i1,

,Xn=in}=P{Xn=in|X0=i0,X1=i1,

,Xn-1=in-1}

P{X0=i0,X1=i1,

,Xn-1=in-1}=P{Xn=in|Xn-1=in-1}

P{Xn-1=in-1|X0=i0,X1=i1,

,Xn-2=in-2}

P{X0=i0,X1=i1,

,Xn-2=in-2}=P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}

P{X0=i0,X1=i1,

,Xn-2=in-2}12馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率=

=P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}

P{X1=i1|X0=i0}P{X0=i0}馬爾可夫鏈的統(tǒng)計特性完全由條件概率P{Xn+1=in+1|Xn=in}確定。13馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率定義4.3稱條件概率pij(n)=P{Xn+1=j|Xn=i}為馬爾可夫鏈{Xn，n

T

}在時刻n的一步轉(zhuǎn)移概率，簡稱轉(zhuǎn)移概率，其中i,j

I。定義4.4若對任意的i,j

I，馬爾可夫鏈{Xn,n

T

}的轉(zhuǎn)移概率pij(n)與n無關(guān)，則稱馬爾可夫鏈?zhǔn)驱R次的，并記pij(n)為pij。齊次馬爾可夫鏈具有平穩(wěn)轉(zhuǎn)移概率，狀態(tài)空間I={1,2,3,

}，一步轉(zhuǎn)移概率為14馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率轉(zhuǎn)移概率性質(zhì)(1)

(2)

P稱為隨機(jī)矩陣15馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率定義4.5稱條件概率

=P{Xm+n=j|Xm=i}為馬爾可夫鏈{Xn，n

T

}的n步轉(zhuǎn)移概率(i,j

I,m0,n1)。n步轉(zhuǎn)移矩陣其中

P(n)也為隨機(jī)矩陣16馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率定理4.1設(shè){Xn，n

T

}為馬爾可夫鏈，則對任意整數(shù)n

0,0

l<n和i,j

I，n步轉(zhuǎn)移概率具有性質(zhì)(1)

(2)

(3)

P(n)=PP(n-1)(4)

P(n)=Pn17馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率證(1)18馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率(2)在(1)中令l=1,k=k1,得由此可遞推出公式(3)矩陣乘法(4)由(3)推出說明：(1)此為C-K方程(切普曼-柯爾莫哥洛夫)(2)n步轉(zhuǎn)移概率由一步轉(zhuǎn)移概率確定，

n步轉(zhuǎn)移概率矩陣由一步轉(zhuǎn)移概率矩陣確定(n次冪)19馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率初始概率絕對概率初始分布絕對分布初始概率向量絕對概率向量定義4.620馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率

設(shè){Xn，n

T

}為馬爾可夫鏈，則對任意整數(shù)j

I和n

1

，絕對概率pj(n)具有性質(zhì)(1)

(2)

(3)PT(n)=PT(0)P(n)(4)PT(n)=PT(n-1)P定理4.221馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率證(1)

22馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率(2)(3)(4)為(1)(2)的矩陣表示。23馬爾可夫過程

定理4.3設(shè){Xn，n

T

}為馬爾可夫鏈，則對任意整數(shù)i1,i2,

,in

I和n

1

，有性質(zhì)證24馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率例4.1無限制隨機(jī)游動qp-1

0

1ii-1i+1一步轉(zhuǎn)移概率:25馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率n步轉(zhuǎn)移概率:i經(jīng)過k步進(jìn)入j,向右移了x步,向左移了y步則26馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率例4.2賭徒輸光問題甲有賭資a元，乙有賭資b元，賭一局輸者給贏者1元，無和局。甲贏的概率為p，乙贏的概率為q=1-p，求甲輸光的概率。解狀態(tài)空間I={0,1,2,

,c}，c=a+bqpa-1a

a+10a+b27馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率設(shè)ui表示甲從狀態(tài)i出發(fā)轉(zhuǎn)移到狀態(tài)0的概率，求ua顯然u0

=1，uc=0(u0表示已知甲輸光情形下甲輸光的概率，uc表示已知乙輸光情形下甲輸光的概率)ui=pui+1

+qui-1

(i=1,2,

,c-1)（甲在狀態(tài)i下輸光：甲贏一局后輸光或甲輸一局后輸光）28馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率

29馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率

30馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率31馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率

32馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率例4.3天氣預(yù)報問題

RR表示連續(xù)兩天有雨，記為狀態(tài)0NR表示第1天無雨第2天有雨，記為狀態(tài)1RN表示第1天有雨第2天無雨，記為狀態(tài)2NN表示連續(xù)兩天無雨，記為狀態(tài)3p00=P{R今R明|R昨R今}=P{R明|R昨R今}=0.7p01=P{N今R明|R昨R今}=0p02=P{R今N明|R昨R今}=P{N明|R昨R今}=0.3p03=P{N今N明|R昨R今}=033馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率類似地得到其他轉(zhuǎn)移概率，于是轉(zhuǎn)移概率矩陣為若星期一、星期二均下雨，求星期四下雨的概率34馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率星期四下雨的情形如右，星期四下雨的概率2步轉(zhuǎn)移概率矩陣為一二三四RRRR00RRNR0135馬爾可夫過程4.1馬爾可夫鏈與轉(zhuǎn)移概率例4.4具有吸收壁和反射壁的隨機(jī)游動狀態(tài)空間{1,2,3,4}，1為吸收壁，4為反射壁狀態(tài)轉(zhuǎn)移圖狀態(tài)轉(zhuǎn)移矩陣36馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類{Xn,n

0}是離散馬爾可夫鏈，pij為轉(zhuǎn)移概率，i,j

I，I={0,1,2,}為狀態(tài)空間，{pj,j

I}為初始分布定義4.7

狀態(tài)i的周期d：d=G.C.D{n:>0}(最大公約數(shù)greatestcommondivisor)如果d>1，就稱i為周期的，如果d=1，就稱i為非周期的37馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類例4.5設(shè)馬爾可夫鏈的狀態(tài)空間I={1,2,,9}，轉(zhuǎn)移概率如下圖從狀態(tài)1出發(fā)再返回狀態(tài)1的可能步數(shù)為T={4,6,8,10,}，T的最大公約數(shù)為2，從而狀態(tài)1的周期為238馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類注(1)如果i有周期d，則對一切非零的n,n0modd，有（若，則n=0modd）(2)對充分大的n，（引理4.1）例題中當(dāng)n=1時，當(dāng)n>0時，39馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類例4.6狀態(tài)空間I={1,2,3,4}，轉(zhuǎn)移概率如圖，狀態(tài)2和狀態(tài)3有相同的周期d=2，但狀態(tài)2和狀態(tài)3有顯著的區(qū)別。當(dāng)狀態(tài)2轉(zhuǎn)移到狀態(tài)3后，再不能返回到狀態(tài)2，狀態(tài)3總能返回到狀態(tài)3。這就要引入常返性概念。40馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類由i出發(fā)經(jīng)n步首次到達(dá)j的概率(首達(dá)概率)規(guī)定由i出發(fā)經(jīng)有限步終于到達(dá)j的概率41馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類若fii=1，稱狀態(tài)i為常返的；若fii<1，稱狀態(tài)i為非常返的i為非常返，則以概率1-

fii不返回到ii為常返，則

構(gòu)成一概率分布，期望值

表示由i出發(fā)再返回到i的平均返回時間定義4.842馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類若

i<

，則稱常返態(tài)i為正常返的，若

I=

，則稱常返態(tài)i為零常返的，非周期的正常返態(tài)稱為遍歷狀態(tài)。首達(dá)概率與n步轉(zhuǎn)移概率有如下關(guān)系式定理4.4對任意狀態(tài)i,j及1

n<

，有定義4.943馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類證44馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類引理4.2周期的等價定義G.C.D=G.C.D例4.7設(shè)馬爾可夫鏈的狀態(tài)空間I={1,2,3}，轉(zhuǎn)移概率矩陣為求從狀態(tài)1出發(fā)經(jīng)n步轉(zhuǎn)移首次到達(dá)各狀態(tài)的概率45馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類解狀態(tài)轉(zhuǎn)移圖如下，首達(dá)概率為

46馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類同理可得47馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類以下討論常返性的判別與性質(zhì)數(shù)列的母函數(shù)與卷積{an,n

0}為實(shí)數(shù)列，母函數(shù){bn,n

0}為實(shí)數(shù)列，母函數(shù)則{an}與{bn}的卷積的母函數(shù)48馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類定理4.5狀態(tài)i常返的充要條件為如i非常返，則證:規(guī)定，則由定理4.449馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類

50馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類對0

s<151馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類

52馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類定理4.6設(shè)i常返且有周期為d，則其中

i為i的平均返回時間，當(dāng)

i=

時推論設(shè)i常返，則(1)i零常返(2)i遍歷53馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類證(1)

i零常返，

i=，由定理4.6知，對d的非整數(shù)倍數(shù)的n，

從而子序列

i是零常返的54馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類(2)

子序列所以d=1，從而i為非周期的，i是遍歷的

i是遍歷的，d=1，

i<，55馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類狀態(tài)的可達(dá)與互通狀態(tài)i可達(dá)狀態(tài)j，i

j：存在n>0,使?fàn)顟B(tài)i與狀態(tài)j互通，i

j：i

j且j

I定理4.7可達(dá)關(guān)系與互通關(guān)系都具有傳遞性，即(1)若i

j，j

k，則i

k(2)若i

j，j

k，則i

k56馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類證(1)i

j，存在l>0，使j

k，存在m>0，使由C-K方程所以i

k(2)由(1)直接推出57馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類定理4.8如i

j，則(1)i與j同為常返或非常返，如為常返，則它們同為正常返或零常返(2)i與j有相同的周期58馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類例4.8設(shè)馬氏鏈{Xn}的狀態(tài)空間為I={0,1,2,

}，轉(zhuǎn)移概率為考察狀態(tài)0的類型59馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類

可得出0為正常返的由于，所以0的周期為d=10為非周期的，從而為遍歷狀態(tài)對于其它狀態(tài)i,由于i

0,所以也是遍歷的

60馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類例4.9對無限制隨機(jī)游動由斯特林近似公式可推出(1)當(dāng)且僅當(dāng)p=q=1/2時，4pq=161馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類狀態(tài)i是常返的狀態(tài)i是零常返的62馬爾可夫過程4.2馬爾可夫鏈的狀態(tài)分類(2)當(dāng)且僅當(dāng)p

q，4pq<1狀態(tài)i是非常返的63馬爾可夫過程4.3狀態(tài)空間的分解定義4.10狀態(tài)空間I

的子集C稱為閉集，如對任意i

C及k

C都有pik=0;閉集C稱為不可約的，如C的狀態(tài)互通；馬氏鏈{Xn}稱為不可約的，如其狀態(tài)空間不可約引理4.3C是閉集的充要條件為對i

C及k

C都有64馬爾可夫過程4.3狀態(tài)空間的分解證充分性顯然成立必要性（數(shù)學(xué)歸納法）設(shè)C為閉集，由定義當(dāng)n=1時結(jié)論成立設(shè)n=m時，，i

C及k

C，則注：如pii=1，稱狀態(tài)i為吸收的，等價于單點(diǎn)集{i}為閉集。65馬爾可夫過程4.3狀態(tài)空間的分解例4.10設(shè)馬氏鏈{Xn}的狀態(tài)空間為I={1,2,3,4,5}，轉(zhuǎn)移概率矩陣為狀態(tài)3是吸收的，故{3}是閉集，{1,4}，{1,3,4}，{1,2,3,4}都是閉集，其中{3}，{1,4}是不可約的。I含有閉子集，故{Xn}不是不可約的鏈。66馬爾可夫過程4.3狀態(tài)空間的分解例4.11無限制隨機(jī)游動為不可約馬氏鏈，各狀態(tài)的周期為2，當(dāng)p=q=1/2時，是零常返的，當(dāng)p

q時，是非常返的。67馬爾可夫過程4.3狀態(tài)空間的分解定理4.9任一馬氏鏈的狀態(tài)空間I，可唯一地分解成有限個或可列個互不相交的子集D,C1,C2,

之和，使得：(1)每一Cn是常返態(tài)組成的不可約閉集；(2)Cn中的狀態(tài)同類型，或全是正常返，或全是零常返，它們有相同的周期，且fij=1，i,j

Cn；(3)D由全體非常返態(tài)組成，自Cn中狀態(tài)不能到達(dá)D中的狀態(tài)。68馬爾可夫過程4.3狀態(tài)空間的分解例4.12馬氏鏈的狀態(tài)空間I={1,2,3,4,5,6},狀態(tài)轉(zhuǎn)移矩陣為分解此鏈并指出各狀態(tài)的常返性及周期性。69馬爾可夫過程4.3狀態(tài)空間的分解解由狀態(tài)轉(zhuǎn)移圖知可見1為正常返狀態(tài)且周期為3，含1的基本常返閉集為C1={k:1

k}={1,3,5}，從而狀態(tài)3及5也為正常返狀態(tài)且周期為3。同理可知6為正常返狀態(tài)，

6=3/2，周期為1。含6的基本常返閉集為C2={k:6

k}={2,6}，可見2，6為遍歷狀態(tài)。70馬爾可夫過程4.3狀態(tài)空間的分解

于是I可分解為I=D∪C1∪C2={4}∪{1,3,5}∪{2,6}定義4.11稱矩陣A=(aij)為隨機(jī)矩陣，若顯然k步轉(zhuǎn)移矩陣為隨機(jī)矩陣。71馬爾可夫過程4.3狀態(tài)空間的分解引理4.4設(shè)C為閉集，G是C上所得的k步轉(zhuǎn)移子矩陣，則G仍是隨機(jī)矩陣。證任取i

C，由引理4.3有從而且，故是隨機(jī)矩陣。72馬爾可夫過程4.3狀態(tài)空間的分解注：對I的一個閉子集，可考慮C上的原馬氏鏈的子馬氏鏈，其狀態(tài)空間為C，轉(zhuǎn)移矩陣為G=(pij)，i,j

C是原馬氏鏈的轉(zhuǎn)移矩陣為P=(pij)，i,j

I的子矩陣。73馬爾可夫過程4.3狀態(tài)空間的分解定理4.10周期為d的不可約馬氏鏈，其狀態(tài)空間C可唯一地分解為d個互不相交的子集之和，即且使得自Gr中任一狀態(tài)出發(fā)，經(jīng)一步轉(zhuǎn)移必進(jìn)入Gr+1中(Gd=G0)。注：任取一狀態(tài)i，對每一r=0,1,

,d-1定義集74馬爾可夫過程4.3狀態(tài)空間的分解例4.13設(shè)不可約馬氏鏈的狀態(tài)空間為C={1,2,3,4,5,6}，轉(zhuǎn)移矩陣為75馬爾可夫過程4.3狀態(tài)空間的分解由狀態(tài)轉(zhuǎn)移圖可知各狀態(tài)的周期d=3,固定狀態(tài)i=1，令故C=G0∪G1∪G2={1,4,6}∪{3,5}∪{2}此在C中的運(yùn)動如下圖所示。76馬爾可夫過程4.3狀態(tài)空間的分解

77馬爾可夫過程4.3狀態(tài)空間的分解定理4.11設(shè){Xn,n

0}是周期為d的不可約馬氏鏈，則在定理4.10的結(jié)論下有(1)如只在0,d,2d,

上考慮{Xn}，即得一新馬氏鏈{Xnd}，其轉(zhuǎn)移矩陣，對此新鏈，每一Gr是不可約閉集，且Gr中的狀態(tài)是非周期的；(2)如原馬氏鏈{Xn}常返，則新馬氏鏈{Xnd}也常返。78馬爾可夫過程4.3狀態(tài)空間的分解例4.14設(shè){Xn}為例4.13中的馬氏鏈，已知d=3，則{Xnd,n

0}的轉(zhuǎn)移矩陣為79馬爾可夫過程4.3狀態(tài)空間的分解由子鏈{X3n}的狀態(tài)轉(zhuǎn)移圖可知G0={1,4,6}，G1={3,5}，G2={2}各形成不可約閉集，周期為180馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布考慮漸近性質(zhì)定理4.12如j非常返或零常返，則證若j非常返，則由定理4.5，

從而若j零常返，則由定理4.6推論，81馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布由定理4.4，對N<n，有固定N，先令n，則82馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布

83馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布推論1有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。證設(shè)I={0,1,

,N}，如I全是非常返狀態(tài)，則對任意i,j

I，由定理4.12知

故矛盾。84馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布如I含有零常返狀態(tài)i，則C={j:i

j}是有限不可約閉集，由定理4.9知，C中均為零常返狀態(tài)，由定理4.12知，由引理4.4知所以85馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布推論2如馬氏鏈有一個零常返狀態(tài)，則必有無限多個零常返狀態(tài)。證設(shè)i為零常返狀態(tài)，則C={j:i

j}是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則，86馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布當(dāng)j是正常返狀態(tài)時，不一定存在，即使存在也可能與i有關(guān)。我們考慮87馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布定理4.13如j是正常返狀態(tài)，周期為d，則對任意i及0

r

d-1，有證對d的非正整數(shù)倍數(shù)的n，(定理4.4，及設(shè)v-r=md，則v=md+r)88馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布于是，對1

N

n有固定N，先令n，再令N，由定理4.6可得從而89馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布推論設(shè)不可約、正常返、周期為d的馬氏鏈，其狀態(tài)空間為C，則對一切i,j

C有其中為定理4.10中所給出當(dāng)d=1時，則對一切i,j有90馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布定理4.14對任意狀態(tài)i,j有推論如{Xn}不可約、常返，則對任意i,j有91馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布下面考慮平穩(wěn)分布設(shè)是{Xn,n

0}齊次馬爾可夫鏈，狀態(tài)空間為I，轉(zhuǎn)移概率為pij定義4.12稱概率分布{

j,j

I}為馬爾可夫鏈的平穩(wěn)分布，若92馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布注：(1)若初始概率分布{pj,j

I}是平穩(wěn)分布，則pj=pj(1)=pj(2)=

=pj(n)(2)對平穩(wěn)分布{

j,j

I}，有矩陣形式

=

P(n)其中

=(

j)，P(n)=(

)93馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布定理4.15不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布推論1有限狀態(tài)的不可約非周期馬爾可夫鏈必存在平穩(wěn)分布。推論2若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返，則不存在平穩(wěn)分布。94馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布推論3若{

j,j

I}是馬爾可夫鏈的平穩(wěn)分布，則例4.15設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的平均返回時間。95馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布解因?yàn)轳R爾可夫鏈?zhǔn)遣豢杉s非周期有限狀態(tài)的，所以平穩(wěn)分布存在，設(shè)

=(

1,

2,

3)，則

=

P，

1+

2+

3=1即各狀態(tài)的平均返回時間為96馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布例4.16設(shè)馬爾可夫鏈具有狀態(tài)空間I={0,1,2,

}，轉(zhuǎn)移概率為pi,i+1=pi,pii=ri,pi,i-1=qi(i

0)，其中q0=0,

pi,qi>0,pi+ri+qi=1。此馬爾可夫鏈為生滅鏈，它是不可約的。記a0=1，證此馬爾可夫鏈存在平穩(wěn)分布的充要條件為97馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布證設(shè){

j,j

I}是平穩(wěn)分布98馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布

99馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布例4.17設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個不可約閉集的平穩(wěn)分布。100馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個不可約常返閉集C1={2,3,4}和C2={5,6,7}，一個非常返集N={1}。在常返集上求平穩(wěn)分布。101馬爾可夫過程4.4漸近性質(zhì)與平穩(wěn)分布在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為{0,0.4,0.2,0.4,0,0,0}同理可求得C2上的平穩(wěn)分布為{0,0,0,0,1/3,1/3,1/3}102馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈

定義4.13設(shè)隨機(jī)過程{X(t)，t

0

}，狀態(tài)空間I={0,1,2,

}，若對任意0

t1<t2<

<tn+1及非負(fù)整數(shù)i1,i2,

,in+1，有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,

,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in}，則稱{X(t)，t

0

}為連續(xù)時間馬爾可夫鏈。103馬爾可夫過程轉(zhuǎn)移概率：在s時刻處于狀態(tài)i，經(jīng)過時間t后轉(zhuǎn)移到狀態(tài)j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}定義4.14齊次轉(zhuǎn)移概率(與起始時刻s無關(guān)，只與時間間隔t有關(guān))pij(s,t)=pij(t)此時有轉(zhuǎn)移概率矩陣P(t)=(pij(t))，i,j

I，t

0.104馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈記

i為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時間，則對s,t

0有(1)(2)

i服從指數(shù)分布證(1)事實(shí)上105馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈ss+t0

iiiiti106馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈

107馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈(2)設(shè)

i的分布函數(shù)為F(x),(x

0),則生存函數(shù)G(x)=1-F(x)由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-

x,則F(x)=1-G(x)=1-e-

x為指數(shù)分布函數(shù)。108馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時間

i服從指數(shù)分布(1)當(dāng)

i=時，狀態(tài)i的停留時間

i超過x的概率為0，則稱狀態(tài)i為瞬時狀態(tài)；(2)當(dāng)

i=0時，狀態(tài)i的停留時間

i超過x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。109馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈定理4.16齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：(1)pij(t)

0;(2)

(3)

證

由概率的定義，(1)(2)顯然成立，下證(3)110馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈

111馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈注：此為轉(zhuǎn)移概率的正則性條件。112馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈定義4.15(1)初始概率(2)絕對概率(3)初始分布(4)絕對分布定理4.17齊次馬爾可夫過程的絕對概率及有限維概率分布具有下列性質(zhì)：113馬爾可夫過程4.5連續(xù)時間馬爾可夫鏈

(1)

pj(t