1、第五章 連續(xù)時(shí)間馬爾可夫鏈,I 馬爾可夫鏈,5 4 3 2 1 0 1 2 3 4 5 T,5.1 連續(xù)時(shí)間馬爾可夫鏈,定義5.1 設(shè)隨機(jī)過程X(t)，t 0 ，狀態(tài)空間I=0,1,2,，若對(duì)任意 0t1 t2tn+1及非負(fù)整數(shù)i1,i2, ,in+1 ，有 PX(tn+1)=in+1|X(t1)=i1, X(t2)=i2, X(tn)=in =PX(tn+1)=in+1|X(tn)=in， 則稱X(t)，t 0 為連續(xù)時(shí)間馬爾可夫鏈。 轉(zhuǎn)移概率：在s時(shí)刻處于狀態(tài)i，經(jīng)過時(shí)間t后轉(zhuǎn)移到狀態(tài)j的概率 pij(s,t)= PX(s+t)=j|X(s)=i,5.1 連續(xù)時(shí)間馬爾可夫鏈,定義5.2 齊

2、次轉(zhuǎn)移概率 pij(s,t)=pij(t) (與起始時(shí)刻s無關(guān)，只與時(shí)間間隔t有關(guān)) 轉(zhuǎn)移概率矩陣P(t)=(pij(t) ，i,jI，t 0 性質(zhì)：若i為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時(shí)間，則對(duì)s, t0有 (1) (2) i 服從指數(shù)分布,5.1 連續(xù)時(shí)間馬爾可夫鏈,s,s+t,0,i,i,i,i,t,i,證(1) 事實(shí)上,5.1 連續(xù)時(shí)間馬爾可夫鏈,5.1 連續(xù)時(shí)間馬爾可夫鏈,(2)設(shè)i的分布函數(shù)為F(x), (x0), 則生存函數(shù)G(x)=1-F(x) 由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-x, 則F(x)=1-G(x)=1-e-x為指數(shù)分布函數(shù)。,5.1 連續(xù)時(shí)間馬爾可夫鏈,

3、過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時(shí)間i服從指數(shù)分布 (1)當(dāng)i=時(shí)， 狀態(tài)i的停留時(shí)間i 超過x的概率為0，則稱狀態(tài)i為瞬時(shí)狀態(tài)； (2)當(dāng)i=0時(shí)， 狀態(tài)i的停留時(shí)間i 超過x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。,5.1 連續(xù)時(shí)間馬爾可夫鏈,定理5.1 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)： (1) pij(t)0; (2) (3) 證 由概率的定義，(1)(2)顯然成立，下證(3),5.1 連續(xù)時(shí)間馬爾可夫鏈,5.1 連續(xù)時(shí)間馬爾可夫鏈,注： 此為轉(zhuǎn)移概率的正則性條件。,5.1 連續(xù)時(shí)間馬爾可夫鏈,定義5.3 (1)初始概率 (2)絕對(duì)概率 (3)初始分布 (4)絕對(duì)分布 定理5.2 齊次馬

4、爾可夫過程的絕對(duì)概率及有限維概率分布具有下列性質(zhì)：,5.1 連續(xù)時(shí)間馬爾可夫鏈,(1) pj(t)0 (2) (3) (4) (5),5.1 連續(xù)時(shí)間馬爾可夫鏈,例5.1 證明泊松過程X(t), t0為連續(xù)時(shí)間齊次馬爾可夫鏈。 證 先證泊松過程的馬爾可夫性。 泊松過程是獨(dú)立增量過程，且X(0)=0，對(duì)任意0t1 t2 tn tn+1有,5.1 連續(xù)時(shí)間馬爾可夫鏈,另一方面 即泊松過程是一個(gè)連續(xù)時(shí)間馬爾可夫鏈。,5.1 連續(xù)時(shí)間馬爾可夫鏈,再證齊次性 當(dāng)j i時(shí)， 當(dāng)ji時(shí),因增量只取非負(fù)整數(shù)值,故pij(s,t)=0， 所以 轉(zhuǎn)移概率與s無關(guān)，泊松過程具有齊次性。,5.2 柯爾莫哥洛夫微分方程

5、,引理5.1 設(shè)齊次馬爾可夫過程滿足正則性條件，則對(duì)于任意i, jI，pij(t)是t的一致連續(xù)函數(shù)。 定理5.3 設(shè)pij(t)是齊次馬爾可夫過程的轉(zhuǎn)移概率，則下列極限存在,5.2 柯爾莫哥洛夫微分方程,稱為齊次馬爾可夫過程從狀態(tài)i到狀態(tài)j的轉(zhuǎn)移速率（跳躍強(qiáng)度）。 推論 對(duì)有限齊次馬爾可夫過程，有,5.2 柯爾莫哥洛夫微分方程,若連續(xù)時(shí)間齊次馬爾可夫鏈具有有限狀態(tài)空間I=0,1,2,n 問題：能否由Q可求轉(zhuǎn)移概率？,5.2 柯爾莫哥洛夫微分方程,定理5.4(柯爾莫哥洛夫向后方程) 假設(shè) ，則對(duì)一切i,j及t0，有 證 由切普曼-柯爾莫哥洛夫方程有,5.2 柯爾莫哥洛夫微分方程,定理5.5(柯

6、爾莫哥洛夫向前方程) 在適當(dāng)?shù)恼齽t條件下有,5.2 柯爾莫哥洛夫微分方程,向后方程的矩陣形式：P(t)=QP(t) 向前方程的矩陣形式：P(t)=P(t)Q,注：,5.2 柯爾莫哥洛夫微分方程,定理5.6 齊次馬爾可夫過程在t時(shí)刻處于狀態(tài)jI的絕對(duì)概率pj(t) 滿足方程：,證,5.2 柯爾莫哥洛夫微分方程,5.2 柯爾莫哥洛夫微分方程,定義5.4 設(shè)pij(t)是連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率，若存在時(shí)刻t1和t2，使得pij(t1)0， pji(t2)0，則稱狀態(tài)i與j是互通的。 若所有狀態(tài)都是互通的，則稱此馬爾可夫鏈為不可約的。 可定義狀態(tài)的常返性,5.2 柯爾莫哥洛夫微分方程,例5.2

7、設(shè)兩個(gè)狀態(tài)的連續(xù)時(shí)間馬爾可夫鏈，狀態(tài)轉(zhuǎn)移概率滿足，試討論平穩(wěn)分布。,5.2 柯爾莫哥洛夫微分方程,5.2 柯爾莫哥洛夫微分方程,5.2 柯爾莫哥洛夫微分方程,轉(zhuǎn)移概率為,5.2 柯爾莫哥洛夫微分方程,轉(zhuǎn)移概率的極限為 平穩(wěn)分布為,5.2 柯爾莫哥洛夫微分方程,若取初始分布為平穩(wěn)分布，即 則過程在時(shí)刻t的絕對(duì)概率分布為,5.2 柯爾莫哥洛夫微分方程,5.2 柯爾莫哥洛夫微分方程,定理5.7 設(shè)連續(xù)時(shí)間馬爾可夫鏈?zhǔn)遣豢杉s的，則有下列性質(zhì)： (1)若它是正常返的，則極限 存在且等于j 0，jI。這里j 是 的唯一非負(fù)解，此時(shí)稱j 0，jI是該過程的平穩(wěn)分布，并且有 (2)若它是零常返的或非常返的，則

8、,例如上例中馬氏鏈有兩個(gè)狀態(tài)I=0,1，那么,生滅過程,設(shè)某系統(tǒng)具有狀態(tài)集S=0,1,2,或S=0,1,2,k, N(t)表示系統(tǒng)在時(shí)刻 t (t=0) 的狀態(tài)。 若在N(t)=n的條件下，隨機(jī)過程N(yùn)(t),t=0滿足 以下條件: (1) N(t+t)轉(zhuǎn)移到“n+1”的概率為Pn,n+1(t )=nt ; (2) N(t+t)轉(zhuǎn)移到“n-1”的概率為Pn,n-1(t )= nt ); (3) N(t+t)轉(zhuǎn)移到其他狀態(tài)“S-n+1,n-1”的概 率為o(t )(高階無窮小) ; 則稱隨機(jī)過程N(yùn)(t),t=0為生滅過程。,生滅過程狀態(tài)變化的性質(zhì),(1) 在無窮小t內(nèi),系統(tǒng)或生長1個(gè);或滅亡1個(gè);

9、或既 不生長又不滅亡（概率:1- n(t ) -n(t ) ）; (2)系統(tǒng)生長一個(gè)的概率n(t )與t有關(guān)，而與t無 關(guān); 與系統(tǒng)當(dāng)前狀態(tài)n有關(guān)，而與以前的狀態(tài)無關(guān)； (3)系統(tǒng)滅亡一個(gè)的概率n(t )與t有關(guān)，而與t無 關(guān); 與系統(tǒng)當(dāng)前狀態(tài)n有關(guān)，而與以前的狀態(tài)無關(guān)；,馬爾可夫性質(zhì),若排隊(duì)系統(tǒng)具有下列性質(zhì): (1) 顧客到達(dá)為泊松流，時(shí)間間隔服從參 數(shù)為n的負(fù)指數(shù)分布; (2) 顧客服務(wù)時(shí)間服從參數(shù)為 n的負(fù)指 數(shù)分布; 則排隊(duì)系統(tǒng)的隨機(jī)過程N(yùn)(t),t=0具有馬 爾可夫性質(zhì), 為一個(gè)生滅過程.,排隊(duì)系統(tǒng),(四) 排隊(duì)系統(tǒng)狀態(tài)轉(zhuǎn)移圖,三、 排隊(duì)系統(tǒng)穩(wěn)態(tài)概率Pn的求解,第五章 連續(xù)時(shí)間的馬爾

10、可夫鏈,第四章討論了時(shí)間與狀態(tài)都是離散的最簡單的馬爾可 夫過程,第五章介紹另一類應(yīng)用廣泛的特殊類型的馬爾可 夫鏈,即時(shí)間連續(xù)狀態(tài)離散的馬爾可夫過程. 5.1 連續(xù)時(shí)間的馬爾可夫鏈 考慮取非負(fù)整數(shù)值的連續(xù)時(shí)間隨機(jī)過程X(t),t0. 定義5.1 若隨機(jī)過程X(t),t0,狀態(tài)空間I=in,n0, 對(duì)任意0t1t2tn+1及i1,i2,in+1I,有 PX(tn+1)=in+1|X(t1)=i1,X(t2)=i2,X(tn)=in =PX(tn+1)=in+1|X(tn)=in(), 則稱X(t),t0為連續(xù)時(shí)間馬爾可夫鏈. 由定義知,連續(xù)時(shí)間馬爾可夫鏈?zhǔn)蔷哂旭R爾可夫性的隨 機(jī)過程.,連續(xù)時(shí)間的馬

11、爾可夫鏈,一般,記條件概率()式為: PX(s+t)=j|X(s)=i=pij(s,t)(). 表示系統(tǒng)在時(shí)刻s處于狀態(tài)i,經(jīng)過時(shí)間t后轉(zhuǎn)移到狀態(tài)j 的轉(zhuǎn)移概率. 定義5.2 如果()式的轉(zhuǎn)移概率與s無關(guān),則稱連續(xù)時(shí)間 馬爾可夫鏈具有齊次(平穩(wěn))的轉(zhuǎn)移概率.此時(shí)簡記其轉(zhuǎn) 移概率為pij(s,t)=pij(t),轉(zhuǎn)移概率矩陣為: P(t)=(pij(t),(i,jI,t0). 一般,簡稱具有齊次轉(zhuǎn)移概率的連續(xù)時(shí)間馬爾可夫鏈為 齊次馬爾可夫過程. 在以下的討論中,均假定所考慮的 都是齊次馬爾可夫過程. 如果在某時(shí)刻,譬如時(shí)刻0,馬爾可夫鏈進(jìn)入狀態(tài)i,而在,連續(xù)時(shí)間的馬爾可夫鏈,接下來的s個(gè)單位時(shí)間

12、中過程并未離開狀態(tài)i(即未發(fā)生 轉(zhuǎn)移),問:在隨后的t個(gè)單位時(shí)間中過程仍不離開狀態(tài)i的 概率是多少呢? 由馬爾可夫性,過程在時(shí)刻s處于狀態(tài)i的條件下, 在區(qū) 間s,s+t中仍然處于狀態(tài)i的概率正是它處于狀態(tài)i至少 t個(gè)單位時(shí)間的(無條件)概率. 若記i為過程在轉(zhuǎn)移到另一狀態(tài)之前,停留在狀態(tài)i的 時(shí)間,則對(duì)一切s,t0有: Pis+t|is=Pit. 可見,隨機(jī)變量i具有無記憶性,它服從指數(shù)分布. 于是: 一個(gè)連續(xù)時(shí)間馬爾可夫鏈,每當(dāng)它進(jìn)入狀態(tài)i,就 具有性質(zhì)(連續(xù)時(shí)間馬爾可夫鏈的特征性質(zhì)):,連續(xù)時(shí)間的馬爾可夫鏈,(1)在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時(shí)間,服從參數(shù) 為vi的指數(shù)分布: (2)

13、當(dāng)過程離開狀態(tài)i時(shí),接著以概率pij進(jìn)入狀態(tài)j,且有 pij=1. 以上兩條性質(zhì),是構(gòu)造連續(xù)時(shí)間馬爾可夫鏈的一個(gè)方法. 如果vi=,則稱狀態(tài)i為瞬時(shí)狀態(tài),在這種情況,過程一 旦進(jìn)入此狀態(tài)立即就離開;如果vi=0,則稱狀態(tài)i為吸收狀 態(tài),在這種情況,過程一旦進(jìn)入此狀態(tài)就永遠(yuǎn)不再離開. 瞬時(shí)狀態(tài)只是一種理論狀態(tài),在后文的討論中我們總假 設(shè)0vi. 于是,一個(gè)連續(xù)時(shí)間馬爾可夫鏈?zhǔn)沁@樣的隨 機(jī)過程,它按照一個(gè)離散時(shí)間的馬爾可夫鏈從一個(gè)狀態(tài)轉(zhuǎn),f(x)= (vi0),連續(xù)時(shí)間的馬爾可夫鏈,移到另一個(gè)狀態(tài), 但在轉(zhuǎn)移到下一個(gè)狀態(tài)之前,它在各個(gè) 狀態(tài)停留的時(shí)間服從指數(shù)分布.而且,在狀態(tài)i過程停留的 時(shí)間與下

14、一個(gè)到達(dá)的狀態(tài)必須是相互獨(dú)立的隨機(jī)變量(因 為若下一個(gè)到達(dá)的狀態(tài)依賴于i,那么過程處于狀態(tài)i已 有多久的信息與下一個(gè)狀態(tài)的預(yù)報(bào)有關(guān),這與馬爾可夫性 矛盾). 定理5.1 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì): (1) pij(t)0; (2) pij(t)=1; (3) pij(t+s)= pik(t)pkj(s). 其中(3)式,即是連續(xù)時(shí)間齊次馬爾可夫鏈的C-K方程.,連續(xù)時(shí)間的馬爾可夫鏈,證明:(1)與(2)式由概率定義以及pij(t)的定義顯然可得. 下證(3)式. 由全概率公式和馬爾可夫性得: pij(t+s)=PX(t+s)=j|X(0)=i = PX(t+s)=j,X(t)=k

15、|X(0)=i = PX(t)=k|X(0)=iPX(t+s)=j|X(t)=k = PX(t)=k|X(0)=iPX(s)=j|X(t)=k = pik(t)pkj(s). 對(duì)于轉(zhuǎn)移概率pij(t),一般還假定它滿足: lim pij(t)= 并稱之為正則性條件.,t0,連續(xù)時(shí)間的馬爾可夫鏈,正則性條件說明,過程剛進(jìn)入某狀態(tài)不可能立即又跳躍 到另一狀態(tài).這正好說明一個(gè)物理系統(tǒng)要在有限時(shí)間內(nèi)發(fā) 生無限此跳躍、從而消耗無窮多的能量這是不可能的. 定義5.3 對(duì)于任一t0,記 pj(t)=PX(t)=j, pj=pj(0)=PX(0)=j,jI并 分別稱pj(t),jI和pj,jI為齊次馬爾可夫過

16、程 的絕對(duì)概率分布和初始概率分布. 定理5.2 齊次馬爾可夫過程的絕對(duì)概率及有限維概率分 布具有以下性質(zhì): (1) pj(t)0; (2) pj(t)=1;,連續(xù)時(shí)間的馬爾可夫鏈,(3) pj(t)= pipij(t); (4) pj(t+)= pi(t)pij(); (5) PX(t1)=i1,X(tn)=in = . 例5.1 證明泊松過程X(t),t0為連續(xù)時(shí)間齊次馬爾可 夫鏈. 證明: 先證泊松過程具有馬爾可夫性,再證齊次性. 由泊松過程的定義知它是獨(dú)立增量過程,且X(0)=0. 對(duì)任意0t1t2tntn+1,有 PX(tn+1)=in+1|X(t1)=i1,X(tn)=in,連續(xù)時(shí)間

17、的馬爾可夫鏈,=PX(tn+1)-X(tn)=in+1-in|X(t1)-X(0)=i1,X(t2)- X(t1)=i2-i1,X(tn)-X(tn-1)=in-in-1 =PX(tn+1)-X(tn)=in+1-in; 另一方面,由于 PX(tn+1)=in+1|X(tn)=in =PX(tn+1)-X(tn)=in+1-in|X(tn)-X(0)=in =PX(tn+1)-X(tn)=in+1-in. 所以 PX(tn+1)=in+1|X(t1)=i1,X(tn)=in =PX(tn+1)=in+1|X(tn)=in, 即泊松過程是一個(gè)連續(xù)時(shí)間馬爾可夫鏈.下證齊次性. 當(dāng)ji時(shí),由泊松過程

18、的定義,得,連續(xù)時(shí)間的馬爾可夫鏈,PX(s+t)=j|X(s)=i=PX(s+t)-X(s)=j-i =e-t . 當(dāng)ji時(shí),由于過程的增量只取非負(fù)整數(shù)值,此時(shí) pij(s,t)=0. 因而 pij(s,t)=pij(t)= 即轉(zhuǎn)移概率只與t有關(guān),泊松過程具有齊次性. 下文討論連續(xù)時(shí)間齊次馬爾可夫鏈的轉(zhuǎn)移概率pij(t)的 求解方法.,柯爾莫哥洛夫微分方程,5.2 柯爾莫哥洛夫微分方程 對(duì)于離散時(shí)間齊次馬爾可夫鏈,如果已知其一步轉(zhuǎn)移概 率矩陣P=(pij), 則k步轉(zhuǎn)移概率矩陣由一步轉(zhuǎn)移概率矩陣 的k次方即可求得. 但是,對(duì)于連續(xù)時(shí)間齊次馬爾可夫鏈,轉(zhuǎn)移概率pij(t)的 求解一般較為復(fù)雜.下面首先討論pij(t)的可微性及pij(t) 所滿足的柯爾莫哥洛夫微分方程; 然后給出pij(t)的一種 求解方法. 引理 5.1 設(shè)齊次馬爾可夫過程滿足正則條件,則對(duì)于任 意固定i,jI,p