1、第五章：連續(xù)時間的馬爾可夫鏈,連續(xù)時間馬爾可夫鏈定義 無窮小轉(zhuǎn)移概率矩陣 柯爾莫哥洛夫向前方程與向后方程 連續(xù)時間馬爾可夫鏈的應(yīng)用,定義5.1： 設(shè)隨機(jī)過程X(t),t0，狀態(tài)空間I=in, n0，若對任意0t1t2tn1及i1,i2,in+1I，有,則稱X(t),t0為連續(xù)時間馬爾可夫鏈。,上式中條件概率可以寫成轉(zhuǎn)移概率的形式,定義： 若pij(s,t)的轉(zhuǎn)移概率與s無關(guān)，則稱連續(xù)時間馬爾可夫鏈具有平穩(wěn)的或齊次的轉(zhuǎn)移概率，此時轉(zhuǎn)移概率簡記為 其轉(zhuǎn)移概率矩陣簡記為,時間軸,0,s,s+t,狀態(tài)i,狀態(tài)i持續(xù)時間i,在0時刻馬爾可夫鏈進(jìn)入狀態(tài)i，而且在接下來的s個單位時間中過程未離開狀態(tài)i，問在

2、隨后的t個單位時間中過程仍不離開狀態(tài)i的概率是多少？,無記憶性,一個連續(xù)時間的馬爾可夫鏈，每當(dāng)它進(jìn)入狀態(tài)i，具有如下性質(zhì)： 在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時間服從參數(shù)為vi的指數(shù)分布； 當(dāng)過程離開狀態(tài)i時，接著以概率pij進(jìn)入狀態(tài)j，,當(dāng)vi=時，稱狀態(tài)i為瞬時狀態(tài)； 當(dāng)vi0時，稱狀態(tài)i為吸收狀態(tài)。,對于指數(shù)分布的隨機(jī)變量X,定理5.1： 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)： 證明,正則性條件,證明:,定義5.3 對于任一t0，記,為絕對概率和初始概率。 分別稱pj(t),jI和pj,jI為齊次馬爾可夫過程的絕對概率分布和初始概率分布。,定理5.2 齊次馬爾可夫過程的絕對概率及有限維概

3、率分布具有下列性質(zhì)：,例題5.1： 證明:泊松過程X(t)為連續(xù)時間齊次馬爾可夫鏈。 (1)先證明馬氏性 (2)再證明齊次性,Q矩陣和柯爾莫哥洛夫方程,引理5.1 設(shè)齊次馬爾可夫過程滿足正則性條件，則對于任意固定的i,jI，pij(t)是t的一致連續(xù)函數(shù)。,定理5.3 設(shè)pij(t)是齊次馬爾可夫過程的轉(zhuǎn)移概率且滿足正則性條件，則下列極限存在： 稱為轉(zhuǎn)移速率或跳躍強度,Q矩陣和柯爾莫哥洛夫方程,若連續(xù)時間齊次馬爾可夫鏈?zhǔn)蔷哂杏邢逘顟B(tài)空間I=1,2, ,n，則其轉(zhuǎn)移速率可構(gòu)成以下形式的矩陣,Q矩陣的每一行元素之和為0，對角線元素為負(fù)或0，其余qij0,利用Q矩陣可以推出任意時間間隔t的轉(zhuǎn)移概率所

4、滿足的方程組，從而可以求解轉(zhuǎn)移概率。,定理5.4（ 柯爾莫哥洛夫向后方程） 假設(shè) ，則對一切i,j及t0，有,證明,由C-K方程可以知道：,兩邊除以h， 取極限可以得到：,即,定理5.5（柯爾莫哥洛夫向前方程） 在適當(dāng)?shù)恼齽t條件下，則對一切i,j及t0，有,利用Kolmogorov向后方程或向前方程及下述初始條件，可以解得pij(t),柯爾莫哥洛夫向后和向前方程的矩陣表達(dá)形式為,連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程的求解問題，其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定。,柯爾莫哥洛夫向后方程的矩陣表達(dá)形式為,例題5.2 考慮兩個狀態(tài)的連續(xù)時間馬爾可夫鏈，在轉(zhuǎn)移到狀態(tài)1之前在狀態(tài)0停留的

5、時間是參數(shù)為的指數(shù)變量，而在回到狀態(tài)0之前它停留在狀態(tài)1的時間是參數(shù)為的指數(shù)分布，求轉(zhuǎn)移概率P00(t),P01(t),P10(t),P11(t)。,向前方程：,解：,當(dāng)h趨于0時,同理：,可求平穩(wěn)分布和絕對概率分布,Kolmogorov向后和向前方程所求得的解pij(t)是相同的,在實際應(yīng)用中，當(dāng)固定最后所處狀態(tài)j，研究pij(t)時（i=0,1, ），采用向后方程較方便； 當(dāng)固定狀態(tài)i，研究pij(t)時（j=0,1, ），采用向前方程較方便；,定理5.6 齊次馬爾可夫過程在t時刻處于狀態(tài)jI的絕對概率pj(t)滿足下列方程,定義5.4 設(shè)pij(t)為連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概率，若存在

6、時刻t1和t2，使得,則稱狀態(tài)i和j是互通的。若所有狀態(tài)都是互通的，則稱此馬爾可夫鏈為不可約的。,轉(zhuǎn)移概率pij(t)在t時的性質(zhì)及其平穩(wěn)分布關(guān)系,定理5.7 設(shè)連續(xù)時間的馬爾可夫鏈?zhǔn)遣豢杉s的，則有下列性質(zhì)： 若它是正常返的，則極限 存在且等于j0，jI。這里j是方程組 的唯一非負(fù)解，此時稱j,jI是該過程的平穩(wěn)分布，并且有 若它是零常返的或非常返的，則,例題5.3：機(jī)器維修問題 設(shè)例題5.2中狀態(tài)0代表某機(jī)器正常工作，狀態(tài)1代表機(jī)器出故障。狀態(tài)轉(zhuǎn)移概率與例題5.2相同，即在h時間內(nèi)，及其從正常工作變?yōu)槌龉收系母怕蕿閜01(h)=h+o(h)；在h時間內(nèi)，機(jī)器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為p10(h)=h+o(h)，試求在t=0時正常工作的