1、 第三節(jié) 參數(shù)連續(xù)的齊次馬爾可夫鏈在實(shí)際應(yīng)用中, 馬爾可夫鏈的參數(shù)通常表示時(shí)間,參數(shù)集通常取非負(fù)實(shí)數(shù)集.本節(jié)就來(lái)討論這類(lèi)參數(shù)連續(xù)的馬爾可夫鏈.一. 轉(zhuǎn)移概率函數(shù) 定義5 設(shè)是參數(shù)連續(xù)的馬爾可夫鏈,對(duì)于任意非負(fù)實(shí)數(shù)和任意正實(shí)數(shù),以及鏈的任意兩個(gè)狀態(tài),條件概率 稱(chēng)為馬爾可夫鏈在時(shí)刻由狀態(tài)出發(fā),經(jīng)過(guò)時(shí)間間隔,在時(shí)刻到達(dá)狀態(tài)的轉(zhuǎn)移概率.稱(chēng)為轉(zhuǎn)移時(shí)間.一般來(lái)說(shuō), 既依賴(lài)于出發(fā)時(shí)刻,又依賴(lài)于轉(zhuǎn)移時(shí)間.特殊地,如果不依賴(lài)于出發(fā)時(shí)刻,僅依賴(lài)于轉(zhuǎn)移時(shí)間,則稱(chēng)馬爾可夫鏈具有齊次性或時(shí)齊性.此時(shí)可記,(13.15)就是說(shuō),對(duì)于參數(shù)連續(xù)的齊次馬爾可夫鏈,從狀態(tài)轉(zhuǎn)移到狀態(tài)的轉(zhuǎn)移概率僅僅依賴(lài)于完成狀態(tài)轉(zhuǎn)移的轉(zhuǎn)移時(shí)間,而與

2、出發(fā)時(shí)刻無(wú)關(guān).是轉(zhuǎn)移時(shí)間的函數(shù).一般地, 參數(shù)連續(xù)的齊次馬爾可夫鏈的轉(zhuǎn)移概率函數(shù)具有如下性質(zhì):性質(zhì)1 當(dāng)時(shí), .當(dāng)時(shí),規(guī)定,(13.16)稱(chēng)為克羅納克(Kronecker)符號(hào).表示:在任何瞬時(shí),一個(gè)狀態(tài)留在原位的概率為1,而跳離原位的概率為0.性質(zhì)2 , 是狀態(tài)空間.性質(zhì)3 滿(mǎn)足切普曼-柯?tīng)柲缏宸蚍匠?, 證 由轉(zhuǎn)移概率的定義,條件概率,概率的可加性,馬氏性和齊次性,得 .性質(zhì)4 (實(shí)際上是規(guī)定) , (13.18)式(13.18)表明:轉(zhuǎn)移概率函數(shù)在處右連續(xù)(假設(shè)條件).當(dāng)充分小時(shí),齊次馬爾可夫鏈的狀態(tài)幾乎滯留原位,幾乎不發(fā)生轉(zhuǎn)移.二. 轉(zhuǎn)移速率矩陣定義6 如果齊次馬爾可夫鏈的轉(zhuǎn)移概率函

3、數(shù)在的右導(dǎo)數(shù)存在,即存在,(13.19) 則稱(chēng)導(dǎo)數(shù)值為由狀態(tài)轉(zhuǎn)移到狀態(tài)的轉(zhuǎn)移速率,或稱(chēng)轉(zhuǎn)移密度.不訪(fǎng)設(shè)狀態(tài)空間為非負(fù)整數(shù)集,以為元素的矩陣 , (13.20)稱(chēng)為轉(zhuǎn)移速率矩陣,或稱(chēng)轉(zhuǎn)移密度矩陣.簡(jiǎn)稱(chēng)陣. 轉(zhuǎn)移速率具有兩個(gè)性質(zhì):(1) ; ;(2)當(dāng)狀態(tài)空間為有限集時(shí),滿(mǎn)足, (13.21)性質(zhì)(1)可由式(13.19)直接得到.性質(zhì)(2)的證明如下: 由轉(zhuǎn)移概率函數(shù)的性質(zhì)2得,在等式兩邊除以,再令求極限,其中 , , 于是得到.式(13.21)表明:在陣中,每行元素之和均為零.必須指出,當(dāng)狀態(tài)空間為無(wú)限集時(shí),式(13.21)不一定成立.一般有.事實(shí)上 ,對(duì)任有限和,在此不等式兩邊除以,再令求極限,得任有限和,從而.三、柯?tīng)柲缏宸蚍匠逃捎谄?，我們不加證明地引入柯?tīng)柲缏宸蚯斑M(jìn)方程和后退方程。定理三 設(shè)是參數(shù)連續(xù)的齊次馬爾可夫鏈，轉(zhuǎn)移概率函數(shù)，轉(zhuǎn)移速率矩陣，（1） 若對(duì)狀態(tài)，則轉(zhuǎn)移概率函數(shù)滿(mǎn)足微分方程， （13.22）稱(chēng)為柯?tīng)柲缏宸蚯斑M(jìn)方程。為狀態(tài)空間。（2） 若對(duì)狀態(tài)，則轉(zhuǎn)移概率函數(shù)滿(mǎn)足微分方程， （13.23）稱(chēng)為柯?tīng)柲缏宸蚝笸朔匠?。分別以為元素，以為元素作矩陣，則柯?tīng)柲缏宸蚯斑M(jìn)方程、后退方程寫(xiě)成矩陣微分方程形式分別為，（13.24），（13.25）四、瞬時(shí)概率參數(shù)連續(xù)的齊次馬爾可夫鏈的一維概率分布，稱(chēng)為瞬時(shí)概率，又稱(chēng)為絕對(duì)概率。（）稱(chēng)為初始概率