5連續(xù)時間馬爾可夫鏈情形一樣，它們由馬爾可夫性刻畫，即已知現(xiàn)在的狀態(tài)時將來與過去獨立。考慮取非負整數(shù)值的連續(xù)時間隨機過程Xt,t0，與第四章中給出的離散時間馬爾可夫鏈的定義類似，過程Xt,t0稱為連續(xù)時間馬爾可夫鏈，如果對一切s,t0及非負整數(shù)i,j，xu，0us，有PXtsj|Xsi,Xuxu,0usPXtsj|Xsi狀態(tài)及一切過去的狀態(tài)的套件下在將來時刻ts的狀態(tài)的條件分布只依賴現(xiàn)在的s個單位時間中過程未離開狀態(tài)i(即未發(fā)生轉(zhuǎn)移)。在隨后的t個單位時間中sissti的概率正是他處于狀態(tài)i至少t個單位時間的(無條件)概率。也即若以記過程在轉(zhuǎn)移到itiPist|sPitiPPi是一個具有如下性質(zhì)的隨機過程，每當(dāng)它進入狀態(tài)i：(i)在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時間服從指數(shù)分布，參數(shù)為vi。。ijijjivi狀態(tài)。因為一旦進入此狀態(tài)立即就離開。盡管這種i狀態(tài)在理論上是可能的，我們將始終假設(shè)對一切i，0狀態(tài)在理論上是可能的，我們將始終假設(shè)對一切i，0viii則稱狀態(tài)i為吸收的，因為一旦進入這一狀態(tài)就永不再離開了。)因此，實際上態(tài)停留的時間服從指數(shù)分布。此外在狀態(tài)i過程停留的時間與下一個到達的狀態(tài)i可夫鏈的例子是P1vi2能夠證明這個馬爾可夫鏈總是從狀態(tài)i到i1，停留在狀態(tài)i的時間服從均值為1/i2的指數(shù)分布，它將以正的概率在任意長為t，(t0)的時間區(qū)間內(nèi)作無限中將給出規(guī)則性的某些充分條件)。對一切ij，q定義為ijijiijiijijij以Pt記馬爾可夫鏈現(xiàn)在處于狀態(tài)i，再經(jīng)過一段時間t后處于狀態(tài)j的概ijPtPXtsj|Xsiijnssnnssn程是一個連續(xù)時間馬爾可夫鏈，具有狀態(tài)0,1,，它從狀態(tài)i只能轉(zhuǎn)移到狀態(tài)i1或i1。過程的狀態(tài)通常看作為某個群體的總量，當(dāng)狀態(tài)增長 iiqii,i1qii,i1值,i0與值,i0與,iv，可見iijiiijjiviiiiiiiii1i,iiii1因此，我們可以這樣設(shè)想生滅過程，每當(dāng)系統(tǒng)中有i個人時，直到下一次出生的i 務(wù)系統(tǒng)，排隊中的下一位顧客(若有顧客在等待)進入服務(wù)。假定相繼的服務(wù)時人數(shù)，則Xt,t0是生滅過程，nnsn(ii)有遷入的線性增長模型n,n1nnet1etet1etj1,1的因素又以指數(shù)率增加，因此在系統(tǒng)中有n人時，整個出生率是n。假定此群體的各個成員以指數(shù)率死亡，從而n。n若對一切n,0(即若死亡是不可能的)，則生滅過程稱為純生過程。最n簡單的純生過程的例子是泊松過程，它具有常值出生率,0n指數(shù)率生育。若假設(shè)沒有任何成員死亡，以Xt記時刻t群體的總量，則Xt,t0是一個純生過程，其n,n0n此純生過程被稱為尤爾過程。考慮一尤爾過程，在時刻0從一個個體開始，且以Ti1記第i1個與第ii個出生之間的時間。即T是群體總量從i變到i1所花的時間。從尤爾過程的定i義容易達到TiPTiPTi1是獨立的，且T是具有參數(shù)i的指數(shù)變量?，F(xiàn)在it1eiTttPTTt|Txexdx20121t1e2txex01et2PTT2T3tPT1tTTttPT1tTT32Tx232Tx23tx2ex1e3tx01et3 PT11Pt1jTt1etjjTtPXtj1|X01可見對于一個尤爾過程，j1etj11etjjjij2121ij21211此如果群體從i個個體開始，在時刻t其總量是i個獨立同幾何分布隨機變量之和，有負二項分布，也即對尤爾過程j1eti1etji,jii1關(guān)于從一個個體開始的尤爾過程的另一個有趣的結(jié)果涉及時刻t的群體總量給定時出生時刻的條件分布。因為第i個出生在時刻S給定時出生時刻的條件分布。因為第i個出生在時刻STiiinnnn12n1n11122nnnn122tntet2etsnensnsnen1tsnPXtCetsetsentsn其中C是某個不依賴于s,,s的常數(shù)。因此我們看到，給定Xtn1時1nS,,S的條件密度為nn1=n!fs，isn1=n!fs，isst(5.3.1)1nni1其中f是密度函數(shù)fxetx0xt1et其它 nnEAt|Xtn1atE0|XttnEAt|Xtn1atE0|XttiitxEA|01ettet個成員的年齡之和的均值。時刻t各個年齡之和，記為At，可表示為At其中a是初始個體在t0xt1 ttS i0ii10時的年齡。為計算EAt，對Xt取條件nnatnttx0t0e0t0或tXtatXtatXt0et得et得et1tEAtat0et1a0其它與AtAt的公式可用下面的恒等式加以驗證，此式的證明留作一個練tXAtXAta000EAtEtXsdsEAt000(因為Xt(因為X0000et1a0i2imii2imi個已感染的個體與m1個未受到感染但能被感染的個體組成。個體一旦受到感h區(qū)間內(nèi)任意一個已感染的人將刻t群體中已受感染的個體數(shù)，則Xt,t0是一純生過程，其nnTTTTi i1其中T是從i個已感染者到其中T是從i個已感染者到1iiimii及1m12i1EET漸近地為Ti1i1ogogtm5.4柯爾莫哥洛夫微分方程PtPXtsj|Xsiij利用馬爾可夫性，我們將導(dǎo)出兩組Pt的微分方程，它們有時可求得顯式ij1Pt1Pt)limijtitti(ii)limP(ii)limPtijjtijt0tijPtPtkjijkothPtjPhPtjPkikk0tPthPtPhPt1PhPtijijikkjiiijkiPlimijij0lim0Plimijij0lim0jttkhhihhkiPtqPtvPtijikkjiijki證明為完成證明必須論證(5.4.1)右邊極限與求和可交換次序?，F(xiàn)在，對于任意固定的N,PhliminfkPhliminfk0liminfh0ikPtikPthkj kikihkjkNqPkNikkjkikN因為上式對一切N成立，可見Phliminfh0qPhliminfh0qPikkjtkikkikihkNPhPkNPhPhPtkjPhhlimsupPhhh0kih0PtkjkNkiikiklimsuplimsupikPth0hkj1PhPhikikhhkNkiPhkNkiqPikkjqPikkjiikikkikNkkN且且用qv，我們即得用ikiikiPhh0ikPtPhh0kikikikih上式連同(5.4.2)證明了limtqPtkjikkjh0kikjikkjij|0,XP|0,XPthPXthjiXhkPXhkXiijk0PtPkjikk0對時刻t的狀態(tài)取條件。我們可以導(dǎo)出另一組方程，稱柯爾莫哥洛夫向前方PthijPtPthijkjikk0或limh0Pkjt此limh0Pkjt此tkjikjjijtPtijttPtijtijijk0PtPh1PhPtk0limijPtlimijijhPhtkjh1PhjjPthijqPkjiktPqPkjiktPtijjijkj定理5.4..4(柯爾莫哥洛夫向前方程)。在適當(dāng)?shù)恼齽t條件下，PtiPtijqPtvPjijkjikkjPtPtPt00PtPPPttPtPt或dttdtetPtetcPtt(5.4.3)t,jPtt(5.4.3)t,jijijejtPtejtPtPj1i,j1ijjijtt類似地(或由對稱性)，eetPtPtPti01i10i0jPtPtPtPt,0jijj1i,j1j1i,j1ijijPtPtiiiiiPtPtijj1i,j1積分(5.4.3)的第一個方程并用P01得iiPteitii上式當(dāng)然是正確的，因為P上式當(dāng)然是正確的，因為Pii量Pt,ji，能從(5.4.3)如下遞推而得：對ji，從(5.4.3)有ijtdejtPtiiiPtejttejsPsds,jiijj10i,j1jijtj1eti1etji,ji1i1注記若定義qv，則向后方程可寫為ijiPt 0qPt 0kjki0i0PtqPtijkjikk0這些方程用矩陣記號寫有特別好的形式。若我們定義Pt，Q及Pt為矩陣，其i,j位置上的元素分別是Pt，q及Pt，則ijijijtPtPtPteQtQtii0i0Pti!ii0是Pt的可能解似乎是合理的，其中Q0I(單位矩陣)。事實上能夠證明，當(dāng)vi有界時(5.4.4)是成立的。因此，當(dāng)狀態(tài)空間有限時，(5.4.4)成立且事實上這可能是一種近似計算Pt的方便的方法(另外的逼近方法在5.8節(jié)中出現(xiàn))。Ft1evitijij常返的，則極限概率PlimPt為tjijtj是jvvjjvviii0Pjiijj1jjjij1jjjij1ii0的唯一非負解。從(5.5.1)與(5.5.2)可見P是jvPjjjjjiji0PPjj0qvP，是ijiijPvPiijjiiji0PPj0的唯一非負解。注記(1)從第四章4.8節(jié)中給出的關(guān)于半馬爾可夫過程的結(jié)果得出P，也等于j長時間之后過程處于狀態(tài)j的時間的比率。(2)如果初始狀態(tài)按照極限概率P選取，則所得過程將是平穩(wěn)的，即對j一切tPPtPi0Piji0tPiPiji0tlimPslimsPtlimsPijiiji0limPti0jsPj(3)得到方程(5.5.3)的另一個途徑是用向前方程hhqPkjiktqPkjiktvPjijtijkjt存在，則t存在，則tijjijjtt什tPPhPPiijikjj時處于狀態(tài)j的概率)的方程，對h個單拉時間之前的狀態(tài)取條件：或令h0即得結(jié)果。PiPiijji0jijijij0PqvPiijjjij次數(shù)與從狀態(tài)j轉(zhuǎn)移出來的改數(shù)相差不超過1。(為什么？)因此，長時間之后ijjjijiijiPq=過程離開狀態(tài)j的速率iiji0所以，(5.5.3)正是說過程進入與離開狀態(tài)j的速率相等。因為它使這些速率平衡(即相等)，所以方程(5.5.3)有時稱為平衡方程。(5)當(dāng)連續(xù)時間馬爾可夫鏈不可約旦對一切j有P0時，我們說鏈是遍歷jPnnPP22P00P22P22PPP2PnnPP22P00P22P22PPP2233PP10P20P23PPP0n1n2n現(xiàn)在讓我們對生滅過程確定其極限概率。從方程(5.5.3)，或等價地，使?fàn)顟B(tài)與進入該狀態(tài)的速率相等，得到過程離開的速率過程進入的速率0P0P00=P=00P=PnnnnPPPPnnnn1PPn1n1n1n1nnP0P00PPPPPPPPP 用P解得01212321n02nnn02nnn利用P1n n0 P0Pn1n2nn21或1nn02110n,n0n1務(wù)，因而當(dāng)0M21nnM!Mn!1nn02110n,n0n1務(wù)，因而當(dāng)0M21nnM!Mn!P0111P2nP2nnn0nn0n12nnnn21條件，即nn1n21nnn21，，nnn1從(5.5.4)得nnPn1 速率受到時他們到來的速率高于他們能受到服務(wù)的概率，排隊長度將例5.5(b)考慮一個有M部機器與一個修理工的車間，且假設(shè)一部機器在時間服從參數(shù)為的指數(shù)分布。每當(dāng)有n部機器壞了就說狀態(tài)為n，則此系統(tǒng)為數(shù)nMMnMnMMn0從方程(5.5.4)可得n部機器不在使用的極限概率P為n1Pn1nMMMn1nMMnM!MnMnM!nMnMMMn1nMMnM!MnMnM!nMnnM!M!PMM!PMnnnn