正常返態(tài)和零常返態(tài)基本概念判斷方法典型例題1.狀態(tài)i的首達時間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時間狀態(tài)i的首返概率一、基本概念自狀態(tài)i出發(fā)，經(jīng)有限步終于到達狀態(tài)i的概率定義1：

如果fii=1,則稱狀態(tài)i是常返的.否則,即fii<1,稱狀態(tài)i為非常返的或瞬過的.說明1：當(dāng)狀態(tài)i為常返狀態(tài)時，那么，不能構(gòu)成一個分布。說明2：當(dāng)狀態(tài)i為瞬時狀態(tài)時，那么，構(gòu)成了一個分布，所以，對應(yīng)了一個隨機變量，其數(shù)學(xué)期望為：稱狀態(tài)i是零常返的。

定義2：

如果狀態(tài)i是常返狀態(tài)，當(dāng)且僅當(dāng)稱狀態(tài)i是正常返狀態(tài)。定義3：

如果狀態(tài)i是常返狀態(tài)，當(dāng)且僅當(dāng)二、判斷方法方法一：按照定義判斷：第1步：計算判定狀態(tài)是否為常返態(tài)。當(dāng)狀態(tài)為常返態(tài)，再進行下一步。第2步：計算判定狀態(tài)為正常返態(tài)，還是零常返態(tài)。例轉(zhuǎn)移矩陣解于是狀態(tài)4是非常返的。于是狀態(tài)3是非常返的。于是狀態(tài)1是正常返的。于是狀態(tài)2是正常返的。定義

設(shè)i和j是齊次的Markov鏈的兩個狀態(tài),如果存在n0,使得,則稱從狀態(tài)i可達狀態(tài)j,記作i

j.反之,以ij表示從狀態(tài)i不可達狀態(tài)j,即對一切n0,.

若i

j且j

i,則稱狀態(tài)i和j互達(相通),記作i

j.推論1：

如果i是常返的,且i

j,則j也是常返的.推論2：

如果i，j是常返態(tài)的,且i

j,則i,j同為正常返或同為零常返.推論3：

如果i，j是互通的,即i

j,那么，狀態(tài)i和狀態(tài)j是同一類型的狀態(tài)。1/31/211/31/211/31234例，設(shè)馬氏鏈的狀態(tài)空間S={1，2，3，4}，其一步轉(zhuǎn)移矩陣為解試對其狀態(tài)分類。按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖鏈中四個狀態(tài)都是互通的。因此，所有狀態(tài)都是一種類型的狀態(tài)?？捎懻摖顟B(tài)1狀態(tài)1是常返態(tài)狀態(tài)1是正常返態(tài)所以，全部狀態(tài)都是正常返態(tài)例4

設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，其一步轉(zhuǎn)移概率為其中試證此馬氏鏈?zhǔn)且粋€不可約常返態(tài)鏈證先證S不可約設(shè)i，j是I中任意兩個狀態(tài)，則有類似地可證所以即I中任意兩個狀態(tài)都是相通的。因此，S是一個不可約的閉集再證S中狀態(tài)0是一個常返態(tài)：由狀態(tài)的轉(zhuǎn)移規(guī)則，得所以由定義知狀態(tài)0為常返態(tài)。因此，由定理知S中所有狀態(tài)都是常返態(tài)。故此馬氏鏈為不可約常返鏈。定理設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i是正常返態(tài)的充要條件是說明用極限判斷狀態(tài)類型的準(zhǔn)則（2）i是零常返態(tài)（2）i是正常返態(tài)（1）i是瞬時態(tài)且且定理設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i是正常返態(tài)的充