定義6.3.5狀態(tài)之間的關(guān)系狀態(tài)的可達(dá)與互通滿足以下性質(zhì)上述性質(zhì)的驗(yàn)證留作練習(xí).定理6.3.5證明則從狀態(tài)i(注意到是常返的)出發(fā)最終不能到達(dá)i的概率為:證明所以,i,j或者同為非常返態(tài)，或者同為常返態(tài).下面考慮當(dāng)i,j同為常返態(tài)時(shí)的情況:所以,i,j或者同為零常返態(tài),或者同為正常返態(tài).下面證明當(dāng)i,j同為正常返態(tài)時(shí),周期相同所以,i,j或者同為正常返非周期狀態(tài)(遍歷態(tài)),

或者同為正常返周期狀態(tài),且周期相同.例6.3.4

設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…},一步轉(zhuǎn)移概率為試分析馬氏鏈各狀態(tài)的類型解:馬氏鏈的狀態(tài)轉(zhuǎn)移圖為120n狀態(tài)空間的分解證明(1)用數(shù)學(xué)歸納法閉集C的性質(zhì)下面討論狀態(tài)空間的分解證明定理6.3.8齊次馬氏鏈的狀態(tài)空間S可唯一地分解為有限或可列無(wú)限多個(gè)互不相交的狀態(tài)子集的并.即其中D是所有非常返狀態(tài)構(gòu)成的狀態(tài)子集.均是由常返態(tài)構(gòu)成的不可約閉集.每個(gè)狀態(tài)子集中的狀態(tài)有著相同的狀態(tài)類型:(即或者均為零常返,或者均為正常返非周期,或者均為正常返周期且周期相同.)定理6.3.9設(shè)X是狀態(tài)有限的齊次馬氏鏈，則(1)X的非常返狀態(tài)集D不可能是閉集.(2)X不存在零常返狀態(tài).(3)若X是不可約的，則X所有的狀態(tài)都是正常返的.

證明例6.3.5

設(shè)狀態(tài)空間S={0,1,2}的馬氏鏈,一步轉(zhuǎn)移概率矩陣為分解狀態(tài)空間，并指出狀態(tài)類型120例6.3.6

設(shè)馬氏鏈的狀態(tài)空間為S={1,2,3,4},一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類型1234例6.3.7

試分析描述直線上隨機(jī)游動(dòng)質(zhì)點(diǎn)的馬氏鏈(見(jiàn)例6.1.1)的狀態(tài)類型.證明思路:(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的正確性(3)分解式的唯一性證明(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的正確性(3)分解式的唯一性例6.3.8

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,7,8},其一步轉(zhuǎn)移概率矩陣為12534678例6.3.9

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,},

其一步轉(zhuǎn)移概率矩陣為試分解此馬爾可夫鏈,并寫(xiě)出各狀態(tài)類型及周期.123564例1（補(bǔ)）

設(shè){Xn,n=0,1,2,…}是一齊次馬爾可夫鏈,狀態(tài)空間S={1,2,3,4,5},其一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類型12354例2(補(bǔ))