§6.2馬爾可夫鏈一、馬氏鏈的定義二、齊次馬氏鏈（時齊馬氏鏈）定義三、一步轉(zhuǎn)移概率矩陣的確定四、狀態(tài)傳遞圖與概率轉(zhuǎn)移圖一、馬爾可夫的定義1.參數(shù)集為離散集，狀態(tài)集亦為離散集的馬氏過程謂之馬爾可夫鏈。

此時參數(shù)集常當作為時間集，即取T={0,1,2,…},其中t=0稱為初始時刻，且其狀態(tài)集E為簡單計數(shù)，常取作:整數(shù)集E1={0,±1,±2,…};正整數(shù)的子集E2={0,1,2,…};整數(shù)子集E3=

{i0,i1,i2,…};有限子集E4=

{0,1,2,…,n}。定義1

設(shè){X(n),n≥0}為一隨機序列，其狀態(tài)集為E={i0,i1,i2,…}，若對于任意的n，及i0,i1,i2,…in+1，對應(yīng)的隨機變量X(0),X(1),X(2),…,X(n+1)滿足則稱此隨機序列為一馬爾可夫鏈，簡稱馬氏鏈。2.馬氏鏈的有限維概率分布

若{X(n),n≥0}是一個馬爾可夫鏈，則其n+2維變量(X(0),X(1),X(2),...,X(n+1))的概率分布為其中條件概率記為：易見,馬氏鏈的有限維分布律是由一些條件分布與初始分布的乘積而得，因此討論馬氏鏈的概率特性,將重點討論馬氏鏈的轉(zhuǎn)移概率與初始分布.稱為初始分布稱為轉(zhuǎn)移概率,稱馬氏鏈在時刻k時所處狀態(tài)i,而下一步將處于狀態(tài)j的一步轉(zhuǎn)移概率為3、馬氏鏈的一步轉(zhuǎn)移概率即此條件概率表示馬氏鏈在時刻k時取i值的條件下，在下一時刻(下一步)取j值的概率。起始時刻轉(zhuǎn)移步長起始狀態(tài)到達狀態(tài)稱馬氏鏈在時刻k時所處狀態(tài)i,而下m步將處于狀態(tài)j的一步轉(zhuǎn)移概率為4、馬氏鏈的m步轉(zhuǎn)移概率馬氏鏈的m步轉(zhuǎn)移概率具有下述兩個性質(zhì)：起始時刻轉(zhuǎn)移步長起始狀態(tài)到達狀態(tài)

第1)條性質(zhì)是由概率定義所決定的;第2)條性質(zhì)利用全概率公式可知其正確性，實際上上式表明馬氏鏈在時刻k處于狀態(tài)i的條件下，下一步到達狀態(tài)集E中之一狀態(tài)的概率為1.馬氏過程的m步轉(zhuǎn)移概率構(gòu)成的矩陣，稱為m步轉(zhuǎn)移概率矩陣，表示為

4、m步轉(zhuǎn)移概率矩陣二、齊次馬氏鏈（時齊馬氏鏈）定義

1、定義設(shè){X(n),n≥1}是一馬氏鏈，狀態(tài)空間為E={0,1,2,…}

，若其一步轉(zhuǎn)移概率與馬氏鏈現(xiàn)在所在起始時刻無關(guān)，即滿足等式起始時刻轉(zhuǎn)移步長起始狀態(tài)到達狀態(tài)則稱此馬氏鏈為齊次馬氏鏈（或時齊馬氏鏈），亦稱之具有平穩(wěn)轉(zhuǎn)移概率的馬氏鏈。注意:齊次馬氏鏈從i狀態(tài)轉(zhuǎn)移到j(luò)狀態(tài)的一步（m步）轉(zhuǎn)移概率只與起始狀態(tài)i、到達狀態(tài)j有關(guān),而與現(xiàn)在所在時刻k,即絕對時間k無關(guān)。不是齊次的馬氏鏈稱為非齊次馬氏鏈。2齊次馬氏鏈的轉(zhuǎn)移概率矩陣若將齊次馬氏鏈的所有一步轉(zhuǎn)移概率表示為矩陣的形式，則有則稱P為馬氏鏈的一步轉(zhuǎn)移概率矩陣，其中pij為P的腹元.起始狀態(tài)作為行到達狀態(tài)作為列三、齊次馬氏鏈一步轉(zhuǎn)移概率矩陣的確定例1，從1,2,3,4,5,6等6個數(shù)中等可能地任意取出一數(shù)，取后還原，如此不斷地連續(xù)取下去，如在前n次中所取得的最大數(shù)為j，則稱質(zhì)點在第n步時的位置處于狀態(tài)j，試問這樣的質(zhì)點運動是否構(gòu)成馬氏鏈？是否為齊次的？如果是齊次馬氏鏈，求出轉(zhuǎn)移概率矩陣。解：令X(n)=前n次取得的最大數(shù)，n=1,2,…,則X(n)的可能取值為1,2,3,4,5,6，即狀態(tài)空間E={1,2,3,4,5,6}.所以，X(n+1)的取值僅與X(n)的取值和第n取數(shù)的結(jié)果有關(guān)系，與X(n-1)，X(n-2)…X(1)的取值無關(guān)。所以，這樣的質(zhì)點運動構(gòu)成了馬氏鏈。如此類推可得

例，一質(zhì)點在圓周上作隨機游動，圓周上共有N格，質(zhì)點以概率p順時針游動一格，以概率逆時針移動一格。試用馬氏鏈描述游動過程，并確定狀態(tài)空間及轉(zhuǎn)移概率矩陣。

解：圓周上N格N個格點，記為1,2,3,…,N,順時針排列，記X(n)為n

時質(zhì)點所在的位置。顯只與X(n-1)時的位置有關(guān)，為馬氏過程。E={1,2,......,N},X(n)為馬氏鏈。四、狀態(tài)傳遞圖與概率轉(zhuǎn)移圖

為了能更加直觀形象地表現(xiàn)馬氏鏈的狀態(tài)轉(zhuǎn)移過程及狀態(tài)轉(zhuǎn)移的概率特性，我們借助于轉(zhuǎn)移圖與標明轉(zhuǎn)移概率的概率轉(zhuǎn)移圖加以描述。1馬氏鏈的狀態(tài)傳遞圖

若將馬氏鏈所具有的各個狀態(tài)用數(shù)字一一標出，并用標有箭頭的連線將各狀態(tài)連接起來，箭頭所指的狀態(tài)，就是箭尾所連狀態(tài)一步能到達的狀態(tài)，這樣描繪的圖形稱為馬氏鏈的狀態(tài)轉(zhuǎn)移圖.如下狀態(tài)轉(zhuǎn)移圖表示此馬氏鏈包含1,2,3等3個狀態(tài)，即其狀態(tài)空間為E={1,2,3}且可看出,從狀態(tài)1可一步到達狀態(tài)2，經(jīng)狀態(tài)2兩步到達狀態(tài)3，再由狀態(tài)3可一步返回到狀態(tài)1；從狀態(tài)2又可一步到達狀態(tài)1，也可一步到達狀態(tài)3；從狀態(tài)3出發(fā)可一步到達狀態(tài)1，也可經(jīng)一步又返回到自身的狀態(tài)的傳遞特性。

1

3

2

若在馬氏鏈的狀態(tài)轉(zhuǎn)移圖的狀態(tài)之間的連線上再標出相應(yīng)的一步轉(zhuǎn)移概率，這樣所得的圖形稱為馬氏鏈的概率轉(zhuǎn)移圖.2馬氏鏈的概率傳遞圖例如,在上圖中狀態(tài)轉(zhuǎn)移的連線上,添加相應(yīng)的一步轉(zhuǎn)移概率,即為

1

3

21/21/32/31/21/32/3由此可看出,若已知馬氏鏈的一步轉(zhuǎn)移概率矩陣,容易畫出其概率轉(zhuǎn)移圖;若已給出馬氏鏈的概率轉(zhuǎn)移圖,容易得出其一步轉(zhuǎn)移概率矩陣.且概率轉(zhuǎn)移圖表示馬氏鏈的概率特征比較直觀.這給我們研究狀態(tài)的相通性、可達性、常返性及馬氏鏈的可約性等概念提供了許多方便。故其一步轉(zhuǎn)移概率矩陣為[例]

設(shè)質(zhì)點在線段[1,4]上作隨機游動。假設(shè)它只能在時刻n

T發(fā)生移動，且只能停留在1,2,3,4點上。當質(zhì)點轉(zhuǎn)移到2,3點時，它以1/3的概率向左或向右移動一格，或停留在原處。當質(zhì)點移動到點1時，它以概率1停留在原處。當質(zhì)點移動到點4時，它以概率1移動到點3。若以Xn

表示質(zhì)點在時刻n

所處的位置，則