1、Markov 過程,安德雷.安德耶維奇.馬爾可夫 (A.A.Markov): 俄數(shù)學(xué)家，18561922 概率和統(tǒng)計領(lǐng)域?qū)＜摇?當年Markov研究普希金詩歌里元音字母和輔音字母交替出現(xiàn)的規(guī)律時提出了Markov過程的數(shù)學(xué)模型 Markov過程80年代興起，在現(xiàn)代工程、自然科學(xué)、社會科學(xué)中應(yīng)用廣泛。,2020/8/7,Markov過程,1馬爾可夫性,2. 馬爾可夫過程,的條件分布函數(shù)恰好等于,3.馬爾可夫鏈,定義 參數(shù)集和狀態(tài)空間都是離散的馬爾可夫過程 稱為馬爾可夫鏈。,注 只討論馬爾可夫鏈的狀態(tài)空間為有限或可列無限.,則馬爾可夫性可表示為,2020/8/7,7,時間離散狀態(tài)離散的馬爾科夫鏈,

2、時間離散狀態(tài)連續(xù)的馬爾科夫序列,時間連續(xù)狀態(tài)連續(xù)的馬爾科夫過程,時間連續(xù)狀態(tài)離散的馬爾科夫過程,Markov過程,8/32,第六章 Markov鏈,第一節(jié) 基本概念,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),第三節(jié) 極限定理及平穩(wěn)分布,第四節(jié) Markov鏈的應(yīng)用,9/32,第六章 Markov鏈,第一節(jié) 基本概念,1. 轉(zhuǎn)移概率,. Chapman-kolmogorov方程,3. Markov鏈的分布,4.齊次Markov鏈,.Markov 鏈舉例,1. 轉(zhuǎn)移概率,經(jīng)過k步轉(zhuǎn)移,于n+k時到達狀態(tài)j的條件概率).,在n時的k步轉(zhuǎn)移概率.,n時的k步轉(zhuǎn)移概率矩陣.,第一節(jié) 基本概念,特別 當k=

3、1時，,第一節(jié) 基本概念,1. 轉(zhuǎn)移概率,特別k時，約定,第一節(jié) 基本概念,1. 轉(zhuǎn)移概率,. Chapman-kolmogorov方程,定理 (C-K方程),或矩陣形式,（解決了k步轉(zhuǎn)移概率與一步轉(zhuǎn)移概率間的關(guān)系）,證明,第一節(jié) 基本概念,. Chapman-kolmogorov方程,定理 (C-K方程),或矩陣形式,（解決了k步轉(zhuǎn)移概率與一步轉(zhuǎn)移概率間的關(guān)系）,證明,第一節(jié) 基本概念,系統(tǒng)在n 時從狀態(tài)i的出發(fā),經(jīng)過k+m步轉(zhuǎn)移,于n+k+m時到達狀態(tài)j,可以先在n時從狀態(tài)i出發(fā)，經(jīng)過k步轉(zhuǎn)移于n+k時到達某種中間狀態(tài)l,再在n+k時從中間狀態(tài)l出發(fā)經(jīng)過m步轉(zhuǎn)移于n+k+m時到達最終狀態(tài)j

4、,而中間狀態(tài)l要取遍整個狀態(tài)空間S.,C-K方程的直觀意義：,. Chapman-kolmogorov方程,第一節(jié) 基本概念,若取m=1,則由C-K方程的矩陣形式:,得,分量形式,. Chapman-kolmogorov方程,第一節(jié) 基本概念,定理 馬爾可夫鏈的k 步轉(zhuǎn)移概率由其一步 轉(zhuǎn)移概率所完全確定.,. Chapman-kolmogorov方程,第一節(jié) 基本概念,1）初始分布,為馬爾可夫鏈的初始分布,3.馬爾可夫鏈 的分布,第一節(jié) 基本概念,2）有限維分布,證明,3.馬爾可夫鏈 的分布,第一節(jié) 基本概念,2）有限維分布,3.馬爾可夫鏈 的分布,第一節(jié) 基本概念,又因為馬爾可夫鏈的k步轉(zhuǎn)移

5、概率由一步轉(zhuǎn)移概率所 完全確定.,所以馬爾可夫鏈的有限維分布由其初始分布和 一步轉(zhuǎn)移概率所完全確定.,3.馬爾可夫鏈 的分布,第一節(jié) 基本概念,2）有限維分布,3）絕對分布,為馬爾可夫鏈 的絕對分布,的絕對分布向量. 即,絕對分布、初始分布和n步轉(zhuǎn)移概率有如下關(guān)系：,或矩陣形式,3.馬爾可夫鏈 的分布,第一節(jié) 基本概念,3）絕對分布,3.馬爾可夫鏈 的分布,第一節(jié) 基本概念,4.齊次馬爾可夫鏈,為齊次(時間其次或時齊)馬爾可夫鏈.,否則，稱為非齊次馬爾可夫鏈.,顯然對齊次馬爾可夫鏈，k步轉(zhuǎn)移概率也與起始 時刻n無關(guān)記為,第一節(jié) 基本概念,為方便，一般假定時間起點為零即,相應(yīng)的k步與一步轉(zhuǎn)移概率

6、矩陣分別記為,4.齊次馬爾可夫鏈,第一節(jié) 基本概念,例(天氣預(yù)報問題) 如果明天是否有雨僅與今天的天氣(是否有雨)有關(guān)，而與過去的天氣無關(guān). 并設(shè) 今天下雨、明天有雨的概率為a， 今天無雨而明天有雨的概率為b，又假設(shè) 有雨稱為0狀態(tài)天氣，無雨稱為1狀態(tài)天氣. Xn表示時刻n時的天氣狀態(tài)，則,.馬爾可夫鏈舉例,第一節(jié) 基本概念,例2(有限制隨機游動問題) 設(shè)質(zhì)點只能在0，1，2，a中的各點上作隨機 游動，移動規(guī)則如下：,第一節(jié) 基本概念,.馬爾可夫鏈舉例,設(shè)Xn表示質(zhì)點在n時刻所處的位置，則,其一步轉(zhuǎn)移概率矩陣為,例2(有限制隨機游動問題),第一節(jié) 基本概念,.馬爾可夫鏈舉例,設(shè)一個壇子中裝有m

7、個球，它們或是紅色的，或是黑色的，從壇子中隨機的摸出一球，并換入一個相反顏色的球.,例3(壇子放回摸球問題),第一節(jié) 基本概念,.馬爾可夫鏈舉例,其一步轉(zhuǎn)移概率矩陣為,例3(壇子放回摸球問題),第一節(jié) 基本概念,.馬爾可夫鏈舉例,甲有賭資a元，乙有賭資b元，賭一局輸者給贏者1元，無和局。甲贏的概率為p， 乙贏的概率為q=1-p，求甲輸光的概率。 解 狀態(tài)空間I=0,1,2,c，c=a+b,q p,a-1 a a+1,0 a+b,第一節(jié) 基本概念,.馬爾可夫鏈舉例,例4(賭徒輸光問題),設(shè)ui表示甲從狀態(tài)i出發(fā)轉(zhuǎn)移到狀態(tài)0的概率，求ua 顯然u0 =1，uc =0(u0表示已知甲輸光情形下甲輸光

8、的概率，uc表示已知乙輸光情形下甲輸光的概率) ui =pui+1 + qui-1 (i=1,2,c-1) （甲在狀態(tài)i下輸光：甲贏一局后輸光或甲輸一局后輸光）,第一節(jié) 基本概念,.馬爾可夫鏈舉例,例4(賭徒輸光問題),第一節(jié) 基本概念,第一節(jié) 基本概念,.馬爾可夫鏈舉例,例4(賭徒輸光問題),第一節(jié) 基本概念,第一節(jié) 基本概念,.馬爾可夫鏈舉例,例4(賭徒輸光問題),第一節(jié) 基本概念,第一節(jié) 基本概念,第一節(jié) 基本概念,例5 天氣預(yù)報問題 RR表示連續(xù)兩天有雨，記為狀態(tài)0 NR表示第1天無雨第2天有雨，記為狀態(tài)1 RN表示第1天有雨第2天無雨，記為狀態(tài)2 NN表示連續(xù)兩天無雨，記為狀態(tài)3 p

9、00=PR今R明| R昨R今=PR明| R昨R今=0.7 p01=PN今R明| R昨R今=0 p02=PR今N明| R昨R今= PN明| R昨R今=0.3 p03=PN今N明| R昨R今=0,第一節(jié) 基本概念,類似地得到其他轉(zhuǎn)移概率， 于是轉(zhuǎn)移概率矩陣為 若星期一、星期二均下雨，求星期四下雨的概率,第一節(jié) 基本概念,星期四下雨的情形如右， 星期四下雨的概率 2步轉(zhuǎn)移概率矩陣為,第一節(jié) 基本概念,第一節(jié) 基本概念,解,第一節(jié) 基本概念,第一節(jié) 基本概念,練習(xí) 設(shè),是狀態(tài)空間為a,b,c的齊次馬氏鏈.,其一步轉(zhuǎn)移概率矩陣為,第一節(jié) 基本概念,45/32,第六章 Markov鏈,第一節(jié) 基本概念,第

10、二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),第三節(jié) 極限定理及平穩(wěn)分布,第四節(jié) Markov鏈的應(yīng)用,1 基本概念,2 狀態(tài)類別的劃分和判別,3 狀態(tài)間的關(guān)系,返回概率 平均返回時間 周期,分類 判別,定義（可達、互通） 性質(zhì) 互通的兩個狀態(tài)之間的關(guān)系,4 狀態(tài)空間的分解,定義及重要結(jié)論（閉集、等價類） 分解定理（兩個定理）,第六章 Markov鏈,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),一、基本概念,1.返回概率,自狀態(tài) i出發(fā)，經(jīng)過n步首次到達狀態(tài)j 的概率,自狀態(tài)i出發(fā)，經(jīng)有限步終于到達狀態(tài)j的概率,自狀態(tài)i出發(fā)，經(jīng)有限步終于返回狀態(tài) i的概率,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),定理1,

11、說明1,該定理表示n步轉(zhuǎn)移概率按照首次到達時間的所有可能值進行分解,說明2,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),首達時間,系統(tǒng)從狀態(tài)i出發(fā)， 首次到達狀態(tài)j的時刻,稱為從狀態(tài) i 出發(fā)首次進入狀態(tài) j 的時間，或稱自i 到j(luò) 的首達時間。,如果這樣的n不存在，規(guī)定,說明1,2.平均返回時間,一、基本概念,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),說明2,平均返回時間,狀態(tài)i的平均返回時間,2.平均返回時間,一、基本概念,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),狀態(tài)i的周期,若di 1,稱i是周期的；若di =1,稱i是非周期的。,說明1,3.周期,di體現(xiàn)系統(tǒng)的發(fā)展變化種狀態(tài)i重復(fù)出現(xiàn)的概率

12、周期。,說明2,若i的周期是di，并不是對所有的n滿足,說明3,一、基本概念,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),greatest common divisor,1 基本概念,2 狀態(tài)類別的劃分和判別,返回概率 平均返回時間 周期,分類 判別,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),二、狀態(tài)類別的劃分及判別,1.狀態(tài)類別的劃分,狀態(tài) i,非常返態(tài),常返態(tài),零常返態(tài),正常返態(tài),周期,非周期（遍歷態(tài)）,常返態(tài),非常返態(tài),正常返態(tài),零常返態(tài),第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),注,“常返”一詞，有時又稱“返回”、“常駐”或“持久”,“瞬時”也稱“滑過” 或“非常返”,定理2,證,則系統(tǒng)從狀態(tài)

13、i出發(fā)，經(jīng)過有限次轉(zhuǎn)移之后，必定以概率1返回狀態(tài)i。,再由馬氏性,系統(tǒng)返回狀態(tài)i要重復(fù)發(fā)生,這樣，系統(tǒng)從狀態(tài)i出發(fā)，又返回，再出發(fā)，再返回，隨著時間的無限推移，將無限次訪問狀態(tài)i。,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),將“不返回i”稱為成功，,則首次成功出現(xiàn)的次數(shù)服從幾何分布，,也就是說以概率1只有有窮次返回i。,即,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),2.判別,（1）判別是否常返態(tài),定理3,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),2.判別,（2）判別是否零常返態(tài)、正常返有（非）周期,定理4,對任意給定的狀態(tài)i，如果i是常返態(tài)且有周期di，則存在極限,第二節(jié) Markov鏈的狀態(tài)分類及

14、性質(zhì),2.判別,（3）判別是否有周期,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),1 基本概念,2 狀態(tài)類別的劃分和判別,3 狀態(tài)間的關(guān)系,返回概率 平均返回時間 周期,分類 判別,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),定義（可達、互通） 性質(zhì) 互通的兩個狀態(tài)之間的關(guān)系,三、狀態(tài)間的關(guān)系,1.定義,狀態(tài) i可達狀態(tài)j,2.性質(zhì),簡記為 ij,狀態(tài) i與狀態(tài)j互通,ij,j i,且,傳遞性、對稱性,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),三、狀態(tài)間的關(guān)系,3.利用首達概率刻畫可達和互通關(guān)系,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),結(jié)論1,結(jié)論2,4.互通的兩個狀態(tài)的狀態(tài)類型,互通的兩個狀態(tài)必有相同

15、的狀態(tài)類型,定理5,三、狀態(tài)間的關(guān)系,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),63/34,1 基本概念,2 狀態(tài)類別的劃分和判別,3 狀態(tài)間的關(guān)系,返回概率 平均返回時間 周期,分類 判別,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),定義（可達、互通） 性質(zhì) 互通的兩個狀態(tài)之間的關(guān)系,4 狀態(tài)空間的分解,定義及重要結(jié)論（閉集、等價類） 分解定理（兩個定理）,四、狀態(tài)空間的分解,互通滿足：自反性、對稱性、傳遞性。,互通是一種等價關(guān)系,（常返態(tài)）,按互通關(guān)系是等價關(guān)系，可以把狀態(tài)空間 I 劃分為若干個不相交的集合（或者說等價類），并稱之為狀態(tài)類。 若兩個狀態(tài)相通，則這兩個狀態(tài)屬于同一類。 任意兩個類或

16、不相交或者相同。,說明,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),（1）定義,四、狀態(tài)空間的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),A閉集,設(shè)C為狀態(tài)空間I 的一個子集，,則C稱為閉集。,注1,若C為閉集，則表示自C內(nèi)任意狀態(tài)i出發(fā)，始終不能到達C以外的任何狀態(tài)j。 整個狀態(tài)空間構(gòu)成一個閉集。,吸收態(tài),指一個閉集中只含一個狀態(tài),（1）定義,四、狀態(tài)空間的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),A閉集,設(shè)C為狀態(tài)空間I 的一個子集，,則C稱為閉集。,注2,若狀態(tài)空間含有吸收狀態(tài)，那么這個吸收狀態(tài)構(gòu)成一個最小的閉集。,（1）定義,四、狀態(tài)空間的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì)

17、,B不可約的,設(shè)C為閉集，如果C中不再含有任何非空真閉子集，則稱C是不可約閉集，或稱不可約的，不可分的，最小的。,若整個狀態(tài)空間是不可約的，則稱此鏈為不可約馬氏鏈。,A.有關(guān)閉集,（2）一些重要結(jié)論,四、狀態(tài)空間的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),B. 有關(guān)等價類,（2）一些重要結(jié)論,四、狀態(tài)空間的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),結(jié)論2 設(shè)C是閉集，當且僅當C中的任何兩個狀態(tài)都互通時， C是不可約的。,結(jié)論1 等價類若是閉集，則必定是不可約的。,結(jié)論3 齊次馬氏鏈不可約的充要條件是它的任意兩個狀態(tài)均互通。,結(jié)論4 包含常返態(tài)的等價類是不可約閉集。,例1,其一步轉(zhuǎn)移矩陣

18、為,試研究各狀態(tài)間的關(guān)系，并畫出狀態(tài)傳遞圖。,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,由圖可知,狀態(tài)0可到達狀態(tài)1，經(jīng)過狀態(tài)1又可到達狀態(tài)2；反之，從狀態(tài)2出發(fā)經(jīng)狀態(tài)1也可到達狀態(tài)0。,因此，狀態(tài)空間I的各狀態(tài)都是互通的。,又由于I 的任意狀態(tài)i (i = 0，1，2)不能到達I 以外的任何狀態(tài)，,所以I是一個閉集,而且I 中沒有其它閉集,所以此馬氏鏈是不可約的。,解,先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),例2,其一步轉(zhuǎn)移矩陣為,試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,閉

19、集，,由圖可知,狀態(tài)3為吸收態(tài),且,閉集，,閉集，,其中 是不可約的。,又因狀態(tài)空間I有閉子集，,故此鏈為非不可約鏈。,解,先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),（3）狀態(tài)空間的分解,如果已知類中有一個常返態(tài)，則這個類中其它狀態(tài)都是常返的。,若類中有一個非常返態(tài)，則類中其它狀態(tài)都是非常返態(tài)。,若對不可約馬氏鏈，則要么全是常返態(tài)，要么全是非常返態(tài)。,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,定理6,任一馬氏鏈的狀態(tài)空間I必可分解為,其中N是非常返態(tài)集，,而且,（3）狀態(tài)空間的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分

20、解,如果從某一非常返態(tài)出發(fā)，系統(tǒng)可能一直在非常返集中，也可能進入某個常返閉集，一旦進入某個常返閉集后，將一直停留在這個常返閉集中；如果系統(tǒng)從某一常返狀態(tài)出發(fā)，則系統(tǒng)就一直停留在這個狀態(tài)所在的常返閉集中。,說明1,（3）狀態(tài)空間的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,定理7,（1）非常返態(tài)集N不可能是閉集； （2）至少有一個常返態(tài)； （3）不存在零常返態(tài)； （4）若鏈是不可約的，那么狀態(tài)都是正常返的 （5）其狀態(tài)空間可分解為,是互不相交的由正常返態(tài)組成的閉集。,（3）狀態(tài)空間的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,定理8(周期鏈分解定理),

21、（3）狀態(tài)空間的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,轉(zhuǎn)移概率矩陣的標準形式,狀態(tài)空間的分解,周期鏈的分解,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,例,轉(zhuǎn)移矩陣,試對其狀態(tài)分類。,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,解,按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,從圖可知，此鏈的每一狀態(tài)都可到達另一狀態(tài)，即4個狀態(tài)都是相通的。,82/34,考慮狀態(tài)1是否常返，,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,類似地可求得,所以,于是狀態(tài)1是常返的。,又因為,

22、所以狀態(tài)1是正常返的。,由定理可知，此鏈所有狀態(tài)都是正常返的。,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,例,設(shè)馬氏鏈的狀態(tài)空間I = 0,1,2,，轉(zhuǎn)移概率為,試討論各狀態(tài)的遍歷性。,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,解,根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,從圖可知，對任一狀態(tài) 都有 ，,故由定理可知，I 中的所以狀態(tài)都是相通的，,因此只需考慮狀態(tài)0是否正常返即可。,故,從而0是常返態(tài)。,又因為,所以狀態(tài)0為正常返。,又由于,故狀態(tài)0為非周期的,從而狀態(tài)0是遍歷的。,故所有狀態(tài)i都是遍歷的。,第二

23、節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,一般情況,End.,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),四、狀態(tài)空間的分解,88/32,第六章 Markov鏈,第一節(jié) 基本概念,第二節(jié) Markov鏈的狀態(tài)分類及性質(zhì),第三節(jié) 極限定理及平穩(wěn)分布,第四節(jié) Markov鏈的應(yīng)用,89/32,第六章 Markov鏈,第三節(jié) 極限定理及平穩(wěn)分布,一、極限定理,二、平穩(wěn)分布與極限分布,一、極限定理,例 設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為,現(xiàn)在來計算,令,第三節(jié) 極限定理及平穩(wěn)分布,則,所以,一、極限定理,第三節(jié) 極限定理及平穩(wěn)分布,定理：若i與j相通，則,(3), 若j是非周期的, 則,(4),

24、若j有周期d, 則,一、極限定理,第三節(jié) 極限定理及平穩(wěn)分布,一、極限定理,第三節(jié) 極限定理及平穩(wěn)分布,記,則，如i是常返的，當 時為正常返的。 當 時為零常返的。,推論1：如i是常返的，則i為零常返的充要條件是,一、極限定理,第三節(jié) 極限定理及平穩(wěn)分布,記,則，如i是常返的，當 時為正常返的。 當 時為零常返的。,推論2：如i是遍歷的(正常返的并且是非周期的)，則,一、極限定理,第三節(jié) 極限定理及平穩(wěn)分布,記,則，如i是常返的，當 時為正常返的。 當 時為零常返的。,1，若j為非常返或零常返的，則 有,2，若j為常返的且周期為d，則 有,推論3（遍歷性定理）,一、極限定理,第三節(jié) 極限定理及

25、平穩(wěn)分布,記,則，如i是常返的，當 時為正常返的。 當 時為零常返的。,推論5：有限狀態(tài)的馬爾可夫鏈，不可能全為非常返狀態(tài)，也不可能有零常返狀態(tài)。從而不可約的有限馬爾可夫鏈的狀態(tài)全為正常返的。,一、極限定理,第三節(jié) 極限定理及平穩(wěn)分布,記,則，如i是常返的，當 時為正常返的。 當 時為零常返的。,推論6：若馬爾可夫鏈有一個零常返態(tài)，則必有無限個零常返態(tài)。,狀態(tài)性質(zhì)判別法,i非常返,i零常返,i正常返,i遍歷的,i正常返,i正常返且非周期 （即遍歷）,i正常返且周期為d,第三節(jié) 極限定理及平穩(wěn)分布,例,設(shè)馬氏鏈的狀態(tài)空間I = 0,1,2,，轉(zhuǎn)移概率為,試討論各狀態(tài)的遍歷性。,第三節(jié) 極限定理及

26、平穩(wěn)分布,解,根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖,第三節(jié) 極限定理及平穩(wěn)分布,從圖可知，對任一狀態(tài) 都有 ，,故由定理可知，I 中的所以狀態(tài)都是相通的，,因此只需考慮狀態(tài)0是否正常返即可。,故,從而0是常返態(tài)。,又因為,所以狀態(tài)0為正常返。,又由于,故狀態(tài)0為非周期的,從而狀態(tài)0是遍歷的。,故所有狀態(tài)i都是遍歷的。,因此只需考慮狀態(tài)0是否正常返即可。,第三節(jié) 極限定理及平穩(wěn)分布,二、平穩(wěn)分布與極限分布,1，定義：設(shè)pij是馬爾可夫鏈Xn, n1的轉(zhuǎn)移概率。若 概率分布pj, j 0滿足,則稱pj, j 0為Xn, n1的平穩(wěn)分布。記,第三節(jié) 極限定理及平穩(wěn)分布,則平穩(wěn)分布可表示為如下矩陣形式,顯然有,

27、即,若馬爾可夫鏈Xn, n0的初始分布pj=PX0=j是平穩(wěn)分布，則對任意的n，有,即Xn與X0有相同的 分布，這說明過程Xn, n0是平 穩(wěn)過程。這也是稱分布pj=PX0=j 為平穩(wěn)分布的原因。,二、平穩(wěn)分布與極限分布,第三節(jié) 極限定理及平穩(wěn)分布,2，定義：若馬爾可夫鏈是遍歷的（即所有狀態(tài)相通且均為周期為1的正常返態(tài)），則極限,稱為馬爾可夫鏈的極限分布。顯然此時,二、平穩(wěn)分布與極限分布,第三節(jié) 極限定理及平穩(wěn)分布,定理：一個不可約非周期的馬爾可夫鏈屬于下列兩種情況之一： 1，狀態(tài)或全是滑過的（非常返的）或全是零常返的。此時對一切的 i, j 有,二、平穩(wěn)分布與極限分布,第三節(jié) 極限定理及平穩(wěn)

28、分布,因而不存在平穩(wěn)分布。 2，狀態(tài)全是正常返態(tài)。即,此時,是平穩(wěn)分布，且不存在任何其它的平穩(wěn)分布。此時極限分布 即是平穩(wěn)分布。,只證2，若馬爾可夫鏈是遍歷的,則,存在，且,證明：（1）顯然,二、平穩(wěn)分布與極限分布,第三節(jié) 極限定理及平穩(wěn)分布,利用C-K方程,從而,是平穩(wěn)分布。,二、平穩(wěn)分布與極限分布,第三節(jié) 極限定理及平穩(wěn)分布,再證,是惟一的平穩(wěn)分布，假設(shè)另外還,有一個平穩(wěn)分布,則,二、平穩(wěn)分布與極限分布,第三節(jié) 極限定理及平穩(wěn)分布,注：1，對于不可約的遍歷鏈（不可約、正常返、周期為1） 因為,所以， 可被解釋為馬爾可夫鏈長時間之后處于狀態(tài) 的的時間所占的比率。,二、平穩(wěn)分布與極限分布,第三節(jié) 極限定理及平穩(wěn)分布,2，對于不可約的遍歷鏈，因為極限分布存在且等于平 穩(wěn)分布，這意味著當n充分大時有，,即Xn,n0是一漸近平穩(wěn)序列(平穩(wěn)過程)，這在實際問題中是很有意義的。,二、