1、第一節(jié) 馬爾可夫過程及其概率分布,一、馬爾可夫過程的概念,二、馬爾可夫過程的概率分布,三、應(yīng)用舉例,四、小結(jié),一、馬爾可夫過程的概念,1. 馬爾可夫性(無后效性),馬爾可夫性或無后效性.,即: 過程“將來”的情況與“過去”的情況是無關(guān)的.,2. 馬爾可夫過程的定義,具有馬爾可夫性的隨機(jī)過程稱為馬爾可夫過程.,用分布函數(shù)表述馬爾可夫過程,恰有,或?qū)懗?并稱此過程為馬爾可夫過程.,3. 馬爾可夫鏈的定義,時(shí)間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾 可夫鏈,簡記為,研究時(shí)間和狀態(tài)都是離散的隨機(jī)序列,二、馬爾可夫過程的概率分布,1. 用分布律描述馬爾可夫性,有,稱條件概率,說明: 轉(zhuǎn)移概率具有特點(diǎn),2.

2、 轉(zhuǎn)移概率,由轉(zhuǎn)移概率組成的矩陣,稱為馬氏鏈的轉(zhuǎn)移概率矩陣.,此矩陣的每一行元素之和等于1.,它是隨機(jī)矩陣.,3. 平穩(wěn)性,有關(guān)時(shí), 稱轉(zhuǎn)移概率具有平穩(wěn)性.,同時(shí)也稱此鏈?zhǔn)驱R次的或時(shí)齊的.,稱為馬氏鏈的n步轉(zhuǎn)移概率,一步轉(zhuǎn)移概率,特別的, 當(dāng) k=1 時(shí),一步轉(zhuǎn)移概率矩陣,的狀態(tài),記為P,三、應(yīng)用舉例,證明,由獨(dú)立增量過程的定義知,即有,例1,馬爾可夫過程.,說明:,泊松過程是時(shí)間連續(xù)狀態(tài)離散的馬氏過程;,維納過程是時(shí)間狀態(tài)都連續(xù)的馬氏過程.,設(shè)每一級(jí)的傳真率為 p, 誤碼率為 q=1-p.,設(shè)一個(gè)單位時(shí)間傳輸一級(jí),只傳輸數(shù)字0和1的串聯(lián)系統(tǒng) ( 傳輸系統(tǒng)),如圖:,分析:,例2,而與時(shí)刻 n

3、 以前所處的狀態(tài)無關(guān).,所以它是一個(gè)馬氏鏈, 且是齊次的.,一步轉(zhuǎn)移概率,一步轉(zhuǎn)移概率矩陣,例3 一維隨機(jī)游動(dòng),游動(dòng)的概率規(guī)則,1/3的概率向左或向右移動(dòng)一格, 或以1/3的概率留,在原處;,如果Q現(xiàn)在位于點(diǎn) i (1 i 5),則下一時(shí)刻各以,以概率1移動(dòng)到2(或4)這一點(diǎn)上.,如果Q現(xiàn)在位于1(或5)這點(diǎn)上, 則下一時(shí)刻就,1和5這兩點(diǎn)稱為反射壁.,上面這種游動(dòng)稱為帶有兩個(gè)反射壁的隨機(jī)游動(dòng).,模擬方法:產(chǎn)生均勻分布的隨機(jī)數(shù)序列132322 11122,其中1表示左移;2表示不動(dòng);3表示右移.,理論分析:,狀態(tài)空間就是I.,而與時(shí)刻 n 以前所處的狀態(tài)無關(guān).,所以它是一個(gè)馬氏鏈, 且是齊次的

4、.,一步轉(zhuǎn)移概率,說明:,相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把P 中第1行改為,改變游動(dòng)的概率規(guī)則, 就可得到不同方式的,隨機(jī)游動(dòng)和相應(yīng)的馬氏鏈. 如果把點(diǎn) 1 改為吸收壁,一步轉(zhuǎn)移概率矩陣,解,例4,某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障,研究者 每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài),收集了24小 時(shí)的數(shù)據(jù) (共作97次觀察) . 用1表示正常狀態(tài), 用0 表示不正常狀態(tài), 所得的數(shù)據(jù)序列如下:,1110010011111110011110111111001111111110001101101,分析,狀態(tài)空間: I=0, 1.,例5,11101101101011110111011110111111001101

5、1111100111,96 次狀態(tài)轉(zhuǎn)移的情況:,因此, 一步轉(zhuǎn)移概率可用頻率近似地表示為:,以下研究齊次馬氏鏈的有限維分布.,特點(diǎn):,用行向量表示為,一維分布由初始分布和 轉(zhuǎn)移概率矩陣決定,由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動(dòng)的統(tǒng)計(jì)規(guī)律. 因此, 確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一.,四、小結(jié),齊次馬氏鏈、平穩(wěn)性的概念.,一步轉(zhuǎn)移概率矩陣的計(jì)算.,一步轉(zhuǎn)移概率,一步轉(zhuǎn)移概率矩陣,第二節(jié) 多步轉(zhuǎn)移概率的確定,一、C-K 方程,三、應(yīng)用舉例,四、小結(jié),二、多步轉(zhuǎn)移概率的確定,一、C-K 方程,是一齊次馬氏鏈, 則對(duì)任意的,切普曼-柯爾莫哥洛夫方程(簡稱C -K方程),說

6、明,C-K 方程基于下列事實(shí):,這一事件可分解成:,件的和事件.,如下圖所示:,證明,由條件概率定義和乘法定理得,(馬氏性和齊次性),所以,考慮到馬氏性和齊次性, 即得 C-K 方程.,C-K 方程也可寫成矩陣形式:,二、多步轉(zhuǎn)移概率的確定,利用 C-K 方程我們?nèi)菀状_定 n 步轉(zhuǎn)移概率.,得遞推關(guān)系:,從而可得,馬氏鏈的n步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的 n 次 方,鏈的有限維分布可由初始分布和一步轉(zhuǎn)移概率完全確定.,結(jié)論,解,(1)先求出2步轉(zhuǎn)移概率矩陣:,例1,在 傳輸系統(tǒng)中,傳輸后的誤碼率;,系統(tǒng)經(jīng) n 級(jí)傳輸后輸出為 1, 問原發(fā)字符也是 1 的 概率是多少?,例2,解,先求出 n 步轉(zhuǎn)移

7、概率矩陣.,有相異的特征值,所以可將 P 表示成對(duì)角陣,傳輸后的誤碼率分別為:,(2) 根據(jù)貝葉斯公式, 當(dāng)系統(tǒng)經(jīng) n 級(jí)傳輸后輸出為 1, 原發(fā)字符也是 1 的概率為:,說明,n步轉(zhuǎn)移概率矩陣為,矩陣一般可表示為:,對(duì)于只有兩個(gè)狀態(tài)的馬氏鏈, 一步轉(zhuǎn)移概率,例3,解,概率為,四、小結(jié),切普曼-柯爾莫哥洛夫方程 (簡稱 C K 方程),馬氏鏈的n 步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的n 次 方, 鏈的有限維分布可由初始分布和一步移概率完全確定.,由 C K 方程可得,第三節(jié) 遍歷性,一、遍歷性的概念,三、應(yīng)用舉例,四、小結(jié),二、(有限鏈)遍歷性的充分條件,一、遍歷性的概念,對(duì)于一般的兩個(gè)狀態(tài)的馬氏鏈, 由上節(jié)內(nèi)容可知,意義,對(duì)固定的狀態(tài)j,不管鏈在某一時(shí)刻的什么狀,態(tài) i出發(fā), 通過長時(shí)間的轉(zhuǎn)移到達(dá)狀態(tài) j 的概率都趨,定義,則稱此鏈具有遍歷性.,二、(有限鏈)遍歷性的充分條件,說明,2. 極限分布轉(zhuǎn)化為了求解方程組.,3. 在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.,試說明帶有兩個(gè)反射壁的隨機(jī)游動(dòng)是遍歷的, 并求其極限分布(平穩(wěn)分布).,解,例1,三、應(yīng)用舉例,無零元,鏈?zhǔn)潜闅v的,代入最后一個(gè)方程 (歸一條件), 得唯一解,所以極限分布為,這個(gè)分布表明,經(jīng)過長時(shí)間游動(dòng)之后, 醉漢 Q 位于點(diǎn) 2 (或