1、隱馬爾可夫模型簡(jiǎn)介,劉群 2001-6-11,假設(shè),對(duì)于一個(gè)隨機(jī)事件，有一個(gè)觀察值序列：O1,.,OT 該事件隱含著一個(gè)狀態(tài)序列：X1,.,XT 假設(shè)1：馬爾可夫假設(shè)（狀態(tài)構(gòu)成一階馬爾可夫鏈） p(Xi|Xi-1X1) = p(Xi|Xi-1) 假設(shè)2：不動(dòng)性假設(shè)（狀態(tài)與具體時(shí)間無(wú)關(guān)） p(Xi+1|Xi) = p(Xj+1|Xj)，對(duì)任意i,j成立 假設(shè)3：輸出獨(dú)立性假設(shè)（輸出僅與當(dāng)前狀態(tài)有關(guān)） p(O1,.,OT | X1,.,XT) = p(Ot | Xt),定義,一個(gè)隱馬爾可夫模型 (HMM) 是一個(gè)五元組： (X , O, A, B, ) 其中： X = q1,.qN：狀態(tài)的有限集合

2、 O = v1,.,vM：觀察值的有限集合 A = aij，aij = p(Xt+1 = qj |Xt = qi)：轉(zhuǎn)移概率 B = bik，bik = p(Ot = vk | Xt = qi)：輸出概率 = i， i = p(X1 = qi)：初始狀態(tài)分布,問(wèn)題,令 = A,B, 為給定HMM的參數(shù)， 令 = O1,.,OT 為觀察值序列， 隱馬爾可夫模型（HMM）的三個(gè)基本問(wèn)題： 評(píng)估問(wèn)題：對(duì)于給定模型，求某個(gè)觀察值序列的概率p(|) ； 解碼問(wèn)題：對(duì)于給定模型和觀察值序列，求可能性最大的狀態(tài)序列； 學(xué)習(xí)問(wèn)題：對(duì)于給定的一個(gè)觀察值序列，調(diào)整參數(shù)，使得觀察值出現(xiàn)的概率p(|)最大。,算法,評(píng)

3、估問(wèn)題：向前算法 定義向前變量 采用動(dòng)態(tài)規(guī)劃算法，復(fù)雜度O(N2T) 解碼問(wèn)題：韋特比（Viterbi）算法 采用動(dòng)態(tài)規(guī)劃算法，復(fù)雜度O(N2T) 學(xué)習(xí)問(wèn)題：向前向后算法 EM算法的一個(gè)特例，帶隱變量的最大似然估計(jì),算法：向前算法（一）,定義前向變量為HMM在時(shí)間t輸出序列O1Ot，并且位于狀態(tài)Si的概率：,算法：向前算法（二）,迭代公式為：,結(jié)果為：,變化,連續(xù)輸出模型 輸出矩陣變?yōu)槟撤N概率分布，如高斯分布 多階轉(zhuǎn)移矩陣,例子：病情轉(zhuǎn)化,假設(shè)：某一時(shí)刻只有一種疾病，且只依賴于上一時(shí)刻疾病一種疾病只有一種癥狀，且只依賴于當(dāng)時(shí)的疾病 癥狀(觀察值)：發(fā)燒，咳嗽，咽喉腫痛，流涕 疾病(狀態(tài)值)：感

4、冒，肺炎，扁桃體炎 轉(zhuǎn)移概率：從一種疾病轉(zhuǎn)變到另一種疾病的概率 輸出概率：某一疾病呈現(xiàn)出某一癥狀的概率 初始分布：初始疾病的概率 解碼問(wèn)題：某人癥狀為：咳嗽咽喉痛流涕發(fā)燒請(qǐng)問(wèn)：其疾病轉(zhuǎn)化的最大可能性如何？,例子：詞性標(biāo)注,問(wèn)題： 已知單詞序列w1w2wn，求詞性序列c1c2cn HMM模型： 將詞性為理解為狀態(tài) 將單詞為理解為輸出值 訓(xùn)練： 統(tǒng)計(jì)詞性轉(zhuǎn)移矩陣aij和詞性到單詞的輸出矩陣bik 求解：Viterbi算法,應(yīng)用,語(yǔ)音識(shí)別 音字轉(zhuǎn)換 詞性標(biāo)注（POS Tagging） 組塊分析 基因分析 一般化：任何與線性序列相關(guān)的現(xiàn)象,資源,Rabiner, L. R., A Tutorial o

5、n Hidden Markov Models and Selected Applications in Speech Recognition, Proceedings of the IEEE, vol. 77, no. 2, Feb. 1989, pgs 257 - 285. There is a lot of notation but verbose explanations accompany. 翁富良，王野翊，計(jì)算語(yǔ)言學(xué)導(dǎo)論，中國(guó)社會(huì)科學(xué)出版社，1998 HTK：HMM Toolkit Hidden Markov Model (HMM) White Paper (GeneMatcher) ,總結(jié),HMM模型可以看作一種特定的Baye