第十章

隱馬爾科夫模型第十章

隱馬爾科夫模型1AndreyMarkov中文名馬爾科夫國(guó)

籍俄國(guó)出生地梁贊出生日期1856年6月14日逝世日期1922年7月20日主要成就開(kāi)創(chuàng)了隨機(jī)過(guò)程這個(gè)新領(lǐng)域AndreyMarkov中文名馬爾科夫2HMM應(yīng)用人臉識(shí)別語(yǔ)音識(shí)別入侵檢測(cè)HMM應(yīng)用人臉識(shí)別3例：例：4隱馬爾可夫模型是關(guān)于時(shí)序的概率模型;描述由一個(gè)隱藏的馬爾可夫鏈隨機(jī)生成不可觀測(cè)的狀態(tài)隨機(jī)序列(statesequence)，再由各個(gè)狀態(tài)生成一個(gè)觀測(cè)而產(chǎn)生觀測(cè)隨機(jī)序列(observationsequence)的過(guò)程,序列的每一個(gè)位置又可以看作是一個(gè)時(shí)刻。隱馬爾科夫模型的定義隱馬爾可夫模型是關(guān)于時(shí)序的概率模型;隱馬爾科夫模型的定義5組成初始概率分布狀態(tài)轉(zhuǎn)移概率分布觀測(cè)概率分布Q：所有可能狀態(tài)的集合V：所有可能觀測(cè)的集合I:長(zhǎng)度為T(mén)的狀態(tài)序列O：對(duì)應(yīng)的觀測(cè)序列隱馬爾科夫模型組成隱馬爾科夫模型6組成A：狀態(tài)轉(zhuǎn)移概率矩陣隱馬爾科夫模型組成隱馬爾科夫模型7組成B：觀測(cè)概率矩陣

：初始狀態(tài)概率向量隱馬爾科夫模型組成隱馬爾科夫模型8三要素兩個(gè)基本假設(shè)齊次馬爾科夫性假設(shè)，隱馬爾可分鏈t的狀態(tài)只和t-1狀態(tài)有關(guān)：觀測(cè)獨(dú)立性假設(shè)，觀測(cè)只和當(dāng)前時(shí)刻狀態(tài)有關(guān)；隱馬爾科夫模型三要素隱馬爾科夫模型9盒子：1234紅球：5368白球：5742轉(zhuǎn)移規(guī)則：盒子1下一個(gè)盒子2盒子2或3下一個(gè)0.4左，0.6右盒子4下一個(gè)0.5自身，0.5盒子3重復(fù)5次：O={紅，紅，白，白，紅}

例：盒子和球模型盒子：12310狀態(tài)集合：Q={盒子1，盒子2，盒子3，盒子4}，N=4觀測(cè)集合：V={紅球，白球}M=2初始化概率分布：狀態(tài)轉(zhuǎn)移矩陣：觀測(cè)矩陣：例：盒子和球模型狀態(tài)集合：Q={盒子1，盒子2，盒子3，盒子4}，N=4例11觀測(cè)序列的生成過(guò)程觀測(cè)序列的生成過(guò)程121、概率計(jì)算問(wèn)題

給定：

計(jì)算：2、學(xué)習(xí)問(wèn)題

已知：估計(jì)：，使最大3、預(yù)測(cè)問(wèn)題（解碼）

已知：

求：使最大的狀態(tài)序列

隱馬爾科夫模型的三個(gè)基本問(wèn)題1、概率計(jì)算問(wèn)題隱馬爾科夫模型的三個(gè)基本問(wèn)題13直接計(jì)算法給定模型：

和觀測(cè)概率：計(jì)算：最直接的方法：列舉所有可能的長(zhǎng)度為T(mén)狀態(tài)序列，求各個(gè)狀態(tài)序列I與觀測(cè)序列的聯(lián)合概率然后對(duì)所有可能的狀態(tài)序列求和，得到概率計(jì)算方法直接計(jì)算法概率計(jì)算方法14直接計(jì)算法狀態(tài)序列概率：對(duì)固定的狀態(tài)序列I，觀測(cè)序列O的概率：O和I同時(shí)出現(xiàn)的聯(lián)合概率為：對(duì)所有可能的狀態(tài)序列I求和，得到觀測(cè)O的概率：復(fù)雜度概率計(jì)算方法直接計(jì)算法復(fù)雜度概率計(jì)算方法15前向概率定義：給定隱馬爾科夫模型λ，定義到時(shí)刻t部分觀測(cè)序列為：，且狀態(tài)為qi的概率為前向概率，記作：初值：遞推：終止：前向算法前向概率定義：給定隱馬爾科夫模型λ，定義到時(shí)刻t部分觀測(cè)序列16因?yàn)椋核裕哼f推：

復(fù)雜度前向算法因?yàn)椋簭?fù)雜度前向算法17減少計(jì)算量的原因在于每一次計(jì)算，直接引用前一個(gè)時(shí)刻的計(jì)算結(jié)果，避免重復(fù)計(jì)算。復(fù)雜度前向算法減少計(jì)算量的原因在于每一次計(jì)算，直接引用前一個(gè)時(shí)刻的計(jì)算結(jié)果18例：例：19例：例：20例：例：21定義10.3后向概率：給定隱馬爾科夫模型λ，定義在時(shí)刻t狀態(tài)為qi的條件下，從t+1到T的部分觀測(cè)序列為：的概率為后向概率，記作：后向算法定義10.3后向概率：給定隱馬爾科夫模型λ，定義在時(shí)刻t狀22后向算法后向算法23前向后向統(tǒng)一寫(xiě)為：（t=1和t=T-1分別對(duì)應(yīng)）后向算法后向算法24一些概率和期望值的計(jì)算一些概率和期望值的計(jì)算25一些概率和期望值的計(jì)算一些概率和期望值的計(jì)算26一些概率和期望值的計(jì)算一些概率和期望值的計(jì)算27監(jiān)督學(xué)習(xí)方法：假設(shè)訓(xùn)練數(shù)據(jù)是包括觀測(cè)序列O和對(duì)應(yīng)的狀態(tài)序列I可以利用極大似然估計(jì)法來(lái)估計(jì)隱馬爾可夫模型參數(shù)。非監(jiān)督學(xué)習(xí)方法：假設(shè)訓(xùn)練數(shù)據(jù)只有S個(gè)長(zhǎng)度為T(mén)的觀測(cè)序{O1,O2,…Os},采用Baum-Welch算法學(xué)習(xí)算法監(jiān)督學(xué)習(xí)方法：學(xué)習(xí)算法28監(jiān)督學(xué)習(xí)方法已知：1、轉(zhuǎn)移概率aij的估計(jì)：設(shè)樣本中時(shí)刻t處于狀態(tài)i，時(shí)刻t+1轉(zhuǎn)移到狀態(tài)j的頻數(shù)為Aij，那么狀態(tài)轉(zhuǎn)移概率aij的估計(jì)是：監(jiān)督學(xué)習(xí)方法已知：29監(jiān)督學(xué)習(xí)方法已知：2、觀測(cè)概率bj(k)的估計(jì)：設(shè)樣本中狀態(tài)為j并觀測(cè)為k的頻數(shù)是Bj(k)，那么狀態(tài)為j觀測(cè)為k的概率3、初始狀態(tài)概率的估計(jì)為S個(gè)樣本中初始狀態(tài)為qi的頻率。往往人工標(biāo)注數(shù)據(jù)很貴監(jiān)督學(xué)習(xí)方法已知：30假定訓(xùn)練數(shù)據(jù)只包括{O1,O2,…Os},求模型參數(shù)λ=（A,B,π)實(shí)質(zhì)上是有隱變量的概率模型：EM算法1、確定完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)

完全數(shù)據(jù)

完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)Baum-Welch算法假定訓(xùn)練數(shù)據(jù)只包括{O1,O2,…Os},Baum-Welc312、EM的E步則：對(duì)序列總長(zhǎng)度T進(jìn)行BaumWelch算法2、EM的E步BaumWelch算法323、EM算法的M步，極大化求模型參數(shù)A,B,π第一項(xiàng)：由約束條件：利用拉格朗日乘子：求偏導(dǎo)數(shù)，并結(jié)果為0

得：BaumWelch算法3、EM算法的M步，極大化求模型333、EM算法的M步，極大化求A,B,π第二項(xiàng)可寫(xiě)成：

由約束條件

，拉格朗日乘子法：得：學(xué)習(xí)算法BaumWelch算法3、EM算法的M步，極大化求A,343、EM算法的M步，極大化求A,B,π第三項(xiàng)：由約束條件：

BaumWelch算法3、EM算法的M步，極大化求A35將已上得到的概率分別用表示：學(xué)習(xí)算法BaumWelch算法將已上得到的概率分別用36學(xué)習(xí)算法BaumWelch算法學(xué)習(xí)算法BaumWelch算法37近似算法想法：在每個(gè)時(shí)刻t選擇在該時(shí)刻最有可能出現(xiàn)的狀態(tài)

，從而得到一個(gè)狀態(tài)序列，將它作為預(yù)測(cè)的結(jié)果，在時(shí)刻t處于狀態(tài)qi的概率：在每一時(shí)刻t最有可能的狀態(tài)是：從而得到狀態(tài)序列：得到的狀態(tài)有可能實(shí)際不發(fā)生預(yù)測(cè)算法近似算法預(yù)測(cè)算法38Viterbi方法用動(dòng)態(tài)規(guī)劃解概率最大路徑，一個(gè)路徑對(duì)應(yīng)一個(gè)狀態(tài)序列。最優(yōu)路徑具有這樣的特性：如果最優(yōu)路徑在時(shí)刻t通過(guò)結(jié)點(diǎn)

，那么這一路徑從結(jié)點(diǎn)

到終點(diǎn)的部分路徑，對(duì)于從

到

的所有可能的部分路徑來(lái)說(shuō)，必須是最優(yōu)的。只需從時(shí)刻t=1開(kāi)始，遞推地計(jì)算在時(shí)刻t狀態(tài)為i的各條部分路徑的最大概率，直至得到時(shí)刻t=T狀態(tài)為i的各條路徑的最大概率，時(shí)刻t=T的最大概率即為最優(yōu)路徑的概率P*，最優(yōu)路徑的終結(jié)點(diǎn)

也同時(shí)得到。之后，為了找出最優(yōu)路徑的各個(gè)結(jié)點(diǎn)，從終結(jié)點(diǎn)開(kāi)始，由后向前逐步求得結(jié)點(diǎn)，得到最優(yōu)路徑維特比算法Viterbi方法維特比算法39導(dǎo)入兩個(gè)變量δ和ψ，定義在時(shí)刻t狀態(tài)為i的所有單個(gè)路徑中概率最大值為：由定義可得變量δ的遞推公式：定義在時(shí)刻t狀態(tài)為i的所有單個(gè)路徑中概率最大的路徑的第t-1個(gè)結(jié)點(diǎn)為維特比算法導(dǎo)入兩個(gè)變量δ和ψ，定義在時(shí)刻t狀態(tài)為i的所有單個(gè)路徑40Viterbi方法Viterbi方法41Viterbi方法Viterbi方法42例1、初始化：在t=1時(shí)，對(duì)每一個(gè)狀態(tài)i，i=1,2,3，求狀態(tài)i觀測(cè)O1為紅的概率，記為：代入實(shí)際數(shù)據(jù)：例43例例44例2、在t=2時(shí)，對(duì)每一個(gè)狀態(tài)i，i=1,2,3，求在t=1時(shí)狀態(tài)為j觀測(cè)O1為紅并在t=2時(shí)狀態(tài)為i觀測(cè)O2位白的路徑的最大概率，記為同時(shí)，對(duì)每個(gè)狀態(tài)i，記錄概率最大路徑的前一個(gè)狀態(tài)j例2、在t=2時(shí)，對(duì)每一個(gè)狀態(tài)i，i=1,2,3，求在t=145例例463、以P*表示最優(yōu)路徑的概率：最優(yōu)路徑的終點(diǎn)是：4、由最優(yōu)路徑的終點(diǎn)，逆向找到于是求得最優(yōu)路徑，即最優(yōu)狀態(tài)序列：例3、以P*表示最優(yōu)路徑的概率：例47人臉檢測(cè)人臉檢測(cè)48人臉圖像預(yù)處理光線補(bǔ)償中值濾波歸一化處理人臉檢測(cè)人臉圖像預(yù)處理人臉檢測(cè)49人臉識(shí)別HMM訓(xùn)練步驟：對(duì)每個(gè)人臉建立一個(gè)HMM1、人臉特征向量提取2、建立公用的HMM模型3、HMM初始參數(shù)確定4、初始模型參數(shù)訓(xùn)練，主要是運(yùn)用Viterbi算法訓(xùn)練均勻分割得到參數(shù)，求得最佳分割點(diǎn)，然后重新計(jì)算模型初始參數(shù)，直到模型收斂為止。5、人臉模型訓(xùn)練過(guò)程，將(1)中得到的觀測(cè)向量代入(4)中得到的模型參數(shù)進(jìn)行訓(xùn)練，使用迭代方法調(diào)整模型參數(shù)達(dá)到最優(yōu)。人臉識(shí)別HMM訓(xùn)練步驟：對(duì)每個(gè)人臉建立一個(gè)HMM501、人臉特征向量提?。夯谄娈愔捣纸獾奶卣魈崛‰x散余弦變換多維尺度分析(MDS)人臉等密度線分析匹配方法、彈性圖匹配方法。。。人臉檢測(cè)1、人臉特征向量提?。喝四槞z測(cè)51SVD穩(wěn)定性：由于奇異值特征向量具有良好的穩(wěn)定性，所以它對(duì)圖像噪音、圖像光照條件引起的灰度變化具有不敏感的特性;

轉(zhuǎn)置不變性：A和A轉(zhuǎn)置具有相同的奇異值;

旋轉(zhuǎn)不變性：圖像A和旋轉(zhuǎn)后的圖像有相同的特征向量;

唯一不變性：對(duì)矩陣A換兩行或者兩列仍然具有相同的特征向量;

鏡像變換不變形：人臉檢測(cè)SVD人臉檢測(cè)52HMM模型狀態(tài)人臉檢測(cè)HMM模型人臉檢測(cè)53人臉檢測(cè)人臉檢測(cè)54人臉檢測(cè)3、初始參數(shù)確定：

A矩陣：B矩陣：用混合高斯模型，則是將均勻分割后得到的五個(gè)部分中的每個(gè)部分，使用K均值聚類(lèi)，將每個(gè)狀態(tài)聚成M類(lèi)，然后分別計(jì)算每一類(lèi)的均值和方差，將這兩個(gè)值分別賦給高斯模型。人臉檢測(cè)3、初始參數(shù)確定：55初始模型參數(shù)訓(xùn)練：人臉檢測(cè)初始模型人臉檢測(cè)56人臉檢測(cè)人臉檢測(cè)57語(yǔ)音識(shí)別語(yǔ)音識(shí)別58語(yǔ)音識(shí)別語(yǔ)音識(shí)別59隱馬爾科夫模型在入侵檢測(cè)中的應(yīng)用隱馬爾科夫模型在入侵檢測(cè)中的應(yīng)用60隱馬爾科夫模型在入侵檢測(cè)中的應(yīng)用隱馬爾科夫模型在入侵檢測(cè)中的應(yīng)用61兩種正常系統(tǒng)調(diào)用序列數(shù)據(jù)集。Sendmail正常系統(tǒng)調(diào)用序列數(shù)據(jù)集Sendmail的正常訓(xùn)練數(shù)據(jù)集是由1571583個(gè)系統(tǒng)調(diào)用構(gòu)成的序列,這些系統(tǒng)調(diào)用分屬147個(gè)不同的進(jìn)程(在本實(shí)驗(yàn)中只考慮系統(tǒng)調(diào)用,不考慮進(jìn)程)。Sendmail正常系統(tǒng)調(diào)用序列中包含48個(gè)唯一系統(tǒng)調(diào)用,這些系統(tǒng)調(diào)用的調(diào)用號(hào)為(按照序列中出現(xiàn)的順序):4,2,66,138,5,23,45,27,167,85,59,105,104,106,56,19,155,83,93,94,112,100,50,128,89,121,11,1,40,38,18,78,101,102,88,95,6,108,32,1,8,9,14,17,3,124,41,61。數(shù)據(jù)集兩種正常系統(tǒng)調(diào)用序列數(shù)據(jù)集。數(shù)據(jù)集62lpr的正常系統(tǒng)調(diào)用序列數(shù)據(jù)集lpr的正常系統(tǒng)調(diào)用序列由2398個(gè)系統(tǒng)調(diào)用構(gòu)成,分屬9個(gè)進(jìn)程,長(zhǎng)度大約是sendmail正常系統(tǒng)調(diào)用序列的六百五十五分之一。Lpr正常系統(tǒng)調(diào)用序列包含包含37個(gè)唯一系統(tǒng)調(diào)用,系統(tǒng)調(diào)用號(hào)分別為(按照序列中出現(xiàn)的順序):4,2,66,138,5,23,45,27,105,104,106,83,59,50,88,167,17,18,155,19,127,93,100,112,143,128,85,89,121,3,56,7,119,32,9,8,94。數(shù)據(jù)集lpr的正常系統(tǒng)調(diào)用序列數(shù)據(jù)集數(shù)據(jù)集63ENDQ&REND64第十章

隱馬爾科夫模型第十章

隱馬爾科夫模型65AndreyMarkov中文名馬爾科夫國(guó)

籍俄國(guó)出生地梁贊出生日期1856年6月14日逝世日期1922年7月20日主要成就開(kāi)創(chuàng)了隨機(jī)過(guò)程這個(gè)新領(lǐng)域AndreyMarkov中文名馬爾科夫66HMM應(yīng)用人臉識(shí)別語(yǔ)音識(shí)別入侵檢測(cè)HMM應(yīng)用人臉識(shí)別67例：例：68隱馬爾可夫模型是關(guān)于時(shí)序的概率模型;描述由一個(gè)隱藏的馬爾可夫鏈隨機(jī)生成不可觀測(cè)的狀態(tài)隨機(jī)序列(statesequence)，再由各個(gè)狀態(tài)生成一個(gè)觀測(cè)而產(chǎn)生觀測(cè)隨機(jī)序列(observationsequence)的過(guò)程,序列的每一個(gè)位置又可以看作是一個(gè)時(shí)刻。隱馬爾科夫模型的定義隱馬爾可夫模型是關(guān)于時(shí)序的概率模型;隱馬爾科夫模型的定義69組成初始概率分布狀態(tài)轉(zhuǎn)移概率分布觀測(cè)概率分布Q：所有可能狀態(tài)的集合V：所有可能觀測(cè)的集合I:長(zhǎng)度為T(mén)的狀態(tài)序列O：對(duì)應(yīng)的觀測(cè)序列隱馬爾科夫模型組成隱馬爾科夫模型70組成A：狀態(tài)轉(zhuǎn)移概率矩陣隱馬爾科夫模型組成隱馬爾科夫模型71組成B：觀測(cè)概率矩陣

：初始狀態(tài)概率向量隱馬爾科夫模型組成隱馬爾科夫模型72三要素兩個(gè)基本假設(shè)齊次馬爾科夫性假設(shè)，隱馬爾可分鏈t的狀態(tài)只和t-1狀態(tài)有關(guān)：觀測(cè)獨(dú)立性假設(shè)，觀測(cè)只和當(dāng)前時(shí)刻狀態(tài)有關(guān)；隱馬爾科夫模型三要素隱馬爾科夫模型73盒子：1234紅球：5368白球：5742轉(zhuǎn)移規(guī)則：盒子1下一個(gè)盒子2盒子2或3下一個(gè)0.4左，0.6右盒子4下一個(gè)0.5自身，0.5盒子3重復(fù)5次：O={紅，紅，白，白，紅}

例：盒子和球模型盒子：12374狀態(tài)集合：Q={盒子1，盒子2，盒子3，盒子4}，N=4觀測(cè)集合：V={紅球，白球}M=2初始化概率分布：狀態(tài)轉(zhuǎn)移矩陣：觀測(cè)矩陣：例：盒子和球模型狀態(tài)集合：Q={盒子1，盒子2，盒子3，盒子4}，N=4例75觀測(cè)序列的生成過(guò)程觀測(cè)序列的生成過(guò)程761、概率計(jì)算問(wèn)題

給定：

計(jì)算：2、學(xué)習(xí)問(wèn)題

已知：估計(jì)：，使最大3、預(yù)測(cè)問(wèn)題（解碼）

已知：

求：使最大的狀態(tài)序列

隱馬爾科夫模型的三個(gè)基本問(wèn)題1、概率計(jì)算問(wèn)題隱馬爾科夫模型的三個(gè)基本問(wèn)題77直接計(jì)算法給定模型：

和觀測(cè)概率：計(jì)算：最直接的方法：列舉所有可能的長(zhǎng)度為T(mén)狀態(tài)序列，求各個(gè)狀態(tài)序列I與觀測(cè)序列的聯(lián)合概率然后對(duì)所有可能的狀態(tài)序列求和，得到概率計(jì)算方法直接計(jì)算法概率計(jì)算方法78直接計(jì)算法狀態(tài)序列概率：對(duì)固定的狀態(tài)序列I，觀測(cè)序列O的概率：O和I同時(shí)出現(xiàn)的聯(lián)合概率為：對(duì)所有可能的狀態(tài)序列I求和，得到觀測(cè)O的概率：復(fù)雜度概率計(jì)算方法直接計(jì)算法復(fù)雜度概率計(jì)算方法79前向概率定義：給定隱馬爾科夫模型λ，定義到時(shí)刻t部分觀測(cè)序列為：，且狀態(tài)為qi的概率為前向概率，記作：初值：遞推：終止：前向算法前向概率定義：給定隱馬爾科夫模型λ，定義到時(shí)刻t部分觀測(cè)序列80因?yàn)椋核裕哼f推：

復(fù)雜度前向算法因?yàn)椋簭?fù)雜度前向算法81減少計(jì)算量的原因在于每一次計(jì)算，直接引用前一個(gè)時(shí)刻的計(jì)算結(jié)果，避免重復(fù)計(jì)算。復(fù)雜度前向算法減少計(jì)算量的原因在于每一次計(jì)算，直接引用前一個(gè)時(shí)刻的計(jì)算結(jié)果82例：例：83例：例：84例：例：85定義10.3后向概率：給定隱馬爾科夫模型λ，定義在時(shí)刻t狀態(tài)為qi的條件下，從t+1到T的部分觀測(cè)序列為：的概率為后向概率，記作：后向算法定義10.3后向概率：給定隱馬爾科夫模型λ，定義在時(shí)刻t狀86后向算法后向算法87前向后向統(tǒng)一寫(xiě)為：（t=1和t=T-1分別對(duì)應(yīng)）后向算法后向算法88一些概率和期望值的計(jì)算一些概率和期望值的計(jì)算89一些概率和期望值的計(jì)算一些概率和期望值的計(jì)算90一些概率和期望值的計(jì)算一些概率和期望值的計(jì)算91監(jiān)督學(xué)習(xí)方法：假設(shè)訓(xùn)練數(shù)據(jù)是包括觀測(cè)序列O和對(duì)應(yīng)的狀態(tài)序列I可以利用極大似然估計(jì)法來(lái)估計(jì)隱馬爾可夫模型參數(shù)。非監(jiān)督學(xué)習(xí)方法：假設(shè)訓(xùn)練數(shù)據(jù)只有S個(gè)長(zhǎng)度為T(mén)的觀測(cè)序{O1,O2,…Os},采用Baum-Welch算法學(xué)習(xí)算法監(jiān)督學(xué)習(xí)方法：學(xué)習(xí)算法92監(jiān)督學(xué)習(xí)方法已知：1、轉(zhuǎn)移概率aij的估計(jì)：設(shè)樣本中時(shí)刻t處于狀態(tài)i，時(shí)刻t+1轉(zhuǎn)移到狀態(tài)j的頻數(shù)為Aij，那么狀態(tài)轉(zhuǎn)移概率aij的估計(jì)是：監(jiān)督學(xué)習(xí)方法已知：93監(jiān)督學(xué)習(xí)方法已知：2、觀測(cè)概率bj(k)的估計(jì)：設(shè)樣本中狀態(tài)為j并觀測(cè)為k的頻數(shù)是Bj(k)，那么狀態(tài)為j觀測(cè)為k的概率3、初始狀態(tài)概率的估計(jì)為S個(gè)樣本中初始狀態(tài)為qi的頻率。往往人工標(biāo)注數(shù)據(jù)很貴監(jiān)督學(xué)習(xí)方法已知：94假定訓(xùn)練數(shù)據(jù)只包括{O1,O2,…Os},求模型參數(shù)λ=（A,B,π)實(shí)質(zhì)上是有隱變量的概率模型：EM算法1、確定完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)

完全數(shù)據(jù)

完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)Baum-Welch算法假定訓(xùn)練數(shù)據(jù)只包括{O1,O2,…Os},Baum-Welc952、EM的E步則：對(duì)序列總長(zhǎng)度T進(jìn)行BaumWelch算法2、EM的E步BaumWelch算法963、EM算法的M步，極大化求模型參數(shù)A,B,π第一項(xiàng)：由約束條件：利用拉格朗日乘子：求偏導(dǎo)數(shù)，并結(jié)果為0

得：BaumWelch算法3、EM算法的M步，極大化求模型973、EM算法的M步，極大化求A,B,π第二項(xiàng)可寫(xiě)成：

由約束條件

，拉格朗日乘子法：得：學(xué)習(xí)算法BaumWelch算法3、EM算法的M步，極大化求A,983、EM算法的M步，極大化求A,B,π第三項(xiàng)：由約束條件：

BaumWelch算法3、EM算法的M步，極大化求A99將已上得到的概率分別用表示：學(xué)習(xí)算法BaumWelch算法將已上得到的概率分別用100學(xué)習(xí)算法BaumWelch算法學(xué)習(xí)算法BaumWelch算法101近似算法想法：在每個(gè)時(shí)刻t選擇在該時(shí)刻最有可能出現(xiàn)的狀態(tài)

，從而得到一個(gè)狀態(tài)序列，將它作為預(yù)測(cè)的結(jié)果，在時(shí)刻t處于狀態(tài)qi的概率：在每一時(shí)刻t最有可能的狀態(tài)是：從而得到狀態(tài)序列：得到的狀態(tài)有可能實(shí)際不發(fā)生預(yù)測(cè)算法近似算法預(yù)測(cè)算法102Viterbi方法用動(dòng)態(tài)規(guī)劃解概率最大路徑，一個(gè)路徑對(duì)應(yīng)一個(gè)狀態(tài)序列。最優(yōu)路徑具有這樣的特性：如果最優(yōu)路徑在時(shí)刻t通過(guò)結(jié)點(diǎn)

，那么這一路徑從結(jié)點(diǎn)

到終點(diǎn)的部分路徑，對(duì)于從

到

的所有可能的部分路徑來(lái)說(shuō)，必須是最優(yōu)的。只需從時(shí)刻t=1開(kāi)始，遞推地計(jì)算在時(shí)刻t狀態(tài)為i的各條部分路徑的最大概率，直至得到時(shí)刻t=T狀態(tài)為i的各條路徑的最大概率，時(shí)刻t=T的最大概率即為最優(yōu)路徑的概率P*，最優(yōu)路徑的終結(jié)點(diǎn)

也同時(shí)得到。之后，為了找出最優(yōu)路徑的各個(gè)結(jié)點(diǎn)，從終結(jié)點(diǎn)開(kāi)始，由后向前逐步求得結(jié)點(diǎn)，得到最優(yōu)路徑維特比算法Viterbi方法維特比算法103導(dǎo)入兩個(gè)變量δ和ψ，定義在時(shí)刻t狀態(tài)為i的所有單個(gè)路徑中概率最大值為：由定義可得變量δ的遞推公式：定義在時(shí)刻t狀態(tài)為i的所有單個(gè)路徑中概率最大的路徑的第t-1個(gè)結(jié)點(diǎn)為維特比算法導(dǎo)入兩個(gè)變量δ和ψ，定義在時(shí)刻t狀態(tài)為i的所有單個(gè)路徑104Viterbi方法Viterbi方法105Viterbi方法Viterbi方法106例1、初始化：在t=1時(shí)，對(duì)每一個(gè)狀態(tài)i，i=1,2,3，求狀態(tài)i觀測(cè)O1為紅的概率，記為：代入實(shí)際數(shù)據(jù)：例107例例108例2、在t=2時(shí)，對(duì)每一個(gè)狀態(tài)i，i=1,2,3，求在t=1時(shí)狀態(tài)為j觀測(cè)O1為紅并在t=2時(shí)狀態(tài)為i觀測(cè)O2位白的路徑的最大概率，記為同時(shí)，對(duì)每個(gè)狀態(tài)i，記錄概率最大路徑的前一個(gè)狀態(tài)j例2、在t=2時(shí)，對(duì)每一個(gè)狀態(tài)i，i=1,2,3，求在t=1109例例1103、以P*表示最優(yōu)路徑的概率：最優(yōu)路徑的終點(diǎn)是：4、由最優(yōu)路徑的終點(diǎn)，逆向找到于是求得最優(yōu)路徑，即最優(yōu)狀態(tài)序列：例3、以P*表示最優(yōu)路徑的概率：例111人臉檢測(cè)人臉檢測(cè)112人臉圖像預(yù)處理光線補(bǔ)償中值濾波歸一化處理人臉檢測(cè)人臉圖像預(yù)處理人臉檢測(cè)113人臉識(shí)別HMM訓(xùn)練步驟：對(duì)每個(gè)人臉建立一個(gè)HMM1、人臉特征向量提取2、建立公用的HMM模型3、HMM初始參數(shù)確定4、初始模型參數(shù)訓(xùn)練，主要是運(yùn)用Viterbi算法訓(xùn)練均勻分割得到參數(shù)，求得最佳分割點(diǎn)，然后重新計(jì)算模型初始參數(shù)，直到模型收斂為止。5、人臉模型訓(xùn)練過(guò)程，將(1)中得到的觀測(cè)向量代入(4)中得到的模型參數(shù)進(jìn)行訓(xùn)練，使用迭代方法調(diào)整模型參數(shù)達(dá)到最優(yōu)。人臉識(shí)別HMM訓(xùn)練步驟：對(duì)每個(gè)人臉建立一個(gè)HMM1141、人臉特征向量提取：基于奇異值分解的特征提取離散余弦變換多維尺度分析(MDS)人臉等密度線分析匹配方法、彈性圖匹配方法。。。人臉檢測(cè)1、人臉特征向量提取：人臉檢測(cè)115SVD穩(wěn)定性：由于奇異值特征向量具有良好的穩(wěn)定性，所