概率圖模型隱馬可科夫模型馬爾可夫隨機場條件隨機場學(xué)習(xí)與推斷話題模型隱馬可科夫模型/01隱馬可科夫模型

概率模型（probabilisticmodel）提供了一種描述框架，將學(xué)習(xí)任務(wù)歸結(jié)于計算變量的概率分布。在概率模型中，利用已知變量推測位置變量的分布稱為“推斷”（inference），其核心是如何基于可觀測變量推測出未知變量的條件分布。具體來說，假定所關(guān)心的變量集合為Y，可觀測變量集合為O，其他變量集合為R，“生成式”（generative）模型考慮聯(lián)合分布P(Y,R,O)；“判別式”（discriminative）模型考慮條件分布P(Y,R|O);給定一組觀測變量值，推斷就是由P(Y,R,O)或P(Y,R|O)得到條件分布P(Y|O)。直接利用概率和規(guī)則消去變量R顯然不可行。為了便于研究高效的推斷和學(xué)習(xí)算法，需要有一套能簡潔緊湊地表達(dá)變量間關(guān)系的工具。隱馬可科夫模型

概率圖模型（probabilisticgraphicalmodel）是一類用圖來表達(dá)變量相關(guān)關(guān)系的概率模型。概率圖模型可大致分為兩類：第一類是使用有向無環(huán)圖表示變量間的依賴關(guān)系，稱為有向圖模型或貝葉斯網(wǎng)（Bayesiannetwork）；第二類是使用無向圖表示變量間的相關(guān)關(guān)系，稱為無向圖模型或馬爾可夫網(wǎng)（Markovnetwork）；隱馬可科夫模型

隱馬爾可夫模型（HiddenMarkovModel，簡稱HMM）是結(jié)構(gòu)最簡單的動態(tài)貝葉斯網(wǎng)（dynamicBayesiannetwork），這是一種著名的有向圖模型，主要用于時序數(shù)據(jù)建模，在語音識別、自然語言處理等領(lǐng)域有廣泛應(yīng)用。隱馬爾可夫模型中的變量可分為兩組。第一組是狀態(tài)變量{y1，y2，...，yn}，其中，yi∈Y表示第i時刻的系統(tǒng)狀態(tài)。通常假定狀態(tài)變量是隱藏的、不可被觀測的，因此狀態(tài)變量亦稱隱變量（hiddenvariable）。第二組是觀測變量{x1，x2，...，xn}，其中，xi∈X表示第i時刻的觀測值。在隱馬爾可夫模型中，系統(tǒng)通常在多個狀態(tài){s1，s2，...，sN}之間轉(zhuǎn)換。如下圖所示，馬爾可夫隨機場/02

馬爾可夫隨機場（markovRandomField，簡稱MRF）是典型的馬爾可夫網(wǎng)，這是一種著名的無向圖模型。圖中每個結(jié)點表示一個或一組變量，結(jié)點之間的邊表示兩個變量之間的依賴關(guān)系。馬爾可夫隨機場有一組勢函數(shù)（potentialfunction），亦稱“因子”（factor），這是定義在變量子集上的非負(fù)函數(shù)，主要用于定義概率分布模型。馬爾可夫隨機場條件隨機場/03

條件隨機場（ConditionalRandomField，簡稱CRF）是一種判別式無向圖模型。生成式模型是直接對聯(lián)合分布進行建模，而判別式模型則是對條件分布進行建模。前面介紹的隱馬爾可夫模型和馬爾可夫隨機場都是生成式模型，而條件隨機場是判別式模型。條件隨機場學(xué)習(xí)與推斷/04

基于概率圖模型定義的聯(lián)合概率分布，我們能對目標(biāo)變量的邊際分布（marginaldistribution）或以某些可觀測變量為條件的條件分布進行推斷。

對概率圖模型，還需確定具體分布的參數(shù)，這稱為參數(shù)估計或參數(shù)學(xué)習(xí)問題。學(xué)習(xí)與推斷

概率圖模型的推斷方法大致可分為兩類：第一類是精確推斷方法。希望能計算出目標(biāo)變量的邊際分布或條件分布的精確值。遺憾的是，一般情形下，此類算法的計算復(fù)雜度隨著極大團規(guī)模的增長呈指數(shù)增長，適用范圍有限。第二類是近似推斷方法。希望在較低時間復(fù)雜度下獲得原問題的近似解。此類方法在現(xiàn)實任務(wù)中更常用。學(xué)習(xí)與推斷

精確推斷方法通常需要很大的計算開銷，因此在現(xiàn)實應(yīng)用中近似推斷方法更為常用。近似推斷方法大致可分為兩大類：第一類是采樣（sampling）通過使用隨機化方法完成近似；第二類是使用確定性近似完成近似推斷典型代表為變分推斷（variationalinference）；學(xué)習(xí)與推斷話題模型/05話題模型（topicmodel）是一族生成式有向圖模型，主要用于處理離散型的數(shù)據(jù)（如文本集合），在信息檢索、自然語言處理等領(lǐng)域有廣泛應(yīng)用。隱狄利克雷分配模型（LatentDirichletAllocation，簡稱LDA）是話題模型的典