概率圖模型《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025如何表示高維隨機(jī)向量的概率密度？

概率圖模型概率圖模型是指一種用圖結(jié)構(gòu)來描述多元隨機(jī)變量之間條件獨(dú)立關(guān)系的概率模型。每個(gè)節(jié)點(diǎn)都對(duì)應(yīng)一個(gè)隨機(jī)變量，可以是觀察變量，隱變量或是未知參數(shù)等；每個(gè)連接表示兩個(gè)隨機(jī)變量之間具有依賴關(guān)系。概率圖模型模型表示（圖結(jié)構(gòu)）有向圖

無向圖推斷（Inference）給定部分變量，推斷另一部分變量的后驗(yàn)概率。學(xué)習(xí)（Learning）參數(shù)學(xué)習(xí)：給定一組訓(xùn)練樣本，求解模型參數(shù)概率圖模型模型表示貝葉斯網(wǎng)絡(luò)有向圖模型（DirectedGraphicalmodel），也稱為貝葉斯網(wǎng)絡(luò)（BayesianNetwork），或信念網(wǎng)絡(luò)（BeliefNetwork，BN）。練習(xí)局部馬爾可夫性質(zhì)貝葉斯網(wǎng)絡(luò)的局部馬爾可夫性質(zhì)：每個(gè)隨機(jī)變量在給定父節(jié)點(diǎn)的情況下，條件獨(dú)立于它的非后代節(jié)點(diǎn)．利用局部馬爾可夫性，可以對(duì)多元變量的聯(lián)合概率進(jìn)行簡化，從而降低建模的復(fù)雜度。例子：是4個(gè)局部條件概率的乘積，這樣只需要1+2+2+4=9個(gè)獨(dú)立參數(shù)。條件獨(dú)立性在貝葉斯網(wǎng)絡(luò)中，如果兩個(gè)節(jié)點(diǎn)是直接連接的，它們肯定是非條件獨(dú)立的，是直接因果關(guān)系。父節(jié)點(diǎn)是“因”，子節(jié)點(diǎn)是“果”。如果兩個(gè)節(jié)點(diǎn)不是直接連接的，但是它們之間有一條經(jīng)過其他節(jié)點(diǎn)的路徑連接互連接，它們之間的條件獨(dú)立性就比較復(fù)雜。

Sigmoid信念網(wǎng)絡(luò)Sigmoid信念網(wǎng)絡(luò)網(wǎng)絡(luò)中的變量為二值變量，取值為{0,1}。常見的有向圖模型隱馬爾可夫模型（HiddenMarkovModel，HMM）表示一種含有隱變量的馬爾可夫過程隱馬爾可夫模型的聯(lián)合概率可以分解為輸出概率轉(zhuǎn)移概率高斯混合模型高斯混合模型（GaussianMixtureModel，GMM）是由多個(gè)高斯分布組成的模型，其密度函數(shù)為多個(gè)高斯密度函數(shù)的加權(quán)組合。高斯混合模型圖模型表示概率主題模型概率主題模型有向圖模型深度信念網(wǎng)絡(luò)變分自編碼器馬爾可夫隨機(jī)場馬爾可夫隨機(jī)場，也稱無向圖模型，是一類用無向圖來表示一組具有馬爾可夫性質(zhì)的隨機(jī)變量X的聯(lián)合概率分布模型。無向圖的馬爾可夫性團(tuán)（Clique）團(tuán)：一個(gè)全連通子圖，即團(tuán)內(nèi)的所有節(jié)點(diǎn)之間都連邊。共有7個(gè)團(tuán)Hammersley-Clifford定理無向圖的聯(lián)合概率可以分解為一系列定義在最大團(tuán)上的非負(fù)函數(shù)的乘積形式。無向圖模型無向圖模型的聯(lián)合分布可以表示為其中E(Xc)為能量函數(shù)，Z是配分函數(shù)。Illustration:ImageDe-Noising(1)OriginalImageNoisyImageIllustration:ImageDe-Noising(2)Illustration:ImageDe-Noising(3)NoisyImageRestoredImage(ICM)Illustration:ImageDe-Noising(4)RestoredImage(Graphcuts)RestoredImage(ICM)對(duì)數(shù)線性模型勢能函數(shù)的一般定義為聯(lián)合概率p(x)的對(duì)數(shù)形式為也稱為最大熵模型條件隨機(jī)場y一般為隨機(jī)向量條件概率p(y|x)常見的無向圖模型模型對(duì)比有向圖和無向圖的轉(zhuǎn)換有向圖和無向圖的轉(zhuǎn)換道德圖（MoralGraph）AmoralgraphofadirectedacyclicgraphGisanundirectedgraphinwhicheachnodeoftheoriginalGisnowconnectedtoitsMarkovblanket.有向圖和無向圖有向圖和無向圖學(xué)習(xí)有向圖模型

無向圖模型以對(duì)數(shù)線性模型為例，偏導(dǎo)數(shù)含隱變量的參數(shù)估計(jì)含隱變量的參數(shù)學(xué)習(xí)隱變量即變量是不可觀測的邊際似然函數(shù)（MarginalLikelihood）需要用EM算法進(jìn)行參數(shù)估計(jì)高斯混合模型圖模型表示一個(gè)簡單的解法：K-meansK-means算法初始化中心點(diǎn)

m1(1),…,mk(1)

迭代執(zhí)行下面兩步分配步（Assignmentstep）：更新步（Updatestep）K-means算法期望最大化（Expectation-Maximum，EM）算法假設(shè)有一組變量，有部分變量是是不可觀測的，如何進(jìn)行參數(shù)估計(jì)呢？證據(jù)下界對(duì)數(shù)邊際似然函數(shù)利用Jensen不等式另外一種推導(dǎo)EM算法E步M步收斂性E步M步GMMRevisitGMMRevisitGMMRevisitGMM的參數(shù)學(xué)習(xí)GMM的參數(shù)學(xué)習(xí)k-meansclusteringvs.

EMclustering

推斷（Inference）InferenceinGraphicalModels推斷精確推斷ExactInference變量消去法VariableEliminationAlgorithm信念傳播聯(lián)合樹算法近似推斷ApproximateInference變分推斷采樣法（蒙特卡羅方法）主要在于如何計(jì)算邊際概率p(y).如何有效地計(jì)算邊際概率？邊際概率如何減少計(jì)算量？乘法的分配律變量消去法邊際概率變量消除法可以按照不同的順序來消除變量邊際概率p(x4)如何減少重復(fù)計(jì)算？信念傳播算法信念傳播（BeliefPropagation，BP）算法也稱為和積（Sum-Product）算法或消息傳遞（MessagePassing）算法，將變量消除法中的和積（Sum-Product）操作看作是消息，并保存起來，這樣可以節(jié)省大量的計(jì)算資源。鏈上的消息傳遞鏈上的消息傳遞鏈?zhǔn)浇Y(jié)構(gòu)圖模型的信念傳播過程更一般的推斷樹結(jié)構(gòu)和積算法因子圖（FactorGraph）UndirectedTreeDirectedTreePolytree近似推斷環(huán)路信念傳播（LoopyBeliefPropagation）在具有環(huán)路的圖上依然使用和積算法，即使得到不精確解，在某些任務(wù)上也可以近似精確解。變分法（VariationalMethod）引入一個(gè)變分分布（通常是比較簡單的分布）來近似這些條件概率，然后通過迭代的方法進(jìn)行計(jì)算。采樣法（SamplingMethod）通過模擬的方式來采集符合某個(gè)分布p(x)的一些樣本，并通過這些樣本來估計(jì)和這個(gè)分布有關(guān)的運(yùn)算基于采樣法的近似推斷采樣法（SamplingMethod）

直接采樣均勻分布逆變換采樣（InverseTransformSampling）Box–Muller方法正態(tài)分布拒絕采樣重要性采樣馬爾可夫鏈蒙特卡羅（MarkovChainMonteCarlo，MCMC）方法Metropolis-Hastings算法Metropolis算法Gibbs采樣法采樣法假設(shè)原始分布p(x)難以直接采樣引入一個(gè)容易采樣的分布q(x)一般稱為提議分布（ProposalDistribution）流程：先從分布q(x)中采樣再以某個(gè)標(biāo)準(zhǔn)來拒絕一部分的樣本使得最終采集的樣本服從分布p(x)

拒絕采樣拒絕采樣接受概率（AcceptanceProbability）重要性采樣如果采樣的目的是計(jì)算分布p(x)下函數(shù)f(x)的期望，那么實(shí)際上抽取的樣本不需要嚴(yán)格服從分布p(x)。也可以通過另一個(gè)分布，即提議分布q(x)，直接采樣并估計(jì)Ep[f(x)]。

馬爾可夫過程

馬爾可夫鏈離散時(shí)間的馬爾可夫過程也稱為馬爾可夫鏈（Markovchain）狀態(tài)轉(zhuǎn)移矩陣?yán)悠椒€(wěn)分布（StationaryDistribution）細(xì)致平穩(wěn)條件馬爾可夫鏈蒙特卡羅方法

Metropolis-Hastings算法Metropolis算法吉布斯采樣（GibbsSampling）是一種有效地對(duì)高維空間中的分布進(jìn)行采樣的MCMC方法，可以看作是Metropolis-Hastings算法的特例。全條件概率（FullConditionalProbability）吉布斯采樣使用全條件概率作為提議分布來依次對(duì)每個(gè)維度進(jìn)行采樣，并設(shè)置接受率為A=1。吉布斯采樣可以按照任意的順序根據(jù)全條件分布依次對(duì)每個(gè)變量進(jìn)行采樣。假設(shè)從一個(gè)隨機(jī)的初始化狀態(tài)x(0)

開始，按照下標(biāo)順序依次對(duì)M個(gè)變量進(jìn)行采樣。吉布斯采樣使用MCMC方法的注