1、貝葉斯決策理論Bayesian Decision Theory,貝葉斯決策理論,引言 貝葉斯決策常用的準(zhǔn)則 分類(lèi)器，判別函數(shù)，決策面 正態(tài)分布的判別函數(shù) Bayesian置信網(wǎng),引言,機(jī)器自動(dòng)識(shí)別分類(lèi)，能不能避免錯(cuò)分類(lèi)，做到百分之百正確？怎樣才能減少錯(cuò)誤？ 錯(cuò)分類(lèi)往往難以避免，因此就要考慮減小因錯(cuò)分類(lèi)造成的危害損失，那么有沒(méi)有可能對(duì)危害大的錯(cuò)誤嚴(yán)格控制？ 什么是先驗(yàn)概率、類(lèi)概率密度函數(shù)和后驗(yàn)概率？它們的定義和相互關(guān)系如何?貝葉斯公式正是體現(xiàn)三者關(guān)系的式子。,引言,貝葉斯決策理論 貝葉斯統(tǒng)計(jì)決策理論是處理模式分類(lèi)問(wèn)題的基本理論之一，對(duì)模式分析和分類(lèi)器（Classifier）的設(shè)計(jì)起指導(dǎo)作用。 貝

2、葉斯決策的兩個(gè)要求 各個(gè)類(lèi)別的總體概率分布 (先驗(yàn)概率和類(lèi)條件概率密度) 是已知的 要決策分類(lèi)的類(lèi)別數(shù)是一定的,引言,在連續(xù)情況下，假設(shè)對(duì)要識(shí)別的物理對(duì)象有d種特征觀察量x1,x2,xd，這些特征的所有可能的取值范圍構(gòu)成了d維特征空間。 稱(chēng)向量 假設(shè)要研究的分類(lèi)問(wèn)題有c個(gè)類(lèi)別，類(lèi)型空間表示為：,為d維特征向量。,引言,評(píng)價(jià)決策有多種標(biāo)準(zhǔn)，對(duì)于同一個(gè)問(wèn)題，采用不同的標(biāo)準(zhǔn)會(huì)得到不同意義下“最優(yōu)”的決策。 貝葉斯決策常用的準(zhǔn)則： 最小錯(cuò)誤率準(zhǔn)則 最小風(fēng)險(xiǎn)準(zhǔn)則 Neyman-Pearson準(zhǔn)則 最小最大決策準(zhǔn)則,貝葉斯決策理論,引言 貝葉斯決策常用的準(zhǔn)則 分類(lèi)器，判別函數(shù)，決策面 正態(tài)分布的判別函數(shù)

3、Bayesian置信網(wǎng),Bayes決策準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則 最小風(fēng)險(xiǎn)準(zhǔn)則 Neyman-Pearson準(zhǔn)則 最小最大決策準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則,黑色：第一類(lèi),粉色：第二類(lèi),綠色：哪一類(lèi)？,統(tǒng)計(jì)決策理論就是根據(jù)每一類(lèi)總體的概率分布決定未知類(lèi)別的樣本屬于哪一類(lèi)！,最小錯(cuò)誤率準(zhǔn)則,先驗(yàn)概率： 類(lèi)條件概率： 后驗(yàn)概率： 貝葉斯公式,未獲得觀測(cè)數(shù)據(jù)之前類(lèi)別的分布,觀測(cè)數(shù)據(jù)在各類(lèi)別種情況下的分布,X屬于哪一類(lèi)的概率,其中：,最小錯(cuò)誤率準(zhǔn)則,例：醫(yī)生要根據(jù)病人血液中白細(xì)胞的濃度來(lái)判斷病人是否患血液病。 兩類(lèi)識(shí)別問(wèn)題：患病，未患病 根據(jù)醫(yī)學(xué)知識(shí)和以往的經(jīng)驗(yàn)，醫(yī)生知道： 患病的人，白細(xì)胞的濃度服從均值2000方差

4、1000的正態(tài)分布；未患病的人，白細(xì)胞的濃度服從均值7000，方差3000的正態(tài)分布；（類(lèi)條件概率） 一般人群中，患病的人數(shù)比例為0.5%；（先驗(yàn)概率） 一個(gè)人的白細(xì)胞濃度時(shí)3100，醫(yī)生應(yīng)該做出怎樣的判斷？（后驗(yàn)概率？）,最小錯(cuò)誤率準(zhǔn)則,數(shù)學(xué)表示： ：表示類(lèi)別這一隨機(jī)變量 1：表示患病 2：表示不患病 X：表示白細(xì)胞濃度這一隨機(jī)變量 x： 表示白細(xì)胞濃度值,最小錯(cuò)誤率準(zhǔn)則,醫(yī)生根據(jù)已經(jīng)掌握的知識(shí)知道類(lèi)別的先驗(yàn)分布：,先驗(yàn)概率分布：未獲得觀測(cè)數(shù)據(jù)（病人白細(xì)胞濃度）之前類(lèi)別的分布。,最小錯(cuò)誤率準(zhǔn)則,觀測(cè)數(shù)據(jù)白細(xì)胞濃度分別在兩種情況下的類(lèi)條件概率分布：,已知先驗(yàn)分布和觀測(cè)值的類(lèi)條件概率分布，就可以

5、用貝葉斯理論求得x屬于哪一類(lèi)的后驗(yàn)概率： 和,最小錯(cuò)誤率準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則 以先驗(yàn)概率、類(lèi)條件概率密度、特征值（向量）為輸入 以后驗(yàn)概率作為類(lèi)別判斷的依據(jù) 貝葉斯公式保證了錯(cuò)誤率最小,最小錯(cuò)誤率準(zhǔn)則,最小錯(cuò)誤率的貝葉斯決策規(guī)則為： 如果 大于 ，則把x歸于患病狀態(tài)，反之則歸于未患病狀態(tài)。（最大后驗(yàn)概率決策）,x1=x2 ?,最小錯(cuò)誤率準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率：,最小錯(cuò)誤率準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則的平均錯(cuò)誤率： 記平均錯(cuò)誤率為P(e)，令 t = x2=x3，則,最小錯(cuò)誤率準(zhǔn)則,平均錯(cuò)誤率是否最??？,最小錯(cuò)誤率準(zhǔn)則,似然比公式,則：,等價(jià)于：,似然比公式,最小錯(cuò)誤率準(zhǔn)則,特例1：,最小錯(cuò)誤

6、率準(zhǔn)則,特例2：,最小錯(cuò)誤率準(zhǔn)則,形式邏輯（經(jīng)典確定性推理） 以鱸魚(yú)和鮭魚(yú)分類(lèi)為例： 假言：如果魚(yú)的長(zhǎng)度 大于45cm，則該魚(yú)為 鱸魚(yú) ，否則該魚(yú)為鮭魚(yú) 前提：現(xiàn)在某條魚(yú) 結(jié)論：該魚(yú)為鮭魚(yú) 概率推理（不確定性推理）,最小錯(cuò)誤率準(zhǔn)則,例子： 給定 ，類(lèi)條件概率密度如圖。 現(xiàn)有一條魚(yú) x=38cm， 若采用最小錯(cuò)誤率決策，該魚(yú)應(yīng)該為哪一類(lèi)？,故判決：,Bayes決策準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則 最小風(fēng)險(xiǎn)準(zhǔn)則 Neyman-Pearson準(zhǔn)則 最小最大決策準(zhǔn)則,最小風(fēng)險(xiǎn)準(zhǔn)則,最小風(fēng)險(xiǎn)貝葉斯決策：考慮各種錯(cuò)誤造成損失不同而提出的一種決策規(guī)則。 條件風(fēng)險(xiǎn)：,最小風(fēng)險(xiǎn)準(zhǔn)則,期望風(fēng)險(xiǎn)：對(duì)于x的不同觀察值，采取決策i

7、時(shí)，其條件風(fēng)險(xiǎn)大小是不同的。所以究竟采取哪一種決策將隨x的取值而定。這樣，決策可以看成隨機(jī)向量x的函數(shù)，記為(x)?？梢远x期望風(fēng)險(xiǎn)Rexp為： 期望風(fēng)險(xiǎn)反映對(duì)整個(gè)空間上所有x的取值采取相應(yīng)的決策(x)所帶來(lái)的平均風(fēng)險(xiǎn)。,最小風(fēng)險(xiǎn)準(zhǔn)則,兩分類(lèi)問(wèn)題的例子：,似然比公式,最小風(fēng)險(xiǎn)準(zhǔn)則,不同的損失函數(shù)決定了不同的似然比判決閾值：, a：0-1損失 b：1221,每一類(lèi)的判決域可能是不連續(xù)的!,最小風(fēng)險(xiǎn)準(zhǔn)則,最小風(fēng)險(xiǎn)貝葉斯決策的步驟： 1）根據(jù)先驗(yàn)概率和類(lèi)條件概率計(jì)算出后驗(yàn)概率； 2）利用后驗(yàn)概率和損失矩陣計(jì)算采取每種決策的條件風(fēng)險(xiǎn)； 3）比較各個(gè)條件風(fēng)險(xiǎn)的值，條件風(fēng)險(xiǎn)最小的決策即為最小風(fēng)險(xiǎn)貝葉斯決策

8、,最小風(fēng)險(xiǎn)準(zhǔn)則,最小風(fēng)險(xiǎn)準(zhǔn)則,對(duì)于貝葉斯最小風(fēng)險(xiǎn)決策，如果損失函數(shù)為“0-1損失”，即取如下的形式： 那么，條件風(fēng)險(xiǎn)為： 此時(shí)，貝葉斯最小風(fēng)險(xiǎn)決策與最小錯(cuò)誤率決策等價(jià)。,Bayes決策準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則 最小風(fēng)險(xiǎn)準(zhǔn)則 Neyman-Pearson準(zhǔn)則 最小最大決策準(zhǔn)則,Neyman-Pearson準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則: 后驗(yàn)概率最大化，理論上錯(cuò)誤率最小 最小風(fēng)險(xiǎn)準(zhǔn)則： 風(fēng)險(xiǎn)函數(shù)最小化，理論上總風(fēng)險(xiǎn)最小 在先驗(yàn)概率和損失未知的情況下如何決策？,Neyman-Pearson準(zhǔn)則,問(wèn)題：先驗(yàn)概率和損失未知 通常情況下，無(wú)法確定損失。 先驗(yàn)概率未知，是一個(gè)確定的值 某一種錯(cuò)誤較另一種錯(cuò)誤更為重要。

9、基本思想： 要求一類(lèi)錯(cuò)誤率控制在很小，在滿足此條件的前提下再使另一類(lèi)錯(cuò)誤率盡可能小。 用lagrange乘子法求條件極值,Neyman-Pearson準(zhǔn)則,對(duì)兩分類(lèi)問(wèn)題，錯(cuò)誤率可以寫(xiě)為： 由于P(1) 和P(2)對(duì)具體問(wèn)題往往是確定的（但是未知），一般稱(chēng)P1(e)和P2(e)為兩類(lèi)錯(cuò)誤率。 P1(e)和P2(e)的值決定了P(e)的值。,Neyman-Pearson準(zhǔn)則,Neyman-Pearson準(zhǔn)則,為了求L的極值點(diǎn)，將 L 分別對(duì) t 和求偏導(dǎo)：,注意：這里分析的是兩類(lèi)錯(cuò)誤率，與先驗(yàn)概率無(wú)關(guān)！ 決策準(zhǔn)則 ？,Neyman-Pearson準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則的等價(jià)形式,Neyman-Pea

10、rson準(zhǔn)則,兩者都以似然比為基礎(chǔ)，在未知先驗(yàn)概率時(shí)使用Neyman-Pearson準(zhǔn)則。,Bayes決策準(zhǔn)則,最小錯(cuò)誤率準(zhǔn)則 最小風(fēng)險(xiǎn)準(zhǔn)則 Neyman-Pearson準(zhǔn)則 最小最大決策準(zhǔn)則,最小最大決策準(zhǔn)則,Neyman-Pearson準(zhǔn)則假定先驗(yàn)概率是一個(gè)確定的值，此時(shí)判定結(jié)果會(huì)受到先驗(yàn)概率的影響。 實(shí)際中，類(lèi)先驗(yàn)概率 P(i) 往往不能精確知道或在分析過(guò)程中是變動(dòng)的，從而導(dǎo)致判決域不是最佳的。所以應(yīng)考慮如何解決在 P(i) 不確知或變動(dòng)的情況下使期望風(fēng)險(xiǎn)變大的問(wèn)題。 最小最大決策準(zhǔn)則：在最差的條件下?tīng)?zhēng)取最好的結(jié)果，使最大風(fēng)險(xiǎn)最??！,最小最大決策準(zhǔn)則,分析期望風(fēng)險(xiǎn) R 與先驗(yàn)概率 P(1

11、) 的關(guān)系：,對(duì)于兩類(lèi)問(wèn)題，設(shè)一種分類(lèi)識(shí)別決策將特征空間R劃分為兩個(gè)子空間 R1 和 R2 ，記ij為將屬于 i 類(lèi)的模式判為j 類(lèi)的損失函數(shù)，各種判決的期望風(fēng)險(xiǎn)為：,最小最大決策準(zhǔn)則,將,和,帶入上式：,最小最大決策準(zhǔn)則,期望風(fēng)險(xiǎn)可寫(xiě)成：,一旦 R1 和 R2 確定，a和b為常數(shù) 一旦 R1 和 R2 確定， R 與 P(1) 成線性關(guān)系 選擇使 b=0 的R1 和 R2 ，期望風(fēng)險(xiǎn)與P(1) 無(wú)關(guān)！,最小最大決策準(zhǔn)則,最小最大決策準(zhǔn)則,求 b=0 時(shí)的 p(1) 等價(jià)于在R隨著p(1)的變化曲線上求：,時(shí)的p(1)。,在 b=0 時(shí)的 決策條件下，期望風(fēng)險(xiǎn)與p(1) 無(wú)關(guān)，值為a，此時(shí)，R

12、的最大值最小。這種決策準(zhǔn)則稱(chēng)為最小最大決策準(zhǔn)則。,最小最大決策準(zhǔn)則,由于： 當(dāng)采用0-1損失函數(shù)時(shí)，b=0可推導(dǎo)出：,此時(shí)，最小最大損失判決所導(dǎo)出的最佳分界面應(yīng)使兩類(lèi)錯(cuò)誤概率相等！,貝葉斯決策理論,引言 貝葉斯決策常用的準(zhǔn)則 分類(lèi)器，判別函數(shù)，決策面 正態(tài)分布的判別函數(shù) Bayesian置信網(wǎng),分類(lèi)器，判別函數(shù)，決策面,分類(lèi)器最常用的表述方式為判別函數(shù)： 基于判別函數(shù)的判決,每個(gè)類(lèi)別對(duì)應(yīng)一個(gè)判別函數(shù)。,分類(lèi)器，判別函數(shù)，決策面,判別函數(shù) Discriminant functions,分類(lèi)器，判別函數(shù)，決策面,基于最小誤差概率的貝葉斯分類(lèi)器 基于最小總風(fēng)險(xiǎn)的貝葉斯分類(lèi)器,分類(lèi)器，判別函數(shù)，決策面

13、,表達(dá)同樣的判決規(guī)則可能采用不同的判別函數(shù)，只要滿足 如下條件： 用f(gi(x)替換gi(x)，其中f(*)為單調(diào)遞增函數(shù) 例如： gi(x) k gi(x) , k為正常數(shù) gi(x) gi(x)+k , k為任意常數(shù) gi(x) log (gi(x),分類(lèi)器，判別函數(shù)，決策面,特殊的，對(duì)于兩分類(lèi)問(wèn)題，也可以只用一個(gè)判別函數(shù) 令： 判決規(guī)則 例如：,如果：,則模式為,否則為,分類(lèi)器，判別函數(shù)，決策面,判決區(qū)域: 判決區(qū)域 Ri 是特征空間中的一個(gè)子空間，判決規(guī)則將所有落入 Ri 的樣本x分類(lèi)為類(lèi)別i。 決策面（Decision Surface）： 判決邊界是特征空間中劃分判決區(qū)域的（超）平

14、面 在判決邊界上，通常有兩類(lèi)或多類(lèi)的判別函數(shù)值相等,分類(lèi)器，判別函數(shù)，決策面,判別函數(shù)和決策面：,分類(lèi)器，判別函數(shù)，決策面,分類(lèi)器設(shè)計(jì)就是設(shè)計(jì)判別函數(shù)，求出判定面方程g(x)!,貝葉斯決策理論,引言 貝葉斯決策常用的準(zhǔn)則 分類(lèi)器，判別函數(shù)，決策面 正態(tài)分布的判別函數(shù) Bayesian置信網(wǎng),正態(tài)分布的統(tǒng)計(jì)決策,為什么研究正態(tài)分布？ 物理上的合理性：較符合很多實(shí)際情況，觀測(cè)值通常是很多種因素共同作用的結(jié)果，根據(jù)中心極限定理，服從正態(tài)分布。 數(shù)學(xué)上比較簡(jiǎn)單：參數(shù)個(gè)數(shù)少 單變量正態(tài)分布 多元正態(tài)分布,正態(tài)分布的統(tǒng)計(jì)決策,單變量正態(tài)分布密度函數(shù)（高斯分布）：,正態(tài)分布的統(tǒng)計(jì)決策,多元正態(tài)分布函數(shù),期望

15、(均值向量),協(xié)方差矩陣 (對(duì)稱(chēng)非負(fù)定),多元正態(tài)分布的性質(zhì),參數(shù)個(gè)數(shù)：d+d(d+1)/2 均值向量：d個(gè)參數(shù) 協(xié)方差矩陣：對(duì)稱(chēng)的d維矩陣， d(d+1)/2個(gè)參數(shù) 等密度點(diǎn)的軌跡為一超橢球面,要使密度p(x)值不變，需指數(shù)項(xiàng)為常數(shù)，即：,超橢球面,多元正態(tài)分布的性質(zhì),馬氏距離(Mahanlanobis Distance)：,與 歐式距離：,不同，馬氏距離考慮數(shù)據(jù)的統(tǒng)計(jì)分布，在模式識(shí)別中有廣泛的用處。,多元正態(tài)分布的性質(zhì),正態(tài)分布的隨機(jī)變量，不相關(guān)等價(jià)于獨(dú)立,邊緣分布仍是正態(tài)分布,多元正態(tài)分布的性質(zhì),線性變換仍是正態(tài)分布,線性組合仍是正態(tài)分布（線性變換的特例）,一維正態(tài)隨機(jī)變量,多元正態(tài)分布

16、的性質(zhì),正態(tài)分布的判別函數(shù),貝葉斯判別函數(shù)可以寫(xiě)成對(duì)數(shù)形式：,類(lèi)條件概率密度函數(shù)為正態(tài)分布時(shí)：,正態(tài)分布的判別函數(shù),情況一：各類(lèi)協(xié)方差陣相等，且各特征獨(dú)立，方差相等 情況二：各類(lèi)協(xié)方差陣相等 情況三：各類(lèi)協(xié)方差陣不相等 任意的,情況一：,將,代入,得到?jīng)Q策函數(shù),展開(kāi)決策函數(shù),正交,因此，等價(jià)的判決函數(shù)為：,其中：,決策面,可以寫(xiě)成：,其中：,過(guò) 與,的超平面,當(dāng),，,但是，如果,當(dāng),，,向先驗(yàn)概率小的方向偏移。,位于兩中心的中點(diǎn)；,相對(duì)于平方距離,較小，那么判決邊界的位置相,對(duì)于確切的先驗(yàn)概率值并不敏感。,在此情況下，最優(yōu)判決的規(guī)則為： 為將某特征向量x歸類(lèi)，通過(guò)測(cè)量每一x到c個(gè)均值向量中 心

17、的每一個(gè)歐氏距離，并將x歸為離它最近的那一類(lèi)。這樣的 分類(lèi)器稱(chēng)為“最小距離分類(lèi)器”。,情況一：最小距離分類(lèi)器,最小距離分類(lèi)器,判決邊界是d-1維超平面，垂直于兩類(lèi)中心的連線,情況一：最小距離分類(lèi)器,上述結(jié)果表示在二維特征空間里，如下圖所示：,可以推廣到多類(lèi)的情況，注意這種分類(lèi)方法沒(méi)有不確定的區(qū)域。,向先驗(yàn)概率,兩類(lèi)判決面與,垂直，,的中點(diǎn),時(shí),其交點(diǎn)為,為,時(shí),較小類(lèi)型的均值點(diǎn)偏移。,各類(lèi)的協(xié)方差矩陣相等，在幾何上，相當(dāng)于各類(lèi)樣本集中在以該類(lèi)均值為中心的同樣大小和形狀的超橢球內(nèi)。,情況二：,決策函數(shù),不變，與 i 無(wú)關(guān)：,一個(gè)特例：當(dāng),時(shí)，各樣本先驗(yàn)概率相等。,其中：,為x到均值點(diǎn),的“馬氏距

18、離” （Mahalanobis）的平方。,進(jìn)一步簡(jiǎn)化：,一般地，決策函數(shù),展開(kāi)決策函數(shù),對(duì)所有的 i 是相等的，則,其中：,正交,決策面,可以寫(xiě)成：,其中：,過(guò) 與,的超平面,由于,并非沿著,方向，因此分界面并非與均值,間的連線垂直正交。,當(dāng)各類(lèi)先驗(yàn)概率不相等時(shí)，不在的中點(diǎn)上，而是偏向先驗(yàn)概率較小的均值點(diǎn)。,上述結(jié)果表示在二維特征空間里，如下圖所示：,當(dāng)各類(lèi)先驗(yàn)概率相等時(shí)，判決面與的交點(diǎn),時(shí),決策面向先驗(yàn)概率小的方向偏移,情況三：任意的,去掉與i無(wú)關(guān)的項(xiàng)：,可以寫(xiě)為：,其中二次項(xiàng)，一次項(xiàng)系數(shù)和常數(shù)項(xiàng)分別為：,由于：,對(duì)應(yīng)的決策面為超二次曲面。,第 i 類(lèi)和第 j 類(lèi)的決策面為：,隨著,的不同，

19、超二次曲面可以,為：超球面、超橢球面、超拋物面、超雙曲面，或超平面等。,即：,甚至在方差不相等的一維高斯分布情況下，其判決區(qū)域也可以不連通！,情況三：各類(lèi)協(xié)方差不同，決策面為為超二次曲面。,上述結(jié)果表示在二維特征空間里，如下圖所示：,正態(tài)分布的判別函數(shù),例：兩類(lèi)正態(tài)分布樣本：,求決策面方程,令,求決策面方程為：,和,中點(diǎn),偏下,貝葉斯決策理論,引言 貝葉斯決策常用的準(zhǔn)則 分類(lèi)器，判別函數(shù)，決策面 正態(tài)分布的判別函數(shù) Bayesian置信網(wǎng),Bayesian置信網(wǎng),有些情況下，隨機(jī)變量的分布無(wú)法得到概率密度表達(dá)式，但是知道該隨機(jī)變量和另外一個(gè)隨機(jī)變量的關(guān)系。 Bayesian置信網(wǎng)（ Bayes

20、ian Belief Net） 利用特征之間的相互影響（因果關(guān)系）來(lái)進(jìn)行決策 用圖的形式（有向無(wú)環(huán)圖）表示表示因果依賴(lài)關(guān)系 更適合離散變量 又稱(chēng)為因果網(wǎng)（causal network）置信網(wǎng)（ Belief Net）,Bayesian置信網(wǎng),實(shí)例的屬性存在如下關(guān)系 一些屬性之間是條件獨(dú)立的 一些屬性之間存在條件依賴(lài)（因果關(guān)系） Bayesian置信網(wǎng)可以看作是 一種圖關(guān)系的學(xué)習(xí)器 一種表達(dá)因果關(guān)系的聯(lián)合概率分布,Bayesian置信網(wǎng),Bayesian Belief Net 結(jié)構(gòu)：有向無(wú)環(huán)圖 頂點(diǎn)：特征變量 邊：起點(diǎn)變量對(duì)終點(diǎn)變量的影響（條件概率） 例子：如右圖,條件獨(dú)立,縱向條件獨(dú)立的定義： 縱向條件獨(dú)立（如右圖）：給定 b ，變量 a 與變量 c 條件獨(dú)立。 總結(jié)：如果 a 到 c 之間存在通路，給定 a c 上比c更近的變量 b ，則 a 與 c 在給定 b 條件下獨(dú)立。,與獨(dú)立有區(qū)別,條件獨(dú)立,橫向條件獨(dú)立的定義： 橫向條件獨(dú)立（如右圖）：給定 a ，變量 b 與變量 c 條件獨(dú)立。 總結(jié)：如果 b 到 c 之間不存在通路，給定 c 的所有直接變量 a ，則 b 與 c 在給定 a 條件下獨(dú)立。,與獨(dú)立有區(qū)別,聯(lián)合概率的