1、2020/7/12,1,第3講 貝葉斯分類,2020/7/12,2,貝葉斯網(wǎng)絡學習概述,簡單地說，貝葉斯網(wǎng)絡是一種用來表示變量間連續(xù)概率的有向無環(huán)圖模型，圖中的節(jié)點表示變量，有向邊表示變量間的依賴關系。 基于貝葉斯網(wǎng)絡的推理為衡量多個假設的置信度提供了定量方法，為直接操作概率的學習算法提供了理論基礎，也為其他算法的分析提供了理論框架。,2020/7/12,3,先驗概率和后驗概率,用P(h)表示在沒有訓練數(shù)據(jù)前假設h擁有的初始概率。P(h)被稱為h的先驗概率。 先驗概率反映了關于h是一正確假設的機會的背景知識 如果沒有這一先驗知識，可以簡單地將每一候選假設賦予相同的先驗概率 類似地，P(D)表示

2、訓練數(shù)據(jù)D的先驗概率，P(D|h)表示假設h成立時D的概率 在分類中，我們關心的是P(h|D)，即給定D時h的成立的概率，稱為h的后驗概率,2020/7/12,4,貝葉斯公式,貝葉斯公式提供了從先驗概率P(h)、P(D)和P(D|h)計算后驗概率P(h|D)的方法 P(h|D)隨著P(h)和P(D|h)的增長而增長，隨著P(D)的增長而減少，即如果D獨立于h時被觀察到的可能性越大，那么D對h的支持度就越小。,2020/7/12,5,基本概率公式表,乘法規(guī)則：P(AB)=P(A|B)P(B)=P(B|A)P(A) 加法規(guī)則：P(AB)=P(A)+P(B)-P(AB) 貝葉斯法則：P(h|D)=P

3、(D|h)P(h)/P(D) 全概率法則：如果事件A1.An互斥，且滿足 ，則,2020/7/12,6,貝葉斯網(wǎng)絡與聯(lián)合概率分布,2020/7/12,7,貝葉斯網(wǎng)絡分類器,設每個實例x可由屬性值的合取描述，而目標函數(shù)f(x)從某有限集合V中取值。 應用貝葉斯網(wǎng)絡方法的新實例分類目標是在給定描述實例的屬性值下，得到最可能的目標值vMAP 使用貝葉斯公式變化上式,2020/7/12,8,最優(yōu)貝葉斯網(wǎng)絡分類器,2020/7/12,9,貝葉斯網(wǎng)絡分類器的困難,基于訓練數(shù)據(jù)估計上面式子中的兩個數(shù)據(jù)項的值 估計P(vj)雖然很容易：計算每個目標值vj出現(xiàn)在訓練數(shù)據(jù)中的頻率。 估計P(a1,.an|vj)卻

4、非常困難，除非有一個非常大的訓練數(shù)據(jù)集，否則無法獲得可靠的估計。,2020/7/12,10,屬性條件獨立假設,為避免估計P(a1,.an|vj)遇到的困難，樸素貝葉斯網(wǎng)絡分類器引入了一個簡單的假定：在給定目標值時，屬性值之間相互條件獨立。這個假設被廣泛第稱作屬性條件獨立假設。 所以有 成立。,2020/7/12,11,樸素貝葉斯分類器,樸素貝葉斯網(wǎng)絡分類器的計算公式如下： 顯然，從訓練數(shù)據(jù)中估計不同P(ai|vj)項的計算量比要估計P(a1,.,an|vj)項所需的計算量小得多。 樸素貝葉斯網(wǎng)絡分類器沒有明確地搜索可能假設空間的過程，只需簡單地計算訓練樣例中不同數(shù)據(jù)組合的出現(xiàn)頻率。,2020/

5、7/12,12,NB圖,2020/7/12,13,樸素貝葉斯網(wǎng)絡分類的例子,已知PlayTennis數(shù)據(jù)庫中的14個訓練樣例，則給新實例分類用公式： 根據(jù)數(shù)據(jù)庫，可以計算出上式需要的各項概率值 P(yes)=9/14=0.64 P(no)=5/14=0.36 P(strong|yes)=3/9=0.33 P(strong|no)=3/5=0.60 . 求vNB P(yes)P(sunny|yes)P(cool|yes)P(high|yes)P(strong|yes)=0.0053 P(no)P(sunny|no)P(cool|no)P(high|no)P(strong|no)=0.0206 v

6、NB=no,2020/7/12,14,NB算法的不足及改進,學習NB分類器固然簡單，但其不現(xiàn)實的屬性條件獨立假設嚴重影響了它的分類性能。所以學習最優(yōu)的BN分類器引起了廣大研究者的興趣，遺憾的是，這是一個NP難問題。 因此，學習改進的NB分類器才是真正可行的，最近的研究成果幾乎都是這樣產(chǎn)生的。,2020/7/12,15,NB算法的不足及改進（續(xù)）,改進的方法當然就是最大限度地釋放樸素貝葉斯網(wǎng)絡的屬性條件獨立假設。具體方法分三類： 1）選擇屬性子集，如SBC、WRAP和ENB等； 2）拓展樸素貝葉斯網(wǎng)絡的結構，用有向邊來表達屬性之間的依賴關系，如TAN、SP-TAN和ODANB等； 3）利用局部學習的原理，在整個訓練實例的局部構建樸素貝葉斯網(wǎng)絡分類器，如NBTree、LWNB和SNNB等。,2020/7/12,16,概率估計,概率估計 我們通過在全部事件基礎上觀察某事件出現(xiàn)的比例來估計概率 當樣本很小時，采用平滑技術 Laplace estimation M-estimation m是一稱為等效樣本大小的常量，如1、2、等。p是將要確定的概率的先驗估計，在缺少其他信息時，選擇p的一種典型的方法是均勻概率，