第3.2節(jié)貝葉斯學習內容貝葉斯理論概述Brute-Force貝葉斯分類器兩種概率學習算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型概述貝葉斯推理提供了一種概率手段，基于如下的假定：待考察的量遵循某概率分布，且可根據(jù)這些概率及已觀察到的數(shù)據(jù)進行推理，以作出最優(yōu)的決策。貝葉斯推理為衡量多個假設的置信度提供了定量的方法貝葉斯推理為直接操作概率的學習算法提供了基礎，也為其他算法的分析提供了理論框架貝葉斯學習算法與機器學習相關的兩個原因：貝葉斯學習算法能夠計算顯示假設概率貝葉斯方法為理解多數(shù)學習算法提供了一種有效的分析手段，而這些算法不一定直接操縱概率數(shù)據(jù)，比如決策樹神經(jīng)網(wǎng)絡學習：選擇使誤差平方和最小化的神經(jīng)網(wǎng)絡概述貝葉斯學習方法的特性觀察到的每個訓練樣例可以增量地降低或升高某假設的估計概率。先驗知識可以與觀察數(shù)據(jù)一起決定假設的最終概率，先驗知識的形式是：1）每個候選假設的先驗概率；2）每個可能假設在可觀察數(shù)據(jù)上的概率分布貝葉斯方法允許假設做出不確定性的預測新的實例分類可由多個假設一起做出預測，用它們的概率來加權貝葉斯方法計算復雜度有時較高，它們可作為一個最優(yōu)的決策標準衡量其他方法貝葉斯方法的難度難度之一：需要概率的初始知識，當概率預先未知時，可以基于背景知識、預先準備好的數(shù)據(jù)以及基準分布的假定來估計這些概率難度之二：確定貝葉斯最優(yōu)假設的計算代價比較大在某些特定情形下，大多通過條件獨立性假設,降低計算代價內容貝葉斯理論概述Brute-Force貝葉斯分類器介紹兩種直接操作概率的學習算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型貝葉斯法則機器學習與數(shù)據(jù)挖掘的任務在給定訓練數(shù)據(jù)D時，確定假設空間H中的最佳假設。最佳假設一種方法是把它定義為在給定數(shù)據(jù)D以及H中不同假設的先驗概率的有關知識下的最可能假設貝葉斯理論提供了一種計算假設概率的方法基于假設的先驗概率、給定假設下觀察到不同數(shù)據(jù)的概率以及觀察到的數(shù)據(jù)本身先驗概率和后驗概率用P(h)表示在沒有訓練數(shù)據(jù)前假設h擁有的初始概率。P(h)被稱為h的先驗概率。先驗概率反映了關于h是一正確假設的機會的背景知識如果沒有這一先驗知識，可以簡單地將每一候選假設賦予相同的先驗概率類似地，P(D)表示訓練數(shù)據(jù)D的先驗概率，P(D|h)表示假設h成立時D的概率機器學習中，我們關心的是P(h|D)即給定D時h的成立的概率，稱為h的后驗概率貝葉斯公式貝葉斯公式提供了從先驗概率P(h)、P(D)和P(D|h)計算后驗概率P(h|D)的方法P(h|D)隨著P(h)和P(D|h)的增長而增長，隨著P(D)的增長而減少即如果D獨立于h被觀察到的可能性越大，那么D對h的支持度越小極大后驗假設學習器在候選假設集合H中尋找給定數(shù)據(jù)D時可能性最大的假設h，h被稱為極大后驗假設（MAP）確定MAP的方法是用貝葉斯公式計算每個候選假設的后驗概率，計算式如下 最后一步，去掉了P(D)，因為它是不依賴于h的常量極大似然假設在某些情況下，可假定H中每個假設有相同的先驗概率，這樣式子可以進一步簡化，只需考慮P(D|h)來尋找極大可能假設。P(D|h)常被稱為給定h時數(shù)據(jù)D的似然度，而使P(D|h)最大的假設被稱為極大似然假設只要這些命題的概率之和為1，假設空間H可擴展為任意互斥命題集合舉例：一個醫(yī)療診斷問題有先驗知識：在所有人口中，癌癥患病率是0.008，對確實有病的患者的化驗準確率為98%，對確實無病的患者的化驗準確率為97%，問題：假定有一個新病人，化驗結果為+，是否應將病人斷定為有癌癥？貝葉斯法則和概念學習貝葉斯法則為計算給定訓練數(shù)據(jù)下任一假設的后驗概率提供了原則性方法，因此可以直接將其作為一個基本的學習方法：計算每個假設的概率，再輸出其中概率最大的。這個方法稱為Brute-Force貝葉斯概念學習算法。Brute-Force貝葉斯學習總結概念學習問題有限假設空間H定義在實例空間X上，任務是學習某個目標概念c。Brute-ForceMAP學習算法對于H中每個假設h，計算后驗概率輸出有最高后驗概率的假設上面算法需要較大計算量因為它要計算每個假設的后驗概率，對于大的假設空間顯得不切實際，但是它提供了一個標準以判斷其他概念學習算法的性能內容貝葉斯理論概述Brute-Force貝葉斯分類器兩種概率學習算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型貝葉斯最優(yōu)分類器前面我們討論的問題是：給定訓練數(shù)據(jù)，最可能的假設是什么？另一個相關的更有意義的問題是：給定訓練數(shù)據(jù)，對新實例的最可能的分類是什么？顯然，第二個問題的解決可以將第一個問題的結果（MAP）應用到新實例上得到還存在更好的算法？貝葉斯最優(yōu)分類器例子考慮一個包含三個假設h1,h2,h3的假設空間。假定已知訓練數(shù)據(jù)時三個假設的后驗概率分別是0.4,0.3,0.3，因此h1為MAP假設。若一新實例x被h1分類為正，被h2和h3分類為負，計算所有假設，x為正例的概率為0.4，為反例的概率為0.6。這時最可能的分類與MAP假設生成的分類不同。貝葉斯最優(yōu)分類器一般而言，新實例的最可能分類可通過合并所有假設的預測得到，用后驗概率來加權。如果新實例的可能分類可取某集合Y中的任一值yj，那么概率P(yj|D)表示新實例分類為yj的概率新實例的最優(yōu)分類為使P(yj|D)最大的yj值，貝葉斯最優(yōu)分類器為：貝葉斯最優(yōu)分類器貝葉斯最優(yōu)分類器在給定可用數(shù)據(jù)、假設空間及這些假設的先驗概率下使新實例被正確分類的可能性達到最大貝葉斯最優(yōu)分類器的一個屬性：它所做的分類可以對應于H中不存在的假設使用式子(上頁最后一式)來分類X中的每個實例，按此定義的實例標注不一定對應于H中的任一單個假設h對實例的標注將貝葉斯分類器看成是不同于假設空間H的另一空間H’，在其上應用貝葉斯公式。H’有效地包含了一組假設，它能在H中多個假設的線性組合所作的預言中進行比較內容貝葉斯理論概述Brute-Force貝葉斯分類器兩種概率學習算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型樸素貝葉斯分類器*工程應用的學習任務：每個實例x可由屬性值聯(lián)合描述，而目標函數(shù)f(x)從某有限集Y中取值，忽略假設貝葉斯方法的新實例分類目標是在給定描述實例的屬性值<x1,...,xn>下，得到最可能的目標值yMAP使用貝葉斯公式變化上式樸素貝葉斯分類器*基于訓練數(shù)據(jù)估計式(上頁)中的兩個數(shù)據(jù)項的值估計P(yj)很容易：計算每個目標值yj出現(xiàn)在訓練數(shù)據(jù)中的頻率估計P(x1,...xn|yj)遇到數(shù)據(jù)稀疏問題，除非有一個非常大的訓練數(shù)據(jù)集，否則無法獲得可靠的估計樸素貝葉斯分類器引入一個簡單的假設避免數(shù)據(jù)稀疏問題：在給定目標值時，屬性值之間相互條件獨立，即樸素貝葉斯分類器*樸素貝葉斯分類器的定義：從訓練數(shù)據(jù)中估計不同P(xi|yj)項的數(shù)量比要估計P(x1,...,xn|yj)項所需的量小得多只要條件獨立性得到滿足，樸素貝葉斯分類yNB等于MAP分類，否則是近似樸素貝葉斯分類器與其他已介紹的學習方法的一個區(qū)別：沒有明確地搜索可能假設空間的過程（假設的形成不需要搜索，只是簡單地計算訓練樣例中不同數(shù)據(jù)組合的出現(xiàn)頻率）編號天氣溫度濕度風是否去打球1晴天炎熱高弱不去2晴天炎熱高強不去3陰天炎熱高弱去4下雨適中高弱去5下雨寒冷正常弱去6下雨寒冷正常強不去7陰天寒冷正常強去8晴天適中高弱不去9晴天寒冷正常弱去10下雨適中正常弱去11晴天適中正常強去12陰天適中高強去13陰天炎熱正常弱去14下雨適中高強不去表-1是否去打球的數(shù)據(jù)統(tǒng)計—訓練數(shù)據(jù)樸素貝葉斯分類器計算是否去打球舉例：學習分類文本內容貝葉斯理論概述Brute-Force貝葉斯分類器兩種概率學習算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型EM算法與GMMs如何獲得更準確的概率分布？EM算法是存在隱含變量時廣泛使用的一種學習方法，可用于變量的值從來沒有被直接觀察到的情形，只要這些變量所遵循的概率分布的一般形式已知混合概率模型的學習用于貝葉斯網(wǎng)的訓練GaussianMixtureModels(GMMS)高斯混合模型GMMS的參數(shù)估計當給定從一個正態(tài)分布中抽取的數(shù)據(jù)實例x1,...,xN時，很容易計算該分布的均值的極大似然假設，它是一個特例，表示如下然而，現(xiàn)在的問題涉及k個不同正態(tài)分布，而且不知道哪個實例是哪個分布產(chǎn)生的。這是一個涉及隱藏變量的典型例子對于的例子，每個實例的完整描述yi=<xi,zij>，其中xi是第i個實例的觀測值，zij表示樣本xi屬于第j個正態(tài)分布，是隱藏變量GMMS的參數(shù)估計EM算法根據(jù)當前假設<1...k>，不斷地再估計隱藏變量zij的期望值，然后用這些隱藏變量的期望值重新計算極大似然假設先將假設初始化為h=<1,…,k>計算每個隱藏變量zij的期望值E[zij]計算一個新的極大似然假設h’=<’1,…,’k>，假定每個隱藏變量zij所取值是第一步得到的期望值E[zij]。將假設替換為h’=<’1,…,’k>，然后循環(huán)GMMS的參數(shù)估計-EM算法E[zij]正是實例xi由第j個正態(tài)分布生成的概率第二步，使用第一步得到的P[zij]來導出新的極大似然假設多項分布及其數(shù)學期望假設A1,A2,...,An是某一試驗下的完備事件群，即事件兩兩互斥，分別以p1,p2,...,pn記為事件A1,A2,...,An發(fā)生的概率?，F(xiàn)將試驗獨立重復N次，以Zi記為在N次試驗中事件Ai出現(xiàn)的次數(shù)，Z=(Z1,Z2,...,Zn)為n維隨機向量。則Z的概率分布就叫做多項分布。對于N次獨立重復試驗，事件A1,A2,...,An發(fā)生的次數(shù)分別為k1,k2,...,kn發(fā)生的概率是：GMMS的參數(shù)估計-EM算法第二步中表達式類似于求均值，只是變成了加權樣本均值EM算法的要點：當前的假設用于估計未知變量，而這些變量的期望值再被用于改進假設可以證明算法的每一次循環(huán)中，EM算法能使似然P(D|h)增加，除非P(D|h)達到局部最大，因此算法收斂到一個局部最大似然假設GMMS的參數(shù)估計-EM算法貝葉斯問題框架要估計k個正態(tài)分布的均值=<1...k>觀察到的數(shù)據(jù)是X={<xi>}隱藏變量Z={<zi1,...,zik>}表示k個正態(tài)分布中哪一個生成xi用于表達式Q(h’|h)的推導單個樣本的概率GMMS的參數(shù)估計-EM算法所有實例的概率的對數(shù)計算期望值EGM