第6章貝葉斯學(xué)習(xí)貝葉斯法則給定訓(xùn)練數(shù)據(jù)集D，確定假設(shè)空間H中的最佳假設(shè)什么是最佳假設(shè)？在給定數(shù)據(jù)集D的基礎(chǔ)上，H中不同假設(shè)里發(fā)生概率最大（最可能發(fā)生）的一個(gè)貝葉斯法則可以通過(guò)直接計(jì)算找到這種最可能性貝葉斯公式P(h)：h的先驗(yàn)概率(priorprobability)，反映了事先擁有的關(guān)于h的背景知識(shí)P(D)：得到的訓(xùn)練數(shù)據(jù)D的先驗(yàn)概率P(D|h)：若h成立，則觀察到D的概率P(h|D)：給定訓(xùn)練數(shù)據(jù)D時(shí)，h成立的概率公式分析P(h|D)稱為后驗(yàn)概率，相對(duì)于先驗(yàn)概率如果D獨(dú)立于h時(shí)被觀察到的可能性越大，那么D對(duì)h的支持度也越小如果h的先驗(yàn)概率越大，則在數(shù)據(jù)D的條件下出現(xiàn)h的可能性也越大求每一假設(shè)h的P(h|D)，取其中最大者，為MAP假設(shè)（maximumaposteriori）基本概率公式兩事件A和B交的概率：兩事件A和B并的概率：給定D時(shí)h的后驗(yàn)概率：全概率法則： 若事件互斥且則6.1簡(jiǎn)介貝葉斯學(xué)習(xí)提供了一種推理的概率手段：即待考查的量遵循某種概率分布且可根據(jù)這些概率及已觀察到的數(shù)據(jù)進(jìn)行推理以作出最優(yōu)決策貝葉斯學(xué)習(xí)為直接操作概率的學(xué)習(xí)算法提供了基礎(chǔ)貝葉斯學(xué)習(xí)也為其他算法的分析提供了理論框架貝葉斯學(xué)習(xí)與機(jī)器學(xué)習(xí)的關(guān)系貝葉斯學(xué)習(xí)算法能夠顯式計(jì)算假設(shè)的概率樸素貝葉斯分類器利用樸素貝葉斯分類器分類進(jìn)行文本文檔分類為理解許多算法提供了有效手段，這些算法不一定直接操縱概率數(shù)據(jù)在使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練收斂判據(jù)時(shí)，可以選擇比誤差平方和最小原則更合適的交叉熵原則貝葉斯學(xué)習(xí)方法的特性觀察到的每個(gè)訓(xùn)練樣例可以增量地降低或增高某假設(shè)的估計(jì)概率先驗(yàn)知識(shí)可以與觀察數(shù)據(jù)一起決定假設(shè)的最終概率兩類先驗(yàn)知識(shí)：候選假設(shè)的先驗(yàn)概率；每個(gè)可能假設(shè)在可觀察數(shù)據(jù)中的概率分布允許假設(shè)做出不確定性的預(yù)測(cè)新實(shí)例可以由多個(gè)假設(shè)的概率加權(quán)和確定重要的算法評(píng)價(jià)理論依據(jù)舉例醫(yī)療診斷問(wèn)題做決定：（1）得癌癥；（2）無(wú)癌癥診斷依據(jù)：某化驗(yàn)測(cè)試，測(cè)試結(jié)果為+或-先驗(yàn)知識(shí)：所有人口中此癌癥的發(fā)生概率為0.008測(cè)試有病的準(zhǔn)確率為0.98測(cè)試無(wú)病的準(zhǔn)確率為0.97現(xiàn)在，某病人測(cè)試結(jié)果為+，問(wèn)是否可以確診此病人有??？舉例假設(shè)在某種病癥的化學(xué)檢測(cè)中：對(duì)有病的病人，檢驗(yàn)的陽(yáng)性率為95%對(duì)沒(méi)病者，檢驗(yàn)的陽(yáng)性率為5%該病的發(fā)病率為0.5%現(xiàn)在隨便從街上拉一個(gè)人做檢測(cè)，結(jié)果陽(yáng)性，問(wèn)此人患此病的概率是多少？貝葉斯學(xué)習(xí)利用貝葉斯法則進(jìn)行概念學(xué)習(xí)給定訓(xùn)練數(shù)據(jù)下求后驗(yàn)概率從先驗(yàn)概率到后驗(yàn)概率的概率改變體現(xiàn)學(xué)習(xí)效果BRUTE-FORCE貝葉斯概念學(xué)習(xí)對(duì)于H中每個(gè)假設(shè)h，計(jì)算后驗(yàn)概率輸出有最高后驗(yàn)概率的假設(shè)hMAP貝葉斯最優(yōu)分類器前面討論問(wèn)題：給定訓(xùn)練數(shù)據(jù)，最可能的假設(shè)是什么需討論的問(wèn)題：給定訓(xùn)練數(shù)據(jù)，對(duì)新的實(shí)例的最可能分類是什么可以直接利用MAP假設(shè)來(lái)分類新實(shí)例也有更好的算法6.7貝葉斯最優(yōu)分類器MAP假設(shè)分類的問(wèn)題P125新實(shí)例的最可能分類應(yīng)該通過(guò)合并所有假設(shè)的預(yù)測(cè)得到即用后驗(yàn)概率來(lái)加權(quán)貝葉斯最優(yōu)分類器(BayesOptimalClassifier)：分類結(jié)果可以對(duì)應(yīng)于H中不存在的假設(shè)P1266.8GIBBS算法基于給定訓(xùn)練數(shù)據(jù)，貝葉斯最優(yōu)分類器可以給出最好性能但計(jì)算開銷很大GIBBS算法：按照H上的后驗(yàn)概率分布，從H中隨機(jī)選取假設(shè)h使用h來(lái)處理待分類實(shí)例誤分類率：最多為貝葉斯最優(yōu)分類器的兩倍6.9樸素貝葉斯分類器實(shí)用性很高的算法學(xué)習(xí)任務(wù)：每個(gè)實(shí)例x由屬性的合取表示目標(biāo)函數(shù)f(x)從有限集會(huì)V中取值學(xué)習(xí)器根據(jù)提供的一系列關(guān)于目標(biāo)函數(shù)的訓(xùn)練樣例以及新實(shí)例（屬性值的元組），給出新實(shí)例的分類6.9樸素貝葉斯分類器舉例：根據(jù)天氣情況判斷某人是否會(huì)打網(wǎng)球樸素貝葉斯分類器是否將要打網(wǎng)球？4個(gè)天氣屬性

OutlookTemperatureHumidityWind對(duì)新實(shí)例進(jìn)行預(yù)測(cè)：yesorno舉例：學(xué)習(xí)分類文本樸素貝葉斯分類器問(wèn)題框架目標(biāo)：要求計(jì)算機(jī)學(xué)習(xí)從大量的在線文本文檔中自動(dòng)過(guò)濾出最相關(guān)文檔給讀者目標(biāo)值：like和dislike每個(gè)位置上的每個(gè)單詞定義為一個(gè)屬性值簡(jiǎn)化：每個(gè)屬性的條件概率相互獨(dú)立特定單詞出現(xiàn)的概率獨(dú)立于單詞所在的位置6.11貝葉斯信念網(wǎng)最優(yōu)貝葉斯分類器要求考慮每個(gè)屬性與其他屬性的關(guān)系，太繁瑣，而且不現(xiàn)實(shí)樸素貝葉斯分類器要求每個(gè)屬性的條件概率相互獨(dú)立，限制太嚴(yán)格折中：貝葉斯信念網(wǎng)比樸素貝葉斯分類器限制少比最優(yōu)貝葉斯分類器切實(shí)可行EM算法用處：變量的值從來(lái)沒(méi)有直接觀察到的情況問(wèn)題：估計(jì)k個(gè)高斯分布的均值EM算法的一般表述K均值算法的推導(dǎo)6.12.1估計(jì)k個(gè)高斯分布的均值得到一些數(shù)據(jù)：來(lái)自于k個(gè)正態(tài)分布首先隨機(jī)選擇一個(gè)正態(tài)分布然后依概率取到隨機(jī)變量的值求正態(tài)分布的參數(shù)難點(diǎn)1：不知道正態(tài)分布是如何選取的難點(diǎn)2：通過(guò)不確定歸屬的數(shù)據(jù)來(lái)估計(jì)正態(tài)分布的參數(shù)6.12.1估計(jì)k個(gè)高斯分布的均值簡(jiǎn)單情況：只有兩個(gè)正態(tài)分布各個(gè)正態(tài)分布基于均勻的概率進(jìn)行選擇各個(gè)正態(tài)分布具有相同的方差σ2，且σ2已知已知：采樣得到的數(shù)據(jù)集｛x1，x2，。。。｝求正態(tài)分布的期望：μ1和μ26.12.1估計(jì)k個(gè)高斯分布的均值問(wèn)題解決思路：假設(shè)h=<μ1…μk>

然后求能使檢測(cè)數(shù)據(jù)集D出現(xiàn)概率最大的假設(shè)h即為μ找到極大似然假設(shè)即找到使P(D|h)最大的假設(shè)h單個(gè)的概率分布時(shí)：P1376.12.1估計(jì)k個(gè)高斯分布的均值K個(gè)不同正態(tài)分布的混合每個(gè)實(shí)例完整描述為三元組<xi，zi1，zi2>

因?yàn)閦i1和zi2未知，