貝葉斯網(wǎng)導(dǎo)論

Introduction

toBayesianNetworks王成基本框架貝葉斯網(wǎng)絡(luò)：概率論圖論貝葉斯網(wǎng)課程定位

人工智能的實(shí)質(zhì)進(jìn)展有賴于不斷針對(duì)人類的某種智能行為，運(yùn)用數(shù)學(xué)理論和方法，結(jié)合計(jì)算機(jī)技術(shù)來建立適當(dāng)?shù)臄?shù)學(xué)計(jì)算模型。只有智能的目標(biāo)和計(jì)算機(jī)技術(shù)而沒有數(shù)學(xué)的深層次介入是不可能有顯著進(jìn)展的。貝葉斯網(wǎng)課程定位(續(xù))推理（inference）是通過計(jì)算回答查詢(query)的過程。貝葉斯網(wǎng)為了處理人工智能研究中的不確定性(uncertainty)問題而發(fā)展起來的。用概率論處理不確定性的主要優(yōu)點(diǎn)是保證推理結(jié)果的正確性。貝葉斯網(wǎng)是一種系統(tǒng)地描述隨機(jī)變量之間關(guān)系的工具。建立貝葉斯網(wǎng)的目的主要是將概率統(tǒng)計(jì)應(yīng)用于復(fù)雜領(lǐng)域進(jìn)行概率推理(probabilisticinference)。先修課程和參考書目先修課程必修：概率論、數(shù)理統(tǒng)計(jì)、圖論選修：離散數(shù)學(xué)、隨機(jī)過程、信息論、人工智能、數(shù)據(jù)挖掘、信息融合參考書目張連文、郭海鵬著《貝葉斯網(wǎng)引論》科學(xué)出版社2006.11論文（算法、應(yīng)用實(shí)例）

這是一門理論與實(shí)踐相結(jié)合的數(shù)學(xué)應(yīng)用課，將概率論、數(shù)理統(tǒng)計(jì)、信息論、圖論知識(shí)用于具體問題、日常生活和工程實(shí)踐。本講主要內(nèi)容講課思路應(yīng)用范圍簡(jiǎn)介基本概念復(fù)習(xí)圖分隔條件獨(dú)立樸素貝葉斯分類器問題與挑戰(zhàn)貝葉斯網(wǎng)絡(luò)基本概念先驗(yàn)概率、后驗(yàn)概率與條件概率一、貝葉斯定理二、幾個(gè)重要原理三、存在問題的解決方案六、不確定性推理與聯(lián)合概率分布存在的問題五、不確定性推理與聯(lián)合概率分布四、一、基本概念復(fù)習(xí)1.1先驗(yàn)概率、后驗(yàn)概率和條件概率先驗(yàn)概率：根據(jù)歷史的資料或主觀判斷所確定的各種時(shí)間發(fā)生的概率后驗(yàn)概率：通過貝葉斯公式，結(jié)合調(diào)查等方式獲取了新的附加信息，對(duì)先驗(yàn)概率修正后得到的更符合實(shí)際的概率條件概率：某事件發(fā)生后該事件的發(fā)生概率1.2貝葉斯定理P(H)是先驗(yàn)概率（PriorProbability。P(X|H)代表假設(shè)H成立的情況下，觀察到X的概率，或者稱條件X下H的后驗(yàn)概率(PosteriorProbability)。

條件概率的計(jì)算可以通過兩個(gè)事件的發(fā)生概率，以及相反方向的條件概率得到。1.2貝葉斯定理應(yīng)用實(shí)例1.2貝葉斯定理應(yīng)用實(shí)例1.3幾個(gè)重要原理鏈規(guī)則(chainrule)利用變量間條件獨(dú)立性不確定性推理實(shí)例：假設(shè)你家里裝有警鈴（Alarm）。當(dāng)?shù)氐卣穑‥arthquake）和盜竊（Burglary）時(shí)有發(fā)生。地震和盜竊都有可能觸發(fā)警鈴，聽到警鈴后，兩個(gè)鄰居Mary和John可能會(huì)打電話給你，但也不保證。Mary和John互不認(rèn)識(shí)。一天，你接到Mary的電話，說聽到你家警鈴響，你想知道家中遭盜竊的概率多大？要計(jì)算的是接到Mary的電話(Mary=y)后，你對(duì)家里遭盜(Burglary=y)的信度，即P(Burglary=y|Mary=y)。1.3不確定性推理與聯(lián)合概率分布1.3不確定性推理與聯(lián)合概率分布1.3不確定性推理與聯(lián)合概率分布1.4存在的問題1.5解決方案但是，它使得我們可以根據(jù)問題的背景知識(shí)做一些合理的獨(dú)立假設(shè)以降低復(fù)雜度。1.5解決方案先驗(yàn)知識(shí)1：在不知道Alarm的情況下，地震（Earthquake）應(yīng)該與盜竊（Burglary）無(wú)關(guān)。獨(dú)立假設(shè)1：于是假設(shè)Earthquake與Burglary相互獨(dú)立，即：P(Earthquake,Burglary）=P(Earthquake)P(Burglary)P(Earthquake|Burglary）=P(Earthquake)BurglaryEarthquakeAlarm獨(dú)立假設(shè)11.5解決方案先驗(yàn)知識(shí)2：John是否打電話直接取決于他是否聽到警鈴(Alarm)，與是否發(fā)生盜竊(Burglary)無(wú)關(guān)，也與是否發(fā)生地震(Earthquake)無(wú)關(guān)。獨(dú)立假設(shè)2：在已知警鈴(Alarm)的情況下，John是否打電話與是否發(fā)生Burglary相互獨(dú)立，與是否發(fā)生盜竊(Burglary)相互獨(dú)立。BurglaryAlarmJohnCalls獨(dú)立假設(shè)2EarthquakeAlarmMaryCalls獨(dú)立假設(shè)2即：P(John|Alarm,Burglary)=P(John|Alarm)P(John,Burglary|Alarm)=P(John|Alarm)P(Burglary|Alarm)P(John|Alarm,Earthquake)=P(John|Alarm)P(John,Earthquake|Alarm)=P(John|Earthquake)P(Burglary|Earthquake)1.5解決方案合并獨(dú)立假設(shè)1和獨(dú)立假設(shè)2，可得：P(John|Burglary,Earthquake,Alarm)=P(John|Alarm)BurglaryEarthquakeAlarmJohnCalls合并獨(dú)立假設(shè)1和21.5解決方案先驗(yàn)知識(shí)3：Mary和John互不認(rèn)識(shí)，兩人是否打電話直接取決于他是否聽到警鈴(Alarm)。獨(dú)立假設(shè)3：在已知警鈴(Alarm)的情況下，Mary是否打電話與John是否打電話相互獨(dú)立。即：P(John|Alarm,Mary)=P(John|Alarm)P(John,Mary|Alarm)=P(John|Alarm)P(Mary|Alarm)AlarmJohnCallsMaryCalls獨(dú)立假設(shè)31.5解決方案合并獨(dú)立假設(shè)1、2和3，可得：P(Mary|Burglary,Earthquake,Alarm,John)=P(Mary|Alarm)合并獨(dú)立假設(shè)1、2和3BurglaryEarthquakeAlarmJohnCallsMaryCallsP(Burglary,Earthquake,Alarm,John,Mary)=P(Burglary)P(Earthquake|Burglary)P(Alarm|Burglary,Earthquake)P(John|Burglary,Earthquake,Alarm)P(Mary|Burglary,Earthquake,Alarm,John)=P(Burglary)P(Earthquake)P(Alarm|Burglary,Earthquake)P(John|Alarm)P(Mary|Alarm)1.5解決方案這樣就把聯(lián)合分布P(Burglary,Earthquake,Alarm,John,Mary)分解成了若干個(gè)復(fù)雜度較低的概率分布的乘積。P(Burglary,Earthquake,Alarm,John,Mary)=P(Burglary)P(Earthquake)P(Alarm|Burglary,Earthquake)P(John|Alarm)P(Mary|Alarm)上式右端的5個(gè)概率分布僅包含1+1+4+2+2=10個(gè)獨(dú)立參數(shù)，相對(duì)于聯(lián)合分布所需要的31個(gè)獨(dú)立參數(shù)來說，模型的復(fù)雜度得到了降低。1.5解決方案基本概念貝葉斯網(wǎng)絡(luò)的定義一、貝葉斯網(wǎng)與概率推理二、條件獨(dú)立三、下一講的內(nèi)容六、因果關(guān)系與貝葉斯網(wǎng)絡(luò)五、圖分隔與變量獨(dú)立四、二、貝葉斯網(wǎng)絡(luò)BayesianNetworks262.1貝葉斯網(wǎng)絡(luò)的定義貝葉斯網(wǎng)絡(luò)BayesianNetworks(BN)是一個(gè)有向無(wú)環(huán)圖DirectedAcyclicGraph(DAG)結(jié)點(diǎn)是隨機(jī)變量節(jié)點(diǎn)間的邊代表變量之間的直接依賴關(guān)系。BurglaryEarthquakeAlarmJohnCallsMaryCalls27每個(gè)節(jié)點(diǎn)都附有一個(gè)條件概率分布表conditionalprobabilitytable(CPT),用于指示從它的父節(jié)點(diǎn)們轉(zhuǎn)移到它的所有可能的聯(lián)合概率分布(conditioningcase).根節(jié)點(diǎn)所附有的是它的邊緣概率分布.BurglaryEarthquakeAlarmJohnCallsMaryCallsP(B).001P(E).002BEP(A)TT.95TF.94FT.29FF.001AP(M)T.70F.01AP(J)T.90F.052.1貝葉斯網(wǎng)絡(luò)的定義2.1貝葉斯網(wǎng)絡(luò)的定義2.1貝葉斯網(wǎng)絡(luò)的定義為什么要用貝葉斯網(wǎng)絡(luò)進(jìn)行概率推理？理論上，進(jìn)行概率推理所需要的只是一個(gè)聯(lián)合概率分布。但是聯(lián)合概率分布的復(fù)雜度相對(duì)于變量個(gè)數(shù)成指數(shù)增長(zhǎng)，所以當(dāng)變量眾多時(shí)不可行。貝葉斯網(wǎng)絡(luò)的提出就是要解決這個(gè)問題。它把復(fù)雜的聯(lián)合概率分布分解成一系列相對(duì)簡(jiǎn)單的模塊，從而大大降低知識(shí)獲取和概率推理的復(fù)雜度，使得可以把概率論應(yīng)用于大型問題。2.2貝葉斯網(wǎng)與概率推理322.2貝葉斯網(wǎng)與概率推理推理（inference）是通過計(jì)算回答查詢(query)的過程。給定一些證據(jù)變量evidencevariables的值，通過計(jì)算確定一些查詢變量queryvariables的后驗(yàn)概率posteriorprobability。例如:你接到John的電話，說聽到你家警鈴響，你想知道家中遭盜竊Burglary的概率多大？BurglaryEarthquakeAlarmJohnCallsMaryCalls???你接到John的電話，90%你家警鈴響并且你家警鈴響94%家中遭盜竊Burglary。所以，你會(huì)認(rèn)為家中遭盜竊Burglary的概率會(huì)非常高。但是,這忽略了John給你打電話的先驗(yàn)概率。332.2貝葉斯網(wǎng)與概率推理例如:你接到John的電話，說聽到你家警鈴響，你想知道家中遭盜竊Burglary的概率多大？BurglaryEarthquakeAlarmJohnCallsMaryCalls???當(dāng)沒有聽到警鈴(Alarm)，John也以5%的概率給你打電話。因此，1000天中平均有1起盜竊Burglary，John會(huì)給你打電話。然而,John也平均1000天給你打50次電話，都是誤報(bào)。因此，他是誤報(bào)的可能性是真實(shí)發(fā)生盜竊的50倍:P(Burglary|JohnCalls)≈0.02P(B).001AP(J)T.90F.05342.2貝葉斯網(wǎng)與概率推理例如:你接到John的電話，說聽到你家警鈴響，你想知道家中遭盜竊Burglary的概率多大？BurglaryEarthquakeAlarmJohnCallsMaryCalls???家中遭盜竊Burglary的真實(shí)概率是0.016。因?yàn)榫廇larm不是完美的。另一方面，即使警鈴響了，John和Mary也可能沒給你打電話，家中仍然可能遭盜竊。P(B).001AP(J)T.90F.0535人在進(jìn)行概率推理時(shí)存在很多問題人們?cè)谝恍r(shí)候?qū)σ恍﹩栴}缺乏正確的推理，缺乏理性思考。對(duì)于一個(gè)問題，人們給出結(jié)論時(shí)傾向于忽略先驗(yàn)概率的影響。2.2貝葉斯網(wǎng)與概率推理貝葉斯網(wǎng)的引入為概率推理提供了很大的方便。一方面貝葉斯網(wǎng)是嚴(yán)格的數(shù)學(xué)語(yǔ)言，適合計(jì)算機(jī)處理；另一方面，它又直觀易懂，方便人們討論交流和建立模型。362.2貝葉斯網(wǎng)與概率推理從診斷推理

(Diagnosticevidential,abductive):

從結(jié)果到原因(Fromeffecttocause).P(Burglary|JohnCalls)=0.016P(Burglary|JohnCalls

MaryCalls)=0.29P(Alarm|JohnCalls

MaryCalls)=0.76P(Earthquake|JohnCalls

MaryCalls)=0.18預(yù)測(cè)推理(Causal,predictive):

從原因到結(jié)果(Fromcausetoeffect)P(JohnCalls|Burglary)=0.86P(MaryCalls|Burglary)=0.67關(guān)聯(lián)推理(Intercausal,explainingaway):

在同一結(jié)果的不同原因之間的關(guān)聯(lián)推理(Betweencausesofacommoneffect)P(Burglary|Alarm)=0.376P(Burglary|Alarm

Earthquake)=0.003混合推理Mixed:Twoormoreoftheabovecombined(diagnosticandcausal)P(Alarm|JohnCalls

?Earthquake)=0.03(diagnosticandintercausal)P(Burglary|JohnCalls

?Earthquake)=0.017372.2貝葉斯網(wǎng)與概率推理382.2貝葉斯網(wǎng)與概率推理Diagnostic(evidential,abductive):Fromeffecttocause.P(Burglary|JohnCalls)=0.016P(Burglary|JohnCalls

MaryCalls)=0.29P(Alarm|JohnCalls

MaryCalls)=0.76P(Earthquake|JohnCalls

MaryCalls)=0.18Causal(predictive):FromcausetoeffectP(JohnCalls|Burglary)=0.86P(MaryCalls|Burglary)=0.67Intercausal(explainingaway):Betweencausesofacommoneffect.P(Burglary|Alarm)=0.376P(Burglary|Alarm

Earthquake)=0.003Mixed:Twoormoreoftheabovecombined(diagnosticandcausal)P(Alarm|JohnCalls

?Earthquake)=0.03(diagnosticandintercausal)P(Burglary|JohnCalls

?Earthquake)=0.017作業(yè):計(jì)算這些結(jié)果!貝葉斯網(wǎng)絡(luò)所依賴的一個(gè)核心概念是：

條件獨(dú)立

ConditionalIndependence什么情況下條件獨(dú)立？2.3條件獨(dú)立

2.3條件獨(dú)立2.3條件獨(dú)立貝葉斯網(wǎng)是概率論與圖論相結(jié)合的產(chǎn)物。在一個(gè)貝葉斯網(wǎng)中，可以從圖論的角度談?wù)摴?jié)點(diǎn)之間的連通與分隔。2.4圖分隔與變量獨(dú)立

兩變量X和Y如果直接相連，則表示它們之間有直接依賴關(guān)系，對(duì)X的了解會(huì)影響關(guān)于Y的信度，反之亦然。如果X和Y不直接相連，那么信息需要通過其它變量才能在兩者之間傳遞。BurglaryEarthquakeAlarmJohnCallsMaryCalls2.4圖分隔與變量獨(dú)立

2.4解決方案BurglaryAlarmJohnCalls順連BurglaryEarthquakeAlarm分連AlarmJohnCallsMaryCalls匯連2.4圖分隔與變量獨(dú)立

2.5因果關(guān)系與貝葉斯網(wǎng)絡(luò)

在實(shí)際應(yīng)用中，人們往往利用因果關(guān)系來確定貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)。在利用因果關(guān)系建立起來的貝葉斯網(wǎng)中，變量間的邊表示的是因果關(guān)系，而非簡(jiǎn)單的概率依賴關(guān)聯(lián)。這樣的貝葉斯網(wǎng)稱為貝葉斯因果網(wǎng)（Bayesiancausalnetworks），簡(jiǎn)稱因果網(wǎng)（causalnetworks）。在貝葉斯因果網(wǎng)上除了可以進(jìn)行概率推理外，還可以進(jìn)行關(guān)于干預(yù)后果(effectsofintervention)的推理以及虛設(shè)(counterfactual)推理(Pearl,2000)如果假設(shè)制造一次地震，則會(huì)認(rèn)為警鈴可能會(huì)響；反過來，如果知道有人弄響警鈴，則不會(huì)認(rèn)為將發(fā)生地震。因此，地震是警鈴響的原因，反之不然。2.6下一講的主要內(nèi)容貝葉斯網(wǎng)是概率論與圖論相結(jié)合的產(chǎn)物。在一個(gè)貝葉斯網(wǎng)中，可以從概率論的角度談?wù)撟兞恐g的依賴與獨(dú)立。熵（信息論）2.6下一講的主要內(nèi)容問題與挑戰(zhàn)如何獲得貝葉斯網(wǎng)絡(luò)中的參數(shù)？如何構(gòu)造貝葉斯網(wǎng)絡(luò)？基本概念貝葉斯分類一、樸素貝葉斯分類器二、樸素貝葉斯分類器的優(yōu)缺點(diǎn)和改進(jìn)三、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)六、貝葉斯網(wǎng)用于故障診斷五、貝葉斯網(wǎng)絡(luò)在計(jì)算機(jī)中的應(yīng)用四、三、貝葉斯網(wǎng)絡(luò)的應(yīng)用

三、貝葉斯網(wǎng)的應(yīng)用貝葉斯網(wǎng)成為許多研究領(lǐng)域的常用工具。機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、系統(tǒng)工程以及模式識(shí)別中的許多模型都是貝葉斯網(wǎng)的特例。與專業(yè)相關(guān)的醫(yī)療診斷、生物信息學(xué)、金融分析、生態(tài)學(xué)、農(nóng)牧業(yè)、編碼學(xué)等等。3.1貝葉斯分類貝葉斯分類是統(tǒng)計(jì)分類方法。理論上講，與其它所有分類算法相比，貝葉斯分類具有最小的出錯(cuò)率。然而，實(shí)踐中并非如此。這是由于對(duì)其應(yīng)用的假設(shè)（如類條件獨(dú)立假設(shè)）的不準(zhǔn)確性，以及缺乏可用的概率數(shù)據(jù)造成的。研究結(jié)果表明，貝葉斯分類器對(duì)兩種數(shù)據(jù)具有較好的分類效果：一種是完全獨(dú)立(CompletelyIndependent)的數(shù)據(jù)，另一種是函數(shù)依賴(FunctionallyDependent)的數(shù)據(jù)。3.1貝葉斯分類3.1貝葉斯分類在貝葉斯學(xué)習(xí)方法中實(shí)用性很高的一種稱為樸素貝葉斯分類器（naiveBayesclassifier）的方法。在某些領(lǐng)域，其性能與神經(jīng)網(wǎng)絡(luò)和決策樹相當(dāng)。3.2樸素貝葉斯分類器樸素貝葉斯模型(naiveBaysesmodel)，又稱樸素貝葉斯分類器(naiveBaysesclassifier)一個(gè)包含一個(gè)根結(jié)點(diǎn)、多個(gè)葉子結(jié)點(diǎn)的樹狀貝葉斯網(wǎng)。3.2樸素貝葉斯分類器實(shí)例3.2樸素貝葉斯分類器實(shí)例3.2樸素貝葉斯分類器實(shí)例3.3NBC的改進(jìn)-使用m-估計(jì)3.3NBC的改進(jìn)-使用m-估計(jì)3.3NBC的改進(jìn)-選擇性NBC樸素貝葉斯分類器要以一個(gè)很強(qiáng)的條件獨(dú)立性假設(shè)為前提，即假設(shè)在各個(gè)類中，每個(gè)屬性變量(也稱作特征)的概率分布獨(dú)立于其它屬性變量的概率分布。彌補(bǔ)這一不足的一種有效的方法是利用屬性選擇去除數(shù)據(jù)集中的冗余屬性，使選擇出的屬性盡可能地滿足條件獨(dú)立性假設(shè)。然后，在選擇出的屬性子集上構(gòu)建貝葉斯分類器，即選擇性貝葉斯分類器。3.3NBC的改進(jìn)-TAN

3.4貝葉斯網(wǎng)應(yīng)用于計(jì)算機(jī)系統(tǒng)微軟研究院在這方面投入了相當(dāng)大的力量，開發(fā)了一系列嵌入Windows和Office等系統(tǒng)的貝葉斯網(wǎng)，如Windows中的打印機(jī)故障診斷程序，Office中的用戶幫手，以及Outlook中的垃圾郵件過濾器等。3.4貝葉斯網(wǎng)應(yīng)用于計(jì)算機(jī)系統(tǒng)3.4貝葉斯網(wǎng)應(yīng)用于計(jì)算機(jī)系統(tǒng)程序理解(programunderstading)(BreeseandBlake,1995;BurnellandHorvitz,1995)軟件測(cè)試(softwaretesting)(ZivandRichardson,1997)垃圾郵件過濾(junke-mailfiltering)(Sahamietal.,1998)計(jì)算機(jī)系統(tǒng)故障診斷(troubleshooting)(Heckermanetal.,1995;Jensenetal.,2001)決策系統(tǒng)信息顯示(informationdisplay)(HorvitzandBarry,1995)信息提取(informationretrieval)(FungandFavero,1995;WongandButz,2000;RuokangasandMengshoel,2003;Bleietal.,2003)用戶特征提取(userprofiling)(Hovitzetal.,1998;SchiaffinoandAmandi,2000)3.5貝葉斯網(wǎng)用于故障診斷

故障診斷的目的是找出導(dǎo)致一個(gè)控制系統(tǒng)失靈的故障部件。從圖中可以看到，可能導(dǎo)致汽車無(wú)法啟動(dòng)的原因有多個(gè)，故障診斷就是根據(jù)觀測(cè)到的證據(jù)進(jìn)行概率推理，找出后驗(yàn)概率最大的那個(gè)原因。其它參考文獻(xiàn)陳景年《選擇性貝葉斯分類算法研究》北京交通大學(xué)2008.5博士論文董立巖《貝葉斯應(yīng)用基礎(chǔ)研究》吉林大學(xué)2007.5博士論文古平《基于貝葉斯模型的文檔分類及相關(guān)技術(shù)研究》2006.9博士論文李旭升《貝葉斯網(wǎng)絡(luò)分類模型研究及其在信用評(píng)估中的應(yīng)用》西南交通大學(xué)2006.6博士論文黃友平《貝葉斯網(wǎng)絡(luò)研究》中國(guó)科學(xué)研究院計(jì)算技術(shù)研究所2005.4博士論文朱慧明《現(xiàn)代經(jīng)濟(jì)管理中的線性貝葉斯推斷理論與多總體貝葉斯分類識(shí)別方法研究》2003.1博士論文高妍方《貝葉斯網(wǎng)絡(luò)的代價(jià)敏感結(jié)構(gòu)學(xué)習(xí)》2009.2第2期吳寧《一種應(yīng)用關(guān)聯(lián)規(guī)則森林的改進(jìn)貝葉斯分類算法》2009.2西安交通大學(xué)學(xué)報(bào)43卷2期王學(xué)玲《基于新的屬性依賴的TAN分類器》計(jì)算機(jī)與數(shù)字工程2008年11期王學(xué)玲《基于有向樹算法構(gòu)造的TAN分類器》2008.7計(jì)算機(jī)工程與設(shè)計(jì)29卷13期徐光美《基于互信息的多關(guān)系樸素貝葉斯分類器》2008.8北京科技大學(xué)學(xué)報(bào)30卷8期張明衛(wèi)《基于相關(guān)系數(shù)的加權(quán)樸素貝葉