貝葉斯分類(數據挖掘)BayesianTheorem:Basics設X是類標號未知的數據樣本。設H為某種假設，如數據樣本X屬于某特定的類C。

對于分類問題，我們希望確定P(X|H)，即給定觀測數據樣本X，假定H成立的概率。貝葉斯定理給出了如下計算P(X|H)的簡單有效的方法：P(H)：先驗概率，或稱H的先驗概率。P(X/H):代表假設H成立情況下，觀察到X的概率。P(H/X):后驗概率，或稱條件X下H的后驗概率。貝葉斯基本理論的例子：

假設數據樣本由水果組成，用它們的顏色和形狀來描述。并做如下假設：

X：表示假設紅色和圓形的。

H：表示假設X是蘋果。

則：

P(H/X)反映當我們看到X是紅色并且是圓形的時候，我們對X是蘋果的確信程度。

從直觀上看，P(H/X)隨著P(H)和P(H/X)的增長而增長，同時也可以看出P(H/X)隨P(X)的增加而減小。

這是很合理的，因為如果X獨立于H時被觀察到的可能性越大，那么X對H的支持度越小。

理論上講，與其所有分類算法相比，貝葉斯分類具有最小的出錯率。然而，實踐中并非如此。這是由于對其應用的假設的不準確，以及缺乏可用的概率數據造成的。研究結果表明，貝葉斯分類器對兩種數據具有較好的分類效果：1.完全獨立的數據。2.函數依賴的數據。Na?veBayesClassification樸素貝葉斯分類的工作過程如下：(1).每個數據樣本用一個n維的特征向量表示，分別描述對n個屬性樣本的n個度量。(2).假定m個類，給定一個未知的數據樣本X,分類器將預測X屬于具有最高后驗概率的類。也就是說，樸素貝葉斯分類將未知的樣本分配給類，當且僅當：，其中這樣，最大化，其最大的類稱為最大后驗假定。根據貝葉斯定理：(3).由于P(X)對于所有類為常數，只需要最大即可。如果類的先驗概率未知，則通常假定這些類是等概率的，即。因此問題就轉換為對的最大化。

（常被稱為給定時數據X的似然度，而使最大的假設稱為最大似然假設）。否則，需要最大化。注意：類的先驗概率可以用計算，其中是類中的訓練樣本數，而s是訓練樣本總數。（4）.給定具有許多屬性的數據集，計算的開銷可能非常大。為降低計算的開銷，可以做類條件獨立的樸素假定。給定樣本的類標號，假定屬性值相互獨立，即在屬性間，不存在依賴關系。這樣：

其中概率可以由訓練樣本估值。

①如果是離散屬性，則，其中是在屬性上的具有值的類的訓練樣本數，而是中的訓練樣本數。

②如果是連續(xù)值屬性，則通常假定該屬性服從高斯分布，因而：

是高斯分布函數。分別為平均值和標準差。(5).對于未知樣本X分類，也就是對每個類，計算 。樣本X被指派到類，當且僅當：

換言之，X被指派到其最大的類。

上面的五部就是樸素貝葉斯方法的主要思想，下面用一個具體的例子來說明具體的只用過程。

RIDageincomestudentCredit_ratingBuy_computer1≤30HighNoFairNO2≤30HighNoExcellentNO331~40HighNoFairYes4>40MediumNoFairYes5>40LowYesFairYes6>40LowYesExcellentNo731~40LowYesExcellentYes8≤30MediumNoFairNo9≤30LowYesFairYes10>40MediumYesFairYes11≤30MediumYesExcellentYes1231~40MediumNoExcellentYes1331~40HighYesFairYes14>40mediumNoExcellentno表1樣本取值例1.下表給出的訓練數據，使用樸素的貝葉斯方法進行分類學習。

數據樣本屬性用age,income,student,和credit_rating描述。類標號屬性buys_computer具有兩個不同的值{yes,no}。設：對應于類buys_computer=“yes”，對應于類buys_computer=“no”。我們希望分類的未知樣本為：X=(age=“≤30”,income=“medium”,student=“yes”,credit_rating=“fair”）我們希望最大化。每個類的先驗概率可以根據訓練樣本計算：P(buys_computer=“yes”)=9/14=0.643P(buys_computer=“no”)=5/14=0.357

我們通過在全部時間基礎上觀察某事件出現比例來估計概率。例如，在下例中，估計P(age≤30|buys_computer=“yes”)使用的是比值。其中n=9為所有30|buys_computer=“yes”的訓練樣本。而是在其中age≤30的數目。為計算，我們計算下面的條件概率：P(age≤30|buys_computer=“yes”)=2/9=0.222P(age≤30|buys_computer=“no”)=3/5=0.600P(income=“medium”|buys_computer=“yes”)=4/9=0.444P(income=“medium”|buys_computer=“no”)=2/5=0.400P(student=“yes”|buys_computer=“yes)=6/9=0.667P(student=“yes”|buys_computer=“no”)=1/5=0.2P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667P(credit_rating=“fair”|buys_computer=“no”)=2/5=0.4

假設條件獨立性，使用以上的概率，我們得到：P(X|buys_computer=“yes”)=0.222x0.444x0.667x0.0.667=0.044P(X|buys_computer=“no”)=0.6x0.4x0.2x0.4=0.019P(X|buys_compu