彭輝94031097（QQ）機(jī)器學(xué)習(xí)MachineLearning樸素貝葉斯算法任務(wù)目標(biāo)能力目標(biāo)掌握利用貝葉斯定理求解分類(lèi)問(wèn)題的方法理解概率基礎(chǔ)知識(shí)使用樸素貝葉斯算法及其優(yōu)化方法解決解決分類(lèi)問(wèn)題任務(wù)目標(biāo)素質(zhì)目標(biāo)團(tuán)隊(duì)協(xié)作學(xué)會(huì)學(xué)習(xí)實(shí)踐創(chuàng)新貝葉斯算法背景已知：非洲人10個(gè)中有9個(gè)黑人，1個(gè)白人；

北美10個(gè)人中有3個(gè)黑人7個(gè)白人。問(wèn)：你在街上遇到1個(gè)黑人，那么他是非洲人還是北美人？注：全球非洲12億人口，北美3.6億人口貝葉斯算法概率

假設(shè)一個(gè)箱子有3個(gè)黃球和4個(gè)黑球。

隨機(jī)從箱子里面取一次球，取得黃色球的概率為?取得藍(lán)色球的概率是?.3/74/7貝葉斯算法條件概率

將這些球分成2個(gè)箱子，左邊稱(chēng)為X箱，右邊的箱子稱(chēng)為Y箱。以球?yàn)檠芯繉?duì)象，計(jì)算取黃球的概率：（1）兩個(gè)箱子同時(shí)取球，任意取一次球，取得黃色球和藍(lán)色球的概率仍然是3/7、4/7.（2）接下來(lái)，限定只從X箱任意取一次球，取得黃色球和藍(lán)色球的概率變成了1/2和1/2.（3）接下來(lái)，限定只從Y箱任意取一次球，取得黃色球和藍(lán)色球的概率變成了1/3和2/3.在限定條件下，取黃色球和藍(lán)色球的概率發(fā)生了變化。這就是條件概率的意義，這里的條件就是限定了箱子。X箱Y箱貝葉斯算法條件概率-2

根據(jù)圖片中球的分布，我們可以很快的計(jì)算條件概率，下面介紹另一種條件概率計(jì)算方法將以球?yàn)檠芯繉?duì)象轉(zhuǎn)換成以箱子為研究對(duì)象：（1）球從X箱取出的概率為4/7，從Y箱取出的概率為3/7.——此時(shí)沒(méi)有區(qū)分黃色球和藍(lán)色球。（2）接下來(lái)，從黃球中取球，取一次，分別來(lái)自X箱和Y箱的概率分別是2/3和1/3.（3）如果從藍(lán)球中取球取一次，分別來(lái)自X箱和Y箱的概率分別是1/2和1/2.X箱Y箱貝葉斯算法條件概率-3事件取黃色球取藍(lán)色球無(wú)條件3/74/7在X箱中取1/21/2在Y箱中取1/32/3以取箱為前提事件X箱Y箱無(wú)條件4/73/7在黃色球中取2/31/3在藍(lán)色球中取1/21/2以取球?yàn)榍疤醁箱Y箱貝葉斯聯(lián)合概率事件概率黃球且X箱2/7黃球且Y箱1/7藍(lán)球且X箱2/7藍(lán)球且Y箱2/7聯(lián)合概率

聯(lián)合概率是兩個(gè)事件共同發(fā)生的概率。

例：取的球是黃色，且是從X箱中取的概率為：X箱中黃色球的個(gè)數(shù)/總球數(shù)=2/7同理：其他幾種情況的聯(lián)合概率X箱Y箱貝葉斯算法貝葉斯定理

我們將目光聚焦到取黃色球和取Y箱上。

將取黃色球定義為事件A，取Y箱定義為事件B。那么可以得到如下幾個(gè)概念公式事件概率取得黃球P(A)=3/7在Y箱中取得黃球P(A|B)=1/3在Y箱中取得球P(B)=3/7在黃色球中取，在Y箱中取得球P(B|A)=1/3取的球是黃球且在Y箱中取得P(AB)=1/7取黃色球和Y箱的概率

X箱Y箱貝葉斯算法貝葉斯公式

當(dāng)A與B獨(dú)立時(shí)：貝葉斯算法貝葉斯定理應(yīng)用事件概率取得黃球P(A)=3/7在Y箱中取得黃球P(A|B)=1/3在Y箱中取得球P(B)=3/7在黃色球中取，在Y箱中取得球P(B|A)=1/3取的球是黃球且在Y箱中取得P(AB)=1/7它要解決的問(wèn)題：已知P(A|B)如何求得P(B|A)；或者已知P(B|A)如何求得P(A|B)例：已知在Y箱中取得黃球的概率是P(A|B)=1/3;

在Y箱中取得球的概率為P(B)=3/7;

取得黃球的概率是P(A)=3/7；那么已知在黃球中取，在Y箱中取得的概率是

樸素貝葉斯分類(lèi)器樸素貝葉斯分類(lèi)（NaiveBayesClassifier）是基于貝葉斯定理和特征條件獨(dú)立假設(shè)的分類(lèi)算法樸素貝葉斯分類(lèi)器源于古典數(shù)學(xué)理論，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類(lèi)效率。樸素貝葉斯模型的參數(shù)也不多，對(duì)缺失數(shù)據(jù)不太敏感，算法實(shí)現(xiàn)比較簡(jiǎn)單。通俗地講，樸素貝葉斯分類(lèi)器可以看作：對(duì)于給定的待分類(lèi)項(xiàng)，求解在該分類(lèi)項(xiàng)出現(xiàn)的條件下，各個(gè)類(lèi)別出現(xiàn)的概率。根據(jù)各個(gè)類(lèi)別出現(xiàn)的概率，哪個(gè)最大，就將其劃歸為那個(gè)類(lèi)別。樸素貝葉斯樸素貝葉斯分類(lèi)器(Na?veBayesClassifier)采用了“屬性條件獨(dú)立性假設(shè)”

：每個(gè)屬性獨(dú)立地對(duì)分類(lèi)結(jié)果發(fā)生影響。樸素貝葉斯分類(lèi)器估計(jì)后驗(yàn)概率的主要困難：類(lèi)條件概率是所有屬性上的聯(lián)合概率難以從有限的訓(xùn)練樣本估計(jì)獲得。假設(shè)樣本屬性相互獨(dú)立，則：得到樸素貝葉斯表達(dá)式：樸素貝葉斯樸素貝葉斯分類(lèi)器樸素貝葉斯分類(lèi)器的訓(xùn)練器的訓(xùn)練過(guò)程就是基于訓(xùn)練集D估計(jì)類(lèi)先驗(yàn)概率P(c)

,并為每個(gè)屬性估計(jì)條件概率拉普拉斯平滑樸素貝葉斯的優(yōu)化-拉普拉斯平滑缺陷：受樣本個(gè)數(shù)限制，若某個(gè)屬性值在訓(xùn)練集中沒(méi)有與某個(gè)同類(lèi)同時(shí)出現(xiàn)過(guò)，

如P清脆｜是＝P(敲聲＝清脆｜好瓜＝是)＝0/8=0，則連乘公式

h(好瓜＝是)則必為零，其他屬性取任意值都不能改變這一結(jié)論。修正方法：拉普拉斯平滑處理表示訓(xùn)練集樣本的類(lèi)別數(shù)，

表示訓(xùn)練集樣本在第

i個(gè)屬性上的取值個(gè)數(shù)P清脆｜是＝P(敲聲＝清脆｜好瓜＝是)＝(0+1)/(8+3)P(好瓜=是)=

(8+1)/(17+2)P(好瓜=否)=(9+1)/(17+2)拉普拉斯平滑樸素貝葉斯算法流程原始的樸素貝葉斯只能處理離散數(shù)據(jù)，當(dāng)是連續(xù)變量時(shí)，我們可以使用高斯樸素貝葉斯（GaussianNaiveBayes）完成分類(lèi)任務(wù)。當(dāng)處理連續(xù)數(shù)據(jù)時(shí)，一種經(jīng)典的假設(shè)是：與每個(gè)類(lèi)相關(guān)的連續(xù)變量的分布是基于高斯分布的，故高斯貝葉斯的公式如下：其中，表示表示全部屬于類(lèi)的樣本中變量

的均值和方差樸素貝葉斯應(yīng)用sklearn樸素貝葉斯算法實(shí)現(xiàn)高斯樸素貝葉斯樸素貝葉斯應(yīng)用sklearn樸素貝葉斯算法實(shí)現(xiàn)高斯樸素貝葉斯構(gòu)造方法：sklearn.naive_bayes.GaussianNBGaussianNB類(lèi)構(gòu)造方法無(wú)參數(shù)，屬性值有：

class_prior_#每一個(gè)類(lèi)的概率

theta_#每個(gè)類(lèi)中各個(gè)特征的平均

sigma_#每個(gè)類(lèi)中各個(gè)特征的方差樸素貝葉斯應(yīng)用練習(xí)：利用高斯樸素貝葉斯對(duì)鳶尾花數(shù)據(jù)進(jìn)行分類(lèi)sklearn.naive_bayes.GaussianNB樸素貝葉斯應(yīng)用sklearn樸素貝葉斯算法實(shí)現(xiàn)多項(xiàng)式樸素貝葉斯——用于文本分類(lèi)sklearn.naive_bayes.MultinomialNB(alpha=1.0#平滑參數(shù)

,fit_prior=True#學(xué)習(xí)類(lèi)的先驗(yàn)概率,class_prior=None)#類(lèi)的先驗(yàn)概率樸素貝葉斯應(yīng)用實(shí)戰(zhàn)練習(xí)：利用樸素貝葉斯對(duì)文本分類(lèi)documents=[['菜品','很','一般','不','建議','在這','消費(fèi)'],

['老板','很','鬧心','坑人','建議','去','別家'],

['讓人','驚艷','東西','口味','讓人','感覺(jué)','不錯(cuò)'],

['環(huán)境','不錯(cuò)','孜然牛柳','很','好吃'],

['味道','真的','一般','環(huán)境','也','比較','擁擠'],

['一家','性