1、機器學(xué)習(xí)實驗報告樸素貝葉斯學(xué)習(xí)和分類文本(2015年度秋季學(xué)期)一、 實驗內(nèi)容問題：通過樸素貝葉斯學(xué)習(xí)和分類文本目標：可以通過訓(xùn)練好的貝葉斯分類器對文本正確分類二、 實驗設(shè)計實驗原理與設(shè)計：在分類（classification）問題中，常常需要把一個事物分到某個類別。一個事物具有很多屬性，把它的眾多屬性看做一個向量，即x=(x1,x2,x3,xn)，用x這個向量來代表這個事物。類別也是有很多種，用集合Y=y1,y2,ym表示。如果x屬于y1類別，就可以給x打上y1標簽，意思是說x屬于y1類別。這就是所謂的分類(Classification)。x的集合記為X，稱為屬性集。一般X和Y的關(guān)系是不確定

2、的，你只能在某種程度上說x有多大可能性屬于類y1，比如說x有80%的可能性屬于類y1，這時可以把X和Y看做是隨機變量，P(Y|X)稱為Y的后驗概率（posterior probability），與之相對的，P(Y)稱為Y的先驗概率（prior probability）1。在訓(xùn)練階段，我們要根據(jù)從訓(xùn)練數(shù)據(jù)中收集的信息，對X和Y的每一種組合學(xué)習(xí)后驗概率P(Y|X)。分類時，來了一個實例x，在剛才訓(xùn)練得到的一堆后驗概率中找出所有的P(Y|x)， 其中最大的那個y，即為x所屬分類。根據(jù)貝葉斯公式，后驗概率為 在比較不同Y值的后驗概率時，分母P(X)總是常數(shù)，因此可以忽略。先驗概率P(Y)可以通過計算訓(xùn)

3、練集中屬于每一個類的訓(xùn)練樣本所占的比例容易地估計。在文本分類中，假設(shè)我們有一個文檔dX，X是文檔向量空間(document space)，和一個固定的類集合C=c1,c2,cj，類別又稱為標簽。顯然，文檔向量空間是一個高維度空間。我們把一堆打了標簽的文檔集合作為訓(xùn)練樣本，XC。例如：=Beijing joins the World Trade Organization, China對于這個只有一句話的文檔，我們把它歸類到 China，即打上china標簽。我們期望用某種訓(xùn)練算法，訓(xùn)練出一個函數(shù)，能夠?qū)⑽臋n映射到某一個類別： :XC這種類型的學(xué)習(xí)方法叫做有監(jiān)督學(xué)習(xí)，因為事先有一個監(jiān)督者（我們事先

4、給出了一堆打好標簽的文檔）像個老師一樣監(jiān)督著整個學(xué)習(xí)過程。樸素貝葉斯分類器是一種有監(jiān)督學(xué)習(xí)。實驗主要代碼：1、由于中文本身是沒有自然分割符（如空格之類符號），所以要獲得中文文本的特征變量向量首先需要對文本進行中文分詞。這里采用極易中文分詞組件2、先驗概率計算，N表示訓(xùn)練文本集總數(shù)量。3、條件概率計算，為在條件A下發(fā)生的條件事件B發(fā)生的條件概率。x給定的文本屬性，c給定的分類4、對給定的文本進行分類三、測試數(shù)據(jù)訓(xùn)練集文本：數(shù)據(jù)樣例選用Sogou實驗室的文本分類數(shù)據(jù)的mini版本類別及標號測試數(shù)據(jù)文本：通過觀察可知，該文本預(yù)期為IT類文章三、 實驗結(jié)果運行結(jié)果如下圖根據(jù)數(shù)據(jù)集的分類編號可知，該測試文本屬于IT，與預(yù)期相符五、遇到的困難及解決方法、心得體會通過此次實驗，讓我對樸素貝葉斯有了更深刻的理解，原本只是了解基本的先驗概率公式