5/5中文分詞實驗中文分詞實驗

一、實驗?zāi)康模?/p>

目的：了解并掌握基于匹配的分詞方法，以及分詞效果的評價方法。

實驗要求：

1、從互聯(lián)網(wǎng)上查找并構(gòu)建不低于10萬詞的詞典，構(gòu)建詞典的存儲結(jié)構(gòu)；

2、選擇實現(xiàn)一種機(jī)械分詞方法（雙向最大匹配、雙向最小匹配、正向減字最大匹配法等）。

3、在不低于1000個文本文件，每個文件大于1000字的文檔中進(jìn)行中文分詞測試，記錄并分析所選分詞算法的準(zhǔn)確率、分詞速度。

預(yù)期效果：

1、平均準(zhǔn)確率達(dá)到85%以上

二、實驗方案：

1.實驗平臺

系統(tǒng)：win10

軟件平臺：spyder

語言：python

2.算法選擇

選擇正向減字最大匹配法，參照《搜索引擎-原理、技術(shù)與系統(tǒng)》教材第62頁的描述，使用python語言在spyder軟件環(huán)境下完成代碼的編輯。

算法流程圖：

FigureError!Nosequencespecified..正向減字最大匹配算法流程

FigureError!Nosequencespecified..切詞算法流程算法偽代碼描述：

3.實驗步驟

1)在網(wǎng)上查找語料和詞典文本文件；

2)思考并編寫代碼構(gòu)建詞典存儲結(jié)構(gòu)；

3)編寫代碼將語料分割為1500個文本文件，每個文件的字?jǐn)?shù)大于1000字；

4)編寫分詞代碼；

5)思考并編寫代碼將語料標(biāo)注為可計算準(zhǔn)確率的文本；

6)對測試集和分詞結(jié)果集進(jìn)行合并；

7)對分詞結(jié)果進(jìn)行統(tǒng)計，計算準(zhǔn)確率，召回率及F值（正確率和召回率的

調(diào)和平均值）；

8)思考總結(jié)，分析結(jié)論。

4.實驗實施

我進(jìn)行了兩輪實驗，第一輪實驗效果比較差，于是仔細(xì)思考了原因，進(jìn)行了第二輪實驗，修改參數(shù)，代碼，重新分詞以及計算準(zhǔn)確率，效果一下子提升了很多。

實驗過程：

(1)語料來源：語料來自SIGHAN的官方主頁

（http://./doc/078fae0169ec0975f46527d3240c844768eaa030.html/），SIGHAN是國際計算語言學(xué)會（ACL）

中文語言處理小組的簡稱，其英文全稱為“SpecialInterestGroupfor

ChineseLanguageProcessingoftheAssociationforComputational

Linguistics”，又可以理解為“SIG漢“或“SIG漢“。SIGHAN為我們提供了一

個非商業(yè)使用（non-commercial）的免費(fèi)分詞語料庫獲取途徑。我下載

的是Bakeoff2005的中文語料。有86925行，2368390個詞語。語料形

式：“沒有孩子的世界是寂寞的，沒有老人的世界是寒冷的?！?/p>

FigureError!Nosequencespecified..notepad++對語料文本的統(tǒng)計結(jié)果

(2)詞典：詞典用的是來自網(wǎng)絡(luò)的有373萬多個詞語的詞典，采用的數(shù)據(jù)結(jié)

構(gòu)為python的一種數(shù)據(jù)結(jié)構(gòu)——集合。

FigureError!Nosequencespecified..notepad++對詞典文本的統(tǒng)計結(jié)果

(3)分割測試數(shù)據(jù)集：將原數(shù)據(jù)分割成1500個文本文件，每個文件的詞數(shù)大于

1000。

FigureError!Nosequencespecified..測試數(shù)據(jù)集分解截圖

FigureError!Nosequencespecified..其中某文件的形式

FigureError!Nosequencespecified..notepad++對其中一個測試文本的統(tǒng)計結(jié)果

(4)編寫分詞代碼：采用python語言和教材上介紹的算法思路，進(jìn)行編程。

(5)編寫代碼將語料標(biāo)注為可計算準(zhǔn)確率的文本：用B代表單詞的開始字，

E代表結(jié)尾的字，BE代表中間的字，如果只有一個字，用E表示。例如：原數(shù)據(jù)是：“人們常說生活是一部教科書”

而我將它轉(zhuǎn)化為了如下格式：

人B

們E

常E

說E

生B

活E

是E

一E

部E

教B

科BE

書E

(6)進(jìn)行分詞：使用之前編寫的分詞函數(shù)，載入文本，進(jìn)行分詞，將每個文

本結(jié)果輸出到txt文本。

FigureError!Nosequencespecified..分詞結(jié)果文件

Figure9.測試數(shù)據(jù)的形式（文本截圖）

Figure10.分詞結(jié)果（文本截圖）

用時17秒左右：

Figure11.運(yùn)行時間

(7)對測試集和分詞結(jié)果集進(jìn)行合并：將測試集和分詞結(jié)果集合并是為了進(jìn)

行準(zhǔn)確率，召回率等的計算。測試集和訓(xùn)練集都是下面的格式：人B

們E

常E

說E

生B

活E

是E

一E

部E

教B

科BE

書E

我將他們合并為下面的格式，第二列為測試集的標(biāo)注，第三列為訓(xùn)練集的結(jié)果：

人BB

們EE

常EE

說EE

生BB

活EE

是EE

一EBE

部EE

教BB

科BEBE

書EE

(8)對分詞結(jié)果進(jìn)行統(tǒng)計，計算準(zhǔn)確率P，召回率R及F值（正確率和召回

率的調(diào)和平均值），設(shè)提取出的信息條數(shù)為C,提取出的正確信息條數(shù)為CR,樣本中的信息條數(shù)O：

P=CRC

R=CRO

F=2×P×RP+R

計算結(jié)果如下：

(9)反思：平均準(zhǔn)確率只有75.79%，為何分詞效果這么差，沒有達(dá)到我的預(yù)期效果

85%，經(jīng)過思考和多次嘗試才發(fā)現(xiàn)，原來是因為我的詞典太大了，最大匹配分詞效果對詞典依賴很大，不是詞典越大越好，還有就是我的詞典和我的測試數(shù)據(jù)的相關(guān)性不大，于是我修改了詞典，進(jìn)行了第二輪測試。

(10)修改詞典：將詞典大小裁剪，但是不能只取局部，例如前面10萬詞或后面10萬

詞，于是我的做法是在373萬詞的詞典中隨機(jī)取3萬詞，再用之前沒用完的語料

制作7萬詞，組成10萬詞的詞典：

Figure12.notepad++對重新制作的詞典文本的統(tǒng)計結(jié)果

(11)

此時分詞的平均準(zhǔn)確率提高到了87.13%，還是很不錯的，說明我的反思是有道理的。三、實驗結(jié)果及分析：

實驗結(jié)果：

第一輪分詞結(jié)果只有75.79%，而我的預(yù)期效果或者說目標(biāo)是85%以上，我先是思考是不是這個算法只能達(dá)到這么多，于是通過網(wǎng)絡(luò)和詢問同學(xué)的分詞準(zhǔn)確率知道，這個結(jié)果是可以繼續(xù)提升的。于是，我仔細(xì)思考了每一個環(huán)節(jié)，發(fā)現(xiàn)問題主要出在詞典上面，因為詞典中的詞越多，利用做大匹配分出來的詞的平均長度就越長，分得的詞數(shù)也越少，錯誤率反而增大，而那些分法可能并不是我

們想要的，而且我的詞典和我的語料相關(guān)性很小，分詞效果是依賴于這個詞典的相關(guān)性的。然后我嘗試減少詞典的大小，見減小到150萬詞，發(fā)現(xiàn)效果確實好了點，于是干脆只在原詞典中取出3萬詞，自己再用語料庫沒用過的同類型的語料做一份詞典，再把它們合起來，結(jié)果分詞準(zhǔn)確率一下子提高到了87.13%，說明我的想法是有道理。

簡言之：

影響中文分詞效果的因素：詞典的大小，數(shù)據(jù)集的規(guī)范性，算法的優(yōu)越程度

如何提高中文分詞的準(zhǔn)確率：規(guī)范的數(shù)據(jù)集，合理大小的詞典，好的算法

四、實驗總結(jié)：

本次