2.2實戰(zhàn)案例——中文分詞工具包jieba的使用2.2.1案例目標(biāo)2.2.1案例目標(biāo)2.2掌握jieba工具包的基本使用方法。掌握jibea分詞的分詞模式及對應(yīng)函數(shù)的寫法。2.2.2案例分析2.2掌握jieba工具包的基本使用方法。掌握jibea分詞的分詞模式及對應(yīng)函數(shù)的寫法。2.2.2案例分析近年來，隨著NLP技術(shù)的日益成熟，開源的分詞工具越來越多。在本單元中，選用jiebe工具包來進行介紹和案例展示。jiebe工具包的優(yōu)點在于：社區(qū)活躍。在實際生產(chǎn)實踐中遇到的問題能夠在社區(qū)反饋并得到解決，適合長期使用。功能豐富。jiebe工具包是一個開源框架，不僅僅可以實現(xiàn)分詞，還提供了很多其他算法，例如關(guān)鍵詞提取、詞性標(biāo)注等。多種編程語言實現(xiàn)。jieba官方提供了多平臺多語言支持，而且還提供了很多熱門社區(qū)項目的擴展插件。在實際項目中，可以進行擴展。操作簡單。jieba工具包的API不多，需要進行的配置簡單，方便上手。2.2.2案例分析2.2jieba工具包的分詞結(jié)合了基于規(guī)則和基于統(tǒng)計這兩種方法。首先基于前綴詞典構(gòu)建包含全部可能分詞結(jié)果的有向無環(huán)圖，然后使用動態(tài)規(guī)劃的方法找到最大概率路徑，并將其作為最終的分詞結(jié)果。對于未登錄詞，使用了基于漢字成詞的HMM模型，采用了Viterbi算法進行推導(dǎo)。2.2.2案例分析2.22.2.1案例分析jieba工具包提供了三種分詞模式：精確模式：將句子最精確地切開，適合文本分析。全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非常快，但不能解決歧義。搜索引擎模式：在精確模式的基礎(chǔ)上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞，同時也支持自定義字典。2.22.2.3案例實施jieba工具包目前使用較為廣泛的一種中文分詞開源工具包中文名：“結(jié)巴”jieba的安裝：pipinstalljieba導(dǎo)入模塊：importjieba三種分詞模式2.22.2.3案例實施（一）jieba工具包介紹jieba工具包的使用代碼：

words=jieba.cut("國基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")print(list(words))輸出：

['國基','北盛','與','浙江大學(xué)','聯(lián)合','舉辦','了','人工智能','大賽']精確模式（默認(rèn)）精確模式：試圖將句子最精確地切開，適合文本分析2.2.3案例實施（一）jieba工具包介紹2.22.2.3案例實施2.2jieba工具包的使用全模式代碼：

words=jieba.cut("國基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽",cut_all=True)

print(list(words))輸出：

['國基','國基北盛','與','浙江','浙江大學(xué)','大學(xué)','學(xué)聯(lián)','聯(lián)合','聯(lián)合舉辦','舉辦','了','人工','人工智能','智能','大賽']全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非常快，但不能解決歧義（一）jieba工具包介紹2.2.3案例實施2.2jieba工具包的使用全模式代碼：

words=jieba.cut("國基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽",cut_all=True)

print(list(words))輸出：

['國基','國基北盛','與','浙江','浙江大學(xué)','大學(xué)','學(xué)聯(lián)','聯(lián)合','聯(lián)合舉辦','舉辦','了','人工','人工智能','智能','大賽']全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非常快，但不能解決歧義（一）jieba工具包介紹2.2.3案例實施2.2jieba工具包的使用全模式代碼：

words=jieba.cut("國基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽",cut_all=True)

print(list(words))輸出：

['國基','國基北盛','與','浙江','浙江大學(xué)','大學(xué)','學(xué)聯(lián)','聯(lián)合','聯(lián)合舉辦','舉辦','了','人工','人工智能','智能','大賽']全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非?？?，但不能解決歧義（一）jieba工具包介紹2.2.3案例實施2.2jieba工具包的使用使用自定義詞典進行分詞（一）代碼：

jieba.add_word("國基北盛")

jieba.add_word("聯(lián)合舉辦") words=jieba.lcut("國基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")

print(words)

輸出：

['國基北盛','與','浙江大學(xué)','聯(lián)合舉辦','了','人工智能','大賽']jieba.add_word(w)：向分詞詞典中添加新詞w（一）jieba工具包介紹2.2.3案例實施2.2jieba工具包的使用使用自定義詞典進行分詞（二）代碼：

jieba.load_userdict('jiebatxt.txt')

words=jieba.lcut("國基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")print(words)

輸出：

['國基北盛','與','浙江大學(xué)','聯(lián)合舉辦','了','人工智能','大賽']jieba.load_userdict('文件名')：加載自定義詞典詞典格式：詞詞頻詞性（后兩個可以不寫）（一）jieba工具包介紹2.2.3案例實施2.2jieba工具包的使用使用自定義詞典進行分詞（三）代碼：

word1=jieba.lcut("國基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")jieba.del_word("人工智能")word2=jieba.lcut("國基北盛與浙江大學(xué)聯(lián)合舉辦了人工智能大賽")

輸出：

word1:['國基','北盛','與','浙江大學(xué)','聯(lián)合