1、分詞系統(tǒng)介紹大綱分詞框架各模塊算法介紹2盛大搜索院分詞系統(tǒng)（架構(gòu)）ChunkerProcess chainNormalizerAtomic RecoFinedSegmentCoreSegmentErrorCorrectSinkExecutorDictionaryError Correct DictUnigramDictBigramDictSenitiveWordUniBi盛大搜索院分詞系統(tǒng)（字符歸一化）Chunker根據(jù)特殊字符和限制長(zhǎng)度切分句子Normalizer全角半角、大小寫歸一化Atomic Recognition針對(duì)英文、數(shù)字、日期等非字典詞做原子識(shí)別（比如2012年3月2日）Fin

2、ed Atomic Recoginition在原子識(shí)別基礎(chǔ)上進(jìn)行細(xì)粒度識(shí)別（可識(shí)別出2012）為索引提供豐富詞匯Core Segment核心分詞組件包括：一元分詞（Unigram）和二元分詞（Bigram）Error Correction通過(guò)糾錯(cuò)詞典對(duì)分詞結(jié)果糾錯(cuò)Sink Executor組裝、定制最終分詞結(jié)果（是否返回詞頻、是否組裝細(xì)粒度結(jié)果）Dictionary基于Trie樹的詞典組件，提供基本的詞管理、查詢功能Sensitive Word基于字典的敏感詞組件，提供個(gè)其他系統(tǒng)使用盛大搜索院分詞系統(tǒng)（原子詞識(shí)別）原子詞簡(jiǎn)單命名實(shí)體500萬(wàn)2012年6月11日識(shí)別正則表達(dá)式有限狀態(tài)自動(dòng)機(jī)使用基

3、于類的語(yǔ)言模型 未#串500萬(wàn) 未#數(shù)2012年6月11日未#時(shí)盛大搜索院分詞系統(tǒng)（原子詞識(shí)別）規(guī)則整理先驗(yàn)知識(shí)系統(tǒng)實(shí)現(xiàn)正則表達(dá)式庫(kù)手動(dòng)構(gòu)造DFA自動(dòng)生成DFA兩點(diǎn)十五分零三秒三點(diǎn)十五三點(diǎn)差五分三點(diǎn)差一刻三點(diǎn)鐘三點(diǎn)半3:15盛大搜索院分詞系統(tǒng)（原子詞識(shí)別）正則表達(dá)式生成NFA正規(guī)表達(dá)式s和t的NFA分別為N(s)和N(t) N(s*)N(st)N(s|t)盛大搜索院分詞系統(tǒng)（原子詞識(shí)別）NFA生成DFA(確定化)令 Dstates 中僅包含-closure(s), 并設(shè)置狀態(tài)為未標(biāo)記;while Dstates中包含未標(biāo)記的狀態(tài)T dobegin 標(biāo)記T; for 各輸入記號(hào)a do begi

4、n U := -closure(move(T, a); if U不在Dstates中 then 將 U 追加到 Dstates 中，設(shè)置狀態(tài)為未標(biāo)記; DtransT, a := U; endend盛大搜索院分詞系統(tǒng)（字典匹配）從第一個(gè)字符開始找出字典中能匹配到的所有詞以 【中華人民共和國(guó)】為例：中華人民共和國(guó)中，中華，中華人民，中華人民共和國(guó)中華人民共和國(guó)華，華人要注意的是單字必須成詞！盛大搜索院分詞系統(tǒng)（分詞算法）基于語(yǔ)言模型的切分對(duì)于每一個(gè)切分結(jié)果，采用n元語(yǔ)法模型計(jì)算其概率，并輸出概率最大的切分結(jié)果盛大搜索院分詞系統(tǒng)（分詞算法）Unigrambigram盛大搜索院分詞系統(tǒng)（分詞算法）組

5、合爆炸動(dòng)態(tài)規(guī)劃Viterbi算法盛大搜索院分詞系統(tǒng)（分詞算法）盛大搜索院分詞系統(tǒng)（分詞算法）盛大搜索院分詞系統(tǒng)（分詞算法）盛大搜索院分詞系統(tǒng)（分詞算法）盛大搜索院分詞系統(tǒng)（分詞算法）盛大搜索院分詞系統(tǒng)（平滑計(jì)算）當(dāng)某個(gè)詞詞頻為0時(shí)會(huì)給計(jì)算帶來(lái)一定的困難，為了避免這種情況使用了+1平滑和回退平滑+1平滑為了解決某個(gè)詞詞頻為0的情況，比如單字，無(wú)論詞頻是否為0都對(duì)其加1回退平滑為了解決二元分詞中，bigram詞典詞頻為0的情況盛大搜索院分詞系統(tǒng)（糾錯(cuò)模塊）基于糾錯(cuò)詞典糾錯(cuò)對(duì)于短時(shí)間內(nèi)無(wú)法通過(guò)算法解決的bad case，通過(guò)糾錯(cuò)后處理來(lái)解決核心思想通過(guò)上下文來(lái)糾錯(cuò)例如：松原市 長(zhǎng) 春節(jié) 致辭糾錯(cuò)詞典規(guī)則：松原市 長(zhǎng) = 松原市長(zhǎng)算法實(shí)現(xiàn)按照糾錯(cuò)