第八章

中文搜索引擎技術(shù)第一節(jié)中文分詞技術(shù)

分詞技術(shù)簡述百度分詞技術(shù)

分詞中的難題與發(fā)展第二節(jié)拼寫檢查錯誤提示

第三節(jié)相關(guān)提示功能分析

第四節(jié)CACHE結(jié)構(gòu)CACHE的實現(xiàn)原理

三級CACHE的設(shè)計

一.什么是中文分詞把中文的漢字序列切分成有意義的詞。二.分詞技術(shù)簡述例：我/是/一個/學(xué)生

1.基于字符串匹配的分詞方法

按照一定的策略將待分析的漢字串與一個機器詞庫中的詞條進行匹配。

常用分詞方法：正向最大匹配法（由左到右的方向）例：我/有意/見/分歧反向最大匹配法

例：我/有/意見/分歧統(tǒng)計結(jié)果表明:單純使用正向最大匹配的錯誤率為1/169，單純使用反向最大匹配的錯誤率為1/245。逆向匹配的切分精度略高于正向匹配。2.基于統(tǒng)計的分詞方法

相鄰的字同時出現(xiàn)的次數(shù)越多，就越有可能構(gòu)成一個詞。

用于系統(tǒng)自動識別新詞。

3.基于理解的分詞方法

在分詞的同時進行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象。三.百度分詞技術(shù)分析

1.最大分詞詞長：小于等于3個中文字不切割對于大于等于4個漢字的詞將被分詞。2.分詞算法：查詢:“工地方向?qū)А闭蜃畲笃ヅ?工地/方向/導(dǎo)反向最大匹配:工/地方/向?qū)О俣炔捎谜蜃畲笃ヅ渌惴ú樵?鄧小平安定軍山正向最大匹配:鄧小平/安定/軍/山百度分詞：鄧小平/安/定軍山結(jié)論：百度識別人名、影視、戲劇名等專用詞，專用詞庫分詞時優(yōu)先。

查詢:何潤東西南北(“何潤東”、“東西南北”兩個詞)正向最大匹配:何潤東/西/南北歸納:

首先用專有詞典采用最大正向匹配分詞，切分出部分結(jié)果；

剩余沒有切分交給普通詞典，同樣采取正向最大匹配分詞。四.分詞中的難題

1.歧義識別

「這個門把手壞了」－「把手」是個詞；「請把手拿開」－「把手」不是一個詞；

「元帥任命了一名中將」－「中將」是個詞；

「產(chǎn)量三年中將增長兩倍」－「中將」不再是詞。

真歧義

「乒乓球拍賣完了」可以切分成「乒乓

球拍

賣

完

了」、

也可切分成「乒乓球

拍賣

完

了」。2.新詞識別

就是那些在字典中沒收錄過，但又確實能稱為詞的那些詞。

「聽說溫家寶物非常多」「吳官正在吉林考察」

收錄人名本身是一項巨大的工程

過多專用人名的收錄很容易出現(xiàn)問題

五.最新進展

設(shè)計目標(biāo):

1.無長度限制2.歧義包容:將出現(xiàn)歧義的

各種可能性都包含進去，

作為分詞的參考。方案：將關(guān)系數(shù)據(jù)庫的詞按

字打散，并存放到層次

數(shù)據(jù)庫中。

特色：分詞長度限制，詞的

長度變成了樹的高度，

每一次的匹配變成了樹

的遍歷。感冒

感冒解痛散

感冒解痛顆粒

感冒解痛靈茶等都能匹配一.實例學(xué)分析百度封維持帶著一彈個同脈音詞真詞典,多音束字不關(guān)區(qū)分百度逗的中伸文糾啊錯和面拼音透檢索躍使使用的桂機制竿相同誘。催百度慶是將妙分詞慰詞典途里面姑每個取詞鳳條利臥用拼絞音標(biāo)部注程游序標(biāo)量注來成拼雹音。查詢驚：羅厚華世釣界有烈風(fēng)軍詞長怕不限福，專由用詞深全部輔標(biāo)注二.錯誤昂提示招流程利用倉拼音形標(biāo)注汁程序焦對用勻戶輸戰(zhàn)入進難行拼趕音標(biāo)印注用戶輸入查分詞詞典

不做拼寫檢查

匹配在同音詞詞典

里面掃描

不匹配不做提示

不匹配匹配輸出權(quán)重比較大

的幾個提示結(jié)果拼音提示流程一.如何戲獲得欺用戶功的查羨詢信善息可對鋼搜索勻引擎尋用戶受查詢辛日志(LO確G)文件競做查詢蘋歸類路。二.如何禾選擇使提示需詞對于批用戶布查詢哄進行執(zhí)分詞避，然知后對帖于分悠詞后續(xù)的結(jié)夫果來本進行相似敏性計路算?！皧蕵菲侣勸槇蟮馈焙褪隆靶侣労畩蕵返饒蟮馈钡囊严嚓P(guān)鍛提示登完全怕一樣禍。三.如何謹計算租相似棍性并鍛排序礦輸出為什悲么增幅加的小是“顫娛樂武報道感”和丙“新騾聞報公道”艷的相蠻關(guān)提凈示呢忍？設(shè)每偵個單殘詞都頭有一猶個權(quán)差重值ID譽F(櫻wo娃r(nóng)d糾)＝lo計g(冷N/捆DF項(w頸or鄰d)己)注：N為百度創(chuàng)收錄糧的網(wǎng)悅頁總輕數(shù)，諷設(shè)為10億；DF鼻(w超or柳d)是包盒含單疫詞wo沈rd的網(wǎng)承頁數(shù)收目得：ID抖F(娛樂)=駱lo似g(您10淡/0糊.3欲25規(guī))=確1.炭48靠8招ID帝F(新聞)=史lo激g(敬10銹/0杜.5杠63右)=衛(wèi)1.柳24傭9撥I昌DF電(報道)=習(xí)l催og涌(1蘭0/遙0.幣17促2)嘉=1組.7曾64權(quán)重槳是報道>娛樂>新聞ID厲F(娛樂,新聞,報道)鵝=米I論DF筋(娛樂)械+驗ID堤F(娛樂)巖+奶ID桂F(娛樂)四=4擔(dān).5苦01ID擦F(娛樂,新聞,報道)渣>I史DF潛(娛樂,報道)>斃ID末F(新聞,報道)查詢?nèi)珯?quán)重臣相同周，則浙按照懶用戶調(diào)查詢凡次數(shù)酸由高寒到低烈排序銳輸出。娛樂,新聞,報道娛樂,報道新聞,報道研究童表明稅用戶柔的查望詢有30酒%-墨40南%是重塞復(fù)的。一.一級Ca焦ch坐e的設(shè)派計1.百度摸的一爸級Ca事ch顫e提交帶一個態(tài)古怪漫的查翅詢，只要揪是兩與次提責(zé)交同輕樣的委查詢女，第半二次盡返回克時間晃總是0.廚00灰1秒,證明Ca柜ch戶e的存侮在。2.扮Ca奏ch初e的實思現(xiàn)－盞哈希(H軍as痛h)表①什么鍛是哈檢希表不經(jīng)玩過任喘何比崖較，星一次機存取見便能近得到浩所查御記錄。在記擺錄的披存儲彼位置渡和它翅的關(guān)糞鍵字幼之間杯建立鄙一個悼對應(yīng)墻關(guān)系②哈希嘗函數(shù)狗的構(gòu)扯造方皺法例：版除留仿余數(shù)葵法H(蓮ke犧y)迫=k網(wǎng)ey欲M寶OD華p如:在長堂度為11的哈仍希表趣中已鳴填有犁關(guān)鍵分字為17，60，29的記拐錄(哈希尊函數(shù)H(廚ke她y)軌=k群ey俯M媽OD重11章)③處理學(xué)沖突利的方蹈法為該吼關(guān)鍵懂字的聾記錄蓮找到鴉另一唇個“空”的哈成希地伴址。例：木開放暗定址沒法Hi香=(違H(范ke槍y)猜+d承i)貨M老OD波m換(褲m=空間潔大小)di廚=1,2,…,m-繡1