版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
3.3.3案例實施3.3.3案例實施LTP是基于C++開發(fā)的,但是也提供了Python的封裝包——Pyltp。Pyltp的安裝直接使用pip進(jìn)行安裝,在命令行輸入:pipinstallpyltp。如果安裝失敗,可以使用wheel文件進(jìn)行安裝,具體安裝過程如下:首先查看當(dāng)前環(huán)境下Python的版本,在命令行輸入:python-V,根據(jù)Python的不同版本下載相應(yīng)的wheel文件,例如Python為3.6版本,則下載pyltp-0.2.1-cp36-cp36m-win_amd64.whl,然后使用cd命令跳轉(zhuǎn)到wheel文件所在目錄,使用pipinstallwheel文件名進(jìn)行安裝。(一)LTP的安裝3.33.3.3案例實施在安裝成功之后,需要下載相關(guān)的模型文件。哈工大提供了LTP所需的基本模型,模型下載地址:http://ltp.ai/download.html,選擇其中最新版本的模型文件進(jìn)行下載,如圖3-1所示。例如,當(dāng)前最新模型為3.4.0,則下載ltp_data_v3.4.0.zip。3(一)LTP的安裝圖3-1模型下載3.3.3案例實施將下載的壓縮包解壓到項目文件夾下,得到LTP的基本模型,如圖3-2所示。3(一)LTP的安裝圖3-2LTP的基本模型3.3.3案例實施LTP的主要模型:SentenceSplitter:分句模型,將一個段落通過“?!?、“?”、“!”等形式分開。Segmentor:分詞模型,支持用戶使用自定義詞典。分詞外部詞典本身是一個文本文件,每行指定一個詞,編碼須為UTF-8。Postagger:詞性標(biāo)注模型,顯示每個詞的詞性,輸入可以為一個詞,也可以為多個詞組成的列表。LTP中采用了863詞性標(biāo)注集,各個詞性含義見表3-2。3(二)LTP的主要模型3.3.3案例實施表3-2LTP詞性標(biāo)注規(guī)范表3(二)LTP的主要模型3.3.3案例實施表3-3命名實體標(biāo)記3(二)LTP的主要模型NamedEntityRecognizer:實體命名模型,ltp命名實體類型為:人名(Nh),地名(NS),機(jī)構(gòu)名(Ni)。LTP采用BIESO標(biāo)注體系,其命名實體標(biāo)記見表3-3。3.3.3案例實施表3-3命名實體標(biāo)記3(二)LTP的主要模型NamedEntityRecognizer:實體命名模型,ltp命名實體類型為:人名(Nh),地名(NS),機(jī)構(gòu)名(Ni)。LTP采用BIESO標(biāo)注體系,其命名實體標(biāo)記見表3-3。3.3.3案例實施3(二)LTP的主要模型Parser:依存句法分析模型。加載模型:frompyltpimportSegmentor,Postagger,Parser,NamedEntityRecognizer#加載分詞模型segmentor=Segmentor()segmentor.load("ltp_data_v3.4.0\cws.model")
#加載命名實體識別模型recognizer=NamedEntityRecognizer()recognizer.load("ltp_data_v3.4.0\ner.model")3.3.3案例實施3(三)Parser:依存句法分析模型加載模型:#加載依存語法分析模型parser=Parser()parser.load("ltp_data_v3.4.0\parser.model")
#加載詞性標(biāo)注模型postagger=Postagger()postagger.load("ltp_data_v3.4.0\pos.model")3.3.3案例實施3(三)Parser:依存句法分析模型分句:frompyltpimportSentenceSplittercontent='句號。問號?嘆號!“雙引號?!睗h語省略號……'sents=SentenceSplitter.split(content)forsentinsents:print(sent)輸出結(jié)果如下:句號。問號?嘆號!“雙引號?!睗h語省略號……這里需要注意的是LTP是用于中文處理的,因此盡量不要將LTP用于處理其它語言。3.3.3案例實施3(三)Parser:依存句法分析模型分詞:frompyltpimportSegmentorsegmentor=Segmentor()#初始化實例segmentor.load("ltp_data_v3.4.0\cws.model")#加載模型words=segmentor.segment('貝拉克·侯賽因·奧巴馬的身世復(fù)雜,1961年8月4日出生在美國夏威夷州檀香山市,父親是來自肯尼亞的留學(xué)生,母親是堪薩斯州白人。他們二人在就讀夏威夷大學(xué)期間相識。')forwordinwords:print(word,end='\\')segmentor.release()輸出結(jié)果如下:貝拉克·侯賽因·奧巴馬\的\身世\復(fù)雜\,\1961年\8月\4日\出生\在\美國\夏威夷州\檀香山市\(zhòng),\父親\是\來自\肯尼亞\的\留學(xué)生\,\母親\是\
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025湖南邵陽市綏寧縣政務(wù)服務(wù)中心招聘見習(xí)大學(xué)生崗位工作人員1人考試備考題庫及答案解析
- 世界地球日設(shè)計實施方案
- 深度解析(2026)《GBT 26039-2010無汞鋅粉》(2026年)深度解析
- 深度解析(2026)《GBT 25903.1-2010信息技術(shù) 通 用多八位編碼字符集 錫伯文、滿文名義字符、顯現(xiàn)字符與合體字 16點陣字型 第1部分:正白體》
- 深度解析(2026)《GBT 25828-2010高溫合金棒材通 用技術(shù)條件》(2026年)深度解析
- 深度解析(2026)《GBT 25792-2010反應(yīng)紅W-2G(C.I.反應(yīng)紅84)》(2026年)深度解析
- 2026中國農(nóng)業(yè)科學(xué)院第一批招聘359人備考筆試試題及答案解析
- 2026西藏那曲市慈善總會會員招募模擬筆試試題及答案解析
- 2025云南磨憨站城城市開發(fā)有限公司招聘綜合行政辦公人員(1人)考試備考題庫及答案解析
- 2025年杭州市臨安區(qū)第三人民醫(yī)院招聘編外工作人員2人備考考試試題及答案解析
- 豬肉推廣活動方案
- 電工職業(yè)道德課件教學(xué)
- 周杰倫介紹課件
- 學(xué)堂在線 雨課堂 學(xué)堂云 生活英語聽說 期末復(fù)習(xí)題答案
- 第十四屆全國交通運輸行業(yè)“大象科技杯”城市軌道交通行車調(diào)度員(職工組)理論知識競賽題庫(1400道)
- 2025年希望杯IHC真題-二年級(含答案)
- T/CCT 002-2019煤化工副產(chǎn)工業(yè)氯化鈉
- 砂石運輸施工方案
- 醫(yī)院如何規(guī)范服務(wù)態(tài)度
- 輸液空氣的栓塞及預(yù)防
- 中建鋼筋工程優(yōu)化技術(shù)策劃指導(dǎo)手冊 (一)
評論
0/150
提交評論