自然語言處理模型部署自然語言處理模型應(yīng)用課堂導(dǎo)入你知道自然語言處理模型部署的方式有什么嗎？客戶端部署服務(wù)端部署課堂導(dǎo)入

在人工智能快速發(fā)展的時代，越來越多的自然語言處理模型被應(yīng)用于不同的場景。模型部署為自然語言處理模型應(yīng)用的主要步驟，包括客戶端部署和服務(wù)端部署等方式。應(yīng)根據(jù)不同的場景、模型的請求返回速度等方面的情況選擇不同的部署方式，以便將模型以最方便、快捷的方式應(yīng)用到實際的服務(wù)場景中。使用服務(wù)端部署的自然語言處理應(yīng)用在日常生活中比較常見，如電商平臺的口碑分析、消費者輔助決策等，都是通過客戶端獲取相應(yīng)數(shù)據(jù)并將數(shù)據(jù)發(fā)送至服務(wù)端進(jìn)行自然語言處理，以降低客戶端的算力資源要求。項目目標(biāo)（1）了解服務(wù)端部署應(yīng)用案例。（2）掌握PaddleHub自然語言處理模型的本地部署方式。（3）了解PaddleHub自然語言處理模型的服務(wù)端部署方式。（4）能夠使用PaddleHub部署自然語言處理模型并進(jìn)行應(yīng)用。項目描述深度學(xué)習(xí)模型應(yīng)用的主要步驟就是模型部署，其中模型部署包括本地部署、服務(wù)端部署以及軟硬一體化部署等方式。根據(jù)不同的場景選擇不同的部署方式，需要考慮模型的請求返回速度等方面的情況，將模型以最方便快捷的方式應(yīng)用到實際的服務(wù)場景中來。本地部署軟硬一體化部署服務(wù)端部署項目描述使用服務(wù)端部署的深度學(xué)習(xí)應(yīng)用案例,都通過應(yīng)用端獲取相應(yīng)數(shù)據(jù)并將數(shù)據(jù)發(fā)送至服務(wù)端進(jìn)行情感分析，以降低應(yīng)用端的算力資源要求。了解服務(wù)端部署應(yīng)用案例掌握PaddleHub深度學(xué)習(xí)模型的部署方式將訓(xùn)練好的模型進(jìn)行本地部署以及服務(wù)端部署調(diào)用相關(guān)接口實現(xiàn)模型部署預(yù)測在互聯(lián)網(wǎng)時代，更多的人工智能都是依靠服務(wù)端進(jìn)行應(yīng)用部署的，例如智能語音助手，智能語音助手的背后是通過自然語言處理和自然語言生成這兩項基礎(chǔ)技術(shù)合成的。服務(wù)端部署應(yīng)用案例智能語音助手的實現(xiàn)流程在百度AI人工智能開放平臺上，已經(jīng)開放了很多人工智能的API接口，實質(zhì)上都是通過向服務(wù)端發(fā)送數(shù)據(jù)請求，服務(wù)端在接收到數(shù)據(jù)之后通過模型接口進(jìn)行處理并返回相應(yīng)的數(shù)據(jù)，最后將處理之后的結(jié)果再重新返回到發(fā)送端。服務(wù)端部署應(yīng)用案例PaddleHub本地部署

PaddleHub提供hublist用于存放下載的預(yù)訓(xùn)練模型，通過調(diào)用相關(guān)接口即可快速實現(xiàn)模型的本地部署及預(yù)測。通過PaddleHub實現(xiàn)本地部署及預(yù)測的具體步驟為使用Module()函數(shù)加載指定模型，并準(zhǔn)備好待預(yù)測數(shù)據(jù)，通過調(diào)用predict()接口向模型發(fā)送預(yù)測數(shù)據(jù)，即可實現(xiàn)模型的本地部署及預(yù)測。PaddleHub服務(wù)端部署

PaddleHub提供一鍵式服務(wù)端部署工具PaddleHubServing，用戶使用PaddleHubServing能夠通過簡單的PaddleHub命令行工具輕松、快速部署預(yù)訓(xùn)練模型，并啟動在線預(yù)測服務(wù)。

使用PaddleHub下載至本地hublist的模型。可通過兩種方式啟動PaddleHubServing服務(wù)將模型部署到服務(wù)端，一種是通過命令行啟動，另一種是通過配置文件啟動。PaddleHub服務(wù)端部署兩種PaddleHub服務(wù)端部署方式的流程PaddleHub服務(wù)端部署

hubservingstart--modules[Module1==Version1,

Module2==Version2,...]\

--portXXXX\

--use_gpu\

--use_multiprocess\

--workers\命令行啟動

在命令行終端執(zhí)行PaddleHub命令即可實現(xiàn)在服務(wù)端部署模型，并啟動在線預(yù)測服務(wù)，命令如下。PaddleHub服務(wù)端部署命令參數(shù)說明PaddleHub服務(wù)端部署配置文件啟動

使用配置文件啟動服務(wù)，首先需要創(chuàng)建配置文件，文件格式為JSON格式，文件示例內(nèi)容如下。{“modules_info”:{“yolov3_darknet53_coco2017”:{“init_args”:{“version”:“1.0.0”},“predict_args”:{“batch_size”:1,“use_gpu”:false

PaddleHub服務(wù)端部署}},“l(fā)ac”:{“init_args”:{“version”:“1.1.0”},“predict_args”:{“batch_size”:1,“use_gpu”:false}}},“port”:8866,“use_multiprocess”:false,“workers”:2}PaddleHub服務(wù)端部署配置文件參數(shù)說明PaddleHub服務(wù)端部署

在配置文件中根據(jù)實際情況修改完參數(shù)值后，在命令行終端中使用以下命令在服務(wù)端部署模型，并啟動在線預(yù)測服務(wù)。

執(zhí)行完上述命令后即表示使用PaddleHubServing部署服務(wù)端的模型預(yù)測服務(wù)。

在啟動PaddleHubServing部署服務(wù)端的模型預(yù)測服務(wù)后，就可以在客戶端訪問預(yù)測接口以獲取結(jié)果，接口URL的格式為“:8866/

predict/<MODULE>”。其中，8866為服務(wù)端口號，若啟動服務(wù)時指定了端口號則需對應(yīng)修改；<MODULE>為模型名，通過發(fā)送POST請求即可獲取預(yù)測結(jié)果。hubservingstart--configconfig.json部署情感分類模型實施思路

基于對項目描述和知識準(zhǔn)備內(nèi)容的學(xué)習(xí)，讀者應(yīng)該已經(jīng)了解了關(guān)于PaddleHub的兩種部署方式。接下來將通過本地部署和服務(wù)端部署兩種不同的部署方式，實現(xiàn)項目8“自然語言處理預(yù)訓(xùn)練模型訓(xùn)練與應(yīng)用”中的情感分類模型的部署。PaddleHub本地部署實施步驟步驟1：準(zhǔn)備模型

在進(jìn)行模型部署前，需要先準(zhǔn)備模型所需的參數(shù)文件。讀者若想使用自己的模型參數(shù)文件，可以先將項目8“自然語言處理預(yù)訓(xùn)練模型訓(xùn)練與應(yīng)用”中訓(xùn)練好的模型參數(shù)文件下載至本地，也可以使用平臺中best_model目錄下已提供的模型參數(shù)文件，模型參數(shù)文件將于后續(xù)加載模型時使用。將自己的模型參數(shù)文件下載至本地并上傳至平臺的具體步驟如下。PaddleHub本地部署實施步驟（1）進(jìn)入項目8“自然語言處理預(yù)訓(xùn)練模型訓(xùn)練與應(yīng)用”中介紹的人工智能交互式在線實訓(xùn)及算法校驗系統(tǒng)，首先進(jìn)入“ckpt”文件夾，然后進(jìn)入best_model目錄。（2）勾選“model.pdparams”文件對應(yīng)的復(fù)選框后，單擊“download”按鈕，將模型參數(shù)文件下載至本地。（3）下載完成后，回到人工智能交互式在線實訓(xùn)及算法校驗系統(tǒng)中單擊“upload”按鈕將下載的模型參數(shù)文件上傳至data目錄下即可。PaddleHub本地部署實施步驟步驟2：準(zhǔn)備數(shù)據(jù)

模型準(zhǔn)備完成后，將需要預(yù)測的數(shù)據(jù)按指定格式設(shè)置好，并定義標(biāo)簽列表，以便后續(xù)進(jìn)行模型加載和預(yù)測。步驟3：加載模型

接下來使用PaddleHub對已經(jīng)訓(xùn)練完成的ernie_tiny模型進(jìn)行加載，需要配置Module()函數(shù)中的相關(guān)參數(shù)才能正確加載模型。PaddleHub本地部署實施步驟

對函數(shù)中的參數(shù)進(jìn)行如下說明。name：模型名稱，即需要加載的模型的名稱，這里使用的是ernie_tiny模型。task：任務(wù)類型，可選項有seq-cls（文本分類）或token-cls（序列標(biāo)注任務(wù)）。這里的主要任務(wù)為文本分類，因此設(shè)置為seq-cls。load_checkpoint：模型參數(shù)文件路徑，即步驟1中參數(shù)文件的下載路徑。label_map：用于匹配模型標(biāo)簽的標(biāo)簽字典。步驟4：預(yù)測結(jié)果

等待模型加載完成后，使用以下代碼即可實現(xiàn)對模型的部署預(yù)測。PaddleHub服務(wù)端部署實施步驟修改模型文件的參數(shù)，通過命令行啟動服務(wù)創(chuàng)建配置文件啟動服務(wù)0102PaddleHub服務(wù)端部署實施步驟運行所需環(huán)境包括：PaddlePaddle2.0.2paddlepaddle-gpu2.0.2.post100（使用GPU部署時使用）PaddleHub2.1.0PaddleHub服務(wù)端部署實施步驟命令行啟動加載模型預(yù)測模型服務(wù)0102修改文件03使用命令行啟動模型服務(wù)04PaddleHub服務(wù)端部署實施步驟配置文件啟動01加載模型02創(chuàng)建配置文件03使用配置文件啟動模型服務(wù)04預(yù)測模型服務(wù)知識拓展

PaddleHub中集成了很多預(yù)訓(xùn)練模型，可以通過調(diào)用Module()加載指定版本的模型，加載后的模型會默認(rèn)儲存在hublist中，可用于遷移學(xué)習(xí)和模型預(yù)測。具體使用PaddleHub的Module()加載預(yù)訓(xùn)練模型的示例代碼如下。#導(dǎo)入PaddleHubimportpaddlehubashub#加載ernie_tiny模型model=hub.Module(name=‘ernie_tiny’,version=‘2.0.2’)知識拓展

上述代碼為加載2.0.2版本的ernie_tiny模型，其中name參數(shù)表示模型的名稱，用于指定加載的模型，version參數(shù)表示模型的版本號，用于指定加載模型的版本號，如不添加該參數(shù)則默認(rèn)加載最新版本的模型。加載完成后可以

在命令行終端使用“hublist”命令查看模型的下載位置。

如果想加載PaddleHub中其他的預(yù)訓(xùn)練模型，可對應(yīng)修改Module()函數(shù)中name參數(shù)的值，將其修改為對應(yīng)的模型名稱，并將版本修改為所需的模型版本即可。

截止到目前，PaddleHub中用于文本類的模型已有129個，其中有15個模型可用于文本生成，有61個模型可用于詞向量生成，有40個模型可用于語義分析，有7個模型可用于情感分析，有1個模型可用于句法分析，有2個模型可用于詞法分析，有3個模型可用于文本審核。自然語言處理預(yù)訓(xùn)練模型訓(xùn)練與應(yīng)用自然語言處理模型應(yīng)用課堂導(dǎo)入你知道自然語言處理技術(shù)的目標(biāo)是什么嗎？課堂導(dǎo)入

自然語言處理涉及計算機(jī)與人類語言之間的交互，主要研究如何通過編程使計算機(jī)大量分析和處理自然語言數(shù)據(jù)。該技術(shù)的目標(biāo)是使計算機(jī)能夠理解自然語言，包括發(fā)現(xiàn)語言的上下文細(xì)微差別，準(zhǔn)確地提取語言中包含的信息和觀點等。目前自然語言處理主要應(yīng)用于文本分類、機(jī)器翻譯、觀點提取、智能回答等方面。項目目標(biāo)（1）了解自然語言處理的基本任務(wù)。（2）掌握文本分類任務(wù)的基本原理。（3）能夠針對應(yīng)用場景訓(xùn)練文本分類預(yù)訓(xùn)練模型。（4）能夠應(yīng)用文本分類模型進(jìn)行預(yù)測。輿情監(jiān)測自動摘要項目描述自然語言處理是計算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向，研究能實現(xiàn)人與計算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法，是一門融語言學(xué)、計算機(jī)科學(xué)和數(shù)學(xué)于一體的科學(xué)。因此，這一領(lǐng)域既涉及自然語言，即人們?nèi)粘Ｊ褂玫恼Z言，所以它在語言學(xué)的研究有著密切的聯(lián)系，但又有重要的區(qū)別。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實現(xiàn)自然語言通信的計算機(jī)系統(tǒng)。觀點提取文本分類語音識別機(jī)器翻譯自然語言處理自然語言處理基本任務(wù)自然語言生成（NaturalLanguageGeneration，NLG）自然語言理解（NaturalLanguageUnderstanding，NLU）自然語言處理領(lǐng)域的基本任務(wù)自然語言處理基本任務(wù)詞法分析自然語言處理的基本任務(wù)包括詞法分析、句法分析、語義分析、信息抽取以及頂層任務(wù)，以下是各個任務(wù)的基本步驟。分詞新詞發(fā)現(xiàn)形態(tài)分析詞性標(biāo)注拼寫糾正對文本進(jìn)行切詞處理，將一個文本拆分成多個詞語；發(fā)現(xiàn)新的網(wǎng)絡(luò)流行詞匯；分析單詞的形態(tài)組成，包括詞干、詞根、詞綴等；確定文本中的每個詞的詞性，包括動詞、名詞、代詞、形容詞等；找到錯誤的詞，并對其進(jìn)行修改。標(biāo)出句子中的短語塊，如名詞短語、動詞短語等；給每個句子中的詞語標(biāo)注上超級標(biāo)簽，超級標(biāo)簽為句法樹中與該詞相關(guān)的樹形結(jié)構(gòu)；分析句子的成分，給出一棵有終結(jié)符和非終結(jié)符構(gòu)成的句法樹；分析句子中詞與詞之間的依存關(guān)系，給一棵由詞語依存關(guān)系構(gòu)成的依存句法樹；確定一段文本屬于哪一種語言；給沒有明顯句子邊界的文本添加邊界。自然語言處理基本任務(wù)句法分析組塊分析超級標(biāo)簽標(biāo)注成分句法分析依存句法分析語種識別句子邊界檢測對有歧義的詞確定準(zhǔn)確的詞義；標(biāo)注句子中的語義角色類標(biāo)和語義角色；一種抽象語義的表現(xiàn)形式。自然語言處理基本任務(wù)語義分析語義消歧語義角色標(biāo)注抽象語義表分析從文本中表示出命名實體，實體一般包括人名、地名、機(jī)構(gòu)名、時間、日期、貨幣等；確定文本中兩個實體之間的關(guān)系類型；從文本中抽取出符合要求的術(shù)語；從無結(jié)構(gòu)的文本中抽取結(jié)構(gòu)化事件；專門用于解決同名實體產(chǎn)生歧義問題的技術(shù)；對文本里面所蘊(yùn)含的主觀性情緒進(jìn)行評價。自然語言處理基本任務(wù)信息抽取命名實體標(biāo)識關(guān)系抽取術(shù)語抽取事件抽取實體消歧情感分析將兩種不同的語言進(jìn)行轉(zhuǎn)換；對較長的文本進(jìn)行內(nèi)容梗概的提??；針對用戶提出的問題給出相應(yīng)的回答；與用戶進(jìn)行聊天，從對話中捕獲意圖，并分析執(zhí)行；機(jī)器閱讀完文章后，提出一些文章相關(guān)問題，機(jī)器能夠做出回答；給定一篇文章，對文章的質(zhì)量進(jìn)行打分或分級。自然語言處理基本任務(wù)頂層任務(wù)機(jī)器翻譯文本摘要問答系統(tǒng)對話系統(tǒng)閱讀理解自動文章分級文本分類任務(wù)文本預(yù)處理文本表示分類模型構(gòu)建文本分類任務(wù)文本預(yù)處理

文本預(yù)處理的目標(biāo)是將人類使用的自然語言轉(zhuǎn)換為機(jī)器能夠識別的符號語言。文本預(yù)處理過程文本分類任務(wù)分詞：指將文本分成單個的詞語。一般來講，所有的自然語言處理任務(wù)基本上都要對文本進(jìn)行分詞處理，因為詞是最小的語義單元。去停用詞：指去掉對于分類任務(wù)沒有作用的詞。目前一些通用的停用詞詞典中大約有

2000個詞，主要包括一些助詞和連接詞，如“啊”“并且”“因此”等。歸一化：指將某一類數(shù)據(jù)歸一化為某一標(biāo)簽。如將數(shù)字歸一化為DIGIT標(biāo)簽、將時間歸一化為TIME標(biāo)簽，以及將“今天”“明天”等表示時間的詞歸一化到TIME標(biāo)簽等。詞性標(biāo)注