調(diào)研分析自然語(yǔ)言處理技術(shù)掌握基于深度學(xué)習(xí)的自然語(yǔ)言處理技術(shù)應(yīng)用《Python

人工智能技術(shù)與應(yīng)用》任務(wù)導(dǎo)入

@Sk隨著互聯(lián)網(wǎng)技術(shù)的不斷成熟和普及，越來(lái)越多的消費(fèi)者開(kāi)始通過(guò)互聯(lián)網(wǎng)獲取汽車(chē)信息、比較汽車(chē)價(jià)格、進(jìn)行汽車(chē)購(gòu)買(mǎi)等。汽車(chē)門(mén)戶網(wǎng)站因此應(yīng)運(yùn)而生，成為了消費(fèi)者獲取汽車(chē)信息的主要渠道之一。汽車(chē)門(mén)戶網(wǎng)站的其中一個(gè)優(yōu)勢(shì)是可以通過(guò)情感分析技術(shù)，了解用戶對(duì)汽車(chē)品牌、車(chē)型、服務(wù)等的情感傾向，從而為汽車(chē)廠商提供改善建議。現(xiàn)某新創(chuàng)立的汽車(chē)門(mén)戶網(wǎng)站想尋求汽車(chē)品牌廠商合作，第一步是需要獲取品牌廠商的信任，讓汽車(chē)廠商了解門(mén)戶網(wǎng)站的優(yōu)勢(shì)，了解門(mén)戶網(wǎng)站上口碑分

析背后的原理，你作為該汽車(chē)門(mén)戶網(wǎng)站公司的自然語(yǔ)言處理實(shí)習(xí)生，需要對(duì)

網(wǎng)站口碑分析背后的技術(shù)原理進(jìn)行一個(gè)調(diào)研分析并告知潛在的汽車(chē)合作廠商。素養(yǎng)目標(biāo)·

引導(dǎo)問(wèn)題的過(guò)程中，培養(yǎng)學(xué)

生形成勤于思考的能力·

獲得分析解決問(wèn)題以及多元

化思考解決問(wèn)題的方法，形成

創(chuàng)新意識(shí)。·

掌握自然語(yǔ)言處理技術(shù)的流程及其相關(guān)Python工具。能夠列舉至少3個(gè)的自然語(yǔ)言

處理技術(shù)流程中用到的Pvthon

工具。能夠獨(dú)立闡述自然語(yǔ)言處理技術(shù)的定義。·

了解自然語(yǔ)言處理技術(shù)的定義。·

了解深度學(xué)習(xí)在自然語(yǔ)言處理技術(shù)中的應(yīng)用。·

了解自然語(yǔ)言處理技術(shù)的主要應(yīng)用。知識(shí)目標(biāo)

技能目標(biāo)任務(wù)目標(biāo)自然語(yǔ)言處理技術(shù)的定義深度學(xué)習(xí)在自然語(yǔ)言處理技術(shù)中的應(yīng)用自然語(yǔ)言處理技術(shù)的主要應(yīng)用自然語(yǔ)言處理技術(shù)流程及其Python實(shí)現(xiàn)目

錄CONTENTS語(yǔ)言是人類(lèi)所特有的一種能力，而實(shí)現(xiàn)用自然語(yǔ)言與計(jì)算機(jī)進(jìn)行通信，是人們長(zhǎng)期以來(lái)追求的目標(biāo)。自然語(yǔ)言處理(Natural

Language

Processing,NLP)就是實(shí)現(xiàn)人機(jī)間通過(guò)自然語(yǔ)言交流的一

項(xiàng)技術(shù)。汪汪汪翻譯NLP自然語(yǔ)言處理——機(jī)器翻譯人類(lèi)的語(yǔ)言NLP將人類(lèi)交流溝通所用的語(yǔ)言經(jīng)過(guò)處理轉(zhuǎn)化為機(jī)

器所能理解的機(jī)器語(yǔ)言，

是一種研究語(yǔ)言能力的模

型和算法框架。01

自然語(yǔ)言處理技術(shù)的定義定義02

深度學(xué)習(xí)在自然語(yǔ)言處理技術(shù)中的應(yīng)用自然語(yǔ)言卷積神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言是高度抽象的符號(hào)化系統(tǒng)，文本間存在數(shù)據(jù)離散、稀疏，同時(shí)還存在多義

詞、一詞多義等問(wèn)題。而深度學(xué)習(xí)方法具

有強(qiáng)大的特征提取和學(xué)習(xí)能力，可以更好

地處理高維度稀疏數(shù)據(jù)，在NLP

領(lǐng)域諸多

任務(wù)中都取得了長(zhǎng)足發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)(CNN)廣泛應(yīng)用于自然語(yǔ)言處理的文本分類(lèi)、文本生成、詞嵌入、語(yǔ)義分析

等任務(wù)，而循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)

廣泛應(yīng)用于

自然語(yǔ)言處理的文本分類(lèi)、語(yǔ)言模型、機(jī)器翻

譯、語(yǔ)音識(shí)別和自動(dòng)問(wèn)答等任務(wù)。自然語(yǔ)言處理技術(shù)的主要應(yīng)用自然語(yǔ)言處理技術(shù)(NLP)

領(lǐng)域語(yǔ)言建模情感分析機(jī)器翻譯

文本分析問(wèn)答系統(tǒng)

閱讀理解中文分詞、詞性標(biāo)注及命名實(shí)體利用計(jì)算機(jī)把一種自然源語(yǔ)言轉(zhuǎn)變?yōu)榱硪环N自然目標(biāo)語(yǔ)言的過(guò)程，

也稱(chēng)為自動(dòng)翻譯。03

自然語(yǔ)言處理技術(shù)的主要應(yīng)用(

一

)機(jī)器翻譯智能手機(jī)中的機(jī)器翻譯自然語(yǔ)言處理技術(shù)的主要應(yīng)用(二)文本分類(lèi)文本分類(lèi)是利用計(jì)算機(jī)將文本集按照一定的分類(lèi)體系或標(biāo)準(zhǔn)，進(jìn)行自動(dòng)分類(lèi)標(biāo)記的過(guò)程。對(duì)海量工單進(jìn)行標(biāo)簽分類(lèi)自然語(yǔ)言處理技術(shù)的主要應(yīng)用(三)自動(dòng)問(wèn)答自動(dòng)問(wèn)答是指利用計(jì)算機(jī)自動(dòng)回答用戶所提出的問(wèn)題以滿足用戶知識(shí)需求的任務(wù)。華為自動(dòng)客服解決用戶問(wèn)題分類(lèi)依據(jù)類(lèi)別摘要功能指示摘要信息摘要評(píng)價(jià)摘要與原文檔關(guān)系抽取(extraction)摘要(abstraction)對(duì)象單文檔摘要多文檔摘要基于用戶類(lèi)型主題摘要普通摘要機(jī)器學(xué)習(xí)角度有指導(dǎo)的摘要無(wú)指導(dǎo)的摘要自動(dòng)文摘是運(yùn)用計(jì)算機(jī)技術(shù)，依據(jù)用戶需求從源文本中提取最重要的信息內(nèi)容，進(jìn)行精簡(jiǎn)、提煉和總結(jié)，最后生成一個(gè)精簡(jiǎn)版本的過(guò)程。生成的文摘具有壓縮性、內(nèi)容完整性和可讀性。表

1

自動(dòng)文摘分類(lèi)自然語(yǔ)言處理技術(shù)的主要應(yīng)用(四)自動(dòng)文摘自動(dòng)摘取新聞示例04

自然語(yǔ)言處理技術(shù)流程及其Python實(shí)現(xiàn)(一)自然語(yǔ)言處理技術(shù)流程01獲取語(yǔ)料05建模后的效果進(jìn)行評(píng)價(jià)0402文本預(yù)處理03特征化/向量化模型訓(xùn)練獲取語(yǔ)料：從文本源獲取文本，如文件，網(wǎng)頁(yè)，社交媒體等。語(yǔ)料進(jìn)行預(yù)處理：其中包括語(yǔ)料清理、分詞、詞性標(biāo)注和去停用詞等步驟。>

特征化/向量化：將分詞后的字和詞表示成計(jì)算機(jī)可計(jì)算的類(lèi)型(向量),這樣有助于較好地表達(dá)不同詞之間的

相似關(guān)系模型訓(xùn)練：包括傳統(tǒng)的有監(jiān)督、半監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)模型等，可根據(jù)應(yīng)用需求不同進(jìn)行選擇。建模后的效果進(jìn)行評(píng)價(jià)：常用的評(píng)測(cè)指標(biāo)有準(zhǔn)確率(Precision)、

召回率(Recall)、F

值

(F-Measure)等。02

自然語(yǔ)言處理技術(shù)流程及其Python實(shí)現(xiàn)(一)自然語(yǔ)言處理技術(shù)流程各種社交媒體來(lái)源的語(yǔ)料自然語(yǔ)言處理技術(shù)流程及其Python實(shí)現(xiàn)(

二)Python相關(guān)工具Jieba中文分詞工具，可以將中文文本分割成單獨(dú)的詞匯，以便進(jìn)行文本分析。Gensim用于計(jì)算文本相似度的Python

庫(kù)，可以用來(lái)構(gòu)建詞向量，以及計(jì)算