第4章自然語言處理基礎(chǔ)學習目標

理解文本預(yù)處理技術(shù)及其應(yīng)用方法

理解分詞技術(shù)及其應(yīng)用方法

了解自然語言處理的基本模型content目錄自然語言處理簡介0102常見模型自然語言處理簡介01簡介

自然語言交互是人機交互中的重要技術(shù)之一。包含兩個方面：自然語言處理以及自然語言生成。NLP可以被應(yīng)用于很多領(lǐng)域，通常包含以下七種通用的應(yīng)用：機器翻譯：計算機具備將一種語言翻譯成另一種語言的能力。情感分析：計算能夠判斷用戶評論是否積極。智能問答：計算機能夠正確回答輸入的問題。文摘生成：計算機能夠準確歸納、總結(jié)并產(chǎn)生文本摘要。文本分類：計算機能夠采集各種文章，進行主題分析，從而進行自動分類。輿論分析：計算機能夠判斷目前輿論的導向。知識圖譜：知識點相互連接而成的語義網(wǎng)絡(luò)。應(yīng)用領(lǐng)域基于規(guī)則的方法：通過總結(jié)規(guī)律來判斷自然語言的意圖，常?的?法有：CFG（下文無關(guān)文法）、JSGF（JSpeechGrammarFormat）等；基于統(tǒng)計的方法：對語言信息進行統(tǒng)計和分析，并從中挖掘出語義特征，常?的方法有：SVM（支持向量機）、HMM（隱馬爾科夫模型）、MEMM（最大熵馬爾可夫模型）、CRF（條件隨機場）等?；谏疃葘W習的?法：CNN（卷積神經(jīng)網(wǎng)絡(luò)），RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)），LSTM（長短期記憶網(wǎng)絡(luò)），Transformer等。自然語言處理發(fā)展的三個階段自然語言處理的模型02簡介

語言模型是自然語言處理（NLP）領(lǐng)域的一個核心概念，它主要用于預(yù)測自然語言中下一個詞或者序列的概率分布。主要分為基于統(tǒng)計的模型和基于深度學習的模型兩大類。n-gram

模型是一種基于統(tǒng)計的語言模型。它的基本思想是通過統(tǒng)計文本中連續(xù)的n個單詞（或字符）出現(xiàn)的頻率，來預(yù)測下一個單詞（或字符）出現(xiàn)的概率。其中，分子表示單詞序列w1,w2,...,wn-1,wn在文本中出現(xiàn)的次數(shù)，而分母表示前面n-1個單詞序列出現(xiàn)的次數(shù)。根據(jù)單詞個數(shù)的不同后續(xù)出現(xiàn)了unigram（元模型）、bigram（二元模型）

和trigram（三元模型）等模型。1、基于統(tǒng)計的N-gram模型

詞袋模型（BagofWords,BOW）遞歸神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork,RNN）長短時記憶網(wǎng)絡(luò)（LongShort-TermMemory,LSTM）支持向量機（SupportVectorMachine,SVM）卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork,CNN）生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork,GAN）轉(zhuǎn)換器模型（Transformer）BERT（BidirectionalEncoderRepresentationsfromTransformers）GPT（GenerativePre-trainedTransformer）ELMO（EmbeddingsfromLanguageModels）2.基于深度學習和預(yù)訓練的模型大語言模型是在大量數(shù)據(jù)上訓練的大規(guī)模神經(jīng)網(wǎng)絡(luò)，通常具有數(shù)億甚至數(shù)千億的參數(shù)。這些參數(shù)使模型具備了處理