語(yǔ)言模型與向量表示自然語(yǔ)言處理：理論與實(shí)踐向量表示語(yǔ)言模型目錄語(yǔ)言模型概述統(tǒng)計(jì)語(yǔ)言模型n-gram模型n-gram模型神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型-1Bengio團(tuán)隊(duì)提出前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型（FeedforwardNeuralNetworkLanguageModel，F(xiàn)NNLM）有效緩解數(shù)據(jù)稀疏問題神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型-2基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）的語(yǔ)言模型x為輸入層，h為帶有循環(huán)的隱含層，y為輸出層解決了n-gram語(yǔ)言模型有限歷史的問題但序列長(zhǎng)度增加容易梯度消失和梯度爆炸，增加模型訓(xùn)練的難度

神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型-3長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LongShortTermMemroy,LSTM)

語(yǔ)言模型及其變種門控結(jié)構(gòu)（gate）（下圖直線箭頭部分）:向單元狀態(tài)添加或刪除信息的能力，由一層以Sigmoid為激活函數(shù)的網(wǎng)絡(luò)層和一個(gè)逐元素相乘操作構(gòu)成（右圖）遺忘門、輸入門、輸出門神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型-4基于注意力（Attention）的語(yǔ)言模型計(jì)算字符串中詞語(yǔ)之間的注意力權(quán)重，有效避免循環(huán)神經(jīng)網(wǎng)絡(luò)中隨著距離變長(zhǎng)導(dǎo)致信息傳遞步驟增多的缺陷，并解決梯度消失和梯度爆炸等問題向量表示語(yǔ)言模型目錄向量表示把詞語(yǔ)等語(yǔ)言單位表示成向量，轉(zhuǎn)換為機(jī)器可以理解的方式符號(hào)化的離散表示One-HotRepresentation是最常用的離散表示用一個(gè)很長(zhǎng)的向量來表示一個(gè)詞，向量的長(zhǎng)度為詞典的大小，向量中只有一個(gè)1，其他位置全為0。1的位置對(duì)應(yīng)該詞在詞典中的位置。示例：給我一個(gè)話筒，替換身上的麥克。V={給，我，一個(gè)，話筒，替換，身上，的，麥克}(V=8)給：[1

0

0

0

0

0

0

0]我：[01

0

0

0

0

0

0]一個(gè)：[00

1

0

0

0

0

0]……離散表示的局限語(yǔ)義鴻溝忽略了詞語(yǔ)間的語(yǔ)義信息，無法解決“多詞一義”問題維數(shù)災(zāi)難當(dāng)詞匯表的規(guī)模特別大，每個(gè)詞就表示成十幾萬維的高維且稀疏的詞匯向量嵌入式的連續(xù)表示分布式表示（distributedrepresentation）最常用將語(yǔ)言的潛在語(yǔ)法或語(yǔ)義特征分散式地存儲(chǔ)在一組神經(jīng)元中，可以用稠密、低維、連續(xù)的向量來表示詞向量WordEmbedding：將詞語(yǔ)映射到一個(gè)新的空間中，并以多維的連續(xù)實(shí)數(shù)向量進(jìn)行表示詞向量構(gòu)造方法基于全局統(tǒng)計(jì)信息的方法利用統(tǒng)計(jì)方法處理語(yǔ)料，將語(yǔ)料數(shù)據(jù)建模為蘊(yùn)含語(yǔ)義特征的詞-上下文的共現(xiàn)信息，借助數(shù)學(xué)方法學(xué)習(xí)詞向量，自動(dòng)學(xué)習(xí)詞的特征表示如詞袋模型、LSA、GloVe

等

基于預(yù)測(cè)任務(wù)的構(gòu)造方法將語(yǔ)料建模為窗口形式，依據(jù)實(shí)際預(yù)測(cè)任務(wù)設(shè)定學(xué)習(xí)目標(biāo)，在優(yōu)化過程中學(xué)習(xí)詞向量利用外部信息的構(gòu)造方法使用人類已經(jīng)抽象好的語(yǔ)義關(guān)系約束語(yǔ)料建模和特征學(xué)習(xí)過程

word2vecGoogle于2013年發(fā)布本質(zhì)上是只具有一個(gè)隱含層的神經(jīng)元網(wǎng)絡(luò)。輸入是采用One-hot編碼的詞匯表向量，輸出也是One-Hot編碼的詞匯表向量。

word2vecWord2vec具有兩種訓(xùn)練模型CBOW模型主要通過目標(biāo)詞語(yǔ)的上下文詞語(yǔ)預(yù)測(cè)目標(biāo)詞語(yǔ)。Skip-gram模型則利用當(dāng)前目標(biāo)詞語(yǔ)預(yù)測(cè)上下文詞語(yǔ)。

向量表示評(píng)價(jià)內(nèi)部評(píng)價(jià)IntrinsicEvaluation

評(píng)價(jià)向量自身的分布是否合理等詞語(yǔ)相似性（wordsimilarity）測(cè)試詞語(yǔ)類比(wordanalogy)測(cè)試外部評(píng)價(jià)ExtrinsicEvaluation

衡量詞向量在各類下游任務(wù)中作為特征向量對(duì)任務(wù)性能的影響常見的下游任務(wù)包括命名實(shí)體識(shí)別，語(yǔ)義角色標(biāo)注，詞性標(biāo)注，情感分析等。參考文獻(xiàn)（部分）YBengio,RDucharme,PVincent,etal.Aneuralprobabilisticlanguagemodel[J].JournalofMachineLearningResearch,2003,3:1137-1155.MikolovT,KombrinkS,BurgetL,etal.Extensionsofrecurrentneuralnetworklanguagemodel[C]//ProceedingsofInternationalConferenceonAcoustics,Speech,andSignalProcessing,2011:5528-5531.

MikolovT,ZweigG.Contextdependentrecurrentneuralnetworklanguagemodel[C]//ProceedingsofSpokenLanguageTechnologyWorkshop,2012:234-239.M.Sundermeyer,R.Schluter,H.Ney.LSTMneuralnetworksforlanguagemodeling.InINTERSPEECH,pages194–197,2012.GSalton,RRoss,JKelleher.AttentiveLanguageModels.ProceedingsoftheEighthInternationalJointConferenceonNaturalLanguageProcessing.2017,441-450.JDevlin,MChang,KLee,andKToutanova.BERT:pre-trainingofdeepbidirectionaltransformersforlanguageunderstanding[C]//ProceedingsofNAACL-HLT,2019,4171–4186思考題什么是語(yǔ)言模型？語(yǔ)言模型的作用是什么？如何理解N-gram