機(jī)器翻譯與寫作Python自然語(yǔ)言處理第十一章CONTENT目錄

01機(jī)器翻譯02機(jī)器寫作課前回顧詞嵌入算法訓(xùn)練詞向量實(shí)踐循環(huán)神經(jīng)網(wǎng)絡(luò)Seq2Seq模型與實(shí)戰(zhàn)01機(jī)器翻譯機(jī)器翻譯的意義經(jīng)典的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型機(jī)器翻譯譯文質(zhì)量評(píng)價(jià)機(jī)器翻譯面臨的挑戰(zhàn)機(jī)器翻譯的意義克服人類交流的語(yǔ)言障礙機(jī)器翻譯能夠幫助不同語(yǔ)言的人自由地交流有意義的研究課題機(jī)器翻譯推動(dòng)自然語(yǔ)言處理的發(fā)展01機(jī)器翻譯機(jī)器翻譯的意義經(jīng)典的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型機(jī)器翻譯譯文質(zhì)量評(píng)價(jià)機(jī)器翻譯面臨的挑戰(zhàn)經(jīng)典的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型01-基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯02-從卷積序列到序列模型03-基于自注意力機(jī)制的Transformer模型01-基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯編碼器解碼器模型端到端模型基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型大致可分為端到端模型和編碼器解碼器模型翻譯模型-端到端模型端到端模型模型輸入“A"、”B"、“C"，在輸入條件下依次生成輸出”W"、“X"、”Y"、“Z"，其中”\<EOS>“為人為加入的句子結(jié)束標(biāo)志01-基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯翻譯模型-編碼器解碼器模型編碼器解碼器模型

01-基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯翻譯模型-編碼器解碼器模型編碼器解碼器模型優(yōu)勢(shì)：解碼器在生成目標(biāo)語(yǔ)言的詞語(yǔ)時(shí)，不僅考慮了源語(yǔ)言中的詞語(yǔ)的全局信息，還考慮了已經(jīng)生成的部分譯文。

01-基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯01-基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯基于循環(huán)神經(jīng)網(wǎng)絡(luò)的編碼器-解碼器框架基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯優(yōu)點(diǎn)：

由于引入了長(zhǎng)短期記憶，神經(jīng)機(jī)器翻譯的性能獲得了大幅度提升，取得了與傳統(tǒng)統(tǒng)計(jì)機(jī)器翻譯相當(dāng)甚至更好的準(zhǔn)確率。不足： 1、不管是較長(zhǎng)的源語(yǔ)言句子，還是較短的源語(yǔ)言句子，編碼器都需將其映射成一個(gè)維度固定的向量，這對(duì)實(shí)現(xiàn)準(zhǔn)確的編碼提出了極大的挑戰(zhàn)。 2、對(duì)于較短的源語(yǔ)言句子，維數(shù)設(shè)置過(guò)大會(huì)浪費(fèi)存儲(chǔ)空間和訓(xùn)練時(shí)間；對(duì)于較長(zhǎng)的源語(yǔ)句子，維數(shù)設(shè)置過(guò)小會(huì)造成語(yǔ)義細(xì)節(jié)信息丟失的問(wèn)題?；谘h(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的優(yōu)缺點(diǎn)基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型基于注意力的神經(jīng)機(jī)器翻譯將源語(yǔ)言句子編碼為向量序列，而不是一個(gè)固定向量，在生成目標(biāo)語(yǔ)言詞語(yǔ)時(shí)，能夠利用與生成該詞相關(guān)的源語(yǔ)言詞語(yǔ)信息，所對(duì)應(yīng)詞語(yǔ)在源語(yǔ)言中可以連續(xù)存在，也可以離散分布。從卷積序列到序列模型ConvS2S模型的架構(gòu)2017年5月，F(xiàn)acebookAI實(shí)驗(yàn)室提出將卷積神經(jīng)網(wǎng)絡(luò)引入序列到序列的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型，這樣既可以處理序列變長(zhǎng)的問(wèn)題，又可以實(shí)現(xiàn)在序列不同位置的并行計(jì)算。卷積序列到序列（ConvS2S）模型的結(jié)構(gòu)如右圖RNN的缺陷：由于下一個(gè)時(shí)刻的輸出要依賴于上一個(gè)時(shí)刻的輸出，從而導(dǎo)致無(wú)法在整個(gè)序列上進(jìn)行并行處理，引起訓(xùn)練時(shí)間過(guò)長(zhǎng)。從卷積序列到序列模型ConvS2S模型的架構(gòu)上左部分是編碼器，通過(guò)層疊的卷積抽取輸入序列的特征，通過(guò)門控線性單元的非線性變換得到相應(yīng)的隱層表示。下左部分是解碼器，采用與編碼器相同的層疊卷積運(yùn)算抽取輸出序列的特征，經(jīng)過(guò)門控線性單元激活做為編碼器的輸出。中間部分是注意力部分，把編碼器和解碼器的輸出做點(diǎn)乘運(yùn)算，作為輸入序列中每個(gè)詞的權(quán)重。中右部分是殘差連接部分，把注意力部分計(jì)算的權(quán)重與輸入序列相乘，然后加入到解碼器的輸出中得到最終的輸出序列。從卷積序列到序列模型ConvS2S模型的架構(gòu)該模型的編碼器和解碼器之間采用的是多步注意機(jī)制，即每個(gè)卷積層都進(jìn)行注意力建模，并且將上層卷積的輸出作為下一層的輸入，經(jīng)過(guò)層層堆疊得到最終的輸出?；谧宰⒁饬C(jī)制的Transformer模型RNN相關(guān)算法的限制：t時(shí)刻的計(jì)算依賴t-1時(shí)刻的計(jì)算結(jié)果，限制了模型的并行能力。順序計(jì)算的過(guò)程中信息會(huì)丟失，盡管LSTM等門機(jī)制的結(jié)構(gòu)在一定程度上緩解了長(zhǎng)期依賴的問(wèn)題，但對(duì)于特別長(zhǎng)期的依賴現(xiàn)象，LSTM等仍舊無(wú)能為力。基于自注意力機(jī)制的Transformer模型Transformer模型架構(gòu)

為了解決上述問(wèn)題，Google于2017提出了transformer模型。該模型采用注意力機(jī)制代替了RNN搭建整個(gè)模型框架。

提出了多重自注意力機(jī)制，在編碼器和解碼器中大量使用了多重自注意力機(jī)制?；谧宰⒁饬C(jī)制的Transformer模型

多重自注意力機(jī)制基于自注意力機(jī)制的Transformer模型

01機(jī)器翻譯機(jī)器翻譯的意義經(jīng)典的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型機(jī)器翻譯譯文質(zhì)量評(píng)價(jià)機(jī)器翻譯面臨的挑戰(zhàn)機(jī)器翻譯譯文質(zhì)量評(píng)價(jià)BLEUNISTMETEOR國(guó)際上用于評(píng)判機(jī)器翻譯系統(tǒng)好壞有3種指標(biāo)：BLEU采用N-gram匹配規(guī)則比較并統(tǒng)計(jì)共同出現(xiàn)的元詞的個(gè)數(shù)，即統(tǒng)計(jì)同時(shí)出現(xiàn)在系統(tǒng)譯文和參考譯文中的元詞的個(gè)數(shù)，最后將匹配到的元詞的個(gè)數(shù)除以系統(tǒng)譯文的單詞數(shù)目，以此作為評(píng)測(cè)結(jié)果。不足之處：1、僅考慮了元詞的匹配度，沒有考慮語(yǔ)法上的準(zhǔn)確性。2、評(píng)測(cè)精度極易受到常用詞的干擾。3、對(duì)翻譯短句的評(píng)價(jià)存在偏差，有時(shí)短譯句的評(píng)測(cè)精度會(huì)偏高。4、沒有考慮到同義詞或相似表達(dá)的情況，因此在個(gè)別語(yǔ)句上可能表現(xiàn)不好。BLEU機(jī)器翻譯譯文質(zhì)量評(píng)價(jià)機(jī)器翻譯譯文質(zhì)量評(píng)價(jià)NIST方法是利用信息量公式求出每個(gè)元詞的信息量，對(duì)于在參考譯文中出現(xiàn)次數(shù)更少的元詞會(huì)賦予更高的權(quán)重來(lái)體現(xiàn)其所包含的信息量，然后累加起來(lái)再除以整個(gè)譯文的元詞片段數(shù)據(jù)。NIST對(duì)BLEU進(jìn)行了改進(jìn)，采用算術(shù)平均來(lái)代替BLEU中的幾何平均，從而加大一元詞的共現(xiàn)次數(shù)對(duì)于評(píng)分結(jié)果的影響，同時(shí)還改進(jìn)了BLEU中的懲罰因子，減少了譯文長(zhǎng)度對(duì)評(píng)分結(jié)果的影響。特點(diǎn)：NIST和BLEU一樣，都不是真正給出了系統(tǒng)的譯文與原文的相似度，而是利用已有的多個(gè)參考譯文對(duì)系統(tǒng)譯文進(jìn)行打分，因此原文并不會(huì)影響翻譯系統(tǒng)的得分。但是參考譯文的數(shù)量和質(zhì)量卻是影響翻譯系統(tǒng)評(píng)測(cè)的關(guān)鍵因素。NISTMETEOR方法是一種基于單精度的加權(quán)調(diào)和平均數(shù)和單字召回率的方法。特點(diǎn)： 它不希望生成塊狀的譯文，如參考譯文是“ABCD”，而模型給出的譯文是“BADC”，雖然每一個(gè)一元詞都對(duì)上了，但這個(gè)模型仍會(huì)受到很重的懲罰，METEOR是考慮了基于整個(gè)語(yǔ)料庫(kù)的準(zhǔn)確率和召回率而最終得出分值。METEOR機(jī)器翻譯譯文質(zhì)量評(píng)價(jià)01機(jī)器翻譯機(jī)器翻譯的意義經(jīng)典的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型機(jī)器翻譯譯文質(zhì)量評(píng)價(jià)機(jī)器翻譯面臨的挑戰(zhàn)機(jī)器翻譯面臨的挑戰(zhàn)挑戰(zhàn)模型的可解釋性先驗(yàn)知識(shí)的使用深層次語(yǔ)言知識(shí)的應(yīng)用多語(yǔ)言機(jī)器翻譯多模態(tài)翻譯低資源語(yǔ)言的翻譯機(jī)器翻譯面臨的挑戰(zhàn)模型的可解釋性基于編碼器解碼器結(jié)構(gòu)的神經(jīng)機(jī)器翻譯，實(shí)現(xiàn)了源語(yǔ)言到目標(biāo)語(yǔ)言的直接翻譯，但相比統(tǒng)計(jì)機(jī)器翻譯，神經(jīng)機(jī)器翻譯過(guò)程更類似在黑盒中運(yùn)行，難以從語(yǔ)言學(xué)的角度對(duì)翻譯過(guò)程進(jìn)行解釋。先驗(yàn)知識(shí)的使用以離散符號(hào)表示的外部資源，如句法標(biāo)注、詞性標(biāo)注、雙語(yǔ)詞典等是非常重要的先驗(yàn)知識(shí)，在神經(jīng)機(jī)器翻譯中難以得到充分的利用。深層次語(yǔ)言知識(shí)的應(yīng)用自然語(yǔ)言具有歧義性，需要背景知識(shí)的支持才能完成消歧任務(wù)。神經(jīng)機(jī)器翻譯大多是詞語(yǔ)級(jí)的序列到序列的模型，對(duì)語(yǔ)言知識(shí)的應(yīng)用不夠全面，層次不夠深入。機(jī)器翻譯面臨的挑戰(zhàn)多語(yǔ)言機(jī)器翻譯在多語(yǔ)平行語(yǔ)料，或者多語(yǔ)可比語(yǔ)料基礎(chǔ)上研究基于神經(jīng)網(wǎng)絡(luò)的多語(yǔ)言機(jī)器翻譯，不僅具有學(xué)術(shù)價(jià)值同樣具有很高的實(shí)用價(jià)值，也是未來(lái)重要的發(fā)展方向。多模態(tài)翻譯傳統(tǒng)神經(jīng)機(jī)器翻譯過(guò)程中，文本翻譯過(guò)程與翻譯場(chǎng)景等信息是相互獨(dú)立的，因此，導(dǎo)致神經(jīng)機(jī)器翻譯的結(jié)果往往不夠智能，不能自適應(yīng)