NaturalLanguageProcessing第6章

自然語言處理2035陳勇斌

目錄CONTENTS6.16.26.36.4自然語言處理那些事自然語言處理概述語音識別自然語言理解6.506語音合成6.6擴展：機器翻譯6.6.1機器翻譯概述6.6.2神經(jīng)機器翻譯6.6.3編碼器-解碼器結(jié)構(gòu)6.6.1機器翻譯概述

機器翻譯，又稱為自動翻譯，是利用計算機把一種自然語言轉(zhuǎn)變?yōu)榱硪环N自然語言的過程，一般指自然語言之間句子和全文的翻譯。IBM英俄機器翻譯系統(tǒng)機器翻譯發(fā)展歷程6.6.2神經(jīng)機器翻譯

神經(jīng)機器翻譯是一種基于人工神經(jīng)網(wǎng)絡(luò)的機器翻譯技術(shù)。通常由編碼器和解碼器兩部分組成。翻譯時，首先通過編碼器將源語言句子編碼成實數(shù)向量，然后解碼器利用這個向量逐詞生成譯文。

6.6.2神經(jīng)機器翻譯

編碼器負(fù)責(zé)將源語言文本轉(zhuǎn)換為中間表示，捕捉文本的語義和句法信息。編碼器通常使用循環(huán)神經(jīng)網(wǎng)絡(luò)來逐詞地處理源語言句子，最終生成一個固定長度的向量表示，也稱為上下文向量或編碼器隱藏狀態(tài)。

6.6.2神經(jīng)機器翻譯

解碼器接收編碼器的上下文向量和一個起始符號，然后生成目標(biāo)語言翻譯的句子。解碼器也通常使用循環(huán)神經(jīng)網(wǎng)絡(luò)，它逐步生成目標(biāo)語言的單詞。在每個時間步驟上，解碼器會根據(jù)前一個單詞和當(dāng)前的隱藏狀態(tài)，預(yù)測下一個單詞。

6.6.2神經(jīng)機器翻譯

下面我們通過把前面的例子展開看一下神經(jīng)機器翻譯的工作過程

1.編碼過程（1）編碼器會順序處理源語言單詞，將每個單詞都表示成一個實數(shù)向量（灰色方框）。（2）運行循環(huán)神經(jīng)網(wǎng)絡(luò)（藍色方框代表一個時間步），在編碼下一個時間步狀態(tài)的時候，上一個時間步的隱藏狀態(tài)會作為歷史信息傳入循環(huán)神經(jīng)網(wǎng)絡(luò)，句子中每個位置的信息都被向后傳遞。1.編碼過程（3）最后一個時間步的隱藏狀態(tài)（白色方框）就包含了整個源語言句子的信息，也就得到了編碼器的編碼結(jié)果即源語言句子的“表示”。圖中的<eos>代表結(jié)束符號。（1）直接把源語言句子的“表示”作為輸入的隱藏層狀態(tài)，之后像編碼器一樣依次讀入目標(biāo)語言單詞，這是一個標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)的執(zhí)行過程。2.解碼過程（2）解碼器會有一個輸出層，根據(jù)當(dāng)前時間步的隱藏層狀態(tài)生成目標(biāo)語言單詞及其概率分布。圖中解碼器當(dāng)前時刻的輸出單詞與下一個時刻的輸入單詞是一樣的。2.解碼過程2.解碼過程

解碼器也是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，只不過它會從另外一種語言（源語言）獲得一些信息，具體來說，當(dāng)生成第一個單詞“I”時，解碼器利用了源語言句子表示（白色方框）和目標(biāo)語言的起始符號<sos>。在生成第二個單詞“am”時，解碼器利用了上一個時間步的隱藏狀態(tài)和已經(jīng)生成的“I”的信息。這個過程會循環(huán)執(zhí)行，直到生成完整的目標(biāo)語言句子。

6.6.3編碼器-解碼器結(jié)構(gòu)

編碼器-解碼器是深度學(xué)習(xí)中的經(jīng)典架構(gòu)，專為序列到序列任務(wù)設(shè)計，如機器翻譯、文本摘要和對話生成。

其核心思想通過兩個組件：編碼器和解碼器實現(xiàn)。

編碼器—解碼器結(jié)構(gòu)6.6.3編碼器-解碼器結(jié)構(gòu)（1）編碼器將輸入序列（如英文句子）壓縮為固定長度的語義向量，捕捉關(guān)鍵信息；（2）解碼器基于該向量逐步生成輸出序列（如中文翻譯）。

編碼器—解碼器結(jié)構(gòu)6.6.3編碼器-解碼器結(jié)構(gòu)

傳統(tǒng)編碼器—解碼器模型采用循環(huán)神經(jīng)網(wǎng)絡(luò)或長短期記憶網(wǎng)絡(luò)（LongShort-TermMemory，LSTM），編碼器逐詞處理輸入并更新隱藏狀態(tài)，最終狀態(tài)作為語義向量；解碼器則以該向量為初始狀態(tài)生成目標(biāo)序列。

由于傳統(tǒng)編碼器-解碼器模型無法捕捉輸入的每個單詞的上下文信息，計算效率較低，性能無法滿足需要。谷歌大腦（GoogleBrain）團隊提出了一種全新的編碼器-解碼器架構(gòu)：Transformer，通過引入自注意力機制，使得模型能夠并行處理輸入數(shù)據(jù)，提高了計算效率。6.6.3編碼器-解碼器結(jié)構(gòu)自Transformer出現(xiàn)以來，它在自然語言處理領(lǐng)域大放異彩，顯著提升了各類任務(wù)的性能表現(xiàn)。

緊接著，基于Transformer架構(gòu)的BERT、GPT等預(yù)訓(xùn)練模型如雨后春筍般涌現(xiàn)，在計算機視覺、語音識別等人工智能領(lǐng)域，取得了令人矚目的顯著成果。學(xué)習(xí)通討論：對比常見語言，比如英語、漢語，小語種的機器翻譯效果不好，原因是什么？主流語言（如漢語、英語）擁有海量的公開數(shù)據(jù)集，而小語種往往缺乏高質(zhì)量的標(biāo)注數(shù)據(jù)。模型學(xué)習(xí)依賴大量數(shù)據(jù)，得靠大量的數(shù)據(jù)來“喂飽”它