Algorithm第4章

算法2035主講：王紅梅4.14.24.34.4算法那些事算法概述搜索算法機(jī)器學(xué)習(xí)目錄CONTENTS4.5神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)擴(kuò)展：循環(huán)神經(jīng)網(wǎng)絡(luò)*4.64.6.1循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)4.6.2簡單循環(huán)神經(jīng)網(wǎng)絡(luò)示例4.6.3循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用模式4.6.4深度循環(huán)神經(jīng)網(wǎng)絡(luò)

之前我們講到的神經(jīng)網(wǎng)絡(luò)都屬于前饋神經(jīng)網(wǎng)絡(luò)。在前饋神經(jīng)網(wǎng)絡(luò)里，信息的傳遞就是一條單行道，只能從輸入層一路跑到輸出層。輸出只與當(dāng)前時刻的輸入有關(guān)，與之前的輸出無關(guān)。4.6.1循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸入層中間層（隱藏層）輸出層輸入數(shù)據(jù)

對數(shù)據(jù)進(jìn)行加工

輸出數(shù)據(jù)但是在很多現(xiàn)實(shí)任務(wù)中，網(wǎng)絡(luò)的輸出不僅和當(dāng)前時刻的輸入相關(guān)，也和其過去一段時間的輸出相關(guān)。比如玩“猜數(shù)字”游戲。

當(dāng)處理這一類數(shù)據(jù)前后相關(guān)的問題時，就需要一種具有記憶能力的模型。4.6.1循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)游戲開始你目前還剩6次機(jī)會！請輸入你猜的數(shù)字：56猜大了?。∧隳壳斑€剩5次機(jī)會！請輸入你猜的數(shù)字：45猜小了??！你目前還剩4次機(jī)會！請輸入你猜的數(shù)字：51你猜對了嗎？猜數(shù)字游戲循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)t時刻隱藏層狀態(tài)t-1時刻隱藏層狀態(tài)4.6.1循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸入層隱藏層輸出層xtht延遲器htht-1

循環(huán)神經(jīng)網(wǎng)絡(luò)是一類具有記憶能力的神經(jīng)網(wǎng)絡(luò)。除了由輸入層、隱藏層和輸出層三部分組成之外，其獨(dú)特之處在于隱藏層之間存在連接，使得隱藏層不僅能夠接收輸入層的信息，還能接收上一時刻隱藏層自身的輸出信息，讓信息可以在時間序列上進(jìn)行傳遞和處理。

對于循環(huán)神經(jīng)網(wǎng)絡(luò)，一個非常重要的概念是時刻。循環(huán)神經(jīng)網(wǎng)絡(luò)隱藏層的輸入除了來自輸入層xt，還有一個來自于延遲器提供的前一時刻的隱藏層狀態(tài)ht-1

?？梢园磿r間把循環(huán)神經(jīng)網(wǎng)絡(luò)展開：4.6.1循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)4.6.2

簡單循環(huán)神經(jīng)網(wǎng)絡(luò)示例

圖（b）是一個單輸入、單輸出循環(huán)神經(jīng)網(wǎng)絡(luò)，隱藏層包含兩個神經(jīng)元H1、H2。

隱藏層之前添加了兩個神經(jīng)元H1’、H2’用于表示上一個時刻隱藏層對當(dāng)前隱藏層的輸入。注意：圖中所有數(shù)字都是假設(shè)的這里的字母X,H,Y大寫代表神經(jīng)元，小寫x，h，y代表狀態(tài)或數(shù)值4.6.2

簡單循環(huán)神經(jīng)網(wǎng)絡(luò)示例0.10010.10.30.5（a）t1時刻假設(shè)t1時刻的輸入x1=1，我們算一下該時刻循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出。t1時刻屬于初始時刻，于是我們指定之前的隱藏層狀態(tài)為[0.0,0.0]，與t1時刻的輸入拼接起來得到[1.0,0.0,0.0]為了計算隱藏層狀態(tài)，假設(shè)H1輸入連接權(quán)重如圖所示。于是H1隱藏狀態(tài)為：

h1=1.0*0.1+0.0*0.3+0.0*0.5=0.1輸入層隱藏層輸出層X1H1H1\‘H2’H2Y這里的字母X,H,Y大寫代表神經(jīng)元，小寫x，h，y代表狀態(tài)或數(shù)值4.6.2

簡單循環(huán)神經(jīng)網(wǎng)絡(luò)示例0.50.20.10010.10.30.50.40.61.02.00.2（a）t1時刻為了計算隱藏層狀態(tài)，假設(shè)H2的輸入連接權(quán)重如圖所示。于是H2隱藏狀態(tài)為：

h2=1.0*0.2+0.0*0.4+0.0*0.6=0.2假設(shè)輸出神經(jīng)元Y的輸入連接權(quán)重如圖所示。最終，t1時刻神經(jīng)網(wǎng)絡(luò)的輸出為：

y=0.1*1.0+0.2*2.0=0.5輸入層隱藏層輸出層X1H1H1’H2’H2Y這里的字母X,H,Y大寫代表神經(jīng)元，小寫x，h，y代表狀態(tài)或數(shù)值4.6.2

簡單循環(huán)神經(jīng)網(wǎng)絡(luò)示例0.230.20.110.10.30.5（a）t2時刻假設(shè)t2時刻的輸入仍為x1=1，我們再算一下該時刻神經(jīng)網(wǎng)絡(luò)的輸出。前面已經(jīng)算出t1時刻隱藏層的狀態(tài)為[0.1,0.2]，與t2時刻的輸入拼接起來得到[1.0,0.1,0.2]為了計算隱藏層狀態(tài)，H1輸入連接權(quán)重保持不變。于是H1隱藏狀態(tài)為：

h1=1.0*0.1+0.1*0.3+0.2*0.5=0.23輸入層隱藏層輸出層X1H1H1’H2’H2Y這里的字母X,H,Y大寫代表神經(jīng)元，小寫x，h，y代表狀態(tài)或數(shù)值4.6.2

簡單循環(huán)神經(jīng)網(wǎng)絡(luò)示例0.950.360.230.20.110.10.30.50.40.61.02.00.2（a）t2時刻為了計算隱藏層狀態(tài)，H2輸入連接權(quán)重保持不變。于是H2隱藏狀態(tài)為：

h2=1.0*0.2+0.1*0.4+0.2*0.6=0.36輸出神經(jīng)元Y輸入連接權(quán)重如圖所示。最終，t2時刻神經(jīng)網(wǎng)絡(luò)的輸出為：

y=0.23*1.0+0.36*2.0=0.95輸入層隱藏層輸出層顯然，盡管t0與t1時刻輸入相同，但結(jié)果卻不相同。X1H1H1’H2’H2Y這里的字母X,H,Y大寫代表神經(jīng)元，小寫x，h，y代表狀態(tài)或數(shù)值0.950.360.230.20.110.10.30.50.40.61.02.00.2（a）t2時刻輸入層隱藏層輸出層X1H1H1’H2’H2Y下一個時刻t3，H1’和H2’的值是多少？4.6.2

簡單循環(huán)神經(jīng)網(wǎng)絡(luò)示例作為與循環(huán)神經(jīng)網(wǎng)絡(luò)的對比，我們分別計算t1、t2兩個時刻圖（a）所示的非循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出。

假設(shè)t1時刻的輸入x1=1，t2時刻的輸入仍為x1=1，計算結(jié)果應(yīng)該是一樣的。有興趣的同學(xué)，可以自己算一算。這里的字母X,H,Y大寫代表神經(jīng)元，小寫x，h，y代表狀態(tài)或數(shù)值4.6.3

循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用模式

循環(huán)神經(jīng)網(wǎng)絡(luò)可以應(yīng)用到很多不同類型的機(jī)器學(xué)習(xí)任務(wù)。根據(jù)這些任務(wù)的特點(diǎn)可以分為以下幾種模式：序列到類別模式、同步的序列到序列模式、異步的序列到序列模式。1.序列到類別模式

該模式主要用于序列數(shù)據(jù)的分類問題：輸入為序列，輸出為類別，比如文本分類。

將樣本按不同時刻輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，得到不同時刻的隱藏狀態(tài)??1,?,??t。可以將??t

看作整個序列的最終表示（或特征），并輸入給分類器進(jìn)行分類，得到一個類別標(biāo)簽y。1.序列到類別模式情感類別判定2.同步序列到序列模式

該模式主要用于序列標(biāo)注任務(wù)，即每一時刻都有輸入和輸出，輸入和輸出序列的長度相同。比如自然語言處理中的詞性標(biāo)注任務(wù)。

該模式每個時刻的隱狀態(tài)ht代表了當(dāng)前時刻和歷史的信息，并輸入給分類器得到當(dāng)前時刻的標(biāo)簽yt。2.同步序列到序列模式詞性標(biāo)注我愛購物3.異步序列到序列模式

該模式也稱為編碼器-解碼器（Encoder-Decoder）模型，即輸入序列和輸出序列不需要有嚴(yán)格的對應(yīng)關(guān)系，也不需要保持相同的長度。比如在機(jī)器翻譯中，輸入為源語言的單詞序列，輸出為目標(biāo)語言的單詞序列。3.異步序列到序列模式機(jī)器翻譯4.6.4

深度循環(huán)神經(jīng)網(wǎng)絡(luò)傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)通常僅包含一個隱藏層。這種單一隱藏層的結(jié)構(gòu)限制了網(wǎng)絡(luò)在處理復(fù)雜數(shù)據(jù)時的能力。為了克服這一局限，研究者們提出了深度循環(huán)神經(jīng)網(wǎng)絡(luò)（DeepRecurrentNeuralNetwork，DRNN）的概念。4.6.4

深度循環(huán)神經(jīng)網(wǎng)絡(luò)深度循環(huán)神經(jīng)網(wǎng)絡(luò)的核心思想是通過增加隱藏層的數(shù)量來擴(kuò)展網(wǎng)絡(luò)的能力，使其能夠?qū)W習(xí)并表示更加復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。

在深度循環(huán)神經(jīng)網(wǎng)絡(luò)中，每一層隱藏層都扮演著不同的角色，通過層與層之間的信息傳遞和轉(zhuǎn)換，網(wǎng)絡(luò)能夠捕捉到數(shù)據(jù)中更加細(xì)