循環(huán)神經(jīng)網(wǎng)絡(luò)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025參考資料《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》第6章網(wǎng)絡(luò)資料AnIntroductiontoRecurrentNeural

Networks/explore-artificial-intelligence/an-introduction-to-recurrent-neural-networks-72c97bf0912RecurrentNeural

Networks/recurrent-neural-networks-d4642c9bc7ce前饋網(wǎng)絡(luò)連接存在層與層之間，每層的節(jié)點(diǎn)之間是無(wú)連接的。（無(wú)循環(huán)）輸入和輸出的維數(shù)都是固定的，不能任意改變。無(wú)法處理變長(zhǎng)的序列數(shù)據(jù)。前饋網(wǎng)絡(luò)假設(shè)每次輸入都是獨(dú)立的，也就是說(shuō)每次網(wǎng)絡(luò)的輸出只依賴(lài)于當(dāng)前的輸入。有限狀態(tài)自動(dòng)機(jī)（FiniteAutomata）如何用FNN去模擬一個(gè)有限狀態(tài)自動(dòng)機(jī)？圖靈機(jī)一種抽象數(shù)學(xué)模型，可以用來(lái)模擬任何可計(jì)算問(wèn)題?？捎?jì)算問(wèn)題可計(jì)算問(wèn)題函數(shù)

有限狀態(tài)機(jī)圖靈機(jī)前饋網(wǎng)絡(luò)需要記憶能力通用近似定理如何給網(wǎng)絡(luò)增加記憶能力？延時(shí)神經(jīng)網(wǎng)絡(luò)（TimeDelayNeuralNetwork，TDNN）建立一個(gè)額外的延時(shí)單元，用來(lái)存儲(chǔ)網(wǎng)絡(luò)的歷史信息（可以包括輸入、輸出、隱狀態(tài)等）這樣，前饋網(wǎng)絡(luò)就具有了短期記憶的能力。如何給網(wǎng)絡(luò)增加記憶能力？/publication/12314435_Neural_system_identification_model_of_human_sound_localization如何給網(wǎng)絡(luò)增加記憶能力？

非線性自回歸模型/publication/234052442_Braking_torque_control_using_reccurent_neural_networks循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）循環(huán)神經(jīng)網(wǎng)絡(luò)通過(guò)使用帶自反饋的神經(jīng)元，能夠處理任意長(zhǎng)度的時(shí)序數(shù)據(jù)。循環(huán)神經(jīng)網(wǎng)絡(luò)比前饋神經(jīng)網(wǎng)絡(luò)更加符合生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。循環(huán)神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用在語(yǔ)音識(shí)別、語(yǔ)言模型以及自然語(yǔ)言生成等任務(wù)上活性值狀態(tài)按時(shí)間展開(kāi)簡(jiǎn)單循環(huán)網(wǎng)絡(luò)（SimpleRecurrentNetwork，SRN）狀態(tài)更新：一個(gè)完全連接的循環(huán)網(wǎng)絡(luò)是任何非線性動(dòng)力系統(tǒng)的近似器。圖靈完備圖靈完備（TuringCompleteness）是指一種數(shù)據(jù)操作規(guī)則，比如一種計(jì)算機(jī)編程語(yǔ)言，可以實(shí)現(xiàn)圖靈機(jī)的所有功能，解決所有的可計(jì)算問(wèn)題。一個(gè)完全連接的循環(huán)神經(jīng)網(wǎng)絡(luò)可以近似解決所有的可計(jì)算問(wèn)題。循環(huán)神經(jīng)網(wǎng)絡(luò)作用輸入-輸出映射機(jī)器學(xué)習(xí)模型（本節(jié)主要關(guān)注這種情況）存儲(chǔ)器聯(lián)想記憶模型應(yīng)用到機(jī)器學(xué)習(xí)應(yīng)用到機(jī)器學(xué)習(xí)序列到類(lèi)別同步的序列到序列模式異步的序列到序列模式應(yīng)用到機(jī)器學(xué)習(xí)序列到類(lèi)別序列到類(lèi)別情感分類(lèi)…我覺(jué)太得好了正面中性負(fù)面帶著愉悅的心情看了這部電影這部電影太糟了這部電影很棒Positive(正面)Negative(負(fù)面)Positive(正面)…應(yīng)用到機(jī)器學(xué)習(xí)同步的序列到序列模式同步的序列到序列模式中文分詞他說(shuō)實(shí)的在理確SSESBEB同步的序列到序列模式信息抽取(InformationExtraction，IE)從無(wú)結(jié)構(gòu)的文本中抽取結(jié)構(gòu)化的信息，形成知識(shí)小米創(chuàng)始人雷軍表示，該公司2015年?duì)I收達(dá)到780億元人民幣，較2014年的743億元人民幣增長(zhǎng)了5%。同步的序列到序列模式ConnectionistTemporalClassification

(CTC)[AlexGraves,ICML’06][AlexGraves,ICML’14][Ha?imSak,Interspeech’15][JieLi,Interspeech’15][AndrewSenior,ASRU’15]好φφ棒φφφφ好φφ棒φ棒φφ“好棒”“好棒棒”語(yǔ)音識(shí)別應(yīng)用到機(jī)器學(xué)習(xí)異步的序列到序列模式learning異步的序列到序列模式機(jī)器翻譯machine機(jī)習(xí)器學(xué)。參數(shù)學(xué)習(xí)機(jī)器學(xué)習(xí)給定一個(gè)訓(xùn)練樣本(x,y)，其中x=(x1,…,xT)為長(zhǎng)度是T的輸入序列，y=(y1,…,yT)是長(zhǎng)度為T(mén)的標(biāo)簽序列。時(shí)刻t的瞬時(shí)損失函數(shù)為總損失函數(shù)梯度隨時(shí)間反向傳播算法

δt,k為第t時(shí)刻的損失對(duì)第k步隱藏神經(jīng)元的凈輸入zk的導(dǎo)數(shù)梯度消失/爆炸梯度其中由于梯度爆炸或消失問(wèn)題，實(shí)際上只能學(xué)習(xí)到短周期的依賴(lài)關(guān)系。這就是所謂的長(zhǎng)程依賴(lài)問(wèn)題。

長(zhǎng)程依賴(lài)問(wèn)題循環(huán)神經(jīng)網(wǎng)絡(luò)在時(shí)間維度上非常深！梯度消失或梯度爆炸如何改進(jìn)？梯度爆炸問(wèn)題權(quán)重衰減梯度截?cái)嗵荻认?wèn)題改進(jìn)模型長(zhǎng)程依賴(lài)問(wèn)題改進(jìn)方法循環(huán)邊改為線性依賴(lài)關(guān)系增加非線性殘差網(wǎng)絡(luò)？長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LongShort-TermMemory,LSTM）LSTM的各種變體沒(méi)有遺忘門(mén)耦合輸入門(mén)和遺忘門(mén)peephole連接GatedRecurrentUnit,GRU更新門(mén)重置門(mén)深層模型堆疊循環(huán)神經(jīng)網(wǎng)絡(luò)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)擴(kuò)展到圖結(jié)構(gòu)擴(kuò)展到圖結(jié)構(gòu)序列循環(huán)神經(jīng)網(wǎng)絡(luò)樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)圖圖網(wǎng)絡(luò)樹(shù)結(jié)構(gòu)程序語(yǔ)言的句法結(jié)構(gòu)樹(shù)結(jié)構(gòu)自然語(yǔ)言的句法結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)

RecursiveNeuralNetwork遞歸神經(jīng)網(wǎng)絡(luò)實(shí)在一個(gè)有向圖無(wú)循環(huán)圖上共享一個(gè)組合函數(shù)遞歸神經(jīng)網(wǎng)絡(luò)退化為循環(huán)神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)給定一個(gè)語(yǔ)法樹(shù)，p2

→ap1,p1

→bc.圖網(wǎng)絡(luò)在實(shí)際應(yīng)用中，很多數(shù)據(jù)是圖結(jié)構(gòu)的，比如知識(shí)圖譜、社交網(wǎng)絡(luò)、分子網(wǎng)絡(luò)等。而前饋網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)很難處理圖結(jié)構(gòu)的數(shù)據(jù)。圖數(shù)據(jù)/pdf/1806.01261.pdf圖網(wǎng)絡(luò)/pdf/1806.01261.pdf圖網(wǎng)絡(luò)/pdf/1806.01261.pdf圖網(wǎng)絡(luò)對(duì)于一個(gè)任意的圖結(jié)構(gòu)G(V,E)更新函數(shù)讀出函數(shù)循環(huán)網(wǎng)絡(luò)應(yīng)用語(yǔ)言模型

N元語(yǔ)言模型語(yǔ)言模型生成LINUX內(nèi)核代碼作詞機(jī)RNN在“學(xué)習(xí)”過(guò)汪峰全部作品后自動(dòng)生成的歌詞/phunterlau/wangfeng-rnn我在這里中的夜里就像一場(chǎng)是一種生命的意旪就像我的生活變得在我一樣可我們這是一個(gè)知道我只是一天你會(huì)怎嗎可我們這是我們的是不要為你我們想這有一種生活的時(shí)候作詩(shī)傳統(tǒng)統(tǒng)計(jì)機(jī)器翻譯

基于序列到序列的機(jī)器翻譯一個(gè)RNN用來(lái)編碼另一個(gè)RNN用來(lái)解碼看圖說(shuō)話看圖說(shuō)話

DemoWebsiteVQA:Givenanimageandanaturallanguagequestionabouttheimage,thetaskistoprovideanaccuratenaturallanguageanswerVisualQuestionAnswering(VQA)Picturefrom(Antoletal.,2015)寫(xiě)字把一個(gè)字母的書(shū)寫(xiě)軌跡看作是一連串的點(diǎn)。一個(gè)字母的“寫(xiě)法”其實(shí)是每一個(gè)點(diǎn)相對(duì)于前一個(gè)點(diǎn)的偏移量，記為(offsetx,offsety)。再增加一維取