深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)實戰(zhàn)深度學(xué)習(xí)模型訓(xùn)練項目目標(biāo)（1）熟悉循環(huán)神經(jīng)網(wǎng)絡(luò)的常見類型。（2）了解循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)。（3）掌握SimpleRNN的搭建方法。（4）掌握循環(huán)神經(jīng)網(wǎng)絡(luò)的構(gòu)建與訓(xùn)練方法。（5）能夠基于時序數(shù)據(jù)的預(yù)測案例搭建循環(huán)神經(jīng)網(wǎng)絡(luò)。項目描述循環(huán)神經(jīng)網(wǎng)絡(luò)是一類處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，它可以對任意長度的序列數(shù)據(jù)進(jìn)行建模。而原始的神經(jīng)網(wǎng)絡(luò)如全連接神經(jīng)網(wǎng)絡(luò)，要求輸入數(shù)據(jù)的長度是固定、已知的，因此其無法像循環(huán)神經(jīng)網(wǎng)絡(luò)一樣靈活地處理序列數(shù)據(jù)的模型。循環(huán)神經(jīng)網(wǎng)絡(luò)的常見類型循環(huán)神經(jīng)網(wǎng)絡(luò)具有短期記憶能力。長短期記憶網(wǎng)絡(luò)LSTM門控循環(huán)單元GRU長短期記憶網(wǎng)絡(luò)的長期與短期記憶能力并存，在自然語言處理中使用較廣泛。門控循環(huán)單元是在長短期記憶網(wǎng)絡(luò)LSTM上進(jìn)行簡化得到的。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)RNN是一個非常經(jīng)典的面向序列的模型，可以對自然語言句子或是其它時序信號進(jìn)行建模，其網(wǎng)絡(luò)結(jié)構(gòu)如圖所示：圖中的V,W,U都是網(wǎng)絡(luò)中需要被訓(xùn)練的參數(shù)，對參數(shù)進(jìn)行隨機(jī)初始化后，需要依賴反向傳播算法來不斷更新這些參數(shù)，得到我們最終的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

2循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

2循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

3簡單循環(huán)神經(jīng)網(wǎng)絡(luò)——SimpleRNN

PaddlePaddle中提供一種構(gòu)建簡單循環(huán)神經(jīng)網(wǎng)絡(luò)的方法——SimpleRNN，SimpleRNN可以根據(jù)輸入序列和給定的初始狀態(tài)，計算并返回輸出序列和最終狀態(tài)。在該網(wǎng)絡(luò)中，每一層對應(yīng)時間步輸入的數(shù)據(jù)，每個時間步根據(jù)當(dāng)前時刻輸入Xt和上一時刻的狀態(tài)值ht-1，計算當(dāng)前時刻的輸出（記為yt）并更新狀態(tài)值ht。循環(huán)神經(jīng)網(wǎng)絡(luò)的構(gòu)建與訓(xùn)練方法設(shè)定均方誤差函數(shù)，并設(shè)置Adam優(yōu)化器。在訓(xùn)練過程中繪制擬合結(jié)果和預(yù)測結(jié)果。將數(shù)據(jù)修改為時序數(shù)據(jù)。引入SimpleRNN，將模型修改為循環(huán)神經(jīng)網(wǎng)絡(luò)。重復(fù)預(yù)測下一時間步的數(shù)據(jù)，并整合下一時間段的預(yù)測結(jié)果。數(shù)據(jù)準(zhǔn)備模型設(shè)計訓(xùn)練配置模型訓(xùn)練模型應(yīng)用通過循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測時序數(shù)據(jù)實施思路訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)模型應(yīng)用循環(huán)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)模型配置循環(huán)神經(jīng)網(wǎng)絡(luò)參數(shù)數(shù)據(jù)準(zhǔn)備導(dǎo)入項目所需庫設(shè)計循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)123456知識拓展

從循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中可以發(fā)現(xiàn)，如果去掉t時刻前的輸出，只保留最終的輸出Ot，那么循環(huán)神經(jīng)網(wǎng)絡(luò)就可以用于分類任務(wù)，示例任務(wù)如下。●圖像分類任務(wù)，將圖像按像素展開成一組序列數(shù)據(jù)，最終輸