-9-溫度預(yù)測(cè)的LSTM神經(jīng)網(wǎng)絡(luò)模型分析概述（一）LSTM神經(jīng)網(wǎng)絡(luò)的算法結(jié)構(gòu)在1997年，SeppHochreiter和JurgenSchmidhuber最先提出長(zhǎng)短期記憶(LSTM)模型。LSTM（long-short-termmemory)是一種建立在RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）上的一種新型深度機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，在疾病預(yù)測(cè)、圖像分析、音樂(lè)合成等方面得到了廣泛應(yīng)用。每個(gè)神經(jīng)元上有三個(gè)門，即輸入門、遺忘門和輸出門。當(dāng)遺忘門打開(kāi)時(shí)，它自己的連接的權(quán)重為1，存儲(chǔ)單元將內(nèi)容寫(xiě)入自身；當(dāng)遺忘門輸出為0時(shí)，存儲(chǔ)單元將刪除先前的內(nèi)容；輸出門允許網(wǎng)絡(luò)的其余部分以輸出值1進(jìn)入存儲(chǔ)單元，而輸入門允許網(wǎng)絡(luò)的其余部分以輸出值1讀取存儲(chǔ)單元REF_Ref12839\r\h[19]。LSTM神經(jīng)網(wǎng)絡(luò)模型具體結(jié)構(gòu)如下:圖9LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Cell是用于記錄神經(jīng)元的狀態(tài)。輸入門和輸出門用于接收、輸出參數(shù)和修改參數(shù)。遺忘門是用于糾正參數(shù)。在該模型中，對(duì)于每個(gè)記憶單元，通過(guò)輸入訓(xùn)練得到三組權(quán)值。激活函數(shù)通常是一個(gè)S型函數(shù)。以前向傳播為例，給出每個(gè)部分的公式：InputGate：（4.1）（4.2）ForgetGate:（4.3）（4.4）OutputGate:（4.5）（4.6）Cell:（4.7）（4.8）CellOutput:（4.9）所有帶的權(quán)重矩陣只是代表一種泛指，是為L(zhǎng)STM神經(jīng)網(wǎng)絡(luò)模型的各種變換做準(zhǔn)備，表示任意一條從上一時(shí)刻指向當(dāng)前時(shí)刻的邊。代表匯集計(jì)算結(jié)果，代表激活計(jì)算結(jié)果，代表輸入數(shù)據(jù)與輸入門之間的權(quán)重矩陣，代表上一時(shí)刻Cell狀態(tài)與輸入門之間的權(quán)重矩陣，代表輸入數(shù)據(jù)與遺忘門之間的權(quán)重矩陣，代表上一時(shí)刻Cell狀態(tài)與遺忘門之間的權(quán)重矩陣，代表輸入數(shù)據(jù)與輸出門之間的權(quán)重矩陣，代表Cell狀態(tài)與輸出門之間的權(quán)重矩陣，代表輸入層原有的權(quán)重矩陣。（二）基于LSTM神經(jīng)網(wǎng)絡(luò)的溫度建模1.LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)我們使用湖南省邵陽(yáng)市2011年1月1日到2020年12月31日的日平均氣溫?cái)?shù)據(jù)，預(yù)測(cè)2021年前3個(gè)月的日平均氣溫?cái)?shù)據(jù)。由于數(shù)據(jù)的缺失、每年總天數(shù)不完全一致，我們將2011年到2020年的每年前350個(gè)數(shù)據(jù)（共3500個(gè)數(shù)據(jù)）作為訓(xùn)練集，將2021年前90天的數(shù)據(jù)作為測(cè)試集。（1）輸入輸出的門設(shè)計(jì)和BP神經(jīng)網(wǎng)絡(luò)一樣，我們將2011年至2019年的前350天日均值溫度指標(biāo)作為訓(xùn)練輸入，將2020年的前350天日均值溫度指標(biāo)作為訓(xùn)練輸出；將2012年至2020年的前90天日均值溫度指標(biāo)作為測(cè)試輸入，將2021年前90天的日均值溫度指標(biāo)作為測(cè)試輸出。輸入層有9個(gè)input，輸出層就是預(yù)測(cè)一個(gè)值。隱層設(shè)計(jì)一般而言，隱藏節(jié)點(diǎn)越多，模型的擬合效果越好。但是隱藏節(jié)點(diǎn)過(guò)大，又會(huì)產(chǎn)生過(guò)擬合的問(wèn)題；隱藏節(jié)點(diǎn)太小，又會(huì)造成擬合效果不好。我們?cè)诖四Ｐ椭羞€是參照了第三章中的公式13，最終將隱藏節(jié)點(diǎn)確定為14。模型的實(shí)現(xiàn)將訓(xùn)練樣本數(shù)據(jù)歸一化后輸入網(wǎng)絡(luò)。將網(wǎng)絡(luò)性能函數(shù)設(shè)置為MSE，初始設(shè)置隱含層神經(jīng)元數(shù)為14，網(wǎng)絡(luò)迭代次數(shù)設(shè)置為1000次，學(xué)習(xí)率LR為0.01。設(shè)置好參數(shù)后，對(duì)LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練（具體的MATLAB運(yùn)行代碼見(jiàn)附錄）。網(wǎng)絡(luò)訓(xùn)練完成后，只需要將2012年至2020年的前90天日均值溫度指標(biāo)輸入網(wǎng)絡(luò)，就可以得到預(yù)測(cè)的2021年的前90天的日均值溫度數(shù)據(jù)。最后，將2021年前90天日均值溫度的預(yù)測(cè)值與真實(shí)值相比較，進(jìn)而計(jì)算均方誤差MSE、均方根誤差RMSE。2.誤差分析隱藏節(jié)點(diǎn)數(shù)為14時(shí)的誤差結(jié)果如下：訓(xùn)練集的均方根誤差RMSE為5.9249；預(yù)測(cè)集的均方根誤差RMSE為8.6417。表42021年邵陽(yáng)市日均值溫度的預(yù)測(cè)誤差預(yù)測(cè)值2真實(shí)值誤差214.6237410.623715.665687.665617.16845.511.668416.93767.59.437616.93394.512.433918.38681.516.886817.4922-118.492210.50431.59.00434.47103.50.97102.74173.5-0.75835.81244.51.3124圖10LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練集擬合結(jié)果圖11LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練集誤差圖12LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)集擬合結(jié)果圖13LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)集誤差我們可以看到，相比較BP神經(jīng)網(wǎng)絡(luò)，LSTM神經(jīng)網(wǎng)絡(luò)的擬合效果要差些，雖然對(duì)預(yù)測(cè)