人工神經(jīng)網(wǎng)絡(luò)設(shè)計07回聲狀態(tài)網(wǎng)絡(luò)目錄回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)和工作原理01020304回聲狀態(tài)網(wǎng)絡(luò)的學習過程回聲狀態(tài)網(wǎng)絡(luò)的設(shè)計回聲狀態(tài)網(wǎng)絡(luò)的應(yīng)用實例01回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)和工作原理ESN是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)，主要有輸入層、隱含層（或稱為儲備池層）和輸出層，如圖7-1所示。

回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)輸入層：輸入層是網(wǎng)絡(luò)接收外部信息的入口，負責將輸入信號傳遞給儲備池層。輸入信號通常被編碼為向量，并通過輸入權(quán)值與儲備池層相連，且輸入權(quán)值在網(wǎng)絡(luò)初始化后保持不變。儲備池層：儲備池層是ESN的核心組成部分，具有以下特點：隨機稀疏連接、權(quán)值不變性、高維狀態(tài)空間映射、非線性特性、短期記憶能力、回聲狀態(tài)屬性。圖7-1ESN的結(jié)構(gòu)3隨機稀疏連接:儲備池層由大量神經(jīng)元組成，神經(jīng)元之間的連接是隨機且稀疏的，這不僅可以豐富網(wǎng)絡(luò)的動態(tài)特性，還能降低計算成本。權(quán)值不變性：儲備池內(nèi)部權(quán)值一經(jīng)初始化便固定不變，這種設(shè)計顯著簡化了訓練過程。高維狀態(tài)空間映射：儲備池層通過將低維的輸入信號映射到高維狀態(tài)空間，使得網(wǎng)絡(luò)能夠有效地捕獲輸入信號中復雜的動態(tài)特性。非線性特性：儲備池層中的神經(jīng)元通常使用非線性激活函數(shù)，如tanh或Sigmoid，增強了網(wǎng)絡(luò)捕捉數(shù)據(jù)中非線性特征的能力。

回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)01回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)和工作原理4短期記憶能力：儲備池層通過遞歸連接的神經(jīng)元持續(xù)更新內(nèi)部狀態(tài)，遞歸連接允許信息在神經(jīng)元之間“回蕩”，從而實現(xiàn)對輸入信號的短期記憶?；芈暊顟B(tài)屬性：回聲狀態(tài)屬性(EchoStateProperty,ESP)是確保ESN穩(wěn)定的關(guān)鍵特性。ESP的實現(xiàn)通常與儲備池內(nèi)部權(quán)值矩陣的譜半徑有關(guān)。當譜半徑小于1時，儲備池的響應(yīng)不會隨著時間的推移而逐漸發(fā)散。ESP的存在意味著儲備池可以對輸入信號做出豐富的動態(tài)響應(yīng)，但同時其內(nèi)部狀態(tài)不會失控。

回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)01回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)和工作原理圖7-2tanh和Sigmoid激活函數(shù)的圖像5

回聲狀態(tài)網(wǎng)絡(luò)的工作原理1.輸入層的信號接收

輸入信號進入ESN后，立即被輸入層接收，準備進行下一步處理。2.儲備池層的動態(tài)狀態(tài)更新

儲備池層接收來自輸入層的信號，并通過輸入權(quán)值將這些信號傳遞給內(nèi)部神經(jīng)元。儲備池狀態(tài)

根據(jù)當前時刻的輸入信號

和上一時刻的儲備池狀態(tài)

進行狀態(tài)更新。更新過程通過非線性激活函數(shù)

（常用tanh激活函數(shù)）實現(xiàn)，確保了網(wǎng)絡(luò)能夠捕捉和處理輸入信號的復雜動態(tài)特性。儲備池狀態(tài)更新方程如下01回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)和工作原理(7-3)6

回聲狀態(tài)網(wǎng)絡(luò)的工作原理3.

輸出層的信號生成

在ESN中，輸出信號的生成融合了儲備池狀態(tài)和輸入信號。這種融合策略使得網(wǎng)絡(luò)能夠同時考慮歷史狀態(tài)和當前輸入，以生成更為精準的輸出。

例7-1假設(shè)輸入信號為[7,8,9]，儲備池規(guī)模為3，隨機初始化的輸入權(quán)值和儲備池內(nèi)部權(quán)值為01回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)和工作原理(7-4)7

回聲狀態(tài)網(wǎng)絡(luò)的工作原理訓練后得到的輸出權(quán)值為儲備池的初始狀態(tài)為基于上述設(shè)置計算時間步長為3時的ESN網(wǎng)絡(luò)輸出。

解：首先，根據(jù)當前時刻的輸入信號和上一時刻的儲備池狀態(tài)依次計算儲備池狀態(tài)

：01回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)和工作原理8

回聲狀態(tài)網(wǎng)絡(luò)的工作原理

當時間步長

時

代入假設(shè)得

當時間步長

時01回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)和工作原理(7-5)(7-6)(7-7)9

回聲狀態(tài)網(wǎng)絡(luò)的工作原理

同理，可得

時的儲備池狀態(tài)

最后將時間步長為3時的儲備池狀態(tài)和輸入信號合并，然后通過輸出權(quán)值進行線性變換得到時間步長為3時的網(wǎng)絡(luò)

即01回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)和工作原理(7-8)(7-9)(7-10)10（1）輸入權(quán)值和儲備池內(nèi)部權(quán)值的隨機生成儲備池內(nèi)部權(quán)值矩陣的譜半徑對于ESP至關(guān)重要。當譜半徑大于1時，網(wǎng)絡(luò)可能會無限放大歷史輸入的影響，進而引發(fā)動態(tài)不穩(wěn)定。當譜半徑小于1時，網(wǎng)絡(luò)能夠有效平衡新舊輸入信號的影響，避免對歷史輸入的過度依賴，確保網(wǎng)絡(luò)的穩(wěn)定性。下面給出了ESN滿足ESP的充分條件以及證明過程。

ESN的學習過程02回聲狀態(tài)網(wǎng)絡(luò)的學習過程(7-11)(7-12)(7-13)11

定理7-1

假設(shè)f是tanh激活函數(shù)，當儲備池內(nèi)部權(quán)值W的最大奇異值小于1時，即

，則ESN具有ESP。

證明：假設(shè)ESN中有兩個不同的儲備池狀態(tài)

和

，并假設(shè)

，對于相同的輸入信號

，根據(jù)式(7-3)可得

ESN的學習過程02回聲狀態(tài)網(wǎng)絡(luò)的學習過程(7-14)12式中，

表示

范數(shù)。根據(jù)范數(shù)相容性得

從而有

因此，當儲備池內(nèi)部權(quán)值W滿足

時，ESN具有ESP。

綜上可知，ESP與儲備池內(nèi)部權(quán)值W密切相關(guān)。定理7-1是ESN滿足ESP的充分條件。但是因為這個條件較為嚴格，所以在實際應(yīng)用中常常不被采用。而為了便于應(yīng)用，只需要滿足ESN的必要條件：儲備池內(nèi)部權(quán)重的譜半徑小于1，即

。

ESN的學習過程02回聲狀態(tài)網(wǎng)絡(luò)的學習過程(7-15)(7-16)13（2）輸出權(quán)值的確定在ESN的訓練過程中，輸出權(quán)值可以通過最小化預測輸出和期望輸出之間誤差來進行調(diào)整。這通常通過線性回歸算法完成，其中儲備池狀態(tài)矩陣X不僅包含了在一系列時間步上的儲備池狀態(tài)，還融合了輸入信號。

ESN的學習過程02回聲狀態(tài)網(wǎng)絡(luò)的學習過程(7-17)(7-18)(7-19)14

然而，過大的儲備池規(guī)模容易產(chǎn)生過擬合問題，從而降低網(wǎng)絡(luò)的性能。為了解決這個問題，可在式(7-17)中加入

正則化項，如下所示：

式(7-20)可以通過嶺回歸算法求得，即：

ESN的學習過程02回聲狀態(tài)網(wǎng)絡(luò)的學習過程(7-20)(7-21)15優(yōu)良的計算效率：由于輸入權(quán)值和儲備池內(nèi)部權(quán)值在網(wǎng)絡(luò)初始化后保持固定，ESN無須使用復雜的反向傳播算法來調(diào)整這些權(quán)值。這一設(shè)計大大減少了訓練時間和計算成本。強大的動態(tài)捕捉能力：隨機生成的輸入權(quán)值和儲備池內(nèi)部權(quán)值賦予了網(wǎng)絡(luò)豐富的動態(tài)影響能力，使得ESN能夠精確地捕獲時間序列數(shù)據(jù)中的復雜非線性模式。良好的泛化能力：簡化的訓練過程和隨機權(quán)值的引入有助于ESN在新數(shù)據(jù)上保持較好的泛化性能，避免過擬合。易于實現(xiàn)和調(diào)整：ESN的訓練過程主要涉及線性回歸算法來求解輸出權(quán)值，這使得ESN的實現(xiàn)更加直觀和容易調(diào)整，適合應(yīng)用于各種問題場景。

ESN學習過程所具有的網(wǎng)絡(luò)特點02回聲狀態(tài)網(wǎng)絡(luò)的學習過程16強適應(yīng)性：由于儲備池層能夠存儲豐富的歷史信息，ESN能夠適應(yīng)各種時間序列數(shù)據(jù)的特性，尤其是在處理非平穩(wěn)和長期依賴關(guān)系時表現(xiàn)出色。良好的魯棒性：固定的儲備池內(nèi)部權(quán)值減少了對特定訓練數(shù)據(jù)的依賴性，使得ESN在應(yīng)對噪聲和異常值時表現(xiàn)出更高的魯棒性。

ESN學習過程所具有的網(wǎng)絡(luò)特點02回聲狀態(tài)網(wǎng)絡(luò)的學習過程17權(quán)值初始化階段：隨機生成輸入權(quán)值和儲備池內(nèi)部權(quán)值。儲備池狀態(tài)更新階段：儲備池狀態(tài)根據(jù)當前時刻的輸入信號和上一時刻的儲備池狀態(tài)，通過非線性激活函數(shù)進行狀態(tài)更新。輸出權(quán)值計算階段：結(jié)合得到的儲備池狀態(tài)和輸入信號計算輸出權(quán)重。

ESN學習過程步驟02回聲狀態(tài)網(wǎng)絡(luò)的學習過程18當設(shè)計ESN時，采用一種系統(tǒng)化的方法是至關(guān)重要的。這種方法不僅有助于保證模型的高效性，而且能夠確保其在特定任務(wù)中達到預期的表現(xiàn)。為了實現(xiàn)這一目標，我們需要遵循一系列詳細步驟，這些步驟將引導我們從設(shè)計過程的啟動到最終的完成，系統(tǒng)地設(shè)計和優(yōu)化ESN。

回聲狀態(tài)網(wǎng)絡(luò)的設(shè)計過程圖7-3

ESN設(shè)計過程流程圖03回聲狀態(tài)網(wǎng)絡(luò)的設(shè)計19

增長型回聲狀態(tài)網(wǎng)絡(luò)圖7-4

GESN的結(jié)構(gòu)03回聲狀態(tài)網(wǎng)絡(luò)的設(shè)計Qiao等人提出了一種創(chuàng)新的網(wǎng)絡(luò)設(shè)計方法——增長型回聲狀態(tài)網(wǎng)絡(luò)(GrowingESN，GESN)。GESN的核心優(yōu)勢在于其能夠自動調(diào)整拓撲結(jié)構(gòu)，以適應(yīng)不同的數(shù)據(jù)特性和應(yīng)用需求。此外，還能顯著提高訓練效率，使得GESN在多種任務(wù)中都能展現(xiàn)出卓越的性能。20

增長型回聲狀態(tài)網(wǎng)絡(luò)03回聲狀態(tài)網(wǎng)絡(luò)的設(shè)計1.奇異值分解

矩陣的奇異值分解（SingularValueDecomposition,SVD）是指，將一個非零的

實矩陣W，表示為以下三個實矩陣乘積形式的運算，即進行矩陣的因子分解

(7-22)式中，(7-23)(7-24)(7-25)(7-26)(7-27)21

增長型回聲狀態(tài)網(wǎng)絡(luò)03回聲狀態(tài)網(wǎng)絡(luò)的設(shè)計2.GESN的儲備池內(nèi)部權(quán)值

首先，隨機生成一個對角矩陣

，其對角線上的元素（即奇異值）在

范圍內(nèi)。同時生成兩個正交矩陣

和

，其元素值在

范圍內(nèi)。利用SVD計算子儲備池權(quán)值矩陣

，公式為

。由于

和

是正交矩陣，

是對角矩陣，所以

和

具有相同的奇異值，且這些奇異值都小于1，這保證了子儲備池權(quán)重矩陣的穩(wěn)定性。

在網(wǎng)絡(luò)增長過程中，如果需要添加另一個子儲備池，可以類似地生成另一個對角矩陣

和對應(yīng)的正交矩陣

和

，然后計算新的子儲備池權(quán)值矩陣

。22

增長型回聲狀態(tài)網(wǎng)絡(luò)03回聲狀態(tài)網(wǎng)絡(luò)的設(shè)計3.GESN

步驟1：初始化子儲備池的數(shù)量

，瞬態(tài)時間

，狀態(tài)矩陣

和期望輸出矩陣

。步驟2：增加子儲備池的數(shù)量

。根據(jù)均勻分布，生成對角矩陣

，正交矩陣

和

，其中

和

。然后，我們有第k個子儲備池權(quán)重矩陣

。步驟3：根據(jù)任意連續(xù)概率分布隨機生成輸入權(quán)重矩陣

。步驟4：從任意內(nèi)部狀態(tài)

開始，使用式(7-28)和訓練輸入

運行第k個子儲備池，然后收集內(nèi)部狀態(tài)

，其中

。定義第k個子儲備池的23

增長型回聲狀態(tài)網(wǎng)絡(luò)03回聲狀態(tài)網(wǎng)絡(luò)的設(shè)計

狀態(tài)矩陣為

。

(7-28)

步驟5：如果

，則使用式(7-29)計算輸出權(quán)值

(7-29)

否則(7-30)(7-31)(7-32)24

增長型回聲狀態(tài)網(wǎng)絡(luò)03回聲狀態(tài)網(wǎng)絡(luò)的設(shè)計

步驟6：使用式(7-33)計算訓練誤差

(7-33)

步驟7：如果滿足停止條件，轉(zhuǎn)到步驟9；否則，轉(zhuǎn)到步驟8。

步驟8：通過式(7-34)和式(7-35)更新權(quán)值矩陣和內(nèi)部狀態(tài)矩陣，然后轉(zhuǎn)到步驟2。

如果

(7-34)

否則(7-35)

步驟9：計算測試誤差。

25

數(shù)據(jù)集04回聲狀態(tài)網(wǎng)絡(luò)的應(yīng)用實例Lorenz混沌時間序列

NARMA時間序列太陽黑子時間序列圖7-5Lorenz混沌時間序列、NARMA時間序列和太陽黑子時間序列26

參數(shù)設(shè)置

本節(jié)涉及在所有數(shù)據(jù)集上ESN的參數(shù)設(shè)置，見表7-1，包括儲備池規(guī)模、稀疏度、正則化系數(shù)、譜半徑、輸入縮放因子和清洗數(shù)量。

04回聲狀態(tài)網(wǎng)絡(luò)的應(yīng)用實例27

性能指標評估

根據(jù)任務(wù)類型（如回歸和分類等），選擇適當?shù)男阅苤笜?。對于時間序列預測，常用的指標包括均方誤差（MeanSquaredError,MSE）、均方根誤差（RootMeanSquaredError,RMSE）、平均絕對誤差（MeanAbsoluteError,MAE）和平均絕對百分比誤差（MeanAbsolutPercentageError,MAPE）。

04回聲狀態(tài)網(wǎng)絡(luò)的應(yīng)用實例(7-38)(7-39)