1、回聲狀態(tài)網絡Echo State Network,第八組,第一章：緒論,人工神經網絡（Artificial Neural Network）是由大量處理單元互聯組成的非線性、自適應信息處理系統 。 人工神經網絡按照性能分為兩類： （1）靜態(tài)神經網絡 Static Neural Network （2）動態(tài)神經網絡 Recurrent Neural Network 其中，動態(tài)神經網絡又稱為遞歸神經網絡,（1）靜態(tài)神經網絡,靜態(tài)神經網絡由靜態(tài)神經元組成 ，如下圖：,其中，x1，x2，xn為神經元輸入，1，2， n 為相應的權值，i表示神經元的閩值，()是神經元的響應函數 。,（1）靜態(tài)神經網絡,上述靜

2、態(tài)神經網絡的數學關系式滿足：,常規(guī)的前向神經網絡、RBF神經網絡、Chbeyshve神經網絡等都屬于靜態(tài)神經網絡。,（2）動態(tài)神經網絡,動態(tài)神經網絡，又稱遞歸神經網絡，由動態(tài)神經元組成，是針對動態(tài)系統辨識研究中發(fā)展出來的一種神經網絡。 結構如圖所示：,（2）動態(tài)神經網絡,輸入輸出關系滿足：,Hopfied網絡、Elman網絡、狀態(tài)空間網絡是應用較為廣泛的動態(tài)神經網絡。網絡內部存在帶延遲因子的反饋連接，可以更好的反映動態(tài)系統的特性和演化行為。 其中，回聲狀態(tài)網絡（Echo state network ESN）是一種新型的遞歸神經網絡，回聲狀態(tài)網絡在非線性系統辨識方面較傳統的遞歸神經網絡由較大的改

3、進。,（3）小結：兩種網絡對比,靜態(tài)網絡數學表達式： 動態(tài)網絡數學表達式：,對比表達式，我們可以看出：動態(tài)網絡內部存在帶延遲因子的反饋連接，可以更好的反映動態(tài)系統的特性和演化行為 。而靜態(tài)網絡沒有這種能力。,第二章：回聲狀態(tài)網絡,回聲狀態(tài)狀態(tài)網絡作為一種新型的遞歸神經網絡，無論是建模還是學習算法，都已經與傳統的遞歸神經網絡差別很大。 ESN網絡特點： （1） 它的核心結構是一個隨機生成、且保持不 變的儲備池（Reservoir） （2）其輸出權值是唯一需要調整的部分 （3）簡單的線性回歸就可完成網絡的訓練,（1）ESN 直觀印象,（2）ESN的結構和運行機理,ESN網絡的核心結構是一個“儲備池

4、”。所謂的儲備池就是隨機生成的、大規(guī)模的、稀疏連接（SD通常保持1%5%連接 ）的遞歸結構。 注：SD是儲備池中相互連接的神經元占總的神經元N的百分比,（2）ESN的結構和運行機理,從結構上講，ESN是一種特殊類型的遞歸神經網絡，其基本思想:使用大規(guī)模隨機連接的遞歸網絡，取代經典神經網絡中的中間層，從而簡化網絡的訓練過程。 基于圖2.1的結構，我們假設系統具有M個輸入單元，N個內部處理單元（Processing Elements，PE），即N個內部神經元，同時具有L個輸出單元。,（2）ESN的結構和運行機理,那么輸入單元u（n）內部狀態(tài)x（n）以及輸出單元y（n）在n時刻值分別為：,（2）ES

5、N的結構和運行機理,則回聲狀態(tài)網絡狀態(tài)方程為：,（2）ESN的結構和運行機理,（3）ESN的儲備池,雖然有大量的研究是關于如何獲得與具體問題相關的“好”的儲備池，但是并沒有形成一個系統的方法，多數研究是從實驗的角度進行的。這也是目前ESN方法遇到的最大的挑戰(zhàn)。 ESN的最終性能是由儲備池的各個參數決定的，下面首先簡要介紹儲備池的四個關鍵參數。,（3）ESN的儲備池重要參數簡介,（3.1）儲備池內部連接權譜半徑SR （3.2）儲備池規(guī)模N （3.3）儲備池輸入單元尺度IS （3.4）儲備池稀疏程度SD,（3.1）儲備池重要參數SD和N,（3.2）儲備池重要參數SR,（3.2）儲備池重要參數SR,

6、我們確保上式子成立的目的：確保網絡穩(wěn)定。 因為只有上式子成立，才能確保網絡狀態(tài)和輸入對網絡的影響在經過足夠長的時間后會消失。,（3.3）儲備池重要參數IS,（3.3）儲備池重要參數IS,關于IS的規(guī)則： 如果需要處理的任務的非線性越強，那么輸人單元尺度越大。 該原則的本質是通過輸入單元尺度IS，將輸入變換到神經元激活函數funtion相應的范圍。 注：神經元激活函數的不同輸入范圍，其非線性程度不同。,（4）ESN的儲備池的建立,（4）ESN的儲備池的建立,（5）ESN網絡的訓練,ESN的訓練過程就是根據給定的訓練樣本確定系數輸出連接權矩陣Wout的過程。 為了簡單起見，這里假定Wback為0，

7、同時輸入到輸出以及輸出到輸出連接權也假定為0，回聲狀態(tài)網絡的訓練過程可以分為兩個階段：采樣階段和權值計算階段。,（5）ESN網絡的訓練,采樣階段,（5）ESN網絡的訓練,權值計算階段,（5）ESN網絡的訓練,權值計算階段,第三章 回聲狀態(tài)網絡的應用,回聲狀態(tài)網絡主要應用領域： 時序預測（time series prediction） 逆模式（inverse modeling） 時序分類（on time clasification） 非線性控制（nonliner control） 圖像處理（Image Processing ） 本章中我們著重介紹回聲狀態(tài)網絡在圖像邊 緣檢測中的應用。,基于ESN

8、和統計向量的邊緣檢測,實驗過程：,基于ESN和統計向量的邊緣檢測,基于ESN和統計向量的邊緣檢測,基于ESN和統計向量的邊緣檢測,實驗結果,基于ESN和統計向量的邊緣檢測,基于ESN和統計向量的邊緣檢測,基于ESN和統計向量的邊緣檢測,本實驗結論： 本章介紹了一種新的回聲狀態(tài)網絡及其學習方法，構造了描述邊緣點的特征向量并將其作為神經網絡的輸入，然后對神經網絡進行訓練，回聲狀態(tài)網絡的收斂速度明顯優(yōu)于BP神經網絡。將訓練好的網絡直接用于圖像邊緣檢測。該方法無需確定閾值，在特征的選取上充分考慮了邊緣和噪聲的本質區(qū)別，具有優(yōu)異的抗噪性能。,第四章 ESO的推廣和優(yōu)化,從上面的介紹，我們可以看出，ESN

9、有很大規(guī)模的內部神經元。這使得： （1）ESN有良好的短期記憶能力，在混沌時間序列的預測任務中比傳統的神經網絡優(yōu)良700倍。 （2）大規(guī)模的內部神經元也導致整個神經網絡的訓練樣本非常多，使得訓練困難，預測階段因為網絡巨大而引入不確定因素。,4.1 PSO算法,PSO（particle swarm optimization），是一種新興的隨機全局優(yōu)化技術，它在ANN的訓練中效果理想。 本章中，我們將PSO算法和ESN相結合，提出了PSO-ESN結構，在此結構中，將傳統的ESN中通過求逆訓練輸出權重的方法替代為：利用PSO算法優(yōu)化輸出網絡權值。 實驗證明：PSO-ESN能在訓練樣本比較少的情況下提

10、高預測精度。,4.2 PSO算法簡介,4.2 PSO算法簡介,4.2 PSO算法具體描述,4.2 PSO算法流程,給定訓練數據集，并作規(guī)范化處理，初始化ESN，獲得狀態(tài)矩陣B和教師信號T； 根據輸出權重Wout，初始化粒子的個數和位置 ； 根據粒子位置x和B、T，由BWout求出實際輸出層數據，并與T比較求出誤差函數；,4.2 PSO算法流程,根據誤差函數，評價每個粒子的使適應度；根據式子（5）和（6），更新每個粒子的位置x和飛行速度V。檢驗速度是否越界，若是，調整速度為算法規(guī)定的最大值； 達到最大次數或誤差達到設定值時候，學習過程結束，否則返回繼續(xù)迭代。,4.3 小結,本章提出了一種基于PSO的回聲狀態(tài)網訓練方法，與傳統方