《智能控制》2023年5月第六章神經(jīng)元與神經(jīng)網(wǎng)絡主要內(nèi)容神經(jīng)網(wǎng)絡的基本概念6.16.26.3前饋神經(jīng)網(wǎng)絡反饋神經(jīng)網(wǎng)絡6.4模糊神經(jīng)網(wǎng)絡6.5深度學習課程內(nèi)容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)網(wǎng)絡的基本概念神經(jīng)元網(wǎng)絡的研究已有30多年的歷史：20世紀40年代初，心理學家Mcculloch和數(shù)學家Pitts提出了形式神經(jīng)元的數(shù)學模型，并研究了基于神經(jīng)元模型幾個基本元件互相連接的潛在功能。1958年，Rosenblatt首先引入了感知器（Perceptron）概念并提出了構造感知器的結構。1969年，Minsky和Papert對感知器為代表的網(wǎng)絡作了嚴格的數(shù)學分析，指出了幾個模型的局限性。由于結論相當悲觀，此后神經(jīng)網(wǎng)絡的研究在相當長時間內(nèi)發(fā)展緩慢。20世紀70年代，Grossberg根據(jù)生物學和生理學的證明，他提出具有新特征的幾種非線性動態(tài)系統(tǒng)的結構，使神經(jīng)元網(wǎng)絡的研究又有了突破性的進展。1986年，以Rumelthard和Mcclelland為首的PDP（ParalellDistributedProcessing）小組發(fā)表了一系列的研究結果和應用，神經(jīng)網(wǎng)絡的研究進入全盛時期。課程內(nèi)容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)網(wǎng)絡的重要特征和性質(zhì)非線性：神經(jīng)元網(wǎng)絡在理論上可以趨近任何非線性函數(shù)，人工神經(jīng)元網(wǎng)絡比其他方法建模更經(jīng)濟。平行分布處理：神經(jīng)元網(wǎng)絡具有高度平行的結構，比常規(guī)方法有更大程度的容錯能力。神經(jīng)元網(wǎng)絡的基本單元結構簡單，并行連接的處理速度很快。硬件實現(xiàn)：它不僅可以平行實現(xiàn)，而且許多制造廠家已經(jīng)用專用的VLSL硬件來制作神經(jīng)元網(wǎng)絡，網(wǎng)絡能實現(xiàn)的規(guī)模也明顯增大。學習和自適應性：利用系統(tǒng)過去的數(shù)據(jù)記錄，可對網(wǎng)絡進行訓練。受適當訓練的網(wǎng)絡有能力泛化，也即當輸入出現(xiàn)訓練中未提供的數(shù)據(jù)時，網(wǎng)絡也有能力進行辨識。神經(jīng)元網(wǎng)絡也可以在線訓練。數(shù)據(jù)融合：網(wǎng)絡可以同時對定性和定量的數(shù)據(jù)進行操作。在這方面，網(wǎng)絡正好是傳統(tǒng)工程系統(tǒng)（定量數(shù)據(jù)）和人工智能領域（符號數(shù)據(jù)）信息處理技術之間的橋梁。多變量系統(tǒng)：神經(jīng)元網(wǎng)絡自然地處理多輸入信號并具有多輸出，適合于多變量系統(tǒng)。課程內(nèi)容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)元網(wǎng)絡的基本結構圖6-1表示了在中央神經(jīng)系統(tǒng)中，典型神經(jīng)細胞的主要元件，包括：細胞體、軸突、樹突、突觸、膜電位。圖6-1神經(jīng)元的構造

圖6-2神經(jīng)元模型

課程內(nèi)容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)元網(wǎng)絡的模型圖6-3神經(jīng)元模型框圖從控制工程角度來看，為了采用控制領域中相同的符號和描述方法，可以把神經(jīng)元網(wǎng)絡改為圖6-3所示形式。該模型由三部分組成：加權的加法器線性動態(tài)單輸入單輸出（SISO）系統(tǒng)靜態(tài)非線性函數(shù)（1）可微和不可微（2）類脈沖和類階躍（3）正函數(shù)和零均函數(shù)課程內(nèi)容—神經(jīng)網(wǎng)絡的基本概念常用的非線性函數(shù)的數(shù)學表示及其形狀:課程內(nèi)容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)元的連結方式單層的靜態(tài)網(wǎng)絡：神經(jīng)元的結合可以按一組代數(shù)方程來描述：

多層神經(jīng)元網(wǎng)絡：

動態(tài)網(wǎng)絡：在網(wǎng)絡中引入反饋，動態(tài)方程可以表示為

課程內(nèi)容—前饋神經(jīng)網(wǎng)絡感知器感知器是美國心里學家Rosenblatt于1958年提出的，它是最基本的但具有學習功能的層狀結構（Layednetwork）。最初的感知器由三層即S（Sensory）層、A（Association）層和R（Response）層組成。圖6-4三層的感知器圖6-5三層的感知器S層和A層之間的耦合是固定的，只有A層和R層（即輸出層）只有一個輸出節(jié)點的感知器，它相當于單個神經(jīng)元，簡化為如圖6-5所示。Minsky和Papert曾對感知器的分類能力作了嚴格的評價，并指出了它的局限性，例如它連最常用的異或（XOR）邏輯運算都無法實現(xiàn)。課程內(nèi)容—前饋神經(jīng)網(wǎng)絡感知器感知器權值的學習是通過給定的導前信號（即希望輸出）按下式進行的

如果在感知器的A層和R層加上一層或多層隱單元，則構成的多層感知器具有很強的處理功能，事實上我們有以下的結論：定理6-1假定隱層的節(jié)點可以根據(jù)需要自由設置，那么三層（不包括S層）的閾值網(wǎng)絡可以實現(xiàn)任意的二值邏輯函數(shù)。課程內(nèi)容—前饋神經(jīng)網(wǎng)絡BP網(wǎng)絡BP網(wǎng)絡（BackPropagationNN）是一單向傳播的度層前向網(wǎng)絡，其結構如圖6-6所示。

圖6-6BP網(wǎng)絡

課程內(nèi)容—前饋神經(jīng)網(wǎng)絡GMDH網(wǎng)絡GMDH（TheGroupMethodofDataHandling）模型是由Ivakhnenko（1971）為預報海洋河流中的魚群而提出的模型。它成功地應用于非線性系統(tǒng)的建模和控制中，如超音速飛機的控制系統(tǒng)，電力系統(tǒng)的負荷預測等。又稱多項式網(wǎng)絡。圖6-7GDMH的典型網(wǎng)絡結構圖6-8GMDH網(wǎng)絡的處理單元圖6-7所示的是一典型的GDMH網(wǎng)絡，它由4個輸入和單輸出構成。輸入層節(jié)點只是傳遞輸入信號到中間隱層的節(jié)點，每一隱層節(jié)點和輸出節(jié)點正好有兩個輸入，因此單輸出節(jié)點的前一層肯定只有兩個隱層節(jié)點。

課程內(nèi)容—前饋神經(jīng)網(wǎng)絡RBF網(wǎng)絡RBF（RadialBasisFunctiion）網(wǎng)絡由三層組成，其結構如圖6-10所示：圖6-10RBF網(wǎng)絡輸入層節(jié)點：傳遞輸入信號到隱層隱層節(jié)點（RBF節(jié)點）：由輻射狀作用函數(shù)構成，最常用的時高斯核函數(shù)輸出層節(jié)點：隱層節(jié)點輸出的線性組合

與BP網(wǎng)絡的區(qū)別：作用函數(shù)不同課程內(nèi)容—反饋神經(jīng)網(wǎng)絡CG網(wǎng)絡模型在反饋網(wǎng)絡中，輸入信號決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過一系列狀態(tài)轉(zhuǎn)移后，逐漸收斂于平衡狀態(tài)。這樣的平衡狀態(tài)就是反饋網(wǎng)絡經(jīng)計算后的輸出結果，由此可見，穩(wěn)定性是反饋網(wǎng)絡中最重要的問題之一。Cohen和Grossberg提出的反饋網(wǎng)絡模型可用下述一組非線性微分方程描述

關于CG網(wǎng)絡模型的穩(wěn)定性，我們有以下的結果：

定理6-4的證明可通過Lyapunov函數(shù)來完成。課程內(nèi)容—反饋神經(jīng)網(wǎng)絡盒中腦（BSB）模型BSB(Brain-State-in-a-Box)模型由下列離散方程描述對應的連續(xù)時間模型為

定義

課程內(nèi)容—反饋神經(jīng)網(wǎng)絡Hopfield網(wǎng)絡模型Hopfield提出的網(wǎng)絡模型可用下列非線性微分方程描述，上述模型還可用一電路來表示（如圖6-12所示）

圖6-12Hopfield電路

定義Hopfield網(wǎng)絡的能量函數(shù)為

（6-24）（6-25）課程內(nèi)容—反饋神經(jīng)網(wǎng)絡Hopfield網(wǎng)絡模型

對于理想放大器，等式（6-25）可簡化為

或?qū)仁?6-24)的連續(xù)時間的Hopfield網(wǎng)絡模型，離散的的Hopfield網(wǎng)絡模型描述如下：

（6-30）對于網(wǎng)絡的每個節(jié)點課程內(nèi)容—反饋神經(jīng)網(wǎng)絡回歸BP網(wǎng)絡回歸BP網(wǎng)絡可由非線性動態(tài)方程描述

（6-33）

網(wǎng)絡的權矩陣可通過一輔助網(wǎng)絡來修正，即

（6-39）課程內(nèi)容—反饋神經(jīng)網(wǎng)絡Boltzmann網(wǎng)絡G.E.Hinton和T.J.Sejnowski借助統(tǒng)計物理學的方法，對具有對稱權矩陣的隨機網(wǎng)絡引進了一般的學習方法。由于這種隨機網(wǎng)絡的狀態(tài)服從于統(tǒng)計學的Boltzmann分布，故被稱為Boltzmann機。

（6-40）網(wǎng)絡由可見單元和隱單元構成，每個單元只取兩種狀態(tài)：+1和-1。輸出值取+1的概率：輸出值取-1的概率：

（6-41）

課程內(nèi)容—反饋神經(jīng)網(wǎng)絡Boltzmann網(wǎng)絡

（6-41）

采用梯度下降法得

權值修正方程為

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡模糊神經(jīng)網(wǎng)絡將模糊邏輯與神經(jīng)網(wǎng)絡適當?shù)亟Y合起來，吸取兩者的長處，則可組成比單獨的神經(jīng)網(wǎng)絡系統(tǒng)或單獨的模糊系統(tǒng)性能更好的系統(tǒng)。神經(jīng)網(wǎng)絡模糊邏輯模糊神經(jīng)網(wǎng)絡不適于表達基于規(guī)則的知識訓練時不能很好地利用經(jīng)驗知識適合于表達模糊或定性的知識缺乏自學習和自適應能力課程內(nèi)容—模糊神經(jīng)網(wǎng)絡基于標準模型的模糊神經(jīng)網(wǎng)絡一種是模糊規(guī)則的后件為輸出量的某一模糊集合，如NB，PB等。另一種是模糊規(guī)則的后件為輸入語言變量的函數(shù)。圖6-13基于標準模型的模糊系統(tǒng)原理結構圖由于該方法是Takagi和Sugeno首先提出來的，因此通常稱它為模糊系統(tǒng)的Takagi-Sugeno模型。模糊模型的表示主要有兩種：模糊系統(tǒng)的標準模型

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡

輸出量總的模糊集合為

若采用加權平均的清晰化方法，則可求得輸出的清晰化量為

其中課程內(nèi)容—模糊神經(jīng)網(wǎng)絡圖6-14基于標準模型的模糊神經(jīng)網(wǎng)絡結構模糊神經(jīng)網(wǎng)絡結構如圖6-14所示模糊神經(jīng)網(wǎng)絡的結構

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡學習算法

圖6-15單個神經(jīng)元結點的基本結構課程內(nèi)容—模糊神經(jīng)網(wǎng)絡下面具體給出它的每一層的結點函數(shù)：第一層第二層第三層第四層第五層或者設取誤差代價函數(shù)為

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡

最后可給出參數(shù)調(diào)整的學習算法

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡例6-1設有如下的二維非線性函數(shù)

圖6-17模糊神經(jīng)網(wǎng)絡的誤差學習曲線圖6-18模糊神經(jīng)網(wǎng)絡輸入輸出的三維圖形課程內(nèi)容—模糊神經(jīng)網(wǎng)絡基于Takagi-Sugenno模型的模糊神經(jīng)網(wǎng)絡Takagi-Sugenno模型

模糊系統(tǒng)的輸出量為每條規(guī)則的輸出量的加權平均，即

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡模糊神經(jīng)網(wǎng)絡的結構該網(wǎng)絡由前件網(wǎng)絡和后件網(wǎng)絡兩部分組成，前件網(wǎng)絡用來匹配模糊規(guī)則的前件，后件網(wǎng)絡用來產(chǎn)生模糊規(guī)則的后件，如圖6-18所示。圖6-18基于Takagi-Sugeno模型的模糊神經(jīng)網(wǎng)絡結構

課程內(nèi)容—模糊神經(jīng)網(wǎng)絡學習算法

圖6-18基于Takagi-Sugeno模型的模糊神經(jīng)網(wǎng)絡簡化結構課程內(nèi)容—模糊神經(jīng)網(wǎng)絡

課程內(nèi)容—深度學習深度學習源于人工神經(jīng)網(wǎng)絡的研究1943年，心理學家WarrenMcculloch和數(shù)理邏輯學家WalterPitts在合作的論文中提出并給出了人工神經(jīng)網(wǎng)絡的概念及人工神神經(jīng)元的數(shù)學模型，從而開創(chuàng)了人類神經(jīng)網(wǎng)絡研究的時代。1957年，F(xiàn)rankRosenblatt在NewYorkTimes上發(fā)表文章“Electronic‘Brain’TeachesItself”，首次提出感知機（Perceptron）。1982年，美國加州理工學院的物理學家JamesL.McCelland研究小組發(fā)表的《并行分布處理》，重新激起了人們對ANN的研究興趣。文中對反向傳播算法進行了詳盡的分析。2006年，加拿大多倫多大學教授GeoffreyHinton在世界頂級學術期刊“Science”上發(fā)表的一篇論文提出了深度學習以及深度神經(jīng)網(wǎng)絡模型訓練方法的改進，打破了BP神經(jīng)網(wǎng)絡發(fā)展的瓶頸，揭開了深度學習的序幕?！n程內(nèi)容—深度學習深度學習基本概念機器學習（MachineLearning）監(jiān)督學習：分類，針對已有的訓練樣本；無監(jiān)督學習：沒有任何訓練樣本，需要直接對數(shù)據(jù)進行建模；半監(jiān)督學習：訓練的時候有一部分是有標簽的而有一部分是沒有的；強化學習：試錯學習，智能體要以不斷與環(huán)境進行交互，通過試錯來獲得最佳策略。表示學習（RepresentationLearning）表示學習希望能從數(shù)據(jù)中自動地學到從數(shù)據(jù)的原始形式到數(shù)據(jù)的表示之間的映射深度學習（DeepLearning）通過組合低層特征形成更加抽象的高層表示屬性類別或特征課程內(nèi)容—深度學習深度神經(jīng)網(wǎng)絡（DeepNeuralNetworks，DNN）深度神經(jīng)網(wǎng)絡目前的成功取決于三大推動因素，包括大數(shù)據(jù)、計算能力和算法創(chuàng)新。激活函數(shù)（Activationfunctions）是神經(jīng)網(wǎng)絡能解決非線性問題關鍵，具有代表性的激活函數(shù)有許多，如Sigmoid激活函數(shù)，tanh激活函數(shù)，ReLU激活函數(shù)等。遷移學習（transferlearning）和多任務學習（multi-tasklearning）旨在利用源任務數(shù)據(jù)輔助目標任務數(shù)據(jù)下的學習。遷移學習適用于源任務數(shù)據(jù)比目標任務數(shù)據(jù)多，并且源任務中學習得到的低層特征可以幫助目標任務的學習的情形。端到端學習（End-to-endLearning）旨在通過一個深度神經(jīng)網(wǎng)絡直接學習從數(shù)據(jù)的原始形式到數(shù)據(jù)的標記的映射。課程內(nèi)容—深度學習深度學習基本模型圖6-23DBN網(wǎng)絡結構受限玻爾茲曼機是一種可通過輸入數(shù)據(jù)集學習概率分布的隨機生成神經(jīng)網(wǎng)絡。RBM最初由發(fā)明者保羅·斯模棱斯基（PaulSmolensky）于1986年命名為簧風琴（Harmonium），但直到杰弗里·辛頓及其合作者發(fā)明快速學習算法后，受限玻爾茲曼機才變得知名。深度置信網(wǎng)絡（DBN）基于RBM的DBN由多個RBM堆疊而成，其結構如圖6-23所示。網(wǎng)絡訓練過程中分為兩個階段：預訓練(Pretraining)和微調(diào)(Finetuning)：預訓練階段：從低層