神經(jīng)網(wǎng)絡(luò)控制大全第1頁/共68頁人工神經(jīng)元網(wǎng)絡(luò)模型與控制引言前向神經(jīng)網(wǎng)絡(luò)模型動態(tài)神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)PID控制小結(jié)第2頁/共68頁第一節(jié)引言

模糊控制解決了人類語言的描述和推理問題，為模擬人腦的感知推理等智能行為邁了一大步。但是在數(shù)據(jù)處理、自學(xué)習(xí)能力方面還有很大的差距。人工神經(jīng)網(wǎng)絡(luò)就是模擬人腦細(xì)胞的分布式工作特點和自組織功能實現(xiàn)并行處理、自學(xué)習(xí)和非線性映射等能力。1943年，心理學(xué)家McCmloch和數(shù)學(xué)家Pitts合作提出里神經(jīng)元數(shù)學(xué)模型（MP）；1944年，Hebb提出的改變神經(jīng)元連接強(qiáng)度的Hebb規(guī)則；1957年，Rosenblatt引進(jìn)感知概念；1976年，Grossberg基于生理和心理學(xué)的經(jīng)驗，提出了自適應(yīng)共振理論；1982年，美國加州工學(xué)院物理學(xué)家Hopfield提出了HNN模型；1986年，Rummelhart等PDF研究小組提出了多層前向傳播網(wǎng)絡(luò)的BP學(xué)習(xí)算法。研究神經(jīng)元網(wǎng)絡(luò)系統(tǒng)主要有三個方面的內(nèi)容：神經(jīng)元模型、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法。從神經(jīng)元模型來分有：線性處理單元、非線性處理單元；從網(wǎng)絡(luò)結(jié)構(gòu)來分有：前向網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)和自組織網(wǎng)絡(luò)。第3頁/共68頁神經(jīng)元網(wǎng)絡(luò)的特點：1）非線性2）分布處理3）學(xué)習(xí)并行和自適應(yīng)4）數(shù)據(jù)融合5）適用于多變量系統(tǒng)6）便于硬件實現(xiàn)第4頁/共68頁人工神經(jīng)網(wǎng)絡(luò)前向網(wǎng)絡(luò)反饋網(wǎng)絡(luò)自組織網(wǎng)絡(luò)CMACMLPHopfieldRNNKohonenARTBoltzmanMachine圖4-1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分類示意圖第5頁/共68頁

人腦大約包含1012個神經(jīng)元，分成約1000種類型，每個神經(jīng)元大約與102～104個其他神經(jīng)元相連接，形成極為錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。每個神經(jīng)元雖然都十分簡單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式。同時，如此大量的神經(jīng)元與外部感受器之間的多種多樣的連接方式也蘊(yùn)含了變化莫測的反應(yīng)方式。一、神經(jīng)元模型第6頁/共68頁第7頁/共68頁

從生物控制論的觀點來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：

時空整合功能興奮與抑制狀態(tài)脈沖與電位轉(zhuǎn)換神經(jīng)纖維傳導(dǎo)速度突觸延時和不應(yīng)期學(xué)習(xí)、遺忘和疲勞第8頁/共68頁圖4-2神經(jīng)元結(jié)構(gòu)模型X1X2XnWi1Wi2WinUiyiSi神經(jīng)元是生物神經(jīng)系統(tǒng)的基本單元。神經(jīng)元模型是生物神經(jīng)元的抽象和模擬。神經(jīng)元一般是多輸入-三輸出的非線性器件。第9頁/共68頁圖中為神經(jīng)元內(nèi)部狀態(tài)；為閥值；為輸入信號，j=1，2，3,…….n;表示從單元到單元的連接系數(shù)，為外部輸入信號。圖4-2神經(jīng)元結(jié)構(gòu)模型X1X2XnWi1Wi2WinUiyiSi第10頁/共68頁假如，即，常用的神經(jīng)元非線性特性有四種：（1）、閥值型（2）、分段線性型（3）、Sigmoid函數(shù)型第11頁/共68頁（4）、Tan函數(shù)型二、神經(jīng)網(wǎng)絡(luò)的模型分類（1）、神經(jīng)元層次模型——研究由單個神經(jīng)元的動態(tài)特性和自適應(yīng)特性；（2）、組合式模型——由幾種互相補(bǔ)充、互相協(xié)作的神經(jīng)元組成，完成特定的任務(wù)；（3）、網(wǎng)絡(luò)層次模型——由眾多相同的神經(jīng)元相互連接而成的網(wǎng)絡(luò)，研究神經(jīng)網(wǎng)絡(luò)的整體性能；（4）、神經(jīng)系統(tǒng)層次模型——一般有多個神經(jīng)網(wǎng)絡(luò)構(gòu)成，以模擬生物神經(jīng)系統(tǒng)更復(fù)雜、更抽象的特性。典型的神經(jīng)網(wǎng)絡(luò)有：BP網(wǎng)、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART自適應(yīng)共振理論、BAM雙向聯(lián)想記憶、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等等第12頁/共68頁根據(jù)聯(lián)結(jié)方式分：（1）、前向網(wǎng)絡(luò)——神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每層只能夠接受前一層神經(jīng)元的輸入。（2）、反饋網(wǎng)絡(luò)——在輸入層到輸出層存在反饋。（3）、相互結(jié)合型網(wǎng)絡(luò)——相互結(jié)合網(wǎng)絡(luò)屬于網(wǎng)絡(luò)結(jié)構(gòu)。任意兩個神經(jīng)元之間可能有連接。（4）、混合型網(wǎng)絡(luò)——層次形型網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)的一種結(jié)合?！斎胼敵鲚斎胼敵?a)(b)(c)(d)第13頁/共68頁三、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法學(xué)習(xí)的實質(zhì)就是針對一組給定輸入Xp使網(wǎng)絡(luò)產(chǎn)生相應(yīng)的期望的輸出的過程。網(wǎng)絡(luò)學(xué)習(xí)分兩大類：1、有導(dǎo)師學(xué)習(xí)——存在一個期望的網(wǎng)絡(luò)輸出。期望輸出和實際輸出之間的距離作為誤差度量并用于調(diào)整權(quán)值。2、無導(dǎo)師學(xué)習(xí)——沒有直接的誤差信息，需要建立一個間接的評價函數(shù)，以對網(wǎng)絡(luò)的某種行為進(jìn)行評價。學(xué)習(xí)規(guī)則根據(jù)連接權(quán)系數(shù)的改變方式分：（1）、相關(guān)學(xué)習(xí)——根據(jù)連接之間的激活水平改變權(quán)系數(shù)。（2）、糾錯學(xué)習(xí)——依賴關(guān)于輸出節(jié)點的外部反饋改變權(quán)系數(shù)。（3）、無導(dǎo)師學(xué)習(xí)——學(xué)習(xí)表現(xiàn)為自動實現(xiàn)輸入空間的檢測和分類。第14頁/共68頁第二節(jié)前向神經(jīng)網(wǎng)絡(luò)模型

前向神經(jīng)網(wǎng)絡(luò)是由一層或者多層非線性處理單元組成的。相鄰層之間通過突觸權(quán)連接起來。由于前一層的輸出作為下一層的輸入，因此，稱此類網(wǎng)絡(luò)結(jié)構(gòu)為前向神經(jīng)網(wǎng)絡(luò)。一、單一人工神經(jīng)元1X1X2Xny圖4-11單一人工神經(jīng)元示意圖第15頁/共68頁圖4-12只含二次項的神經(jīng)元結(jié)構(gòu)示意圖第16頁/共68頁二、單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2-13單層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖三、多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(a)第17頁/共68頁(b)圖4-14多層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖(a)含一個隱含層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖(b)含L+1個隱含層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖第18頁/共68頁四、多層傳播網(wǎng)絡(luò)學(xué)習(xí)算法前向傳播網(wǎng)絡(luò)實質(zhì)上表示的是一種從輸入空間輸出空間的映射。網(wǎng)絡(luò)的訓(xùn)練實質(zhì)上是對突觸權(quán)陣的調(diào)整，以滿足當(dāng)輸入為Xp時其輸出應(yīng)為Tp.對于一組給定的權(quán)系數(shù)，網(wǎng)絡(luò)對當(dāng)前輸入Xp的響應(yīng)為：突觸權(quán)系數(shù)的調(diào)整是通過對樣本p=1，2，3，…….,N的誤差指標(biāo)達(dá)到極小的方法來實現(xiàn)的。對于N個樣本集，性能指標(biāo)為：對于具有n0個輸出的單元網(wǎng)絡(luò)，每一個期望輸出矢量Tp和實際的輸出矢量Yp之間的誤差函數(shù)可以用平方差和來表示，即第19頁/共68頁

一般說，前向神經(jīng)網(wǎng)絡(luò)是通過期望輸出與實際輸出之間的誤差平方的極小來進(jìn)行權(quán)陣的學(xué)習(xí)和訓(xùn)練。通常一個周期一個周期進(jìn)行訓(xùn)練，一個周期對所有的樣本集，完成后下一個周期對此樣本集進(jìn)行重復(fù)訓(xùn)練，直到性能指標(biāo)E滿足要求為止。對于多層前向傳播網(wǎng)絡(luò)(b)圖4-14多層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖(b)含L+1個隱含層前向傳播網(wǎng)絡(luò)結(jié)構(gòu)示意圖設(shè)輸入模式Xp，則相應(yīng)的隱含單元的輸出為第20頁/共68頁根據(jù)L層網(wǎng)絡(luò)結(jié)構(gòu)可知，網(wǎng)絡(luò)輸出為：第r+1個隱含層的輸入是第r個隱含層的輸出，所以：多層前向傳播網(wǎng)絡(luò)的權(quán)系數(shù)訓(xùn)練算法是利用著名的誤差反向傳播學(xué)系算法得到的——BP算法因為：其中定義為廣義誤差則第21頁/共68頁要使E安梯度下降，就必須按下式進(jìn)行權(quán)值的調(diào)整式中：上標(biāo)變量表示第r個隱含層，r=1,2,……,L；為第r-1層第i個單元到第r層的第j單元的連接系數(shù)；為學(xué)習(xí)步長。因為若r=L為輸出單元層，則：若為輸出單元層，則：第22頁/共68頁BP學(xué)習(xí)算法步驟：給定P組樣本（X1,T1;X2,T2;……,Xp,Tp)。其中Xi為ni維輸入矢量，T維n0維期望的輸出矢量I=1,2,…..,p。假如矢量y和0分別表示網(wǎng)絡(luò)的輸出層和隱含層的輸出矢量。則訓(xùn)練過程為：1）、選，作為最大容許誤差，并將權(quán)系數(shù)，初始化成某小的隨機(jī)權(quán)矩陣。2）、訓(xùn)練開始，計算出各隱含層神經(jīng)元的激勵輸出；計算各輸出層神經(jīng)的激勵輸出：按按第23頁/共68頁3）、計算誤差4）、按下式計算廣義誤差按下式計算廣義誤差5）、調(diào)整權(quán)陣系數(shù)6）、7）、第24頁/共68頁實際上，對訓(xùn)練過程有較大影響的有：權(quán)系數(shù)的初值、學(xué)習(xí)方式、激勵函數(shù)、學(xué)習(xí)速率等（1）、權(quán)系數(shù)的初值權(quán)系數(shù)通常初始化成小的初始值，盡可能覆蓋整個權(quán)陣的空間域，避免出現(xiàn)初始陣系數(shù)相同的情況。（2）、學(xué)習(xí)方式學(xué)習(xí)方式不同，訓(xùn)練的效果也不同（3）、激勵函數(shù)激勵函數(shù)的選擇對訓(xùn)練有較大的影響。（4）、學(xué)習(xí)速率一般來說，學(xué)習(xí)速率越快，收斂越快，但容易產(chǎn)生震蕩；學(xué)習(xí)速率越小，收斂越慢。BP學(xué)習(xí)算法本質(zhì)上是屬于一次收斂的學(xué)習(xí)算法。所以BP算法不可避免存在局部極小問題，且學(xué)習(xí)速度很慢，在極點附近出現(xiàn)震蕩現(xiàn)象，而且不能夠平滑趨于最優(yōu)解。為了減小這種現(xiàn)象，一般采用平滑的權(quán)值更新公式，即：第25頁/共68頁例3-1如圖3-15所示的多層前向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。假設(shè)對于期望的輸入。網(wǎng)絡(luò)權(quán)系數(shù)的初始值見圖，試用BP算法訓(xùn)練此網(wǎng)絡(luò)。這里神經(jīng)元激勵函數(shù)為，學(xué)習(xí)步長為圖3-15神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖x1x211203-2-1o1o2110-21-23y1y2解：1）、輸入最大容許逼近誤差值和最大迭代學(xué)習(xí)次數(shù)設(shè)初始迭代學(xué)習(xí)次數(shù)

2）、計算當(dāng)前輸入狀態(tài)下、當(dāng)前網(wǎng)絡(luò)的連接權(quán)系數(shù)下的神經(jīng)網(wǎng)絡(luò)輸出。第26頁/共68頁3）、判斷神經(jīng)網(wǎng)絡(luò)逼近誤差要求或者迭代學(xué)習(xí)到最大容許值否？若上述不等式中有一個滿足,則退出學(xué)習(xí).否則進(jìn)入4)。4）、計算廣義誤差。

第27頁/共68頁5）連接權(quán)系數(shù)更新iterate=iterate+1;繼續(xù)迭代計算直至滿足終止條件為止。第28頁/共68頁例3-2利用多層前向傳播神經(jīng)網(wǎng)絡(luò)來逼近非線性函數(shù)解：xxyy第29頁/共68頁從圖中可以看到，增加隱含層的數(shù)目并不一定意味著能夠改善逼近精度第30頁/共68頁第三節(jié)動態(tài)神經(jīng)網(wǎng)絡(luò)模型前向傳播網(wǎng)絡(luò)的特點：1、結(jié)構(gòu)簡單、易于編程；2、是一種靜態(tài)非線性映射，不注重非線性動態(tài)性能的研究，缺乏豐富的動力學(xué)行為；反饋型神經(jīng)網(wǎng)絡(luò)：具有豐富的非線性動力學(xué)特性，如穩(wěn)定性、極限環(huán)、奇異吸引子（混沌現(xiàn)象）反饋動力學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有以下特性：1、系統(tǒng)有若干穩(wěn)定狀態(tài)，如果從某一初始狀態(tài)開始運(yùn)動，系統(tǒng)總可以進(jìn)入某一穩(wěn)定狀態(tài)。（將神經(jīng)網(wǎng)絡(luò)穩(wěn)定狀態(tài)當(dāng)作記憶，實際上神經(jīng)網(wǎng)絡(luò)由任一初始狀態(tài)向穩(wěn)態(tài)的演化過程，實質(zhì)上尋找記憶的過程。穩(wěn)定是神經(jīng)網(wǎng)絡(luò)的一個重要特性，能量函數(shù)是判斷網(wǎng)絡(luò)穩(wěn)定性的基本概念。2、系統(tǒng)的穩(wěn)定狀態(tài)可以通過改變相連單元的權(quán)值而產(chǎn)生。網(wǎng)絡(luò)穩(wěn)定性？第31頁/共68頁定義4-1神經(jīng)網(wǎng)絡(luò)從任一初始狀態(tài)X(0)開始運(yùn)動，若存在某一有限的時刻，從以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即，則稱網(wǎng)絡(luò)穩(wěn)定。處于穩(wěn)定時刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點吸引子。神經(jīng)動力學(xué)系統(tǒng)具有以下一些共性：（1）、非常大的自由度仿真系統(tǒng)的神經(jīng)元數(shù)限于。人腦的神經(jīng)細(xì)胞個數(shù)（2）、非線性——非線性是神經(jīng)東西學(xué)系統(tǒng)的主要特征。任何由現(xiàn)行單元組成的神經(jīng)網(wǎng)絡(luò)都可以退化成一個等效的單層神經(jīng)網(wǎng)絡(luò)。（3）、消耗性——消耗性指的是隨時間的推移系統(tǒng)狀態(tài)收斂于某一個流形域。（4）、節(jié)點方程——微分方程或者差分方程，不是簡單的非線性方程。動態(tài)神經(jīng)網(wǎng)絡(luò)的類型：1、帶時滯的多層感知器網(wǎng)絡(luò)2、回歸神經(jīng)網(wǎng)絡(luò)3、Hopfield網(wǎng)絡(luò)第32頁/共68頁1、帶時滯的多層感知器網(wǎng)絡(luò)多層感知器網(wǎng)絡(luò)抽頭時滯環(huán)節(jié)X(k)X(k-1)X(k-n)X(k)y(k)圖4-18時滯的多層感知器網(wǎng)絡(luò)2、回歸神經(jīng)網(wǎng)絡(luò)多層感知器網(wǎng)絡(luò)抽頭時滯環(huán)節(jié)X(k)X(k-1)X(k-n)X(k)y(k)圖4-19帶反饋的時滯的多層感知器網(wǎng)絡(luò)抽頭時滯環(huán)節(jié)y(k-m)y(k-2)y(k-1)1、將時間作為一維信號同時加入到神經(jīng)網(wǎng)絡(luò)的輸入端實現(xiàn)利用靜態(tài)網(wǎng)絡(luò)來逼近動態(tài)時滯的時間序列系統(tǒng)。第33頁/共68頁3、Hopfield網(wǎng)絡(luò)1982年和1984年Hopfield發(fā)表了兩篇著名的文章：1、Neuralnetworkandphysicalsystemswithemergerentcollectivecomputationability;2、Neuronswithgradedresponsehavecollectivecomputationpropertieslikethoseoftwostateneurons。第一次將能量函數(shù)引入到神經(jīng)網(wǎng)絡(luò)中，給出了穩(wěn)定性的判據(jù)；利用模擬電子線路實現(xiàn)了提出的模型，成功用神經(jīng)網(wǎng)絡(luò)實現(xiàn)了4位A/D轉(zhuǎn)換；用一組耦合的非線性微分方程來表示Hopfield網(wǎng)絡(luò)；Hopfield網(wǎng)絡(luò)在任何初始狀態(tài)下都能夠趨于穩(wěn)定態(tài)；Hopfield網(wǎng)絡(luò)穩(wěn)定態(tài)是由神經(jīng)元的連接權(quán)數(shù)決定的；Hopfield網(wǎng)絡(luò)主要貢獻(xiàn)在于成功實現(xiàn)了聯(lián)想記憶和快速優(yōu)化計算。我們主要討論二值型Hopfield網(wǎng)絡(luò)第34頁/共68頁1、二值型Hopfield網(wǎng)絡(luò)二值型Hopfield網(wǎng)絡(luò)又稱離散型的Hopfield網(wǎng)絡(luò)(DHNN)——只有一個神經(jīng)元層次，每個處理單元有兩個狀態(tài)0、1或者-1、1，即抑制和興奮，而整個網(wǎng)絡(luò)由單一神經(jīng)元組成。圖3-20二值型Hopfield網(wǎng)絡(luò)結(jié)構(gòu)二值型Hopfield網(wǎng)絡(luò)節(jié)點方程式：K表示時間變量；表示外部輸入；表示神經(jīng)元輸出表示神經(jīng)元內(nèi)部狀態(tài)；表示閥值函數(shù)。第35頁/共68頁對于n個節(jié)點的離散Hopfield網(wǎng)絡(luò)有個可能的狀態(tài)。節(jié)點更新包括三種情況：、或者狀態(tài)保持例4-3假設(shè)一個3節(jié)點的離散Hopfield神經(jīng)網(wǎng)絡(luò)，已知網(wǎng)絡(luò)權(quán)值與閥值如圖所示，計算狀態(tài)轉(zhuǎn)移關(guān)系。v10.10.00.0v2v3-0.50.60.2已知網(wǎng)絡(luò)權(quán)值初值，圈內(nèi)為閥值，線上為連接系數(shù)解：設(shè)定初始狀態(tài)為：，可以依次選擇節(jié)點V1、V2、V3，確定其節(jié)點興奮的條件及狀態(tài)的轉(zhuǎn)移。假設(shè)首選節(jié)點V1，激勵函數(shù)為：可見，節(jié)點V1處于興奮狀態(tài)并且狀態(tài)y1由01。網(wǎng)絡(luò)狀態(tài)由000001，轉(zhuǎn)移概率為1/3。第36頁/共68頁同理可得：可見節(jié)點V1、V2的狀態(tài)保持不變。因此，由狀態(tài)000不會轉(zhuǎn)變到001和010。同理，可以計算出其他的狀態(tài)之間的轉(zhuǎn)移關(guān)系，見下圖所示。-0.6110001000100101111011010-0.4-0.3-0.10.00.00.40.0易知，Hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元狀態(tài)要么在同一“高度”上變化，要么從上向下轉(zhuǎn)移（能量從達(dá)到小的變化）——必然規(guī)律。由圖可知，系統(tǒng)狀態(tài)011是一個網(wǎng)絡(luò)的穩(wěn)定狀態(tài)；任意初始狀態(tài)經(jīng)過幾次的狀態(tài)更新后將到達(dá)此穩(wěn)態(tài)。第37頁/共68頁能量函數(shù)：則Hopfield神經(jīng)網(wǎng)絡(luò)中的狀態(tài)變化導(dǎo)致能量函數(shù)E的下降，并且能量函數(shù)的極小值點與網(wǎng)絡(luò)穩(wěn)定狀態(tài)由這緊密的關(guān)系。定理4-1離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)與能量函數(shù)E在狀態(tài)空間的局部極小狀態(tài)是一一對應(yīng)的。第38頁/共68頁第四節(jié)神經(jīng)網(wǎng)絡(luò)PID控制盡管神經(jīng)網(wǎng)絡(luò)控制技術(shù)有許多潛在的優(yōu)勢，但單純使用神經(jīng)網(wǎng)絡(luò)的控制方法的研究仍有待進(jìn)一步發(fā)展。通常將人工神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)的控制理論或智能技術(shù)綜合使用。神經(jīng)網(wǎng)絡(luò)在控制中的作用有以下幾種：1．在傳統(tǒng)的控制系統(tǒng)中用以動態(tài)系統(tǒng)建模，充當(dāng)對象模型；2．在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用；3．在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計算作用；4．與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合。第39頁/共68頁3.4.1基于BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制BP神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，而且結(jié)構(gòu)和學(xué)習(xí)算法簡單明確。通過神經(jīng)網(wǎng)絡(luò)自身的學(xué)習(xí)，可以找到某一最優(yōu)控制律下的P，I，D參數(shù)?；贐P神經(jīng)網(wǎng)絡(luò)的PD控制系統(tǒng)結(jié)構(gòu)如圖所示，控制器由兩個部分組成：①經(jīng)典的PID控制器：直接對被控對象進(jìn)行閉環(huán)控制，并且KP,KI,KD三個參數(shù)為在線整定；②神經(jīng)網(wǎng)絡(luò)NN：根據(jù)系統(tǒng)的運(yùn)行狀態(tài)，調(diào)節(jié)PID控制器的參數(shù)，以期達(dá)到某種性能指標(biāo)的最優(yōu)化。即使輸出層神經(jīng)元的輸出狀態(tài)對應(yīng)于PID控制器的三個可調(diào)參數(shù)KP,KI,KD，通過神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、調(diào)整權(quán)系數(shù)，從而使其穩(wěn)定狀態(tài)對應(yīng)于某種最優(yōu)控制律下的PID控制器參數(shù)。第40頁/共68頁第41頁/共68頁

基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：

1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點數(shù)M和隱含層節(jié)點數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；

2).采樣得到r(k)和y(k)，計算e(k)=z(k)=r(k)-y(k)；

3).對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；

4).前向計算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；

5).計算PID控制器的控制輸出u(k)，參與控制和計算；

6).計算修正輸出層的權(quán)系數(shù)w(3)li(k)；

7).計算修正隱含層的權(quán)系數(shù)w(2)ij(k)；

8).置k=k+1，返回到“2）”。第42頁/共68頁3.4.2改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計或直接學(xué)習(xí)計算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計算權(quán)系數(shù)的修正量。但實際上，系統(tǒng)的預(yù)測輸出值是不易直接測得的，通常的做法是建立被控對象的預(yù)測數(shù)學(xué)模型，用該模型所計算的預(yù)測輸出來取代預(yù)測處的實測值，以提高控制效果。第43頁/共68頁1．采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制器

第44頁/共68頁采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法歸納如下：

1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點數(shù)M和隱含層節(jié)點數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；

2).用線性系統(tǒng)辨識法估計出參數(shù)矢量θ(k)，從而形成一步預(yù)報模型式；

3).采樣得到r(k)和y(k)，計算e(k)=z(k)=r(k)-y(k)；

4).對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；

5).前向計算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；

6).計算PID控制器的控制輸出u(k)，參與控制和計算；

7).計算和；

8).計算修正輸出層的權(quán)系數(shù)w(3)li(k)；

9).計算修正隱含層的權(quán)系數(shù)w(2)ij(k)；

10).置k=k+1，返回到“2）”。第45頁/共68頁2．采用非線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制器第46頁/共68頁基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：

1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點數(shù)M和隱含層節(jié)點數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；

2).采樣得到r(k)和y(k)，計算e(k)=z(k)=r(k)-y(k)；

3).對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入；

4).前向計算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；

5).計算PID控制器的控制輸出u(k)，參與控制和計算；

6).前向計算NNM的各層神經(jīng)元的輸入和輸出，NNM的輸出為，計算修正隱含層和輸出層的權(quán)系數(shù)；

7).計算；

8).計算修正輸出層的權(quán)系數(shù)w(3)li(k)；

9).計算修正隱含層的權(quán)系數(shù)w(2)ij(k)；

10).置k=k+1，返回到“2）”。第47頁/共68頁單神經(jīng)元自適應(yīng)控制系統(tǒng)結(jié)構(gòu)第48頁/共68頁學(xué)習(xí)算法第49頁/共68頁系統(tǒng)對象：仿真示例系統(tǒng)輸入：第50頁/共68頁MATLAB程序%SingleNeuralAdaptiveControllerclearall;closeall;x=[0,0,0]';xiteP=0.40;xiteI=0.35;xiteD=0.40;第51頁/共68頁%Initilizingkp,kiandkdwkp_1=0.10;wki_1=0.10;wkd_1=0.10;%wkp_1=rand;%wki_1=rand;%wkd_1=rand;error_1=0;error_2=0;y_1=0;y_2=0;y_3=0;u_1=0;u_2=0;u_3=0;ts=0.001;fork=1:1:1000time(k)=k*ts;rin(k)=0.5*sign(sin(2*2*pi*k*ts));yout(k)=0.368*y_1+0.26*y_2+0.1*u_1+0.632*u_2;error(k)=rin(k)-yout(k);第52頁/共68頁%AdjustingWeightValuebyhebblearningalgorithmM=4;ifM==1%NoSupervisedHeblearningalgorithmwkp(k)=wkp_1+xiteP*u_1*x(1);%Pwki(k)=wki_1+xiteI*u_1*x(2);%Iwkd(k)=wkd_1+xiteD*u_1*x(3);%DK=0.06;elseifM==2%SupervisedDeltalearningalgorithmwkp(k)=wkp_1+xiteP*error(k)*u_1;%Pwki(k)=wki_1+xiteI*error(k)*u_1;%Iwkd(k)=wkd_1+xiteD*error(k)*u_1;%D第53頁/共68頁K=0.12;elseifM==3%SupervisedHeblearningalgorithmwkp(k)=wkp_1+xiteP*error(k)*u_1*x(1);%Pwki(k)=wki_1+xiteI*error(k)*u_1*x(2);%Iwkd(k)=wkd_1+xiteD*error(k)*u_1*x(3);%DK=0.12;elseifM==4%ImprovedHeblearningalgorithmwkp(k)=wkp_1+xiteP*error(k)*u_1*(2*error(k)-error_1);wki(k)=wki_1+xiteI*error(k)*u_1*(2*error(k)-error_1);wkd(k)=wkd_1+xiteD*error(k)*u_1*(2*error(k)-error_1);K=0.12;end第54頁/共68頁x(1)=error(k)-error_1;%Px(2)=error(k);%Ix(3)=error(k)-2*error_1+error_2;%Dwadd(k)=abs(wkp(k))+abs(wki(k))+abs(wkd(k));w11(k)=wkp(k)/wadd(k);w22(k)=wki(k)/wadd(k);w33(k)=wk