1、第8章 神經(jīng)網(wǎng)絡(luò)控制理論與技術(shù),8.1 神經(jīng)網(wǎng)絡(luò)的概念 8.2 神經(jīng)網(wǎng)絡(luò)的特點 8.3 神經(jīng)網(wǎng)絡(luò)計算機理 8.4 常用神經(jīng)網(wǎng)絡(luò)的模型 8.5 神經(jīng)網(wǎng)絡(luò)模型辨識 8.6 神經(jīng)網(wǎng)絡(luò)控制 8.7 神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制,8.1 神經(jīng)網(wǎng)絡(luò)的概念,神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的、很簡單的處理單元(或稱神經(jīng)元)廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。 神經(jīng)網(wǎng)絡(luò)這個名詞，在神經(jīng)生理學(xué)、神經(jīng)解剖學(xué)的范疇內(nèi)，指的是生物神經(jīng)網(wǎng)絡(luò)(BiologicalNeuralNetworks，簡寫為BNN)，在信息、計算機科學(xué)等領(lǐng)域內(nèi)，指的則是向生命學(xué)習(xí)而構(gòu)造的人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，簡寫為ANN)，有

2、時又把人工神經(jīng)網(wǎng)絡(luò)簡稱為神經(jīng)網(wǎng)絡(luò)(NeuralNetworks，簡寫為NN)。在今后的討論中，神經(jīng)網(wǎng)絡(luò)主要指的是后面一種。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的許多基本特性，但它并不是人腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)的真實寫照，而只是對其作某種簡化、抽象和模擬。一般認為，神經(jīng)網(wǎng)絡(luò)系統(tǒng)是個高度復(fù)雜的非線性動力學(xué)系統(tǒng)。,神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中接收或產(chǎn)生、傳遞和處理信息的基本單元。雖然每個神經(jīng)元的結(jié)構(gòu)和功能十分簡單，但由大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)的行為卻是豐富多彩和十分復(fù)雜的。神經(jīng)網(wǎng)絡(luò)的信息處理是由神經(jīng)元之間通過相互作用，并以大規(guī)模并行方式實現(xiàn)的。神經(jīng)網(wǎng)絡(luò)中的信息存儲與處理是合二為一的，信息與知識分布地存儲在神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元之間的相

3、互連接上，且這種并行分布處理(ParallelDistributedProcessing，簡稱PDP)并不是以簡單的空間復(fù)雜性代替時間復(fù)雜性，而是反映了與傳統(tǒng)串行計算不同的神經(jīng)計算原理。,8.2神經(jīng)網(wǎng)絡(luò)的特點,雖然神經(jīng)元處理單元之間的空間聯(lián)系也很簡單，但基本處理單元的特征函數(shù)可能是隨時間變化的函數(shù)。因此，神經(jīng)網(wǎng)絡(luò)可以構(gòu)成結(jié)構(gòu)簡單而又具有復(fù)雜動態(tài)功能的信息處理系統(tǒng)。神經(jīng)網(wǎng)絡(luò)在功能和運算上具有以下特點： (1)具有很強的自適應(yīng)學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)可以通過與外界環(huán)境的相互作用，進行整個系統(tǒng)的狀態(tài)及連接權(quán)值的調(diào)整，將外界環(huán)境模式存儲于神經(jīng)網(wǎng)絡(luò)模型中，以達到從外界環(huán)境中獲取經(jīng)驗和知識的目的。它在一定程度上

4、類似于人腦的學(xué)習(xí)功能，這也是它優(yōu)于傳統(tǒng)信息處理的地方，這種能力使神經(jīng)網(wǎng)絡(luò)具有廣泛的應(yīng)用可能性。,(2)具有聯(lián)想、概括、類比和推廣的能力。當神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)具備了一定的知識后，它在某一輸入的影響下，由于神經(jīng)元之間的相互聯(lián)系以及神經(jīng)元本身的動力學(xué)性質(zhì)，這種外界刺激的興奮模式會迅速地演變而進入平衡狀態(tài)，這樣就完成了某類模式變換或映射功能，從輸入態(tài)到它鄰近的某平衡態(tài)的映射關(guān)系可以實現(xiàn)聯(lián)想存儲等功能。 (3)具有大規(guī)模并行計算能力。神經(jīng)網(wǎng)絡(luò)中的信息處理是在大量處理單元中并行而又有層次地進行的，因此運算速度快，信息處理能力大大超過了采用順序處理模式的傳統(tǒng)馮諾依曼(VonNeumann)計算機。,(4)具有

5、較強的容錯能力和魯棒性(robust)。神經(jīng)網(wǎng)絡(luò)運算還表現(xiàn)在大規(guī)模集團運算上，系統(tǒng)的信息處理能力是由整個神經(jīng)網(wǎng)絡(luò)決定的，系統(tǒng)的性能會隨損壞的處理單元越來越多而逐步降低，但并不會存在系統(tǒng)功能喪失殆盡的臨界點。另外，在信息源提供的模式豐富多變，甚至相互矛盾，而判定原則又無理可循時，系統(tǒng)仍然能給出一個比較滿意的答案。,(5)硬件實現(xiàn)。神經(jīng)網(wǎng)絡(luò)的真正魅力就在于其硬件實現(xiàn)后的實時、并行、高速等特點。但由于目前硬件水平的限制，神經(jīng)網(wǎng)絡(luò)硬件的開發(fā)和神經(jīng)網(wǎng)絡(luò)計算機的研制仍然處在發(fā)展階段，因此許多神經(jīng)網(wǎng)絡(luò)的實現(xiàn)多數(shù)是在計算機上仿真實現(xiàn)的。隨著大規(guī)模集成電路的快速發(fā)展，一些神經(jīng)網(wǎng)絡(luò)硬件芯片已經(jīng)問世，而且市場上可以

6、購到。目前所開發(fā)的多種神經(jīng)網(wǎng)絡(luò)芯片都是針對某些特殊用途的，對這些特殊問題，使用神經(jīng)網(wǎng)絡(luò)會具有良好的效果。 由于具有以上特點，使得神經(jīng)網(wǎng)絡(luò)具有獨特的信息處理特點和強大的信息處理能力。神經(jīng)網(wǎng)絡(luò)的信息處理能力主要用于解決以下問題：數(shù)學(xué)逼近映射、概率密度函數(shù)估計、從二進制數(shù)據(jù)庫中提取相關(guān)知識、形成拓撲連續(xù)或統(tǒng)計意義上的同構(gòu)映射、最鄰近模式分類、數(shù)據(jù)聚集、最優(yōu)化問題的計算。在控制領(lǐng)域，神經(jīng)網(wǎng)絡(luò)用于系統(tǒng)的建模、辨識和控制已有許多成功的應(yīng)用實例。神經(jīng)網(wǎng)絡(luò)控制理論已基本形成。,8.3神經(jīng)網(wǎng)絡(luò)計算機理,8.3.1神經(jīng)元模型 美國心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.A.Pitts于1943年提出了一個非

7、常簡單的神經(jīng)元模型，即通常所謂的M-P模型，其結(jié)構(gòu)如圖8-1所示。,圖8-1簡單人工神經(jīng)元的M-P模型,對于神經(jīng)元i的一組輸入,它們對應(yīng)的權(quán)值為,神經(jīng)元本身具有閾值i，n為神經(jīng)元輸入信號的數(shù)目。神經(jīng)元所接受的輸入信號的總和ui以及輸出yi可以表示成,(8.1),(8.2),M-P模型具有以下特點： (1)多輸入單輸出方式； (2)閾值作用； (3)輸出與輸入的兩態(tài)(興奮和抑制)； (4)每個輸入通過權(quán)值來表征它對神經(jīng)元耦合的程度(如無耦合可取wij=0)。 在多個神經(jīng)元時，可用向量形式表示為,(8.3),其中輸入X為n維行向量，輸出Y為m維行向量，W為mn維矩陣，WT為W的轉(zhuǎn)置矩陣。式(8.3

8、)意指網(wǎng)絡(luò)連接模型輸入層有n個神經(jīng)元，輸出層有m個神經(jīng)元，有n個內(nèi)部反饋信息。,根據(jù)輸入輸出特性不同，神經(jīng)元可選用不同的特性函數(shù)，以構(gòu)成不同的神經(jīng)元模型。簡單的特性函數(shù)有以下幾種： (1)線性特性函數(shù)：,(8.4),其中k為常數(shù)。,(2)閾值特性函數(shù):,(8.5),這就是最早提出的M-P模型的離散型的二值函數(shù)。,(3)S形邏輯特性函數(shù)：,(8.6),這類特性函數(shù)常用來表示輸入輸出的S形曲線關(guān)系，反映神經(jīng)元“壓縮”或“飽和”特性，使神經(jīng)元具有非線性增益特性。,(4)雙曲正切特性函數(shù):,(8.7),這類函數(shù)常被生物學(xué)家用作描述生物神經(jīng)元活動的數(shù)學(xué)模型。此外,在不同的神經(jīng)網(wǎng)絡(luò)應(yīng)用場合，神經(jīng)元會有許多

9、不同類型的特性函數(shù)。,8.3.2神經(jīng)網(wǎng)絡(luò)動態(tài)特性 人們對神經(jīng)網(wǎng)絡(luò)的研究，在神經(jīng)元的結(jié)構(gòu)上忽略了許多生物原型神經(jīng)元的特性。如它沒有考慮影響網(wǎng)絡(luò)動態(tài)特性的時間延遲，輸入立即產(chǎn)生輸出。但事實上沒有考慮這些特性時，神經(jīng)元構(gòu)成的網(wǎng)絡(luò)仍顯示了很強的生物原型特性。這或許是因為抓住了生物神經(jīng)元的某些基本特性的緣故。一般神經(jīng)網(wǎng)絡(luò)模型中的動態(tài)特性主要表現(xiàn)在各神經(jīng)元改變狀態(tài)的次序，神經(jīng)元計算頻率和與時間有關(guān)的迭代次數(shù)的性質(zhì)上。,各類神經(jīng)元改變狀態(tài)的次序有兩種：一類是同步進行,即神經(jīng)元平行計算，同時改變其輸出；另一類是異步進行。異步進行又分為兩種情況:一種是各神經(jīng)元改變狀態(tài)的次序是隨機的；另一種改變狀態(tài)次序是有序的。

10、同步方法易于理解和處理，輸出結(jié)論也清晰，而異步方法接近于生物原型，能反映各種復(fù)雜的現(xiàn)象。,網(wǎng)絡(luò)連接模型的動態(tài)特性與輸入大小有關(guān)，即根據(jù)輸入大小按一定概率模型計算各神經(jīng)元時，反映了神經(jīng)元輸出計算頻率及狀態(tài)變化過程是由概率決定的，這種動態(tài)變化特性在求解最優(yōu)化問題時有著特殊的作用。網(wǎng)絡(luò)連接模型的動態(tài)特性與時間有關(guān)時，反映了神經(jīng)元的狀態(tài)隨時間變化的過程。人們把這種連接模型看成一個動力學(xué)系統(tǒng)，而其特性函數(shù)常用微分方程或差分方程表示。,8.3.3神經(jīng)網(wǎng)絡(luò)連接模式 神經(jīng)網(wǎng)絡(luò)連接模式有以下幾種： (1)單層連接模式。單層連接模式是最簡單的神經(jīng)網(wǎng)絡(luò)連接模式，它由一組單層排列的神經(jīng)元所組成，如圖8-2所示。輸入層

11、作為分布式輸入，不執(zhí)行神經(jīng)元特性計算，計算特性函數(shù)發(fā)生在輸出層。輸入層的每個神經(jīng)元連接到輸出層的每個神經(jīng)元上。整個網(wǎng)絡(luò)的活動可用式(8.3)來表示。,圖8-2單層連接模式,(2)多層連接模式。二層以上的連接模式稱為多層連接模式，圖8-3所示是一個二層連接模式的情況。這種多層模式間只有相鄰層之間的各神經(jīng)元才會有連接作用。如果神經(jīng)元不選用非線性特性函數(shù)，則多層連接模式較之單層連接模式并不增加計算能力。,圖8-3多層連接模式,從圖8-3可見，如果取神經(jīng)元特性函數(shù)為線性函數(shù)，則網(wǎng)絡(luò)輸出可以表示為,其中k1，k2為常數(shù)，Y2=(y1y2ym)，X=(x1x2xn)。由于矩陣乘法滿足結(jié)合律，故可重新組合成

12、,這就表明二層線性連接模式完全等價于單層連接模式。因此可見,非線性特性函數(shù)對神經(jīng)網(wǎng)絡(luò)功能的擴充顯得相當重要。,(3)循環(huán)型連接模式。當神經(jīng)網(wǎng)絡(luò)各層間具有反饋連接時，這時稱它為循環(huán)連接模式，如圖8-4所示。圖8-4(a)為僅有輸出層到輸入層的反饋連接；圖8-4(b)為同層內(nèi)有相互連接；圖8-4(c)為兼有同層與前、后層連接；圖8-4(d)為全互連接形式。 循環(huán)型連接模式的輸出由當前的輸入和先前的輸出兩者決定。神經(jīng)網(wǎng)絡(luò)上的連接權(quán)值和反饋連接權(quán)值的強度分布正好反映了大腦長期記憶和短期記憶這兩個性質(zhì)。,圖8-4幾種循環(huán)型連接模式,8.3.4學(xué)習(xí)和訓(xùn)練方式 1.訓(xùn)練的目的 (1)監(jiān)督訓(xùn)練。監(jiān)督訓(xùn)練的范例

13、要求每個輸入矢量與所需輸出的目標矢量配對。通常訓(xùn)練一神經(jīng)網(wǎng)絡(luò)要求許多這樣配對的訓(xùn)練范例。在訓(xùn)練時使用訓(xùn)練范例的輸入矢量，計算網(wǎng)絡(luò)的輸出矢量，再與訓(xùn)練范例的目標(期望)矢量相比較，如存在誤差，再用算法按誤差減小的方向改變網(wǎng)絡(luò)權(quán)值，逐個使用訓(xùn)練范例集中的范例，計算誤差，調(diào)整權(quán)值，直至整個訓(xùn)練范例集的誤差達到可接受的程度為止。,(2)無監(jiān)督訓(xùn)練。無監(jiān)督訓(xùn)練不要求必須有與輸出進行比較的目標(期望)矢量，訓(xùn)練范例集僅僅由輸入矢量構(gòu)成。學(xué)習(xí)算法修改網(wǎng)絡(luò)權(quán)值，使其生成的輸出矢量是一致的，即用訓(xùn)練范例集中一輸入矢量和使用另一充分類似于它的輸入矢量，使兩者產(chǎn)生相同的輸出矢量，因此，實際的訓(xùn)練過程是抽取訓(xùn)練范例集

14、中的統(tǒng)計特性，把類似矢量聚成一類。使用特定類中的任一矢量作為輸入矢量，將產(chǎn)生該類特定的輸出矢量。一般在訓(xùn)練前，無法確定由一給定輸入類能產(chǎn)生一特定的輸出，只能在訓(xùn)練之后，把輸出轉(zhuǎn)換成一個通用的表示，建立起輸入輸出的關(guān)系。無監(jiān)督訓(xùn)練更接近于生物神經(jīng)網(wǎng)絡(luò)系統(tǒng)的學(xué)習(xí)機制。監(jiān)督訓(xùn)練和無監(jiān)督訓(xùn)練同人們學(xué)習(xí)過程類比，可以稱為“有指導(dǎo)學(xué)習(xí)”與“無指導(dǎo)學(xué)習(xí)”。前者要有外界“導(dǎo)師”評價、糾正行為；后者不要求“導(dǎo)師”，有自組織能力，主動地調(diào)整自身的行為。,2.訓(xùn)練規(guī)則 目前現(xiàn)有的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法主要有赫布(Hebb)訓(xùn)練規(guī)則和(delta)訓(xùn)練規(guī)則(也叫做WidrowHoff學(xué)習(xí)規(guī)則)。 赫布(Hebb)訓(xùn)練規(guī)則為

15、相關(guān)學(xué)習(xí)規(guī)則，其基本思想是，如果一個神經(jīng)元i接收從另一個神經(jīng)元j來的輸入，那么當這兩個神經(jīng)元都激烈活動時，從神經(jīng)元j到神經(jīng)元i的權(quán)值wij就應(yīng)當增大。赫布學(xué)習(xí)規(guī)則的一般形式是,(8.8),其中wij(t+1)為修正后的權(quán)值;是比例因子，表示學(xué)習(xí)速率;xi(t)和xj(t)分別是t時刻神經(jīng)元i和神經(jīng)元j的狀態(tài)。赫布學(xué)習(xí)規(guī)則中不需要教師信號。,訓(xùn)練規(guī)則為誤差修正學(xué)習(xí)規(guī)則，其一般形式為,(8.9),其中di和yi(t)分別表示第i個神經(jīng)元的期望輸出與實際輸出；xj(t)表示第j個神經(jīng)元的輸出，通過連接權(quán)輸入給第i個神經(jīng)元。 此外還有Crossberg學(xué)習(xí)規(guī)則和有名的玻耳茲曼機學(xué)習(xí)規(guī)則等。,8.4常用

16、神經(jīng)網(wǎng)絡(luò)的模型,對神經(jīng)網(wǎng)絡(luò)模型來說可以從十個方面來進行描述：處理單元(神經(jīng)元)、神經(jīng)網(wǎng)絡(luò)的狀態(tài)、傳播規(guī)則、活躍規(guī)則、輸出函數(shù)、學(xué)習(xí)算法、互連模式、環(huán)境、穩(wěn)定狀態(tài)、操作模式。至今為止，人們已提出了上百種神經(jīng)網(wǎng)絡(luò)模型。在這些模型中，常用的模型有如下幾種。 自適應(yīng)共振理論模型(AdaptiveResonanceTheory，簡稱ART)。這種模型主要有ART1和ART2兩種，前者對應(yīng)于二值輸入，后者對應(yīng)于連續(xù)值輸入。它用確定的選擇分類參數(shù)對輸入數(shù)據(jù)進行分類，它還具有假定測試和分類決策驗證特性。,雪崩模型(Avalanche，簡稱AVA)。這是一種學(xué)習(xí)、認識和代替?zhèn)鹘y(tǒng)模式識別的網(wǎng)絡(luò)。 反向傳播模型(B

17、ackPropagation，簡稱BP)。這是一種多層結(jié)構(gòu)的映射網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的一種模型，許多學(xué)者從不同角度對BP網(wǎng)絡(luò)的學(xué)習(xí)算法進行了研究，并提出了一些BP模型的改進算法。 雙向聯(lián)想存儲器 (BidirectionalAssociationMemory，簡稱BAM)。這是一種具有學(xué)習(xí)功能的雙層聯(lián)想式網(wǎng)絡(luò)。,Boltzmann/Cauchy機(Boltzmann/CauchyMachine，簡稱BCM)。這是一種使用噪聲處理方法找到能量函數(shù)全局極小值的網(wǎng)絡(luò)?，F(xiàn)在對這種模型有較多的研究，并推廣到多階Boltzmann機。 Hopfield模型。Hopfield網(wǎng)絡(luò)是單層循環(huán)網(wǎng)絡(luò)，結(jié)構(gòu)上是全

18、互連的，當連接權(quán)矩陣無自連接及具有對稱性質(zhì)時，算法是穩(wěn)定收斂的。Hopfield網(wǎng)絡(luò)的形式有離散型(二值型)和模擬型。 感知機模型(簡稱PTR)。它是一種具有自學(xué)習(xí)能力的線性認識元。,小腦自動機模型(CerebellarModelArticulationController，簡稱CMAC)。它主要用于機械手的控制。學(xué)習(xí)階段對輸入矢量空間進行壓迫映射，需要非常復(fù)雜的控制輸入。 此外還有許多模型，如黑箱腦機制(BrainStateinaBox，簡稱BSB)，重復(fù)傳播模型(CounterPropagation，簡稱CPN)，多個自適應(yīng)線性元模型(Madaline，簡稱MDL)，自組織映射模型(Sel

19、forganizingMapping，簡稱SOM)，高斯機(GaussianMachine，簡稱GAM)，受限的庫侖能量模型(ReducedCoulombEnergy，簡稱RCE)等等。,8.4.1BP神經(jīng)網(wǎng)絡(luò) BP網(wǎng)絡(luò)是典型的前向神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的信息傳播是向前的，但其在訓(xùn)練中的誤差修正傳播方向卻是反向的。BP網(wǎng)絡(luò)的原理結(jié)構(gòu)如圖8-5所示。,圖8-5BP網(wǎng)絡(luò)原理結(jié)構(gòu)圖,BP網(wǎng)絡(luò)的學(xué)習(xí)算法采用的是學(xué)習(xí)規(guī)則，學(xué)習(xí)方式采用有導(dǎo)師學(xué)習(xí)機制。 設(shè)BP網(wǎng)絡(luò)每層有n個神經(jīng)元，特性函數(shù)取S型函數(shù)，訓(xùn)練集中包含m個樣本模式(Xp,Yp),p=1,2,m。wij表示神經(jīng)元j到神經(jīng)元i的連接權(quán)重，對第p個訓(xùn)練樣

20、本，神經(jīng)元i的輸入總和記為upi，輸出記為opi，閾值取為i，并取wi0=1，op0=i,則有,定義輸入模式p的網(wǎng)絡(luò)誤差為,(8.10),其中dpi表示神經(jīng)元i的期望輸出。 網(wǎng)絡(luò)總誤差為,(8.11),學(xué)習(xí)規(guī)則的實質(zhì)是梯度最速下降法，即權(quán)值沿誤差函數(shù)的負梯度方向改變。若權(quán)值wij的變化量記為pwij，則有,又因為,其中令,于是有,(8.12),可見,上式即為學(xué)習(xí)規(guī)則。現(xiàn)計算誤差，分兩種情況討論。,(1)輸出層誤差計算：,(8.13),可見,pi是(dpiopi)按f(upi)比率減小的誤差量。,(2)隱層誤差計算:,設(shè)隱層為l，隱層誤差計算示意圖如圖8-6所示。,故有,(8.14),圖8-6

21、隱層誤差計算示意圖,BP算法權(quán)值修正公式可統(tǒng)一表示為,(8.15),通常，取值小，收斂性好，但訓(xùn)練時間長；取值大，權(quán)值改變劇烈，可能導(dǎo)致振蕩。一種改進的算法為,(8.16),8.4.2Hopfield神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)為單層全互連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，離散的Hopfield網(wǎng)絡(luò)基本結(jié)構(gòu)如圖87所示。 取神經(jīng)元特性函數(shù)為閾值型函數(shù),(8.17),其中xi表示神經(jīng)元i的輸出狀態(tài)，i表示神經(jīng)元i的閾值，wij表示神經(jīng)元j到神經(jīng)元i的連接權(quán)值，且有wij=wji(網(wǎng)絡(luò)對稱)，wii=0(神經(jīng)元自身無反饋)。 網(wǎng)絡(luò)狀態(tài)定義為X=(x1x2xn)。對于n個神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，有2n個可

22、能的網(wǎng)絡(luò)狀態(tài)。狀態(tài)的更新方式采用異步更新策略(隨機或確定)。,圖87 離散Hopfield網(wǎng)絡(luò)基本結(jié)構(gòu),定理8.1對反饋型神經(jīng)網(wǎng)絡(luò)，如果采用串行異步方式更新，并且有wij=wji，wii=0，則網(wǎng)絡(luò)必收斂于狀態(tài)空間中的某一穩(wěn)定狀態(tài)。 神經(jīng)元i的能量函數(shù)定義為,(8.18),神經(jīng)網(wǎng)絡(luò)的整體能量定義為,(8.19),定理8.2在離散Hopfield網(wǎng)絡(luò)的狀態(tài)更新過程中，能量函數(shù)E是隨狀態(tài)變化而單調(diào)下降的。,定理8.3離散Hopfield網(wǎng)絡(luò)的穩(wěn)定狀態(tài)與能量函數(shù)在狀態(tài)空間的局部極小狀態(tài)是一一對應(yīng)的。 離散Hopfield的應(yīng)用問題主要是網(wǎng)絡(luò)能量極小狀態(tài)的設(shè)計問題。在已知能量極小狀態(tài)時，采用靜態(tài)產(chǎn)生方

23、法計算權(quán)值及閾值，如TSP問題求解。動態(tài)產(chǎn)生方法是通過附加機制訓(xùn)練網(wǎng)絡(luò)，使其自動調(diào)整權(quán)值，產(chǎn)生期望的能量極小狀態(tài)，如聯(lián)想記憶等。在網(wǎng)絡(luò)的權(quán)值和閾值確定后，任意給定網(wǎng)絡(luò)的初始狀態(tài)，通過網(wǎng)絡(luò)的動態(tài)演變后，總能達到使網(wǎng)絡(luò)能量極小的狀態(tài)(穩(wěn)態(tài))。 離散Hopfield的記憶是分布式的，聯(lián)想是動態(tài)的。記憶容量約為0.15n個樣本。網(wǎng)絡(luò)的局限性表現(xiàn)在假穩(wěn)態(tài)的存在以及局部極小問題。,8.4.3CMAC神經(jīng)網(wǎng)絡(luò) CMAC神經(jīng)網(wǎng)絡(luò)是由J.S.Albus在1975年提出的一種模擬小腦功能的神經(jīng)網(wǎng)絡(luò)模型。其工作原理可用圖8-8表示。圖中，S為輸入狀態(tài)空間，A為概念存儲器，Ap為實際存儲器，P為輸出。,圖8-8CMA

24、C神經(jīng)網(wǎng)絡(luò)工作原理示意圖,從本質(zhì)說，CMAC網(wǎng)絡(luò)是一種聯(lián)想網(wǎng)絡(luò)，采用輸入輸出給定的有導(dǎo)師學(xué)習(xí)規(guī)則。輸出由實際存儲器表格查出(求和)。CMAC網(wǎng)絡(luò)在編碼過程中產(chǎn)生泛化(Generalization),即相似輸入可得到近似輸出。 CMAC網(wǎng)絡(luò)計算機理可描述成這樣的計算裝置，對輸入向量S，產(chǎn)生一個輸出向量P=F(S)。其中進行了如下三個映射過程： (1)fSA。這個過程是由輸入空間S到概念存儲器A的映射。這是一個量化編碼過程，每一個輸入狀態(tài)Si同時只激活A(yù)中C個單元，C為泛化寬度。實際應(yīng)用中C值一般取為32256。,(2)gAAp。當C的數(shù)量很大時，采用散列編碼(HashingCoding)技術(shù)進行

25、多對少的映射，映射后得到實際存儲器Ap。 (3)hApP。給定輸入Si，激活A(yù)p中固定數(shù)目(C個)聯(lián)想單元，然后按下式計算輸出。,(8.20),CMAC網(wǎng)絡(luò)學(xué)習(xí)算法可分為如下步驟： (1)對輸入Si=(s1s2sn)，按式(8.20)計算實際輸出Pi。 (2)比較誤差|diPi|，為容許誤差，如大于，修正權(quán)值，否則，結(jié)束訓(xùn)練。 (3)權(quán)值更新規(guī)則：,(8.21),其中k=1,2,C。,(4)返回步驟(1)。 CMAC網(wǎng)絡(luò)用于逼近函數(shù)時可達到任意精度，可實現(xiàn)任意離散單值函數(shù)，其學(xué)習(xí)迭代次數(shù)比BP網(wǎng)絡(luò)少，利用LMS自適應(yīng)率訓(xùn)練時可得惟一全局極小值。同時,CMAC具有局部泛化能力(按Hamming距

26、離)。用硬件實現(xiàn)CMAC網(wǎng)絡(luò)時學(xué)習(xí)周期為s級。,8.5神經(jīng)網(wǎng)絡(luò)模型辨識,1問題描述 神經(jīng)網(wǎng)絡(luò)模型辨識的任務(wù)就是利用已有的輸入輸出數(shù)據(jù)來訓(xùn)練一個由神經(jīng)網(wǎng)絡(luò)構(gòu)成的模型。設(shè)所研究的對象為SISO時不變離散非線性系統(tǒng)，則其模型可用如下形式之一的表達式描述：,(8.22),系統(tǒng)：,(8.23),系統(tǒng)：,(8.24),系統(tǒng)：,(8.25),其中，u(k)和y(k)分別代表系統(tǒng)在時刻k的輸入和輸出，m和n分別是輸入輸出時間序列的階次，mn，i和j為常系數(shù)，i=0,1,n1，j=0,1,m1。f()和g()是連續(xù)可微的非線性函數(shù)。上述四個表達式被稱為非線性系統(tǒng)NARMA(NonlinearAutoregres

27、siveMovingAverage)模型。,對線性系統(tǒng)而言，其模型可表示為,(8.26),式(8.26)被稱為線性系統(tǒng)ARMA(AutoregressiveMovingAverage)模型。 假設(shè)被研究的系統(tǒng)可以用所選神經(jīng)網(wǎng)絡(luò)來表示,對同樣的初始條件和任何特定輸入，用神經(jīng)網(wǎng)絡(luò)表示的模型和過程(或?qū)ο?應(yīng)產(chǎn)生與被研究系統(tǒng)同樣的輸出。神經(jīng)網(wǎng)絡(luò)用于系統(tǒng)建模和辨識時，關(guān)鍵問題是神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇和網(wǎng)絡(luò)中神經(jīng)元連接權(quán)值等參數(shù)的調(diào)整和確定。,2正向建模 正向建模(ForwardModeling)是指利用神經(jīng)網(wǎng)絡(luò)，通過訓(xùn)練或?qū)W習(xí)，使其能夠表達系統(tǒng)正向動力學(xué)特性的模型。圖8-9給出了系統(tǒng)正向建模的一般結(jié)構(gòu)示意

28、圖。其中神經(jīng)網(wǎng)絡(luò)辨識模型與待辨識的動態(tài)系統(tǒng)并聯(lián)，兩者的輸出誤差e(k)被用作網(wǎng)絡(luò)的訓(xùn)練信號。顯然這是一個典型的有導(dǎo)師學(xué)習(xí)問題，實際系統(tǒng)作為教師，向神經(jīng)網(wǎng)絡(luò)提供學(xué)習(xí)算法所需的期望輸出。,圖8-9正向建模的一般結(jié)構(gòu),考慮系統(tǒng)，用兩個神經(jīng)網(wǎng)絡(luò)分別代替非線性函數(shù)f()和g()，然后根據(jù)系統(tǒng)的輸出和辨識模型的輸出之差來調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，使網(wǎng)絡(luò)的映射和對應(yīng)的非線性函數(shù)相同，得到的辨識模型為,(8.27),或,(8.28),圖8-10并列模型辨識結(jié)構(gòu),圖8-11串聯(lián)并列模型辨識結(jié)構(gòu),3逆模型建立 許多時候我們希望得到動態(tài)系統(tǒng)的逆模型?？紤]非線性系統(tǒng)，即,(8.29),這是屬于完全的黑箱類模型。假定上式

29、中的非線性函數(shù)f可逆，即有,(8.30),注意上式中出現(xiàn)了k+1時刻的輸出值y(k+1)，這是一個k時刻的未來值，是未知的，可用k+1時刻的期望值yd(k+1)來代替y(k+1)，因此式(8.30)可改寫為,(8.31),式(8.31)即為動態(tài)系統(tǒng)的逆模型。利用神經(jīng)網(wǎng)絡(luò)建立逆模型時，神經(jīng)網(wǎng)絡(luò)的輸入為u(k-1),u(km+1),y(k),y(k-1),y(k-n+1),yd(k+1)，神經(jīng)網(wǎng)絡(luò)的輸出為u(k)。圖8-12給出了一種簡單的直接逆模型結(jié)構(gòu)。,圖8-12直接逆模型結(jié)構(gòu),從圖8-12中可以看出，待辨識系統(tǒng)的輸出作為神經(jīng)網(wǎng)絡(luò)的輸入，神經(jīng)網(wǎng)絡(luò)的輸出與系統(tǒng)輸入比較，相應(yīng)的誤差用來進行訓(xùn)練，因

30、而網(wǎng)絡(luò)將通過學(xué)習(xí)建立系統(tǒng)的逆模型。由于這個學(xué)習(xí)過程不是目標導(dǎo)向的，在實際工作中系統(tǒng)輸入u(k)也不可能預(yù)先定義，因此采用所謂的正逆模型建模方法，其結(jié)構(gòu)如圖8-13所示。,圖8-13目標導(dǎo)向逆模型建立結(jié)構(gòu),這種方法中，假設(shè)動態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)正向模型已經(jīng)建立。逆模型網(wǎng)絡(luò)NN串聯(lián)在系統(tǒng)的前面。采用已知系統(tǒng)期望輸出yd作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練輸入信號。訓(xùn)練誤差是系統(tǒng)期望輸出yd(k)與實際輸出y(k)之差，即,(8.32),采用BP網(wǎng)絡(luò)實現(xiàn)逆模型網(wǎng)絡(luò)NN時，利用神經(jīng)網(wǎng)絡(luò)正向模型將誤差信號e(k)濾波，等效成逆模型網(wǎng)絡(luò)NN的輸出誤差e(k)，以此來訓(xùn)練逆模型網(wǎng)絡(luò)NN。這里正向模型僅作為誤差信息的反向傳播通道，

31、其誤差一般只影響逆模型網(wǎng)絡(luò)的收斂速度，而不影響訓(xùn)練精度。,圖8-14正逆模型建模結(jié)構(gòu),這種正逆模型建模方法中，利用動態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)正向模型代替實際動態(tài)系統(tǒng)，動態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)正向模型可用前面討論的正向建模方法事先得到。逆模型的輸入仍然采用已知系統(tǒng)期望輸出yd，而訓(xùn)練誤差是系統(tǒng)期望輸出yd(k)與實際神經(jīng)網(wǎng)絡(luò)輸出yN(k)之差，即,(8.33),采用e(k)訓(xùn)練逆模型時，也是利用神經(jīng)網(wǎng)絡(luò)正向模型將誤差信號e(k)濾波，等效成逆模型網(wǎng)絡(luò)NN的輸出誤差e(k)，以此來訓(xùn)練逆模型網(wǎng)絡(luò)NN。這種方法中不僅利用正向模型作為誤差信息的反向傳播通道，而且還用它代替實際動態(tài)系統(tǒng)，因此正向模型的精度將影響逆模型

32、網(wǎng)絡(luò)的收斂速度和訓(xùn)練精度。,圖8-15正逆建模的雙網(wǎng)絡(luò)的間接學(xué)習(xí)結(jié)構(gòu),4實時在線建模 在使用神經(jīng)網(wǎng)絡(luò)建模的過程中，當動態(tài)系統(tǒng)過于復(fù)雜時，訓(xùn)練時網(wǎng)絡(luò)的算法的收斂速度是相當慢的，不能滿足在線跟蹤辨識需要。在動態(tài)系統(tǒng)有部分已知信息可用時，可將實際動態(tài)系統(tǒng)分成已知規(guī)律和未知規(guī)律兩部分，分別用兩個神經(jīng)網(wǎng)絡(luò)來實現(xiàn)模型辨識。圖8-16給出了一種神經(jīng)網(wǎng)絡(luò)實時在線辨識結(jié)構(gòu)。,圖8-16神經(jīng)網(wǎng)絡(luò)實時在線辨識結(jié)構(gòu),8.6神經(jīng)網(wǎng)絡(luò)控制,1神經(jīng)網(wǎng)絡(luò)監(jiān)督控制 神經(jīng)網(wǎng)絡(luò)監(jiān)督控制是利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和非線性映射能力，使其學(xué)習(xí)人在控制被控對象時獲取的知識和經(jīng)驗，從而最終取代人的控制行為。圖8-17給出了兩種神經(jīng)網(wǎng)絡(luò)監(jiān)督控制的結(jié)

33、構(gòu)。,圖8-17神經(jīng)網(wǎng)絡(luò)監(jiān)督控制結(jié)構(gòu),2神經(jīng)網(wǎng)絡(luò)直接逆控制 神經(jīng)網(wǎng)絡(luò)直接逆控制是將被控對象的逆動態(tài)模型直接串聯(lián)在被控對象之前，使得復(fù)合系統(tǒng)在期望輸出和被控對象實際輸出之間構(gòu)成一個恒等的映射關(guān)系。圖8-18給出了神經(jīng)網(wǎng)絡(luò)直接逆控制結(jié)構(gòu)。,圖8-18神經(jīng)網(wǎng)絡(luò)直接逆控制結(jié)構(gòu),3神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂?內(nèi)?？刂聘拍钍怯蒃.Carlos等人于1982年提出的。用神經(jīng)網(wǎng)絡(luò)替代其中的控制器和被控對象模型，即可得到神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂?。圖8-19給出了神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂平Y(jié)構(gòu)。,圖8-19神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂平Y(jié)構(gòu),4神經(jīng)網(wǎng)絡(luò)預(yù)測控制 預(yù)測控制又稱為模型預(yù)測控制，其本質(zhì)特征是預(yù)測模型、滾動優(yōu)化和反饋校正。圖820給出了神經(jīng)網(wǎng)絡(luò)預(yù)

34、測控制結(jié)構(gòu)。,圖8-20神經(jīng)網(wǎng)絡(luò)預(yù)測控制結(jié)構(gòu),J中的第一項是使ym(k+j)(也即y(k+j)跟蹤期望輸出yd(k+1)，第二項是限制控制量的增量不要太大，j是加權(quán)系數(shù)，N稱為預(yù)報區(qū)間。用最優(yōu)算法可以求得最優(yōu)的控制序列u(k),u(k+1),u(k+n-1)，選其中的u(k)作為控制量，在下一時刻重復(fù)以上過程。所以稱之為“多步預(yù)報，一步控制”。濾波器的作用是將被控對象實際輸出與模型輸出之差進行濾波，然后反饋到輸入端，提高干擾抑制能力。神經(jīng)網(wǎng)絡(luò)預(yù)測控制簡單直觀，可以在J中加入各種約束條件，預(yù)報區(qū)間的引入可使控制作用平滑，適用于工業(yè)工程應(yīng)用。,8.7神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制,8.7.1引言 神經(jīng)網(wǎng)絡(luò)自適

35、應(yīng)控制從本質(zhì)上講，實際上是基于神經(jīng)網(wǎng)絡(luò)理論的自校正控制或模型參考自適應(yīng)控制。自校正控制根據(jù)對系統(tǒng)(過程)的正向和(或)逆模型辨識結(jié)果，直接按自適應(yīng)規(guī)律調(diào)節(jié)控制器結(jié)構(gòu)參數(shù)，使系統(tǒng)滿足既定的性能指標。而在模型參考自適應(yīng)控制中，閉環(huán)控制系統(tǒng)的期望性能則有一個穩(wěn)定而優(yōu)良的參考模型來描述，自適應(yīng)控制系統(tǒng)的控制目標是使被控對象的輸出響應(yīng)一致漸進地趨于參考模型的輸出響應(yīng)，即,式中，給定的小量。,8.7.2神經(jīng)網(wǎng)絡(luò)自校正控制 1神經(jīng)網(wǎng)絡(luò)直接自校正控制 神經(jīng)網(wǎng)絡(luò)直接自校正控制結(jié)構(gòu)如圖8-21所示。圖中，神經(jīng)網(wǎng)絡(luò)NN1為控制器，NN2為被控對象的正向模型估計器，NN2可在線修正。期望輸出yd與實際輸出y之差e通過

36、NN2反向映射到NN1的輸出端，以此來訓(xùn)練控制器。 神經(jīng)網(wǎng)絡(luò)直接自校正控制可以采用圖8-15給出的正逆建模的雙網(wǎng)絡(luò)的間接學(xué)習(xí)結(jié)構(gòu)。這種神經(jīng)網(wǎng)絡(luò)直接自校正控制有時也稱為神經(jīng)網(wǎng)絡(luò)直接逆控制。,圖8-21神經(jīng)網(wǎng)絡(luò)直接自校正控制結(jié)構(gòu),2神經(jīng)網(wǎng)絡(luò)間接自校正控制 神經(jīng)網(wǎng)絡(luò)間接自校正控制結(jié)構(gòu)如圖8-22所示。圖中，控制器不是用神經(jīng)網(wǎng)絡(luò)來實現(xiàn)的,它可以是基于Lyapunov的自適應(yīng)控制或自校正控制器。神經(jīng)網(wǎng)絡(luò)NN充當估計器對控制器參數(shù)進行估計，以獲得最優(yōu)控制規(guī)律。,圖8-22神經(jīng)網(wǎng)絡(luò)間接自校正控制結(jié)構(gòu),考慮如下系統(tǒng)：,(8.34),其中，y(k+1)為對象輸出，u(k)為控制器輸出。在上述函數(shù)f()和g()已

37、知的情況下，可采用下述控制：,(8.35),使系統(tǒng)輸出y(k+1)精確地跟蹤期望輸出yd(k+1)。,當f()和g()未知時，采用神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)算法可以逼近這些函數(shù)，并重新自校正控制規(guī)律。為簡單起見，設(shè)被控對象為一階系統(tǒng)：,(8.36),用單隱層BP網(wǎng)絡(luò)分別實現(xiàn)f()和g()，去逼近對象模型。神經(jīng)網(wǎng)絡(luò)模型輸出為,(8.37),其中w=w1w2wp(有p個隱含節(jié)點)，v=v1v2vq(有q個隱含節(jié)點)，則相應(yīng)的控制規(guī)律為,(8.38),將式(8.38)代入式(8.37)，可得,定義輸出誤差為,(8.39),令E(k)為最小，于是有,(8.40),(8.41),(8.42),(8.43),式中，

38、為學(xué)習(xí)速率。,圖8-23BP網(wǎng)絡(luò)間接自校正控制結(jié)構(gòu),8.7.3神經(jīng)網(wǎng)絡(luò)模型參考自適應(yīng)控制 1神經(jīng)網(wǎng)絡(luò)直接模型參考自適應(yīng)控制 神經(jīng)網(wǎng)絡(luò)直接模型參考自適應(yīng)控制結(jié)構(gòu)如圖8-24所示。圖中，神經(jīng)網(wǎng)絡(luò)NN充當控制器，用系統(tǒng)輸出誤差來進行訓(xùn)練。神經(jīng)網(wǎng)絡(luò)NN權(quán)值修正目標是使輸出誤差e=ym-y0或二次型指標最小。當參考模型為恒等映射時，即為直接逆控制。對于神經(jīng)網(wǎng)絡(luò)直接模型參考自適應(yīng)控制，當被控對象特性未知時，無法進行誤差反向傳播，給NN的訓(xùn)練造成困難。這時可采用神經(jīng)網(wǎng)絡(luò)間接模型參考自適應(yīng)控制。,圖8-24神經(jīng)網(wǎng)絡(luò)直接模型參考自適應(yīng)控制結(jié)構(gòu),2神經(jīng)網(wǎng)絡(luò)間接模型參考自適應(yīng)控制 神經(jīng)網(wǎng)絡(luò)間接模型參考自適應(yīng)控制結(jié)構(gòu)如圖8-25所示。圖中，神經(jīng)網(wǎng)絡(luò)NN1仍然作為控制器，NN2則作為估計器對被控對象進行辨識。 NN2應(yīng)首先離線辨識被控對象的正向模型，并可由誤差e2進行在線修正。e2是被控對象實際輸出y與神經(jīng)網(wǎng)絡(luò)估計器NN2的輸出之差。NN2的用途是給誤差e或其梯度提供反向傳播通道，e是參考模型輸出ym與被控對象實際輸出y之差。誤差e通過辨識模型反向傳播