神經(jīng)網(wǎng)絡(luò)辨識及其應(yīng)用劉金琨目錄CONTENTS神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)01BP網(wǎng)絡(luò)辨識02BP網(wǎng)絡(luò)的逼近03基于數(shù)據(jù)的BP網(wǎng)絡(luò)離線建模04基于模型的BP神經(jīng)網(wǎng)絡(luò)離線建模05RBF網(wǎng)絡(luò)的逼近06基于未知項(xiàng)在線建模的RBF網(wǎng)絡(luò)自校正控制07Hopfield網(wǎng)絡(luò)辨識08RBF網(wǎng)絡(luò)辨識應(yīng)用-自適應(yīng)神經(jīng)網(wǎng)絡(luò)控制0901神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)從人腦的生理學(xué)和心理學(xué)著手，通過人工模擬人腦的工作機(jī)理來實(shí)現(xiàn)智能辨識。神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)非線性系統(tǒng)，甚至模型難以預(yù)先確定的系統(tǒng)的辨識。人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，NeuralNetwork）是模擬人腦思維方式的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。20世紀(jì)80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，ArtificialNeuralNetwork）研究所取得的突破性進(jìn)展。神經(jīng)網(wǎng)絡(luò)辨識采用神經(jīng)網(wǎng)絡(luò)進(jìn)行逼近或建模。神經(jīng)網(wǎng)絡(luò)辨識為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問題開辟了新途徑。一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。人腦能完成智能、思維等高級活動。為了能利用數(shù)學(xué)模型來模擬人腦的活動，促使了神經(jīng)網(wǎng)絡(luò)的研究。神經(jīng)網(wǎng)絡(luò)原理如圖6-1所示是單個神經(jīng)元的解剖圖，神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。每個神經(jīng)元都由一個細(xì)胞體，一個連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹突組成。軸突的功能是將本神經(jīng)元的輸出信號(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時傳送給多個神經(jīng)元。樹突的功能是接受來自其它神經(jīng)元的興奮。神經(jīng)元細(xì)胞體將接收到的所有信號進(jìn)行簡單地處理后，由軸突輸出。神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱為突觸。一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理圖6-1單個神經(jīng)元的解剖圖一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理神經(jīng)元由三部分構(gòu)成：（1）細(xì)胞體（主體部分）：包括細(xì)胞質(zhì)、細(xì)胞膜和細(xì)胞核；（2）樹突：用于為細(xì)胞體傳入信息；（3）軸突：為細(xì)胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學(xué)物質(zhì)；（4）突觸：是神經(jīng)元之間的接口（104~105個/每個神經(jīng)元）。通過樹突和軸突，神經(jīng)元之間實(shí)現(xiàn)了信息的傳遞。神經(jīng)網(wǎng)絡(luò)的研究主要分為三個方面的內(nèi)容，即神經(jīng)元模型、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理

圖6-2單神經(jīng)元結(jié)構(gòu)模型一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理

閾值型函數(shù)表達(dá)式為常用的神經(jīng)元非線性特性有以下三種：閾值型、分段線性型和函數(shù)型。（1）閾值型

一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理閾值型函數(shù)如圖6-3所示。圖6-3閾值型函數(shù)一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理分段線性型函數(shù)表達(dá)式為（2）分段線性型

一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理分段線性型函數(shù)如圖6-4所示。一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理圖6-4分段線性函數(shù)

有代表性的有Sigmoid型和高斯型函數(shù)。Sigmoid型函數(shù)表達(dá)式為（3）函數(shù)型

一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理Sigmoid型函數(shù)如圖6-5所示。一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理圖6-5Sigmoid函數(shù)(1)興奮與抑制：如果傳入神經(jīng)元的沖動經(jīng)整和后使細(xì)胞膜電位升高，超過動作電位的閾值時即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元的沖動經(jīng)整和后使細(xì)胞膜電位降低，低于動作電位的閾值時即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。(2)學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。神經(jīng)元具有如下功能：一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)原理神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)智能特性的重要標(biāo)志，神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)算法，實(shí)現(xiàn)了自適應(yīng)、自組織和自學(xué)習(xí)的能力。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有多種，按有無教師分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵學(xué)習(xí)（ReinforcementLearning）等幾大類。下面介紹兩個基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)算法。生物學(xué)家D.O.Hebbian基于對生物學(xué)和心理學(xué)的研究，認(rèn)為兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則，即（1）Hebb學(xué)習(xí)規(guī)則一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此，這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。假設(shè)誤差準(zhǔn)則函數(shù)為：（2）Delta（δ）學(xué)習(xí)規(guī)則一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

權(quán)值組成的向量：

一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是通過調(diào)整權(quán)值，使誤差準(zhǔn)則函數(shù)最小?？刹捎锰荻认陆捣▉韺?shí)現(xiàn)權(quán)值的調(diào)整，其基本思想是沿著E的負(fù)梯度方向不斷修正W值，直到E達(dá)到最小，這種方法的數(shù)學(xué)表達(dá)式為：

其中

一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法W的修正規(guī)則為

上式稱為δ學(xué)習(xí)規(guī)則，又稱誤差修正規(guī)則。人工神經(jīng)網(wǎng)絡(luò)是對生物神經(jīng)網(wǎng)絡(luò)的某種抽象、簡化與模擬，是由許多并行互聯(lián)的相同的神經(jīng)元模型組成。網(wǎng)絡(luò)的信息處理由神經(jīng)元之間的相互作用來實(shí)現(xiàn)，知識與信息存儲在處理單元的相互連接上；網(wǎng)絡(luò)學(xué)習(xí)和識別決定于神經(jīng)元連接權(quán)系數(shù)的動態(tài)演化過程。一個神經(jīng)網(wǎng)絡(luò)模型描述了一個網(wǎng)絡(luò)如何把輸入矢量轉(zhuǎn)化為輸出適量的過程。通常神經(jīng)網(wǎng)絡(luò)有以下三要素：一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的要素及特征（1）神經(jīng)元（信息處理單元）的特性；（2）神經(jīng)元之間相互連接的拓?fù)浣Y(jié)構(gòu)；（3）為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。人工神經(jīng)網(wǎng)絡(luò)具有以下幾個特征：一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的要素及特征（1）能逼近任意非線性函數(shù)；（2）信息的并行分布式處理與存儲；（3）可以有多個輸入和多輸出；（4）便于用超大規(guī)模集成電路（VISI）或光學(xué)集成電路系統(tǒng)實(shí)現(xiàn)，或用現(xiàn)有的計算機(jī)技術(shù)實(shí)現(xiàn)；（5）能進(jìn)行學(xué)習(xí)，以適應(yīng)環(huán)境的變化。神經(jīng)網(wǎng)絡(luò)與系統(tǒng)辨識結(jié)合有別于前面提到的辨識方法。將神經(jīng)網(wǎng)絡(luò)作為被辨識系統(tǒng)的模型，可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計模型的參數(shù)；利用神經(jīng)網(wǎng)絡(luò)的線性、非線性特性，可建立線性、非線性系統(tǒng)的靜態(tài)、動態(tài)、逆動態(tài)及預(yù)測模型，實(shí)現(xiàn)非線性系統(tǒng)的建模。一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)辨識的特點(diǎn)一、神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)(1)不要求建立實(shí)際系統(tǒng)的辨識格式,即可