1、第6章 神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ),模糊控制從人的經(jīng)驗(yàn)出發(fā)，解決了智能控制中人類(lèi)語(yǔ)言的描述和推理問(wèn)題，尤其是一些不確定性語(yǔ)言的描述和推理問(wèn)題，從而在機(jī)器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。,模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)沒(méi)有達(dá)到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度出發(fā)，即從人惱的生理學(xué)和心理學(xué)著手，通過(guò)人工模擬人腦的工作機(jī)理來(lái)實(shí)現(xiàn)機(jī)器的部分智能行為。,人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱(chēng)神經(jīng)網(wǎng)絡(luò)，Neural Network）是模擬人腦思維方式的數(shù)學(xué)模型。 神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來(lái)模擬人類(lèi)大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息

2、處理、學(xué)習(xí)、聯(lián)想、模式分類(lèi)、記憶等。,20世紀(jì)80年代以來(lái)，人工神經(jīng)網(wǎng)絡(luò)（ANN，Artificial Neural Network）研究所取得的突破性進(jìn)展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來(lái)的智能控制方法。它已成為智能控制的一個(gè)新的分支，為解決復(fù)雜的非線(xiàn)性、不確定、未知系統(tǒng)的控制問(wèn)題開(kāi)辟了新途徑。,神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過(guò)4個(gè)階段。 1 啟蒙期（1890-1969年） 1890年，W.James發(fā)表專(zhuān)著心理學(xué)，討論了腦的結(jié)構(gòu)和功能。 1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述腦神經(jīng)細(xì)胞動(dòng)作的數(shù)學(xué)模型，即M-P模型（第一個(gè)神經(jīng)網(wǎng)絡(luò)模型）。,6.

3、1 神經(jīng)網(wǎng)絡(luò)發(fā)展歷史,1949年，心理學(xué)家Hebb實(shí)現(xiàn)了對(duì)腦細(xì)胞之間相互影響的數(shù)學(xué)描述，從心理學(xué)的角度提出了至今仍對(duì)神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學(xué)習(xí)法則。 1958年，E.Rosenblatt提出了描述信息在人腦中貯存和記憶的數(shù)學(xué)模型，即著名的感知機(jī)模型（Perceptron）。,1962年，Widrow和Hoff提出了自適應(yīng)線(xiàn)性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學(xué)習(xí)新知識(shí)的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則（即學(xué)習(xí)規(guī)則），并用電路進(jìn)行了硬件設(shè)計(jì)。 2 低潮期（1969-1982） 受當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)理論研究水平的限制及馮諾依曼式計(jì)算機(jī)發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入

4、低谷。,在美、日等國(guó)有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對(duì)任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Kohonen提出了自組織映射的SOM模型。 3 復(fù)興期（1982-1986）,1982年，物理學(xué)家Hoppield提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型，該模型通過(guò)引入能量函數(shù)，實(shí)現(xiàn)了問(wèn)題優(yōu)化求解，1984年他用此模型成功地解決了旅行商路徑優(yōu)化問(wèn)題(TSP)。 在1986年，在Rumelhart和McCelland等出版Para

5、llel Distributed Processing一書(shū)，提出了一種著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)是迄今為止應(yīng)用最普遍的神經(jīng)網(wǎng)絡(luò)。,4 新連接機(jī)制時(shí)期（1986-現(xiàn)在） 神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計(jì)算機(jī)。 神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識(shí)別與圖象處理（語(yǔ)音、指紋、故障檢測(cè)和圖象壓縮等）、控制與優(yōu)化、預(yù)測(cè)與管理（市場(chǎng)預(yù)測(cè)、風(fēng)險(xiǎn)分析）、通信等。,6 .2 神經(jīng)網(wǎng)絡(luò)原理 神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個(gè)神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。 人腦能完成智能、思維等高級(jí)活動(dòng)，為了能

6、利用數(shù)學(xué)模型來(lái)模擬人腦的活動(dòng)，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。,神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。 每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支樹(shù)突組成。 軸突功能是將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時(shí)傳送給多個(gè)神經(jīng)元。,樹(shù)突的功能是接受來(lái)自其它神經(jīng)元的興奮。 神經(jīng)元細(xì)胞體將接收到的所有信號(hào)進(jìn)行簡(jiǎn)單地處理后，由軸突輸出。 神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱(chēng)為突觸。,圖 單個(gè)神經(jīng)元的解剖圖,神經(jīng)元由4部分構(gòu)成： （1）細(xì)胞體（主體部分）：包括細(xì)胞質(zhì)、細(xì)胞膜和細(xì)胞核

7、； （2）樹(shù)突：用于為細(xì)胞體傳入信息； （3）軸突：為細(xì)胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學(xué)物質(zhì)； （4）突觸：是神經(jīng)元之間的接口（104105個(gè)/每個(gè)神經(jīng)元）。一個(gè)神經(jīng)元通過(guò)其軸突的神經(jīng)末梢，經(jīng)突觸與另外一個(gè)神經(jīng)元的樹(shù)突連接，以實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動(dòng)傳遞方式的變化，傳遞作用強(qiáng)弱不同，形成了神經(jīng)元之間連接的柔性，稱(chēng)為結(jié)構(gòu)的可塑性。 通過(guò)樹(shù)突和軸突，神經(jīng)元之間實(shí)現(xiàn)了信息的傳遞。,神經(jīng)元具有如下功能： (1)興奮與抑制：如果傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元

8、的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位降低，低于動(dòng)作電位的閾值時(shí)即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。 (2) 學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。,6.3 神經(jīng)網(wǎng)絡(luò)的分類(lèi) 目前神經(jīng)網(wǎng)絡(luò)模型的種類(lèi)相當(dāng)豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。 典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò) （BOP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。,根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為兩種形式： （1）前向網(wǎng)絡(luò) 如圖所示，神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層的神

9、經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過(guò)各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。,圖 前饋型神經(jīng)網(wǎng)絡(luò),（2）反饋網(wǎng)絡(luò) 該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來(lái)自外部的輸入和來(lái)自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。 Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用最廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以解決尋優(yōu)問(wèn)題。,圖 反饋型神經(jīng)網(wǎng)絡(luò),(3) 自組織網(wǎng)絡(luò) 網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。Kohonen網(wǎng)絡(luò)是

10、最典型的自組織網(wǎng)絡(luò)。Kohonen認(rèn)為，當(dāng)神經(jīng)網(wǎng)絡(luò)在接受外界輸入時(shí)，網(wǎng)絡(luò)將會(huì)分成不同的區(qū)域，不同區(qū)域具有不同的響應(yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號(hào)激勵(lì)，從而形成一種拓?fù)湟饬x上的特征圖，該圖實(shí)際上是一種非線(xiàn)性映射。這種映射是通過(guò)無(wú)監(jiān)督的自適應(yīng)過(guò)程完成的，所以也稱(chēng)為自組織特征圖。,Kohonen網(wǎng)絡(luò)通過(guò)無(wú)導(dǎo)師的學(xué)習(xí)方式進(jìn)行權(quán)值的學(xué)習(xí)，穩(wěn)定后的網(wǎng)絡(luò)輸出就對(duì)輸入模式生成自然的特征映射，從而達(dá)到自動(dòng)聚類(lèi)的目的。,圖 自組織神經(jīng)網(wǎng)絡(luò),6.4 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)智能特性的重要標(biāo)志，神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)算法，實(shí)現(xiàn)了自適應(yīng)、自組織和自學(xué)習(xí)的能力。 目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有多

11、種，按有無(wú)導(dǎo)師分類(lèi)，可分為有教師學(xué)習(xí)（Supervised Learning）、無(wú)教師學(xué)習(xí)（Unsupervised Learning）和再勵(lì)學(xué)習(xí)（Reinforcement Learning）等幾大類(lèi)。,在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。 在無(wú)教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競(jìng)爭(zhēng)規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類(lèi)等功能。 再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。,圖 有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),圖 無(wú)導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法： 6.4.1

12、Hebb學(xué)習(xí)規(guī)則 Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)算法。生物學(xué)家D.O.Hebbian基于對(duì)生物學(xué)和心理學(xué)的研究，認(rèn)為兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱(chēng)為Hebb學(xué)習(xí)規(guī)則，即,其中， 為連接從神經(jīng)元 到神經(jīng)元 j的當(dāng)前權(quán)值， 和 為神經(jīng)元的激活水平。 Hebb學(xué)習(xí)規(guī)則是一種無(wú)教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此，這種方法又稱(chēng)為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。,6.4.2 Delta（）學(xué)習(xí)規(guī)則 假設(shè)誤差準(zhǔn)則函數(shù)為： 其中， 代表期望的輸出（教師信號(hào)）； 為網(wǎng)絡(luò)的實(shí)際輸出， ； 為網(wǎng)絡(luò)所有權(quán)值組成的向量： 為輸入模式：,其中訓(xùn)練樣本數(shù)為

13、 。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是通過(guò)調(diào)整權(quán)值W，使誤差準(zhǔn)則函數(shù)最小。 權(quán)值的調(diào)整采用梯度下降法來(lái)實(shí)現(xiàn)，其基本思想是沿著E的負(fù)梯度方向不斷修正W值，直到E達(dá)到最小。數(shù)學(xué)表達(dá)式為：,其中,令 ，則,W的修正規(guī)則為,上式稱(chēng)為學(xué)習(xí)規(guī)則，又稱(chēng)誤差修正規(guī)則。,6.5 神經(jīng)網(wǎng)絡(luò)特征及要素 1. 神經(jīng)網(wǎng)絡(luò)特征 神經(jīng)網(wǎng)絡(luò)具有以下幾個(gè)特征： （1）能逼近任意非線(xiàn)性函數(shù)； （2）信息的并行分布式處理與存儲(chǔ)；,（3）可以多輸入、多輸出； （4）便于用超大規(guī)模集成電路（VISI）或光學(xué)集成電路系統(tǒng)實(shí)現(xiàn)，或用現(xiàn)有的計(jì)算機(jī)技術(shù)實(shí)現(xiàn)； （5）能進(jìn)行學(xué)習(xí)，以適應(yīng)環(huán)境的變化。,2 神經(jīng)網(wǎng)絡(luò)要素 決定神經(jīng)網(wǎng)絡(luò)模型性能的三大要素為： （1）神經(jīng)元（信息處理單元）的特性； （2）神經(jīng)元之間相互連接的形式拓?fù)浣Y(jié)構(gòu)； （3）為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。,6.6 神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域,1 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí) 將神經(jīng)網(wǎng)絡(luò)作為被辨識(shí)系統(tǒng)的模型，可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計(jì)模型的參數(shù)。 利用神經(jīng)網(wǎng)絡(luò)的線(xiàn)性、非線(xiàn)性特性，可建立線(xiàn)性、非線(xiàn)性系統(tǒng)的靜態(tài)、動(dòng)態(tài)、逆動(dòng)態(tài)及預(yù)測(cè)模型，實(shí)現(xiàn)非線(xiàn)性系統(tǒng)的建模和辨識(shí)。,(2) 神經(jīng)網(wǎng)絡(luò)控制器 神經(jīng)網(wǎng)絡(luò)作為實(shí)時(shí)控制系統(tǒng)的控制