1、第六章神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)，模糊控制從人的經(jīng)驗(yàn)出發(fā)，解決了智能控制中人類(lèi)語(yǔ)言的描述和推理問(wèn)題，特別是一些不確定性語(yǔ)言的描述和推理問(wèn)題，在機(jī)器模擬人腦的知覺(jué)、推理等智能行為上邁出了重要的一步。 模糊控制在處理數(shù)值數(shù)據(jù)、自我學(xué)習(xí)能力等方面還沒(méi)有達(dá)到人腦的領(lǐng)域。 人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度，即人生氣的生理學(xué)和心理學(xué)著手，通過(guò)人工模擬人腦機(jī)制來(lái)實(shí)現(xiàn)機(jī)器智能行為的一部分。 人工神經(jīng)網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱(chēng)Neural Network )是模擬人腦思維的數(shù)學(xué)模型。 神經(jīng)網(wǎng)絡(luò)是現(xiàn)代生物學(xué)在研究人腦組織成果的基礎(chǔ)上提出的，用于模擬人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。 神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想

2、、模式分類(lèi)、記憶等。 20世紀(jì)80年代以來(lái)，人工神經(jīng)網(wǎng)絡(luò)(ANN，Artificial Neural Network )研究所取得了劃時(shí)代的進(jìn)展。 神經(jīng)網(wǎng)絡(luò)控制是神經(jīng)網(wǎng)絡(luò)和控制理論結(jié)合發(fā)展的智能控制方法。 這成為智能控制的新分支，為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問(wèn)題開(kāi)辟了新途徑。 神經(jīng)網(wǎng)絡(luò)的發(fā)展過(guò)程經(jīng)歷了四個(gè)階段。 1啟蒙期(1890-1969年) 1890年，W.James發(fā)表了專(zhuān)業(yè)心理學(xué)，探討了腦的結(jié)構(gòu)和功能。 1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了記述腦神經(jīng)細(xì)胞活動(dòng)的數(shù)學(xué)模型，即M-P模型(最初的神經(jīng)網(wǎng)絡(luò)模型)。 6.1神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，1

3、949年，心理學(xué)家Hebb實(shí)現(xiàn)了對(duì)腦細(xì)胞間相互影響的數(shù)學(xué)描寫(xiě)，從心理學(xué)的角度提出了至今仍對(duì)神經(jīng)網(wǎng)絡(luò)理論產(chǎn)生重要影響的Hebb學(xué)習(xí)規(guī)律。 1958年，E.Rosenblatt提出了在人腦中保存和記憶信息的數(shù)學(xué)模型，即萩名的感知器模型(Perceptron )。 1962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，提出了網(wǎng)絡(luò)學(xué)習(xí)新知識(shí)的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則(即學(xué)習(xí)規(guī)則)，電路進(jìn)行了硬件設(shè)置修正。 2低潮期(1969-1982 )受當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)理論研究水平的限制和馮諾伊曼式修正機(jī)發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。 美、日等國(guó)有少數(shù)學(xué)者繼續(xù)

4、研究神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法，提出了許多有意義的理論和方法。 例如，在1969年，S.Groisberg和A.Carpentet提出了迄今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對(duì)任何復(fù)雜的二維模型進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。 1972年，Kohonen提出了自組織映射的SOM模型。 3復(fù)興期(1982-1986 )，1982年，物理學(xué)家Hoppield提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型，該模型通過(guò)引入能量函數(shù)實(shí)現(xiàn)了問(wèn)題優(yōu)化解決，1984年他使用該模型實(shí)現(xiàn)了旅行者路徑優(yōu)化問(wèn)題(TSP ) 1986年，Rumelhart、McCelland等出版了一本名為并行分布式處理的書(shū)，提出了一種有名的多層

5、神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。 這個(gè)網(wǎng)絡(luò)是至今為止最普遍使用的神經(jīng)網(wǎng)絡(luò)。 4新連接機(jī)制時(shí)期(1986-現(xiàn)在)的神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計(jì)算機(jī)。 神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用領(lǐng)域包括模式識(shí)別和圖像處理(語(yǔ)音、指紋、故障檢測(cè)和圖像壓縮等)、控制和優(yōu)化、預(yù)測(cè)和管理(市場(chǎng)預(yù)測(cè)、風(fēng)險(xiǎn)分析)、通信等。 6 .2神經(jīng)網(wǎng)絡(luò)原理根據(jù)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究，人腦極為復(fù)雜，由一千多億個(gè)神經(jīng)元交織的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮質(zhì)約140億個(gè)神經(jīng)元，小腦皮質(zhì)約1000億個(gè)神經(jīng)元。 人腦能夠完成智能、思維等高級(jí)活動(dòng)，而為了利用數(shù)學(xué)模型模擬人腦活動(dòng)，引起了對(duì)神經(jīng)網(wǎng)絡(luò)的研究。 神經(jīng)系統(tǒng)的基本結(jié)構(gòu)是神經(jīng)元(神經(jīng)

6、細(xì)胞)，是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。各神經(jīng)元由細(xì)胞、連接其他神經(jīng)元的軸索和向外側(cè)突出的其他短分支樹(shù)突構(gòu)成。 軸索功能將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末端將興奮同時(shí)傳遞給多個(gè)神經(jīng)元。 樹(shù)突的功能是接受來(lái)自其他神經(jīng)元的興奮。 神經(jīng)元細(xì)胞在簡(jiǎn)單處理完所有接收到的信號(hào)后，從軸索輸出。 神經(jīng)元的軸突與其他神經(jīng)元的神經(jīng)末梢相連的部分叫突觸。 圖單一神經(jīng)元的解剖圖，神經(jīng)元由3個(gè)部分組成： (1)細(xì)胞(主體部分):包括細(xì)胞質(zhì)、細(xì)胞膜、細(xì)胞核；(2)樹(shù)突：用于向細(xì)胞傳遞信息；(3)軸突：來(lái)自細(xì)胞的信息，其末端是軸突末端，包括傳遞信息的化學(xué)物質(zhì)一個(gè)神經(jīng)元通過(guò)其軸突的

7、神經(jīng)末端，通過(guò)突觸與另一個(gè)神經(jīng)元的樹(shù)突相連，實(shí)現(xiàn)信息的傳遞。 由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖激傳遞方式的變化，傳遞作用的強(qiáng)弱不同，形成神經(jīng)元之間連接的靈活性，被稱(chēng)為結(jié)構(gòu)的可塑性。 樹(shù)突和軸突實(shí)現(xiàn)了神經(jīng)元之間的信息傳遞。 神經(jīng)元具有以下興奮和抑制功能： (1)一旦被傳遞到神經(jīng)元的沖動(dòng)調(diào)整而使細(xì)胞膜電位上升，超過(guò)動(dòng)作電位的閾值就會(huì)成為興奮狀態(tài)，產(chǎn)生神經(jīng)脈沖，從軸索經(jīng)由神經(jīng)末端被傳遞。 當(dāng)傳遞到神經(jīng)元的脈沖調(diào)整而降低細(xì)胞膜電位時(shí)，其低于動(dòng)作電位閾值就成為抑制狀態(tài)，不產(chǎn)生神經(jīng)脈沖。 (2)學(xué)習(xí)和遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用增強(qiáng)和減弱，神經(jīng)元具有學(xué)習(xí)和遺忘的功能。 6.3神經(jīng)

8、網(wǎng)絡(luò)的分類(lèi)目前神經(jīng)網(wǎng)絡(luò)模型種類(lèi)相當(dāng)豐富，已有近40種神經(jīng)網(wǎng)絡(luò)模型。 典型的神經(jīng)網(wǎng)絡(luò)是多層前向傳播網(wǎng)絡(luò)(BOP網(wǎng)絡(luò))、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman功能網(wǎng)絡(luò)和madan 神經(jīng)網(wǎng)絡(luò)的連接方式可以將神經(jīng)網(wǎng)絡(luò)分為兩種形式： (1)如前向網(wǎng)絡(luò)圖所示，神經(jīng)元分層排列構(gòu)成輸入層、隱含層和輸出層。 各層的神經(jīng)元只接受前一層的神經(jīng)元的輸入。 輸入模式經(jīng)過(guò)各層的依次轉(zhuǎn)換后從輸出層輸出。 各神經(jīng)元之間不存在反饋。 傳感器和誤差反向傳播網(wǎng)絡(luò)采用正向網(wǎng)絡(luò)形式。 地圖前饋型神經(jīng)網(wǎng)絡(luò)，(2)反饋網(wǎng)絡(luò)該網(wǎng)絡(luò)結(jié)構(gòu)從輸出層到輸入層有反饋，即每個(gè)輸入節(jié)

9、點(diǎn)可能接受來(lái)自外部的輸入和來(lái)自輸出神經(jīng)元的反饋。 該神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，穩(wěn)定需要時(shí)間。 Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單、應(yīng)用最廣泛的模型，有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為優(yōu)秀的函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)也可以解決優(yōu)秀的問(wèn)題圖中顯示了反饋型神經(jīng)網(wǎng)絡(luò)，(3)自組織網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)。 Kohonen網(wǎng)絡(luò)是最典型的自組織網(wǎng)絡(luò)。 Kohonen認(rèn)為，當(dāng)神經(jīng)網(wǎng)絡(luò)接收到來(lái)自外部的輸入時(shí)，網(wǎng)絡(luò)被分為不同的區(qū)域，具有不同的響應(yīng)特性，即不同的神經(jīng)元對(duì)不同性質(zhì)的信號(hào)激勵(lì)作出最佳響應(yīng)，從而形成拓?fù)涮卣鲌D這種映射由沒(méi)有被監(jiān)視的自適應(yīng)過(guò)程進(jìn)行，因此也被稱(chēng)為自組織特征圖。 Koho

10、nen網(wǎng)絡(luò)以無(wú)教師的學(xué)習(xí)方式進(jìn)行權(quán)重學(xué)習(xí)，穩(wěn)定的網(wǎng)絡(luò)輸出對(duì)輸入模式生成自然的特征映射，達(dá)到自動(dòng)聚類(lèi)的目的。 圖自組織神經(jīng)網(wǎng)絡(luò)，6.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)智能特性的重要標(biāo)志，神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)算法實(shí)現(xiàn)了自適應(yīng)、自組織和自學(xué)習(xí)能力。目前，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有很多種，根據(jù)教師的有無(wú)進(jìn)行分類(lèi)，分為有教師學(xué)習(xí)、無(wú)教師學(xué)習(xí)和再激勵(lì)學(xué)習(xí)網(wǎng)絡(luò)的輸出和期望的輸出(即教師信號(hào))進(jìn)行比較，根據(jù)兩者的差調(diào)整網(wǎng)絡(luò)的權(quán)重，最終減小差。 在沒(méi)有教師的學(xué)習(xí)方式中，輸入模式一進(jìn)入網(wǎng)絡(luò)，網(wǎng)絡(luò)就按照預(yù)先設(shè)定的規(guī)則(比如競(jìng)爭(zhēng)規(guī)則)自動(dòng)調(diào)整權(quán)重，使網(wǎng)絡(luò)最終具有模式分類(lèi)等功能。 再激勵(lì)學(xué)習(xí)是介于這兩者之間的學(xué)習(xí)方式。

11、 圖中有指導(dǎo)者指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，圖中沒(méi)有指導(dǎo)者指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：6.4.1 Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是聯(lián)想性學(xué)習(xí)算法。 生物學(xué)家D.O.Hebbian基于生物學(xué)和心理學(xué)的研究，認(rèn)為當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度會(huì)增強(qiáng)，因此所論述的數(shù)學(xué)描述是Hebb學(xué)習(xí)規(guī)則，即連接神經(jīng)元到神經(jīng)元的當(dāng)前權(quán)重值和神經(jīng)元的Hebb學(xué)習(xí)規(guī)則是一種沒(méi)有教師的學(xué)習(xí)方法，只是根據(jù)神經(jīng)元鏈接間的活性化水平改變權(quán)重，因此這種方法也稱(chēng)為相關(guān)學(xué)習(xí)或并行學(xué)習(xí)。 6.4.2 delta ()學(xué)習(xí)規(guī)則誤差標(biāo)準(zhǔn)函數(shù)，其中向量由網(wǎng)絡(luò)所有權(quán)值組成，表示網(wǎng)絡(luò)的實(shí)際輸出(教師信號(hào))，其中：是

12、輸入模式： 其中，訓(xùn)練樣本數(shù)為。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是通過(guò)調(diào)整權(quán)重w使誤差基準(zhǔn)函數(shù)最小化。 權(quán)重的調(diào)整采用梯度下降法實(shí)現(xiàn)，其基本思想是沿著e的負(fù)梯度方向不斷校正w值，直到e變?yōu)樽钚　?公式如下： 在此，如果命令，w的修正規(guī)則將上式稱(chēng)為學(xué)習(xí)規(guī)則，也稱(chēng)為誤差修正規(guī)則。 神經(jīng)網(wǎng)絡(luò)特征和要素1 .神經(jīng)網(wǎng)絡(luò)特征神經(jīng)網(wǎng)絡(luò)可以是(1)近似于任何非線性函數(shù)(2)信息的并行分散處理和存儲(chǔ)，(3)可以多輸入、多輸出，(4)在超大規(guī)模集成電路(VISI )和光集成電路系統(tǒng)中的實(shí)現(xiàn)，或2神經(jīng)網(wǎng)絡(luò)元件確定神經(jīng)網(wǎng)絡(luò)模型的性能的三個(gè)元件是： (1)神經(jīng)元(信息處理單元)的特性；(2)改善性能以適應(yīng)神經(jīng)元之間互連的形式的拓?fù)?3)環(huán)境的學(xué)習(xí)規(guī)則。 6.6神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域，把基于1神經(jīng)網(wǎng)絡(luò)的系統(tǒng)識(shí)別神經(jīng)網(wǎng)絡(luò)作為被識(shí)別系統(tǒng)的模型，在已知通常的模型構(gòu)造的情況下可以估計(jì)模型的殘奧儀表。 利用神經(jīng)網(wǎng)絡(luò)的線性、非線性特性，可以構(gòu)建線性、非線性系統(tǒng)的靜態(tài)、動(dòng)態(tài)、逆動(dòng)態(tài)及預(yù)測(cè)模型，實(shí)現(xiàn)非線性系統(tǒng)的建模與識(shí)別。 (2)神經(jīng)網(wǎng)絡(luò)控制器神經(jīng)網(wǎng)絡(luò)作為實(shí)時(shí)控制系統(tǒng)的控制器，對(duì)不確