第八章人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用8.1人工神經(jīng)網(wǎng)絡(luò)概述8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)8.3人工神經(jīng)網(wǎng)絡(luò)學(xué)習8.4人工神經(jīng)網(wǎng)絡(luò)應(yīng)用第一頁，共五十二頁。8.1人工神經(jīng)網(wǎng)絡(luò)概述

利用機器模仿人類的智能是長期以來人們認識自然、改造自然和認識自身的理想。人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）是一個用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡(luò)，是對人腦或生物神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。第二頁，共五十二頁。（1）研究ANN目的探索和模擬人的感覺、思維和行為的規(guī)律，設(shè)計具有人類智能的計算機系統(tǒng)。探討人腦的智能活動，用物化了的智能來考察和研究人腦智能的物質(zhì)過程及其規(guī)律。第三頁，共五十二頁。（2）研究ANN方法●生理結(jié)構(gòu)的模擬用仿生學(xué)觀點，探索人腦的生理結(jié)構(gòu)，把對人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來即人工神經(jīng)網(wǎng)絡(luò)方法?！窈暧^功能的模擬從人的思維活動和智能行為的心理學(xué)特性出發(fā)，利用計算機系統(tǒng)來對人腦智能進行宏觀功能的模擬，即符號處理方法。第四頁，共五十二頁。（3）ANN的研究內(nèi)容理論研究：從數(shù)學(xué)上描述ANN的動力學(xué)過程，建立相應(yīng)的ANN模型。對于給定的學(xué)習樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達到穩(wěn)定狀態(tài)，滿足學(xué)習要求的算法。實現(xiàn)技術(shù)的研究：探討利用電子、光學(xué)、生物等技術(shù)實現(xiàn)神經(jīng)計算機的途徑。應(yīng)用的研究：探討如何應(yīng)用ANN解決實際問題，如模式識別、故障檢測、智能機器人等。第五頁，共五十二頁。（4）ANN的特點與優(yōu)勢具有自學(xué)習功能具有聯(lián)想存儲功能具有高速尋找優(yōu)化解的能力第六頁，共五十二頁。人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)不適于高精度的計算正像很多人不善于直接計算類似資金的問題一樣，人工神經(jīng)網(wǎng)絡(luò)不用于計算資金方面的問題。人工神經(jīng)網(wǎng)絡(luò)不適于做類似順序計數(shù)的工作。人工神經(jīng)網(wǎng)絡(luò)是以并行方式工作的。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習和訓(xùn)練是一個艱難的過程。網(wǎng)絡(luò)的設(shè)計沒有嚴格確定的方法（一般憑經(jīng)驗），所以選擇訓(xùn)練方法和所需網(wǎng)絡(luò)結(jié)構(gòu)沒有統(tǒng)一標準。脫機訓(xùn)練往往需要很長時間，為了獲得最佳效果，常常要重復(fù)試驗多次。網(wǎng)絡(luò)收斂性的問題。第七頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦簡單的神經(jīng)元第八頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)簡單的神經(jīng)元神經(jīng)元就是神經(jīng)細胞，在人體內(nèi)從大腦到全身存在大約1010個神經(jīng)元。神經(jīng)元的組成：細胞體：它是神經(jīng)元的本體，內(nèi)有細胞核和細胞質(zhì)，完成普通細胞的生存功能。樹突：它有大量的分枝，多達103數(shù)量級，長度較短（通常不超過1毫米），用以接受來自其它神經(jīng)元的信號。軸突：用以輸出信號，有些較長（可達1米以上），軸突的遠端也有分枝，可與多個神經(jīng)元相連。突觸：它是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的特殊部位，通常是一個神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號傳遞給下一個神經(jīng)元的樹突或細胞體。第九頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)元間信號的傳遞神經(jīng)元間的信號通過突觸傳遞。通過它，一個神經(jīng)元內(nèi)傳送的沖擊信號將在下一個神經(jīng)元內(nèi)引起響應(yīng)，使下一個神經(jīng)元興奮，或阻止下一個神經(jīng)元興奮。第十頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)元的基本工作機制一個神經(jīng)元有兩種狀態(tài)——興奮和抑制平時處于抑制狀態(tài)的神經(jīng)元，當接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號時，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。進入突觸的信號會被加權(quán)，起興奮作用的信號為正，起抑制作用的信號為負。如果疊加總量超過某個閾值，神經(jīng)元就會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)后有一個不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)原來狀態(tài)。第十一頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)元的基本工作機制神經(jīng)元是按照“全或無”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認為神經(jīng)元只能表達或傳遞二值邏輯信號。神經(jīng)元興奮時往往不是只發(fā)一個脈沖，而是發(fā)出一串脈沖，如果把一串脈沖看成是一個調(diào)頻信號，脈沖的密度是可以表達連續(xù)量的。第十二頁，共五十二頁。神經(jīng)網(wǎng)絡(luò)基本模型第十三頁，共五十二頁。黑箱當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。尤其對問題的機理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測等問題,ANN往往是最有利的工具。另一方面,ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題,表現(xiàn)出極大的靈活性和自適應(yīng)性。第十四頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)單層網(wǎng)絡(luò)最簡單的網(wǎng)絡(luò)是把一組結(jié)點形成一層。左邊的黑色圓點只起著分配輸入信號的作用，沒有計算作用，不看作是網(wǎng)絡(luò)的一層。右邊用圓圈表示的一組結(jié)點被看作一層。第十五頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號表示為行向量：x=(x1,x2,…,xN)，其中每一分量通過加權(quán)連接到各結(jié)點。每一個結(jié)點均可產(chǎn)生一個加權(quán)和。輸入和結(jié)點間采用全連接，并且都是前饋連接。實際的人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)中有些連接可能不存在。第十六頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)單層網(wǎng)絡(luò)在這種單層網(wǎng)絡(luò)中，可把各加權(quán)表示為加權(quán)矩陣W。矩陣的維數(shù)是Nxn，N是輸入信號向量（也稱輸入圖形）的分量數(shù)，n是該層內(nèi)的結(jié)點數(shù)。由第三個輸入連接到第二個結(jié)點的連接權(quán)表示為W32。第十七頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號的加權(quán)和表示為：s是各結(jié)點加權(quán)和的行向量，s=(s1,s2,…,sn)。輸出向量y=(y1,y2,…,yn)，其中yj=F(sj)。第十八頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)多層網(wǎng)絡(luò)一般來說，大而復(fù)雜的網(wǎng)絡(luò)能提供更強的計算能力。雖然目前已構(gòu)成了很多網(wǎng)絡(luò)模型，但它們的結(jié)點都是按層排列的，這一點正是模仿了大腦皮層中的網(wǎng)絡(luò)模塊。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進行級聯(lián)構(gòu)成的，即上一層的輸出作為下一層的輸入。第十九頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)多層網(wǎng)絡(luò)兩層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）第二十頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)多層網(wǎng)絡(luò)三層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）第二十一頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)存儲和回憶存儲就是將信息或圖形存在某種存儲器中，而回憶則是將已存儲的信息按某種方式恢復(fù)出來。為了與人類大腦的功能類比，我們把這種信息的恢復(fù)稱為回憶。第二十二頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)存儲和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲圖形的類型在計算機中，數(shù)據(jù)和信息是存放在存貯器中（RAM或ROM)，以8比特字節(jié)作為存儲單位。在人工神經(jīng)網(wǎng)絡(luò)中，信息或圖形不再限定為8比特，它是多維的二進制數(shù)據(jù)或連續(xù)信息。第二十三頁，共五十二頁。8.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)存儲和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲的兩類圖形空間圖形的存儲存儲單個空間靜態(tài)圖像，如一幅畫面。時空圖形的存儲存儲一系列隨時間變化的圖像，比如電影。我們討論的人工神經(jīng)網(wǎng)絡(luò)存儲的圖形大多是空間圖形，因它是構(gòu)成時空圖形的基礎(chǔ)。第二十四頁，共五十二頁。人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲內(nèi)容尋址存儲器它是在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中形成的，相當于通過訓(xùn)練將信息存儲在加權(quán)矩陣W中。訓(xùn)練一旦完成，數(shù)據(jù)就相當于變換到加權(quán)矩陣的穩(wěn)定狀態(tài)中，因此這種存儲是長期存儲。聯(lián)想存儲器它是在人工神經(jīng)網(wǎng)絡(luò)的回憶操作中出現(xiàn)的。當對網(wǎng)絡(luò)輸入激勵信號時，作為回憶結(jié)果，網(wǎng)絡(luò)的輸出給出一個響應(yīng)狀態(tài)。這一響應(yīng)狀態(tài)實際上也相當于一個所需的存儲數(shù)據(jù)（響應(yīng)），因此這種存儲為短期存儲。存儲和回憶第二十五頁，共五十二頁。存儲和回憶回憶的概念回憶是人類智能的一個主要特征，要想回憶某個人或某件事，通?？赏ㄟ^聯(lián)想進行。當看到一本書的封面顏色和作者時，會聯(lián)想到這是一本什么書（書的內(nèi)容）。當丟失東西時，可以通過聯(lián)想到過什么地方，做過什么事情，最后回憶起把東西放在什么地方。這兩種情況都有一個特點，就是不管是哪本書，還是與東西有關(guān)的地點和事情，都是經(jīng)歷過的，相應(yīng)的記憶才有可能聯(lián)想出所需的結(jié)果。第二十六頁，共五十二頁。聯(lián)想的兩種方式自聯(lián)想：由本身的部分特征聯(lián)想起整個事物的全部特征。他聯(lián)想：由一件事情聯(lián)想到另一件事情。在人工神經(jīng)網(wǎng)絡(luò)中，回憶操作也有兩種聯(lián)想變換自聯(lián)想變換他聯(lián)想變換第二十七頁，共五十二頁。存儲和回憶回憶的概念在人工神經(jīng)網(wǎng)絡(luò)中，不管是自聯(lián)想回憶還是他聯(lián)想回憶，信息的回憶方式有兩種。前饋回憶反饋回憶第二十八頁，共五十二頁。存儲和回憶回憶的概念前饋回憶輸入激勵只需通過一次存儲矩陣就可產(chǎn)生所需的響應(yīng)。第二十九頁，共五十二頁。存儲和回憶回憶的概念反饋回憶輸入激勵通過存儲矩陣W產(chǎn)生響應(yīng)，該響應(yīng)作為激勵再反饋通過W，這樣依次循環(huán)，直到激勵和響應(yīng)停止變化為止，即得到所要求的響應(yīng)。第三十頁，共五十二頁。8.3人工神經(jīng)網(wǎng)絡(luò)學(xué)習人工神經(jīng)網(wǎng)絡(luò)的最主要特征之一是它可以學(xué)習。任何一個人工神經(jīng)網(wǎng)絡(luò)模型要實現(xiàn)某種功能的操作，就必須對它進行訓(xùn)練，讓它學(xué)會要做的事情，并把這些知識記憶（存儲）在網(wǎng)絡(luò)的加權(quán)中。學(xué)習或訓(xùn)練的實質(zhì)就是加權(quán)矩陣隨外部激勵（環(huán)境）做自適應(yīng)的變化。第三十一頁，共五十二頁。8.3人工神經(jīng)網(wǎng)絡(luò)學(xué)習因為學(xué)習和訓(xùn)練的實質(zhì)是變動加權(quán)值，因此很多文獻中學(xué)習和訓(xùn)練的概念是混用的。嚴格來說，兩者是有區(qū)別的，訓(xùn)練通常是指調(diào)整網(wǎng)絡(luò)加權(quán)的操作動作和過程，這個過程對網(wǎng)絡(luò)來講就是學(xué)習。比如舉辦一個訓(xùn)練班對學(xué)生進行某種技能的訓(xùn)練，對學(xué)生來講，它是在該班內(nèi)學(xué)習。第三十二頁，共五十二頁。8.3神經(jīng)網(wǎng)絡(luò)的學(xué)習方式監(jiān)督學(xué)習（有教師學(xué)習）非監(jiān)督學(xué)習（無教師學(xué)習）再勵學(xué)習（強化學(xué)習）第三十三頁，共五十二頁。監(jiān)督學(xué)習環(huán)境教師學(xué)習系統(tǒng)+輸入正確響應(yīng)實際響應(yīng)誤差信號第三十四頁，共五十二頁。非監(jiān)督學(xué)習環(huán)境學(xué)習系統(tǒng)輸入第三十五頁，共五十二頁。再勵學(xué)習環(huán)境學(xué)習系統(tǒng)輸入評價輸出狀態(tài)動作第三十六頁，共五十二頁。人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間技術(shù)：飛行器控制系統(tǒng)，飛行器元件仿真，飛行器元件錯誤探測。交通業(yè)：交通控制、道路優(yōu)化。金融業(yè)：信貸申請評估。語言理解：語音識別，語音壓縮，聲調(diào)識別。遙感解譯、天氣預(yù)報、故障診斷、機器人，制造業(yè)，保險業(yè)和醫(yī)學(xué)領(lǐng)域等。第三十七頁，共五十二頁?；谏窠?jīng)網(wǎng)絡(luò)模式識別功能的診斷系統(tǒng)第三十八頁，共五十二頁。因子的具體選取

依據(jù)降水的主要條件，從我國T213數(shù)值預(yù)報產(chǎn)品中選取反映保定降水條件的物理量。共從36小時預(yù)報中選出10個網(wǎng)格點要素，分別是：濕度條件：850HPA的相對濕度、水汽通量；垂直速度條件：850的散度、200的散度、700的垂直速度、降水量、700的渦度；（以上為116E、39N網(wǎng)點的值）東高西低條件：110E、120E、39N兩點850的高度差；鋒區(qū)和能量條件：116E、35N、45N兩點850的溫度差、TS。人工神經(jīng)網(wǎng)絡(luò)在短期降水預(yù)報中的應(yīng)用第三十九頁，共五十二頁。BP神經(jīng)網(wǎng)絡(luò)的建立采用三層BP人工神經(jīng)網(wǎng)絡(luò)模式，輸入層為10個神經(jīng)元，對應(yīng)10個預(yù)報因子。輸出層為3個神經(jīng)元，對應(yīng)降水的大中小三個降水量級。中間層一般取輸入層和輸出層數(shù)的平均，這里取7個神經(jīng)元。如圖1所示，X為輸入層，H為隱含層，Y為預(yù)報輸出層。第四十頁，共五十二頁。第四十一頁，共五十二頁。網(wǎng)絡(luò)訓(xùn)練1、預(yù)報因子0~1化：Xi=(Xmax-Xi)/(Xmax-Xmin)2、在訓(xùn)練以前我們?nèi)?~1之間的隨機數(shù)為連接權(quán)重系數(shù)Uil、Wlt和閥值Rl、Sj賦初值。由于訓(xùn)練開始時誤差常常較大，它們將在以后的訓(xùn)練學(xué)習過程中自動逐步調(diào)節(jié)3、02年，我臺從3月到11月接收T213數(shù)值預(yù)報產(chǎn)品齊全的共有159天，用前109天的資料作為網(wǎng)絡(luò)訓(xùn)練樣本第四十二頁，共五十二頁。訓(xùn)練結(jié)果經(jīng)過兩萬多次的訓(xùn)練，總體預(yù)報誤差達到了4.0以下。終止訓(xùn)練后。這109天中共有降水日27天，其中小雨20天，中雨6天，大雨以上降水一次。訓(xùn)練結(jié)束時27天降水全部報出，量級也全部正確，只是空報兩次小雨過程，歷史擬合率達到27/29=93%。第四十三頁，共五十二頁。試報結(jié)果在試報的50天中共有降水8次，其中大雨2次，漏一次，一次報中雨。中雨3次，報對2次，漏一次。3次小雨，一次報中雨，漏2次。另空報2次小雨，定性準確率4/10=40%。第四十四頁，共五十二頁。分析與討論擬合率雖然很高，但試報準確率不太理想。這可能與樣本少，降水模型過于簡單，且不分季節(jié)有關(guān)。如果增加歷史樣本，分季節(jié)、分類型建立降水模型。根據(jù)不同模型特點，分別找不同的預(yù)報因子，有可能提高實際的預(yù)報準確率（BP）神經(jīng)網(wǎng)絡(luò)的輸入與輸出不象回歸方程是線性關(guān)系，而是非線性的。因此，因子的選好比較困難，沒有較好的數(shù)學(xué)方法，所以采用建降水模式的方法，找物理意義較明確的因子。但不同的預(yù)報員可能選擇的不同因子。第四十五頁，共五十二頁。人工神經(jīng)網(wǎng)絡(luò)在遙感影像解譯中的應(yīng)用基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的分類聚合技術(shù)的進行了黃河下游灘區(qū)淹沒面積遙感影像自動解譯的應(yīng)用研究，案例研究中選用2002年7月、2004年6月、2005年6月黃河下游灘區(qū)雷達衛(wèi)星遙感影像進行了模型訓(xùn)練和測試。第四十六頁，共五十二頁。數(shù)據(jù)訓(xùn)練與分析

第四十七頁，共五十二頁。淹沒區(qū)內(nèi)空間像素的分類圖2a中像元的值是原始影像（圖2c）各個像元的灰度值（叢0到255），圖2右邊給出了由遙感專業(yè)人員目視解譯分類成果，圖2b中的數(shù)字是洪水區(qū)或者非洪水區(qū)的分類符號，這個分類符號0，表示該像元屬于非洪水區(qū)；符號255，表示該像元屬于洪水區(qū)。圖2a作為輸入值、圖2b作為輸出值組成了用于訓(xùn)練的數(shù)據(jù)，這些數(shù)據(jù)將用于分類。第四十八頁，共五十二頁。神經(jīng)網(wǎng)絡(luò)模型SAR圖像