一、為什么要用人工神經元網絡

大腦有大約100億個神經細胞，與人腦相比數字計算機有許多不及人腦的方面。首先人腦有很強的自學習能力，人腦的聯想記憶能力也是很卓越的。人腦在存貯大量的信息（包括圖像、語言、文字、形狀等等）之后，能對這些信息進行綜合分析與處理。人腦具有很強的識別能力。它能夠對變形的、模糊的、殘缺的信息進行快速而正確的識別，復原出原來記憶的形狀。此外人腦還具有高穩(wěn)定性和很強的分析能力、判斷能力。人腦有大規(guī)模并行處理能力。由于人腦的神經網絡有以上這么多非凡的能力，所以人們想模擬人腦神經網絡的原理和結構來研究出人工神經網絡，以解決目前科學技術上日趨復雜的難題。第一頁，共二十六頁。第二頁，共二十六頁。第三頁，共二十六頁。第四頁，共二十六頁。第五頁，共二十六頁。第六頁，共二十六頁。+-第七頁，共二十六頁。第八頁，共二十六頁。二、自動控制領域面臨的兩項難題1、控制對象越來越復雜，有多種不確定性以及難以確切描述的非線性問題。2、控制系統的要求越來越高，要求智能化的控制方法。例如：開車、停車、語言、圖象。由于人工神經網絡源于對腦神經的模擬，有很強的適應于復雜環(huán)境的能力和多目標控制要求的自學習能力，并有以任意精度逼近任意非線性連續(xù)函數的特性。這正好能解決以上兩個問題。三、神經網絡按它在系統中所起的作用可分為：1、作為控制器。2、起優(yōu)化計算作用。3、與其它控制方法相結合（如專家系統、模糊控制等，為其提供非參數化對象模型、推理模型等。）4、構成智能控制系統，即能識別環(huán)境并對各種信息進行融合、進行分析和推理，做出決策。第九頁，共二十六頁。四、生物神經元有以下幾個特性：1、多輸入單輸出。2、非線性輸入/輸出。3、有可塑性。4、輸出響應是各個輸入綜合作用的結果。

第十頁，共二十六頁。

例1：如在天氣預報中廣播：“今天下午將有一股強冷空氣襲擊沈陽上空，受它的影響今天我市將有中到大雨”。這時氣溫下降并下起雨，由于天氣變壞，人們出去的計劃就得取消了，人的心情就會不好。對于這個例子，我們可以用人工神經元網絡技術來討論天氣與人們行動和情緒的關系。圖1.1示出了由兩層組成的一個模型。每層有三個神經元。底層叫輸入層，頂層叫輸出層。輸入層的三個神經元從外界獲得信息，而輸出層的三個神經元將模型中的信息向外界發(fā)出。輸入層的每個神經元與輸出層的每個神經元相連。

信息流輸出層輸入層圖1.1第十一頁，共二十六頁。

這個模型的信息處理過程是從下層向上層進行的。即輸入層得到了天氣信息，對此，輸入層的每個神經元可以處于不同的狀態(tài)，即不興奮狀態(tài)（天氣不好，或天氣不變化，或不下雨）或者處于興奮狀態(tài)（天氣好，或天氣變化，或下雨）。輸出層發(fā)出模型處理的結果。輸出層的每個神經元也可以處于不同的狀態(tài)，即不興奮狀態(tài)（情緒不好，或不能游泳，或沒帶雨傘）或者處于興奮狀態(tài)（情緒好，或可以游泳，或帶了雨傘），圖1.2示出了一種輸入與輸出均處于興奮狀態(tài)的框圖?？捎斡厩榫w好帶雨傘天氣好天氣變化下雨輸出層層

輸入層入層圖1.2第十二頁，共二十六頁。圖1.3示出了一種期望的輸入和期望的輸出模型，即“天氣不好—不能游泳”；“天氣變化—情緒不好”；“下雨—帶雨傘”。我們看一下這個模型是怎樣工作的。

圖中的輸入是“下雨”，得到的輸出結果應是“帶雨傘”（即情緒不好和不能游泳）。那末首先輸入和輸出就確定了。為了計算，我們定義“興奮狀態(tài)”用+1代表；“不興奮狀態(tài)”用-1代表。??

?不興奮不興奮興奮不能游泳

情緒不好

帶雨傘期望的輸出

天氣不好

天氣變化

下雨(輸入)圖1.3第十三頁，共二十六頁。這樣一來，圖1.3可表示如下:在這個模型中，每個神經元最少有一個輸入信息。對于輸入層的神經元來說，信息是從外界進入的。而輸出層的神經元中的信息來自下層神經元。通常一個神經元可能有多個輸入突觸，但只有一個輸出端。這個輸出值是對所有輸入值處理后的結果。而對輸入信息進行處理的第一步是對輸入值的求和，如圖1.5所示，???-1-1+1-1 -1 輸入值-1

-1

+1

期望輸出值+1圖1.4第十四頁，共二十六頁。-1(+)-1(+)-1-1+1-1-1+1-1(+)-1-1+1-1(+)-1-1(+)-1+1(+)+1不游泳

情緒不好

沒帶雨傘

（實際輸出值）結果求和輸入結果求和輸入天氣不好

天氣不變化

下雨

（輸入）圖1.5上圖可見，對輸入結果簡單地求和是不能得到期望的輸出結果的（圖中輸入信息為下雨，但輸出竟是沒帶雨傘）。那末為了得到理想的結果，必須對每個神經元的輸入值進行特殊地處理—加權處理。每個神經元都有不同的加權值，加權處理在實際應用中有很重要的意義。第十五頁，共二十六頁。比如可能有這樣一個人（這里簡稱為K），雖然在下雨，但因為幾個小時以后他將乘飛機去南方旅游。所以此時K的心情很好，也就是說外出旅游帶來的喜悅心情比下雨而產生的失落感影響要大得多，所以對K來說外出旅游的加權值要大于下雨的加權值。考慮加權后的處理過程如圖1.6所示結果求和輸入加權圖1.6在這個模型中，對輸入信息先進行加權后再做求和處理。因為我們不能預測實際處理的結果是否如同假設的一樣，所以在處理中還要引入一個閾值，如結果大于閾值輸出則為興奮狀態(tài)（+1），如結果小于閾值輸出為不興奮狀態(tài)（-1）（如圖1.7所示），第十六頁，共二十六頁。結果求和輸入加權結果>閾值圖1.7這里閾值取為0。這樣在輸入為“下雨”時，就可以得到理想的輸出結果—帶雨傘（如圖1.8所示）。>0？-1(+)>0

？-1(+)+100-1-1+10+10-1-1+1>0

？+1(+)00+1-1-1+1>0？-1(+)+1-1>0？-1(+)+1-1>0？+1(+)+1+1不能游泳情緒不好帶雨傘（實際輸出值）天氣不好天氣不變化下雨

（輸入）閾值結果求和加權輸入閾值結果求和加權輸入圖1.8第十七頁，共二十六頁。

我們還可以對下面的期望輸入和期望輸出進行訓練,即“天氣好—游泳，天氣不變化—情緒好,不下雨—沒帶雨傘”。若只考慮加權值和閾值，這個模型如圖1.9所示,即對輸入為“天氣不變化”而輸出則是“情緒不好”，可見沒有得到期望的輸出，所以還應考慮其他的因素。

>0？+1(+)>0

？-1(+)+100+1-1-10+10+1-1-1>0

？-1(+)00+1+1-1-1+1-1-1游泳情緒不好沒帶雨傘（實際輸出）（+1）（-1）（-1）游泳情緒好沒帶雨傘（期望輸出）（+1）（+1）（-1）輸出層天氣好 天氣不變化不下雨（輸入層）圖1.9第十八頁，共二十六頁。因為神經元網絡是模擬大腦進行工作的，所以它具有學習的能力。這樣，可以讓神經元網絡根據輸入和期望的輸出值進行學習訓練。通過學習訓練得到合適的加權值。其中的學習規(guī)則是根據Hebb假說，即：如果神經元i和j同時興奮,則神經元i和j間的連接加強.加強的程度可以用一個叫學習系數的實數來表示。對于上面的例子，我們也可以根據Hebb假說再進行修正。在上例中，期望輸入層左邊的神經元和期望輸出層左邊、中間神經元都是興奮的。根據Hebb學習規(guī)則這些神經元之間的連接權的值應加強，比如取學習系數為1（即了提高1），結果如圖1.10所示，>0？+2(+)>0

？0(+)+200+1-1-1+1+10+1-1-1>0

？-1(+)00+1+1-1-1加權值興奮不興奮不興奮第十九頁，共二十六頁?？梢娂訖嘁院笄蠛偷慕Y果對第一個神經來說是2,對第二個神經是0。因這里學習系數取為1,所以輸出層的神經元沒有達到期望的輸出值。如果重新學習,使學習系數的加權值再提高1,則可以得到期望的輸出值。這樣一來,整個模型的連接強度也發(fā)生了變化,就會得到下面的圖形:>0？+3(+)>0

？+1(+)+300+1-1-1+2+10+1-1-1>0

？-1(+)00+1+1-1-1興奮興奮不興奮加權圖1.11這樣就得到了最后的期望輸出結果，如圖1.12所示：第二十頁，共二十六頁。>0？+3(+)>0

？+1(+)+300+1-1-1+2+10+1-1-1>0

？-1(+)00+1+1-1-1>0？+1(+)+1+1>0？-1(+)+1-1>0？-1(+)+1-1閾值結果加權輸入閾值結果加權輸入游泳情緒好帶雨傘天氣好天氣不變化不下雨圖1.12雖然對于這樣一個簡單學習過程的學習目的很快就達到了。但當三個輸入都是興奮狀態(tài),并三個期望輸出都是不興奮狀態(tài)時，上述就不適用了。即用目前的連接強度和閾值給出的是三個興奮的輸入引起三個興奮的輸出（如圖1.13所示）第二十一頁，共二十六頁。>0？+3(+)>0

？+3(+)+300+1+1+1+2+10+1+1+1>0

？+1(+)00+1+1+1+1>0？+1(+)+1+1>0？+1(+)+1+1>0？+1(+)+1+1（不興奮）（不興奮）（不興奮）期望輸出游泳情緒好帶雨傘實際輸出（+1）（+1）（+1）天氣好

天氣變化下雨加權輸入圖1.13

圖1.13可見，僅使用上述的學習規(guī)則得不到期望的輸出值，所以必須還要考慮其他因素,即要考慮到神經的期望輸出值與實際輸出值的差別.這個差別叫誤差.根據這個誤差值與學習系數的乘積在圖1.13的基礎上再來確定新的加權值.誤差值=期望輸出值–實際輸出值新的加權值=舊的加權值+(學習系數X誤差值)第二十二頁，共二十六頁。對于上面的例子令：學習系數=0.5Wij=神經元j到神經元i的連接權在第一次學習中,計算結果如下:W出1,入1=3+0.5*(-1-1)=+2W出1,入2=0+0.5*(-1-1)=-1W出1,入3=0+0.5*(-1-1)=-1W出2,入1=2+0.5*(-1-1)=+1W出2,入2=1+0.5*(-1-1)=0W出2,入3=0+0.5*(-1-1)=-1W出3,入1=0+0.5*(-1-1)=-1W出3,入2=0+0.5*(-1-1)=-1W出3,入3=1+0.5*(-1-1)=0

學習結果如圖1.14所示，再在圖1.14的基礎上進行第二次學習訓練中,計算結果如下:W出1,入1=2+0.5*(-1+1)=+2W出1,入2=-1+0.5*(-1+1)=-1W出1,入3=-1+0.5*(-1+1)=-1W出2,入1=+1+0.5*(-1+1)=+1W出2,入2=0+0.5*(-1+1)=0W出2,入3=-1+0.5*(-1+1)=-1W出3,入1=-1+0.5*(-1+1)=-1W出3,入2=-1+0.5*(-1+1)=-1W出3,入3=0+0.5*(-1+1)=0

>0？0(+)>0

？0(+)+2-1-1+1+1+1+10-1+1+1+1>0

？-2(+)-1-10+1+1+1>0？+1(+)+1+1>0？+1(+)+1+1>0？+1(+)+1+1不游泳情緒不好沒帶雨傘（-1） （-1）（-1）天氣好

天氣變化

下雨圖1.14第二十三頁，共二十六頁?？梢娫诘诙螌W習中,結果沒有發(fā)生變化,即誤差是零，這時學習訓練結束。這樣對于三個輸入都是興奮時的計算結果如下:這個模型是對三個興奮輸入值進行的訓練。最后它學會了識別這個模型并產生期望的輸出（三個不興奮輸出）。根據這樣的學習訓練取加權值，可以用在前面的例子中,其結果如圖1.15>0？-2(+)>0

？-2(+)+2-1-1-1-1+1+10-1-1-1+1>0

？