第7章人工神經網絡第1頁/共38頁7.1歷史回顧（五個時期）萌芽期

從人類開始研究自身智能—1949年來源于神經解剖學和神經生理學。

萌芽期兩大標志（1）1943年，心理學家McCulloch和數(shù)學家Pitts建立了閾值加權和模型，MP模型。（2）1949年，心理學家D.O.Hebb提出神經元突觸聯(lián)系可變假說。

Hebb學習律是ANN學習訓練算法起點（里程碑）。第2頁/共38頁7.1歷史回顧（五個時期）

第一高潮期（1950—1968）

重要成果：單級感知機及電子線路模擬代表人物：

MarvinMinsky、FrankRosenblatt、BernardWidrow第3頁/共38頁7.1歷史回顧（五個時期）反思期（1969—1982）

標志：1969年，MIT出版社發(fā)表《感知機》一書，無情否定。

反思期中曾有人提出了BP反傳算法，但未受重視。第4頁/共38頁7.1歷史回顧（五個時期）

第二高潮期（1982—90年代初）

標志：美國加州理工學院生物物理學家J.Hopfield于1982、1984年在美國科學院院刊上發(fā)表兩篇重要論文。代表作：（1）1982年，Hopfield提出循環(huán)網絡，將Lyapunov函數(shù)引入人工神經網絡。（2）1984年，Hopfield研制出被稱為Hopfield網的電路。（3）1985年，美國加州圣地亞哥分校（UCSD）的并行處理小組（PDP）在Hopfield網絡中引入隨機機制。

（4）1986年，PDP小組的Rumehart等重新獨立提出了BP算法。第5頁/共38頁7.1歷史回顧（五個時期）

第二高潮期（1982—90年代初）

國內首屆神經網絡大會于1990年12月在北京舉行。

90年，863高技術研究計劃批準了ANN的三項課題，自然科學基金與國防科技預研基金也把NN列入選題指南。第6頁/共38頁7.1歷史回顧（五個時期）

再認識與應用研究期

進入20世紀90年代后，發(fā)現(xiàn)還有很多問題，還無法對ANN工作機制嚴格解釋。目前研究：（1）開發(fā)現(xiàn)有模型應用，改造算法，提高速度和準確度。（2）希望理論上的突破，建立新的專用/通用模型和算法。（3）進一步對生物神經系統(tǒng)進行研究，不斷豐富對人腦的認識。第7頁/共38頁7.2人工神經元生物神經元樹突輸入細胞體軸突突觸輸出等效模型第8頁/共38頁7.2人工神經元樹突輸入細胞體軸突突觸輸出神經元細胞體——生存（信息處理）樹突——接收其它神經元信號，與其它神經末稍互聯(lián)形成突觸軸突——信息傳輸管道神經元狀態(tài)興奮，閾值約40mV，有輸出抑制，無輸出第9頁/共38頁7.2人工神經元激勵函數(shù)為閾值函數(shù)情況激勵函數(shù)為S函數(shù)情況第10頁/共38頁7.2人工神經元f函數(shù)的選取Sigmoid函數(shù)，雙極，無限可微Sigmoid函數(shù)，單極，無限可微閾值函數(shù)第11頁/共38頁7.2人工神經元神經元的學習算法

Hebb學習規(guī)則基本思想：如果一神經元接收來自另一神經元的輸出，則當這兩個神經元同時興奮時，其連接權值得到加強。第12頁/共38頁7.3感知器前饋神經網絡有些文獻不將輸入層作為一層第13頁/共38頁7.3感知器感知器網絡結構雙層神經網絡，只能解決線性可分問題。輸出類別指示輸入樣本第14頁/共38頁神經網絡特點分布式存儲信息，用神經網絡間連接權值的分布來表示特定的信息，當局部網絡受損，仍能恢復原來的信息。對信息的處理具有并行性。每個神經元都可以根據(jù)接收到的信息作獨立的運算和處理，然后將結果傳輸出去，體現(xiàn)了并行處理的概念。對信息的處理具有自組織、自學習的特點。通過改變連接權值適應周圍環(huán)境變化，稱為神經元學習過程。第15頁/共38頁7.4反向傳播算法（BP法）

一般為三層前饋神經網絡激勵函數(shù)為Sigmoid函數(shù)基本思想：根據(jù)樣本希望輸出與實際輸出之間的平方誤差最小，利用梯度下降法，從輸出層開始，逐層修正權系數(shù)。修正周期分兩個階段前向傳播階段反向傳播階段第16頁/共38頁7.4反向傳播算法（BP法）3層前饋神經網絡單個神經元節(jié)點前向傳播階段第17頁/共38頁7.4反向傳播算法（BP法）反向傳播階段梯度下降法令誤差函數(shù)最小第18頁/共38頁7.4反向傳播算法（BP法）反向一層傳播學習速率，搜索步長第19頁/共38頁7.4反向傳播算法（BP法）反向二層傳播某一隱層節(jié)點受所有輸出層節(jié)點影響第20頁/共38頁BP算法若干問題討論BP采用S函數(shù)，輸出不宜設為1或0，可設為0.9或0.1。權系數(shù)初始化不應將初始值設為相同，否則在學習過程中始終不變，可設為隨機值。步長的選擇應設為可變步長，以防止震蕩。局部最小問題

BP算法是非線性優(yōu)化算法，初始值設置不當，可能陷入局部極小。前饋網絡結構輸入節(jié)點數(shù)為模式維數(shù)，輸出節(jié)點數(shù)一般為類別數(shù)，隱層節(jié)點數(shù)尚無明確方法，實驗確定。第21頁/共38頁BP算法若干問題討論前饋網絡結構問題

Lippman[1987]認為，兩層隱層可構成任意復雜判別函數(shù)。線性分類與操作或操作第22頁/共38頁BP算法若干問題討論前饋網絡結構問題隱節(jié)點過多——過擬和，減弱泛化能力過少——欠擬和·過擬和也有人認為一層隱層即可逼近任意函數(shù)，至于隱節(jié)點數(shù)，無理論指導，需靠實驗。第23頁/共38頁BP算法若干問題討論前饋網絡隱層節(jié)點數(shù)經驗公式

分類數(shù)×特征向量維數(shù)+1/2分類數(shù)×（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點數(shù)=

分類數(shù)+特征向量維數(shù)第24頁/共38頁網絡學習技巧重新初始化權值—分類結果不滿意時給權值加擾動—有助于脫離局部極小如-5—5加10%擾動，即-0.5—0.5隨機數(shù)在訓練樣本中適當加入噪聲—提高抗噪能力學習可有允許誤差—加快學習速度選擇合適的網絡規(guī)模層數(shù)多—靠近輸入層傳播誤差不可靠節(jié)點多—影響泛化能力，學習時間太長第25頁/共38頁遙感圖像的BP神經網絡分類1、學習樣本的獲取2、網絡系統(tǒng)的確定3、網絡的訓練4、圖像的分類5、分類算法及結果第26頁/共38頁遙感圖像的BP神經網絡分類學習樣本的獲取類別：森林、峽谷、河流學習樣本：每個類別人工選取64個特征向量：第27頁/共38頁遙感圖像的BP神經網絡分類網絡系統(tǒng)的確定網絡層數(shù)：一般取為3層輸入節(jié)點：與特征個數(shù)相同，取3

隱節(jié)點數(shù)量：根據(jù)經驗公式取為5

輸出節(jié)點：分為3類，取3第28頁/共38頁遙感圖像的BP神經網絡分類隱層節(jié)點數(shù)的計算

分類數(shù)×特征向量維數(shù)+1/2分類數(shù)×（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點數(shù)=

分類數(shù)+特征向量維數(shù)向上取整，保證分類性能！第29頁/共38頁網絡的訓練遙感圖像的BP神經網絡分類BP采用S函數(shù)，輸出不宜設為1或0，可設為0.9或0.1。第30頁/共38頁遙感圖像的BP神經網絡分類網絡的訓練注意：不應將初始值設為相同，否則在學習過程中始終不變，可設為隨機值。第31頁/共38頁遙感圖像的BP神經網絡分類網絡的訓練第32頁/共38頁遙感圖像的BP神經網絡分類網絡的訓練第33頁/共38頁遙感圖像的BP神經網絡分類網絡的訓練第34頁/共38頁遙感圖像的BP神經網絡分類第35頁/