人工神經(jīng)網(wǎng)絡(luò)第1頁，共38頁，2023年，2月20日，星期日什么是人工神經(jīng)網(wǎng)絡(luò)(ANN)？

利用計(jì)算機(jī)模擬人腦的工作方式感知機(jī)是最簡單的ANN不嚴(yán)格定義（1987年，Simpson給出）ANN是一個(gè)非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。第2頁，共38頁，2023年，2月20日，星期日7.1歷史回顧（五個(gè)時(shí)期）萌芽期

從人類開始研究自身智能—1949年來源于神經(jīng)解剖學(xué)和神經(jīng)生理學(xué)。

萌芽期兩大標(biāo)志（1）1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立了閾值加權(quán)和模型，MP模型。（2）1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元突觸聯(lián)系可變假說。Hebb學(xué)習(xí)律是ANN學(xué)習(xí)訓(xùn)練算法起點(diǎn)（里程碑）。第3頁，共38頁，2023年，2月20日，星期日7.1歷史回顧（五個(gè)時(shí)期）

第一高潮期（1950—1968）

重要成果：單級感知機(jī)及電子線路模擬代表人物：MarvinMinsky、FrankRosenblatt、BernardWidrow第4頁，共38頁，2023年，2月20日，星期日7.1歷史回顧（五個(gè)時(shí)期）反思期（1969—1982）

標(biāo)志：1969年，MIT出版社發(fā)表《感知機(jī)》一書，無情否定。

反思期中曾有人提出了BP反傳算法，但未受重視。第5頁，共38頁，2023年，2月20日，星期日7.1歷史回顧（五個(gè)時(shí)期）第二高潮期（1982—90年代初）

標(biāo)志：美國加州理工學(xué)院生物物理學(xué)家J.Hopfield于1982、1984年在美國科學(xué)院院刊上發(fā)表兩篇重要論文。代表作：（1）1982年，Hopfield提出循環(huán)網(wǎng)絡(luò)，將Lyapunov函數(shù)引入人工神經(jīng)網(wǎng)絡(luò)。（2）1984年，Hopfield研制出被稱為Hopfield網(wǎng)的電路。（3）1985年，美國加州圣地亞哥分校（UCSD）的并行處理小組（PDP）在Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制。

（4）1986年，PDP小組的Rumehart等重新獨(dú)立提出了BP算法。第6頁，共38頁，2023年，2月20日，星期日7.1歷史回顧（五個(gè)時(shí)期）第二高潮期（1982—90年代初）

國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會于1990年12月在北京舉行。

90年，863高技術(shù)研究計(jì)劃批準(zhǔn)了ANN的三項(xiàng)課題，自然科學(xué)基金與國防科技預(yù)研基金也把NN列入選題指南。第7頁，共38頁，2023年，2月20日，星期日7.1歷史回顧（五個(gè)時(shí)期）再認(rèn)識與應(yīng)用研究期

進(jìn)入20世紀(jì)90年代后，發(fā)現(xiàn)還有很多問題，還無法對ANN工作機(jī)制嚴(yán)格解釋。目前研究：（1）開發(fā)現(xiàn)有模型應(yīng)用，改造算法，提高速度和準(zhǔn)確度。（2）希望理論上的突破，建立新的專用/通用模型和算法。（3）進(jìn)一步對生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷豐富對人腦的認(rèn)識。第8頁，共38頁，2023年，2月20日，星期日7.2人工神經(jīng)元生物神經(jīng)元樹突輸入細(xì)胞體軸突突觸輸出等效模型第9頁，共38頁，2023年，2月20日，星期日7.2人工神經(jīng)元樹突輸入細(xì)胞體軸突突觸輸出神經(jīng)元細(xì)胞體——生存（信息處理）樹突——接收其它神經(jīng)元信號，與其它神經(jīng)末稍互聯(lián)形成突觸軸突——信息傳輸管道神經(jīng)元狀態(tài)興奮，閾值約40mV，有輸出抑制，無輸出第10頁，共38頁，2023年，2月20日，星期日7.2人工神經(jīng)元激勵(lì)函數(shù)為閾值函數(shù)情況激勵(lì)函數(shù)為S函數(shù)情況第11頁，共38頁，2023年，2月20日，星期日7.2人工神經(jīng)元f函數(shù)的選取Sigmoid函數(shù)，雙極，無限可微Sigmoid函數(shù)，單極，無限可微閾值函數(shù)第12頁，共38頁，2023年，2月20日，星期日7.2人工神經(jīng)元神經(jīng)元的學(xué)習(xí)算法

Hebb學(xué)習(xí)規(guī)則基本思想：如果一神經(jīng)元接收來自另一神經(jīng)元的輸出，則當(dāng)這兩個(gè)神經(jīng)元同時(shí)興奮時(shí)，其連接權(quán)值得到加強(qiáng)。第13頁，共38頁，2023年，2月20日，星期日7.3感知器前饋神經(jīng)網(wǎng)絡(luò)有些文獻(xiàn)不將輸入層作為一層第14頁，共38頁，2023年，2月20日，星期日7.3感知器感知器網(wǎng)絡(luò)結(jié)構(gòu)雙層神經(jīng)網(wǎng)絡(luò)，只能解決線性可分問題。輸出類別指示輸入樣本第15頁，共38頁，2023年，2月20日，星期日神經(jīng)網(wǎng)絡(luò)特點(diǎn)分布式存儲信息，用神經(jīng)網(wǎng)絡(luò)間連接權(quán)值的分布來表示特定的信息，當(dāng)局部網(wǎng)絡(luò)受損，仍能恢復(fù)原來的信息。對信息的處理具有并行性。每個(gè)神經(jīng)元都可以根據(jù)接收到的信息作獨(dú)立的運(yùn)算和處理，然后將結(jié)果傳輸出去，體現(xiàn)了并行處理的概念。對信息的處理具有自組織、自學(xué)習(xí)的特點(diǎn)。通過改變連接權(quán)值適應(yīng)周圍環(huán)境變化，稱為神經(jīng)元學(xué)習(xí)過程。第16頁，共38頁，2023年，2月20日，星期日7.4反向傳播算法（BP法）

一般為三層前饋神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)為Sigmoid函數(shù)基本思想：根據(jù)樣本希望輸出與實(shí)際輸出之間的平方誤差最小，利用梯度下降法，從輸出層開始，逐層修正權(quán)系數(shù)。修正周期分兩個(gè)階段前向傳播階段反向傳播階段第17頁，共38頁，2023年，2月20日，星期日7.4反向傳播算法（BP法）3層前饋神經(jīng)網(wǎng)絡(luò)單個(gè)神經(jīng)元節(jié)點(diǎn)前向傳播階段第18頁，共38頁，2023年，2月20日，星期日7.4反向傳播算法（BP法）反向傳播階段梯度下降法令誤差函數(shù)最小第19頁，共38頁，2023年，2月20日，星期日7.4反向傳播算法（BP法）反向一層傳播學(xué)習(xí)速率，搜索步長第20頁，共38頁，2023年，2月20日，星期日7.4反向傳播算法（BP法）反向二層傳播某一隱層節(jié)點(diǎn)受所有輸出層節(jié)點(diǎn)影響第21頁，共38頁，2023年，2月20日，星期日BP算法若干問題討論BP采用S函數(shù)，輸出不宜設(shè)為1或0，可設(shè)為0.9或0.1。權(quán)系數(shù)初始化不應(yīng)將初始值設(shè)為相同，否則在學(xué)習(xí)過程中始終不變，可設(shè)為隨機(jī)值。步長的選擇應(yīng)設(shè)為可變步長，以防止震蕩。局部最小問題BP算法是非線性優(yōu)化算法，初始值設(shè)置不當(dāng)，可能陷入局部極小。前饋網(wǎng)絡(luò)結(jié)構(gòu)輸入節(jié)點(diǎn)數(shù)為模式維數(shù)，輸出節(jié)點(diǎn)數(shù)一般為類別數(shù)，隱層節(jié)點(diǎn)數(shù)尚無明確方法，實(shí)驗(yàn)確定。第22頁，共38頁，2023年，2月20日，星期日BP算法若干問題討論前饋網(wǎng)絡(luò)結(jié)構(gòu)問題Lippman[1987]認(rèn)為，兩層隱層可構(gòu)成任意復(fù)雜判別函數(shù)。線性分類與操作或操作第23頁，共38頁，2023年，2月20日，星期日BP算法若干問題討論前饋網(wǎng)絡(luò)結(jié)構(gòu)問題隱節(jié)點(diǎn)過多——過擬和，減弱泛化能力過少——欠擬和·過擬和也有人認(rèn)為一層隱層即可逼近任意函數(shù)，至于隱節(jié)點(diǎn)數(shù)，無理論指導(dǎo)，需靠實(shí)驗(yàn)。第24頁，共38頁，2023年，2月20日，星期日BP算法若干問題討論前饋網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)經(jīng)驗(yàn)公式

分類數(shù)×特征向量維數(shù)+1/2分類數(shù)×（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點(diǎn)數(shù)=

分類數(shù)+特征向量維數(shù)第25頁，共38頁，2023年，2月20日，星期日網(wǎng)絡(luò)學(xué)習(xí)技巧重新初始化權(quán)值—分類結(jié)果不滿意時(shí)給權(quán)值加擾動(dòng)—有助于脫離局部極小如-5—5加10%擾動(dòng)，即-0.5—0.5隨機(jī)數(shù)在訓(xùn)練樣本中適當(dāng)加入噪聲—提高抗噪能力學(xué)習(xí)可有允許誤差—加快學(xué)習(xí)速度選擇合適的網(wǎng)絡(luò)規(guī)模層數(shù)多—靠近輸入層傳播誤差不可靠節(jié)點(diǎn)多—影響泛化能力，學(xué)習(xí)時(shí)間太長第26頁，共38頁，2023年，2月20日，星期日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類1、學(xué)習(xí)樣本的獲取2、網(wǎng)絡(luò)系統(tǒng)的確定3、網(wǎng)絡(luò)的訓(xùn)練4、圖像的分類5、分類算法及結(jié)果第27頁，共38頁，2023年，2月20日，星期日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)樣本的獲取類別：森林、峽谷、河流學(xué)習(xí)樣本：每個(gè)類別人工選取64個(gè)特征向量：第28頁，共38頁，2023年，2月20日，星期日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)系統(tǒng)的確定網(wǎng)絡(luò)層數(shù)：一般取為3層輸入節(jié)點(diǎn)：與特征個(gè)數(shù)相同，取3隱節(jié)點(diǎn)數(shù)量：根據(jù)經(jīng)驗(yàn)公式取為5輸出節(jié)點(diǎn)：分為3類，取3第29頁，共38頁，2023年，2月20日，星期日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類隱層節(jié)點(diǎn)數(shù)的計(jì)算

分類數(shù)×特征向量維數(shù)+1/2分類數(shù)×（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點(diǎn)數(shù)=

分類數(shù)+特征向量維數(shù)向上取整，保證分類性能！第30頁，共38頁，2023年，2月20日，星期日網(wǎng)絡(luò)的訓(xùn)練遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類BP采用S函數(shù)，輸出不宜設(shè)為1或0，可設(shè)為0.9或0.1。第31頁，共38頁，2023年，2月20日，星期日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)的訓(xùn)練注意：不應(yīng)將初始值設(shè)為相同，否則在學(xué)習(xí)過程中始終不變，可設(shè)為隨機(jī)值。第32頁，共38頁，2023年，2月20日，星期日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)的訓(xùn)練第33頁，共38頁，2023年，2月20日，星期日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)的訓(xùn)練第34頁，共38頁，2023年，2月20日，星期日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)的訓(xùn)練第35頁，共38頁，2023年，2月20日，星期日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類