1、人工神經(jīng)網(wǎng)絡(luò) (Artificial Neural Netwroks -ANN),1.1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況,人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)： 簡(jiǎn)稱(chēng)神經(jīng)網(wǎng)絡(luò)。,模擬人腦神經(jīng)細(xì)胞的工作特點(diǎn)：,* 單元間的廣泛連接； * 并行分布式的信息存貯與處理； * 自適應(yīng)的學(xué)習(xí)能力等。,優(yōu)點(diǎn)：,(1) 較強(qiáng)的容錯(cuò)性;,(2) 很強(qiáng)的自適應(yīng)學(xué)習(xí)能力；,(3) 可將識(shí)別和若干預(yù)處理融為一體進(jìn)行；,(4) 并行工作方式；,(5) 對(duì)信息采用分布式記憶，具有魯棒性。,四個(gè)發(fā)展階段：,第一階段：?jiǎn)⒚善?，始?943年。,形式神經(jīng)元的數(shù)學(xué)模型提出。,第二階段：低潮期，始于

2、1969年。,感知器(Perceptions)一書(shū)出版，指出局限性 。,第三階段：復(fù)興期，從1982年到1986年。,Hopfield的兩篇論文提出新的神經(jīng)網(wǎng)絡(luò)模型；,并行分布處理出版，提出反向傳播算法。,第四個(gè)階段：1987年至今，趨于平穩(wěn)。,回顧性綜述文章“神經(jīng)網(wǎng)絡(luò)與人工智能” 。,人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn),（1）可處理非線性,（2）并行結(jié)構(gòu)對(duì)神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來(lái)說(shuō)；其運(yùn)算都是同樣的這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理,（3）具有學(xué)習(xí)和記憶能力一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過(guò)訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶,（4）對(duì)數(shù)據(jù)的可容性大在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（

3、如好、中、差、及格、不及格等）,（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來(lái)實(shí)現(xiàn)如美國(guó)用 256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識(shí)別手寫(xiě)體的郵政編碼,1.2 神經(jīng)網(wǎng)絡(luò)基本概念,1.2.1 生物神經(jīng)元,1生物神經(jīng)元的結(jié)構(gòu),細(xì)胞體、樹(shù)突、軸突和突觸。,2生物神經(jīng)元的工作機(jī)制,興奮和抑制兩種狀態(tài)。,抑制狀態(tài)的神經(jīng)元 由樹(shù)突和細(xì)胞體 接收傳來(lái)的興奮電位,產(chǎn)生輸出脈沖,輸入興奮總 量超過(guò)閾值,神經(jīng)元被激發(fā) 進(jìn)入興奮狀態(tài),由突觸傳遞給其它神經(jīng)元,1.2.2 人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò),人工神經(jīng)元：生物神經(jīng)元的簡(jiǎn)化模擬。,人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹(shù)突的簡(jiǎn)化；,連接的權(quán)值：兩個(gè)互連的神經(jīng)元之間相互作用

4、的強(qiáng)弱。,圖8.2 人工神經(jīng)元模型,接收的信息 (其它神經(jīng)元的輸出),互連強(qiáng)度/權(quán)值,作比較 的閾值,n維輸入向量X,輸出,輸出函數(shù),神經(jīng)元的動(dòng)作：,輸出函數(shù) f：也稱(chēng)作用函數(shù)，非線性。,閾值型,S型,偽線性型,f 為閾值型函數(shù)時(shí)：,設(shè) ，點(diǎn)積形式：,式中，,1.2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),學(xué)習(xí)：,同一個(gè)訓(xùn)練集的樣本輸入輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng) 絡(luò)按照一定的訓(xùn)練規(guī)則自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或拓 撲結(jié)構(gòu)，使實(shí)際輸出滿足期望的要求或者趨于穩(wěn)定。,實(shí)質(zhì)：,1Hebb學(xué)習(xí)規(guī)則,典型的權(quán)值修正方法： Hebb學(xué)習(xí)規(guī)則、誤差修正學(xué)習(xí),如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng) 元同時(shí)處于興奮狀態(tài)，

5、那么這兩個(gè)神經(jīng)元之間的連接強(qiáng)度應(yīng) 該加強(qiáng)。,神經(jīng)網(wǎng)絡(luò)的最重要特征之一。,wij(t+1)：修正一次后的某一權(quán)值； ：學(xué)習(xí)因子，表示學(xué)習(xí)速率的比例常數(shù)； yj(t)，yi(t)：分別表示t時(shí)刻第j個(gè)和第i個(gè)神經(jīng)元的狀態(tài)（輸出）。,由 有：,神經(jīng)元間的連接,2. 學(xué)習(xí)規(guī)則,（3）更新權(quán)值，閾值可視為輸入恒為（1）的一個(gè)權(quán)值；,（1）選擇一組初始權(quán)值wij(1)；,（2）計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差；,式中，,（4）返回 (2) ，直到對(duì)所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。,dj，yj(t)：第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出；,xi(t)：第j個(gè)神經(jīng)元的第i個(gè)輸入。,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)體

6、現(xiàn)在：權(quán)值變化；網(wǎng)絡(luò)結(jié)構(gòu)變化。,：學(xué)習(xí)因子；,1.3 前饋神經(jīng)網(wǎng)絡(luò),1.3.1 感知器,感知器（Perceptron）：FRosenblatt于1957年提出。,感知器結(jié)構(gòu)示意圖,* 雙層（輸入層、輸出層）； * 兩層單元之間為全互連； * 連接權(quán)值可調(diào)。,結(jié)構(gòu)特點(diǎn)：,* 輸出層神經(jīng)元個(gè)數(shù)等于類(lèi) 別數(shù)（兩類(lèi)問(wèn)題時(shí)輸出層 為一個(gè)神經(jīng)元）。,設(shè)輸入模式向量， ，共M類(lèi)。,輸出層第j個(gè)神經(jīng)元對(duì)應(yīng)第j個(gè)模式類(lèi)，,j：第j個(gè)神經(jīng)元的閾值；,wij：輸入模式第i個(gè)分量與 輸出層第j個(gè)神經(jīng)元間的連接權(quán)。,令 。取,有,輸出為,輸出單元對(duì)所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù) 產(chǎn)生一組輸出模式。,M類(lèi)問(wèn)題判決

7、規(guī)則( 神經(jīng)元的輸出函數(shù)) 為,* 正確判決的關(guān)鍵：,輸出層每個(gè)神經(jīng)元必須有一組合適的權(quán)值。,* 感知器采用監(jiān)督學(xué)習(xí)算法得到權(quán)值；,* 權(quán)值更新方法：學(xué)習(xí)規(guī)則。,算法描述,第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個(gè)神經(jīng)元的閾值。,第二步：輸入新的模式向量。,第三步：計(jì)算神經(jīng)元的實(shí)際輸出。,設(shè)第k次輸入的模式向量為Xk，與第j個(gè)神經(jīng)元相連的權(quán)向量為,第j個(gè)神經(jīng)元的實(shí)際輸出為,第四步：修正權(quán)值。,dj：第j個(gè)神經(jīng)元的期望輸出。,第五步：轉(zhuǎn)到第二步。,當(dāng)全部學(xué)習(xí)樣本都能正確分類(lèi)時(shí)，學(xué)習(xí)過(guò)程結(jié)束。,經(jīng)驗(yàn)證明，當(dāng)隨k的增加而減小時(shí)，算法一定收斂。,1.3.2 BP網(wǎng)絡(luò),BP網(wǎng)絡(luò)主要用

8、于 1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)。 2）模式識(shí)別：用一個(gè)特定的輸出向量將它與輸入向量聯(lián)系起來(lái)。 3）分類(lèi)：把輸入向量 以所定義的合適方式進(jìn)行分類(lèi)。 4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲(chǔ)。,目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，絕大部分的神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)和它的變化形式，它也是前饋網(wǎng)絡(luò)的核心部分，并體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。,BP網(wǎng)絡(luò)：采用BP算法（Back-Propagation Training Algorithm） 的多層感知器。,誤差反向傳播算法,認(rèn)識(shí)最清楚、應(yīng)用最廣泛。,性能優(yōu)勢(shì)：識(shí)別、分類(lèi),1多層感知器,針對(duì)感知器學(xué)習(xí) 算法的局

9、限性：模式類(lèi)必須線性可分。,輸入層,第一隱層,第二隱層,輸出層,中間層為一層或多層處理單元；,前饋網(wǎng)絡(luò)；,結(jié)構(gòu)：,只允許一層連接權(quán)可調(diào)。,2BP算法,兩個(gè) 階段,正向傳播階段：逐層狀態(tài)更新,反向傳播階段：誤差,BP算法的學(xué)習(xí)過(guò)程,設(shè)：某層任一神經(jīng)元j的 輸入為netj，輸出為yj； 相鄰低一層中任一 神經(jīng)元i的輸出為yi。,wij：神經(jīng)元i與j之間的連接權(quán)；,f()：神經(jīng)元的輸出函數(shù)。,S型輸出函數(shù)：,j：神經(jīng)元閾值； h0：修改輸出函數(shù)形狀的參數(shù)。,設(shè)：輸出層中第k個(gè)神經(jīng)元的實(shí)際輸出為yk，輸入為netk； 與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。,對(duì)輸入模式Xp，若輸出層中第k個(gè)神經(jīng)

10、元的期望輸出為 dpk，實(shí)際輸出為ypk。輸出層的輸出方差 ：,若輸入N個(gè)模式，網(wǎng)絡(luò)的系統(tǒng)均方差為：,當(dāng)輸入Xp時(shí)，wjk的修正增量：,其中，,由 式得到：,令 ，可得,輸出單元的誤差：,輸出單元的修正增量：,對(duì)于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層 中的神經(jīng)元i ：,輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對(duì)各 層之間的權(quán)值進(jìn)行修正。,BP算法建模步驟：,第一步：對(duì)權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機(jī)數(shù)。,第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。,第三步：依次計(jì)算每層神經(jīng)元的實(shí)際輸出，直到輸出層。,第四步：從輸出層開(kāi)始修正每個(gè)權(quán)值，直到第一隱層。,若j是輸出

11、層神經(jīng)元，則：,若j是隱層神經(jīng)元，則：,第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。,改進(jìn)的權(quán)值修正：, 收斂快、權(quán)值平滑變化,：平滑因子，01。,BP算法存在問(wèn)題：,* 存在局部極小值問(wèn)題； * 算法收斂速度慢； * 隱層單元數(shù)目的選取無(wú)一般指導(dǎo)原則； * 新加入的學(xué)習(xí)樣本影響已學(xué)完樣本的學(xué)習(xí)結(jié)果。,3應(yīng)用之例：蚊子的分類(lèi),已知的兩類(lèi)蚊子的數(shù)據(jù)如表1：,翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af,目標(biāo)值

12、 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1,翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af,目標(biāo)t 0.1 0.1 0.1 0.1 0.1 0.1 0.1,輸入數(shù)據(jù)有15個(gè)，即 , p=1,15; j=1, 2; 對(duì)應(yīng)15個(gè)輸出。 建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個(gè)？） 建立神經(jīng)網(wǎng)絡(luò),規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時(shí)表示屬于Apf類(lèi)，t(2)=0.1表示屬于Af類(lèi)。 設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：,分析如下

13、：,為第一層的輸出，同時(shí)作為第二層的輸入。,其中， 為閾值， 為激勵(lì)函數(shù),（閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）,則有：,取激勵(lì)函數(shù)為,同樣，取,（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語(yǔ)句：,令p=0,具體算法如下：,=rand(2,3);,=rand(1,3);,(2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出,=,取,（3）計(jì)算,（4）取,（或其他正數(shù)，可調(diào)整大小）,j=1,2,3,i=1,2,3,j=1,2,3,(6) p=p+1，轉(zhuǎn)（2）,注：僅計(jì)算一圈（p=1，2，15）是不夠的，直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了147圈，迭代了2205次。 最后結(jié)果

14、是：,即網(wǎng)絡(luò)模型的解為：,=,4.BP網(wǎng)絡(luò)建模特點(diǎn)： 非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過(guò)程中的許多問(wèn)題正是具有高度的非線性。 并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。 自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí)，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。 數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時(shí)處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號(hào)處理）。 多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出

15、變量的數(shù)目是任意的，對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問(wèn)題。,2020/9/18,37,5.BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)分析,1、產(chǎn)生數(shù)據(jù)樣本集,包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理,首先要在大量的原始測(cè)量數(shù)據(jù)中確定出最主要的輸入模式。,在確定了最重要的輸入量后，需進(jìn)行尺度變換和預(yù)處理。,尺度變換常常將它們變換到-1,1或0,1的范圍。,在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱(chēng)野點(diǎn)），這些點(diǎn)必須刪除。,通過(guò)對(duì)數(shù)據(jù)的預(yù)處理分析還可以檢驗(yàn)其是否存在周期性、固定變換趨勢(shì)或其它關(guān)系。,對(duì)數(shù)據(jù)的預(yù)處理就是要使得經(jīng)變換后的數(shù)據(jù)對(duì)于神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)和訓(xùn)

16、練。,2020/9/18,38,對(duì)于一個(gè)問(wèn)題應(yīng)該選擇多少數(shù)據(jù)，這也是一個(gè)很關(guān)鍵的問(wèn)題。,系統(tǒng)的輸入輸出關(guān)系就包含在數(shù)據(jù)樣本中。一般來(lái)說(shuō)，取的數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的結(jié)果便越能正確反映輸入輸出關(guān)系。,但選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn)練付出的代價(jià),選太少的數(shù)據(jù)則可能得不到正確的結(jié)果。,事實(shí)上數(shù)據(jù)的多數(shù)取決于許多因素，如網(wǎng)絡(luò)的大小、網(wǎng)絡(luò)測(cè)試的需要以及輸入輸出的分布等。,其中網(wǎng)絡(luò)的大小最關(guān)鍵。通常較大的網(wǎng)絡(luò)需要較多的訓(xùn)練數(shù)據(jù)。一個(gè)經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的5至10倍。,2020/9/18,39,最簡(jiǎn)單的方法是：將收集到的可用數(shù)據(jù)隨機(jī)地分成兩部分，比如其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練。另外

17、三分之一用于將來(lái)的測(cè)試。隨機(jī)選取的目的是為了盡量減小這兩部分?jǐn)?shù)據(jù)的相關(guān)性。,影響數(shù)據(jù)大小的另一個(gè)因素是輸入模式和輸出結(jié)果的分布，對(duì)數(shù)據(jù)預(yù)先加以分類(lèi)可以減小所需的數(shù)據(jù)量。相反，數(shù)據(jù)稀薄不勻甚至覆蓋則勢(shì)必要增加數(shù)據(jù)量。,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測(cè)試數(shù)據(jù)來(lái)對(duì)網(wǎng)絡(luò)加以檢驗(yàn)，測(cè)試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。,2020/9/18,40,2、確定網(wǎng)絡(luò)的類(lèi)型和結(jié)構(gòu),神經(jīng)網(wǎng)絡(luò)的類(lèi)型很多，需根據(jù)問(wèn)題的性質(zhì)和任務(wù)的要求來(lái)合適地選擇網(wǎng)絡(luò)類(lèi)型。,一般從已有的網(wǎng)絡(luò)類(lèi)型中選用一種比較簡(jiǎn)單而又能滿足要求的網(wǎng)絡(luò)，新設(shè)計(jì)一個(gè)網(wǎng)絡(luò)類(lèi)型來(lái)滿足問(wèn)題的要求往往比較困難。,若主要用于模式分類(lèi)，尤其是線性可分的情況，則可采用較為簡(jiǎn)單的

18、感知器網(wǎng)絡(luò)。,若主要用于函數(shù)估計(jì)，則可應(yīng)用BP網(wǎng)絡(luò),在網(wǎng)絡(luò)的類(lèi)型確定后，要是選擇網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)。,以BP網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、數(shù)值修改頻度、結(jié)點(diǎn)變換函數(shù)及參數(shù)、學(xué)習(xí)率等參數(shù)。,2020/9/18,41,對(duì)于網(wǎng)絡(luò)層數(shù)的選取：,理論上早已證明：具有偏差和至少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。,增加層數(shù)主要可以更進(jìn)一步降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。,而誤差精度的提高實(shí)際上也可以通過(guò)增加隱含層中的神經(jīng)元數(shù)目來(lái)獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整，所以，一般情況下，應(yīng)優(yōu)先考慮增加

19、隱含層中的神經(jīng)元數(shù)。,2020/9/18,42,對(duì)于具體問(wèn)題若確定了輸入和輸出變量后，網(wǎng)絡(luò)輸入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)也便隨之確定了。,具體選擇可采用如下方法：先設(shè)較少的節(jié)點(diǎn)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測(cè)試網(wǎng)絡(luò)的逼近誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到測(cè)試的誤差不再有明顯的減少為止。,隱層節(jié)點(diǎn)數(shù)對(duì)網(wǎng)絡(luò)的泛化能力有很大的影響。節(jié)點(diǎn)數(shù)太多，傾向于記住所有的訓(xùn)練數(shù)據(jù)，包括噪聲的影響，反而降低了泛化能力；節(jié)點(diǎn)數(shù)太少，不能擬和樣本數(shù)據(jù)，沒(méi)有較好的泛化能力。原則：選擇盡量少的節(jié)點(diǎn)數(shù)以實(shí)現(xiàn)盡量好的泛化能力。,對(duì)于每層節(jié)點(diǎn)數(shù)的選?。?2020/9/18,43,由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及

20、訓(xùn)練時(shí)間的長(zhǎng)短關(guān)系很大。,初始權(quán)值的選?。?如果初始值太大，使得加權(quán)后的輸入落到激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計(jì)算權(quán)值的修正公式中，修正量正比與其導(dǎo)數(shù)，從而使調(diào)節(jié)過(guò)程幾乎停頓下來(lái)。,一般總是希望經(jīng)過(guò)初始加權(quán)后的每個(gè)神經(jīng)元的輸出值都接近于零，這樣可以保證每個(gè)神經(jīng)元的權(quán)值都能夠在他們的S型激活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)，所以，一般取初始權(quán)值在(-1,1)之間的隨機(jī)數(shù)。,2020/9/18,44,學(xué)習(xí)速率的選?。?學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。,大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定,小的學(xué)習(xí)速率會(huì)導(dǎo)致訓(xùn)練較長(zhǎng)，收斂速度很慢。不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出表面的低谷而最終趨于最

21、小誤差值。,一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率一般的選取范圍為0.010.8。,和初始權(quán)值的選取過(guò)程一樣，在一個(gè)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)中，網(wǎng)絡(luò)要經(jīng)過(guò)幾個(gè)不同的學(xué)習(xí)速率的訓(xùn)練。通過(guò)觀察每一次訓(xùn)練后的誤差平方和的下降速率來(lái)判斷選定的學(xué)習(xí)速率是否合適。如果下降很快，說(shuō)明學(xué)習(xí)速率合適。若出現(xiàn)振蕩，則說(shuō)明學(xué)習(xí)速率過(guò)大。,對(duì)于較復(fù)雜的網(wǎng)絡(luò)，為了減小尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間，比較合適的方法是采用自適應(yīng)學(xué)習(xí)速率。,2020/9/18,45,3、訓(xùn)練和測(cè)試,對(duì)所有樣本數(shù)據(jù)正向運(yùn)行一次并反向修改連接權(quán)一次稱(chēng)為一次訓(xùn)練(或一次學(xué)習(xí)) 。,通常訓(xùn)練一個(gè)網(wǎng)絡(luò)需要成百上千次。,并非訓(xùn)練的次

22、數(shù)越多，越能得到正確的輸入輸出的映射關(guān)系。,由于所收集的數(shù)據(jù)都是包含噪聲的，訓(xùn)練的次數(shù)過(guò)多，網(wǎng)絡(luò)將包含噪聲的數(shù)據(jù)都記錄了下來(lái)，在極端情況下，訓(xùn)練后的網(wǎng)絡(luò)可以實(shí)現(xiàn)相當(dāng)于查表的功能。但是對(duì)于新的輸入數(shù)據(jù)卻不能給出合適的輸出，即并不具備很好的泛化能力。,訓(xùn)練網(wǎng)絡(luò)的目的在于找出蘊(yùn)含在樣本數(shù)據(jù)中的輸入和輸出之間的本質(zhì)聯(lián)系，從而對(duì)于未經(jīng)訓(xùn)練的輸入也能給出合適的輸出，即局部泛化能力。,網(wǎng)絡(luò)的性能主要是用它的泛化能力來(lái)衡量，它不是用對(duì)訓(xùn)練數(shù)據(jù)的擬和程度來(lái)衡量，而是用一組獨(dú)立的數(shù)據(jù)來(lái)加以測(cè)試和檢驗(yàn)。,2020/9/18,46,實(shí)際操作時(shí)應(yīng)該訓(xùn)練和測(cè)試交替進(jìn)行，即每訓(xùn)練一次，同時(shí)用測(cè)試數(shù)據(jù)測(cè)試一遍，畫(huà)出均方誤差隨

23、訓(xùn)練次數(shù)的變換曲線,在用測(cè)試數(shù)據(jù)檢驗(yàn)時(shí)，均方誤差開(kāi)始逐漸減小，當(dāng)訓(xùn)練次數(shù)再增加時(shí)，測(cè)試檢驗(yàn)誤差反而增加，誤差曲線上極小點(diǎn)所對(duì)應(yīng)的即為恰當(dāng)?shù)挠?xùn)練次數(shù)，若再訓(xùn)練即為“過(guò)渡訓(xùn)練”了。,6.MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用 在網(wǎng)絡(luò)訓(xùn)練過(guò)程中使用的是Matlab 7.0 for Windows軟件，對(duì)于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用Neural Networks Toolbox for Matlab。美國(guó)的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，

24、有效的提高工作效率.,7. BP網(wǎng)絡(luò)應(yīng)用實(shí)例,銀行數(shù)據(jù)如表1所示，要求根據(jù)存款金額、及時(shí)還貸情況、貸款次 數(shù)，將這些記錄按信用分為“良好”和“差”兩類(lèi)。 步驟1：預(yù)處理 在開(kāi)始訓(xùn)練之前，先將各樣本的每一屬性值都限定在0,1上，并將 信用類(lèi)別重新編碼，用0表示“良好”，用1表示“差” 規(guī)范化后的數(shù)據(jù)如表2所示。,48,步驟2：設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu) 根據(jù)分析，該例的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。 步驟3：初始化該網(wǎng)絡(luò)的權(quán)值和偏差 網(wǎng)絡(luò)的初始權(quán)值和偏差一般是用隨機(jī)函數(shù)生成的介于 - 1,1的小數(shù), 該例的初始權(quán)值和偏差如表3所示,49,步驟4：進(jìn)行訓(xùn)練 將學(xué)習(xí)效率（學(xué)習(xí)因子）設(shè)為0.7 依次將表2中的樣本輸入網(wǎng)絡(luò)，計(jì)

25、算出個(gè)神經(jīng)元的輸入、輸出和誤差 計(jì)算反向傳播所得誤差，更新權(quán)值和偏差，所有樣本輸入完畢后， 判斷是否滿足終止條件，不滿足則進(jìn)行下一輪迭代，滿足則迭代結(jié) 束。 第1次掃描迭代中,計(jì)算出各神經(jīng)元的凈輸入、輸出、誤差、權(quán)值和偏差更新值如表4所示。 步驟5：實(shí)現(xiàn)分類(lèi) 通過(guò)上述訓(xùn)練后，該BP網(wǎng)絡(luò)可提取關(guān)于輸入(存款金額、貸款次數(shù)、 及時(shí)還貸率)和輸出類(lèi)(信用等級(jí))的關(guān)聯(lián)規(guī)則。 利用這些規(guī)則即可實(shí) 現(xiàn)對(duì)現(xiàn)有客戶信用等級(jí)的分類(lèi),并據(jù)此做出客戶貸款償付預(yù)測(cè),進(jìn)行客 戶信用政策分析。,50,51,結(jié)束,例: BP神經(jīng)網(wǎng)絡(luò)水（處理）系統(tǒng)的模擬與預(yù)測(cè)等方面獲得了廣泛的應(yīng)用 。,光催化臭氧氧化處理自來(lái)水工藝神經(jīng)網(wǎng)絡(luò)模

26、型,應(yīng)用舉例,樣本,檢驗(yàn)樣本,隱層神經(jīng)元數(shù)的選擇 隱層神經(jīng)元數(shù)的選擇是一個(gè)十分復(fù)雜的問(wèn)題。因?yàn)闆](méi)有很好的解析式表示，可以說(shuō)隱層神經(jīng)元數(shù)與問(wèn)題的要求、輸入層與輸出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系。事實(shí)上隱層神經(jīng)元太少不可能將網(wǎng)絡(luò)訓(xùn)練出來(lái)，但太多又使學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，使網(wǎng)絡(luò)不“不強(qiáng)壯”，泛化能力下降，即不能識(shí)別以前沒(méi)有直接接收到的樣本，容錯(cuò)性差。 當(dāng)隱層數(shù)為2010和84時(shí)的訓(xùn)練結(jié)果:,神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層2個(gè)；第一隱層12個(gè)；第二隱層6個(gè)；輸出層1個(gè)。 綜合以上研究?jī)?nèi)容，建立光催化臭氧氧化處理自來(lái)水工藝神經(jīng)網(wǎng)絡(luò)模型如圖6-3所示。,1學(xué)習(xí)率和動(dòng)量因子 BP算法本質(zhì)上是優(yōu)化計(jì)算中的梯度下降法，利用誤差對(duì)于權(quán)、閥值的一階導(dǎo)數(shù)信息來(lái)指導(dǎo)下一步的權(quán)值調(diào)整方向，以求最終得到誤差最小。為了保證算法的收斂性，學(xué)習(xí)率必須小于某一上限，一般取01而且越接近極小值，由于梯度變化值逐漸趨于零，算法的