人工神經(jīng)元網(wǎng)絡(luò)第1頁/共40頁生物神經(jīng)元結(jié)構(gòu)模型樹突（接收信息）——細胞核（信息處理）——軸突（發(fā)出信息）第2頁/共40頁2．大腦神經(jīng)系統(tǒng)的功能大腦的神經(jīng)元通過突觸互相連接，形成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，實現(xiàn)人類的各種智能行為。作為一個智能的信息處理系統(tǒng)，人腦具有以下幾方面的固有特征：（1）并行分布處理的工作模式。單個神經(jīng)元的信息處理速度很慢，每次約1ms，但人腦對某一復(fù)雜過程的反應(yīng)卻是很快，一般只需幾百微秒。例如，要判斷人眼看到的兩個圖形是否一樣，實際需要400微秒。在這個處理過程中，人腦是一個超高密度的并行處理系統(tǒng)。（2）神經(jīng)系統(tǒng)的可塑性和自組織性。人工種經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機制就是基于這種可塑現(xiàn)象，并通過修正突觸的結(jié)合強度來實現(xiàn)的。第3頁/共40頁

（3）神經(jīng)系統(tǒng)的系統(tǒng)性。大腦中的各個部件可以看成是一個大系統(tǒng)中的許多子系統(tǒng)，各個子系統(tǒng)之間具有很強的相互關(guān)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如視覺系統(tǒng)和運動系統(tǒng)就存在很強的系統(tǒng)聯(lián)系，可相互協(xié)調(diào)各種信息處理功能。（4）信息分布式記憶。大腦神經(jīng)系統(tǒng)的信息存儲是分布存儲于整個網(wǎng)絡(luò)中，并體現(xiàn)在神經(jīng)網(wǎng)絡(luò)之間突觸的結(jié)合強度上。當少量神經(jīng)元受到損傷（或正常死亡）時，網(wǎng)絡(luò)的總體功能繼續(xù)有效。聯(lián)想記憶功能。第4頁/共40頁

人工神經(jīng)網(wǎng)絡(luò)以腦神經(jīng)系統(tǒng)的組成原理為構(gòu)造基礎(chǔ)，模擬了神經(jīng)信息處理系統(tǒng)的上述四個基本特征，具有廣泛的應(yīng)用價值。第5頁/共40頁二．人工神經(jīng)元網(wǎng)絡(luò)1．人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)中的人工神經(jīng)元（有時也稱為計算單元或計算節(jié)點），模擬了大腦神經(jīng)元的簡單特性。人工神經(jīng)元模型如圖所示。wij表示神經(jīng)元i和神經(jīng)元j的結(jié)合強度，稱為連接權(quán)（權(quán)值）；xj為神經(jīng)元j的輸出；表示神經(jīng)元i的閾值。神經(jīng)元i的輸出為Oi＝f（Ii）式中，f（）為激發(fā)函數(shù)。第6頁/共40頁在離散輸出模型中，激發(fā)函數(shù)選用階躍函數(shù)，如根據(jù)f（）的不同，將神經(jīng)元模型分為不同的類型：如離散型、連續(xù)型、微分/差分型和概率型。在連續(xù)輸出模型中采用的激發(fā)函數(shù)為連續(xù)函數(shù)，如多項式函數(shù)、三角函數(shù)、樣條函數(shù)等。目前廣為采用的是Sigmoid函數(shù)，簡稱S型函數(shù)，即取神經(jīng)元的輸出為第7頁/共40頁S型函數(shù)具有以下一些良好的特性：（1）當I較小時，也有一定的O值相對應(yīng)，即輸人到神經(jīng)元的信號比較弱時，神經(jīng)元也有輸出，這樣不丟失信號較小的信息；（2）當I較大時，輸出趨于常數(shù)，不會出現(xiàn)“溢出”現(xiàn)象；（3）具有良好的微分特性，即有第8頁/共40頁為了進一步提高神經(jīng)網(wǎng)絡(luò)的實用性，近年也有將S型函數(shù)改進為如下形式

式中：a、b和c為可調(diào)參數(shù)。通過改變系數(shù)a、b和c的值，來改變S型函數(shù)圖像的幾何形狀，也就是改變了相應(yīng)神經(jīng)元的輸入輸出特性。

第9頁/共40頁2．人工神經(jīng)網(wǎng)絡(luò)

將多個單個神經(jīng)元按照一定的方式組合成一個網(wǎng)絡(luò)，就構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)。

除網(wǎng)絡(luò)中單個神元的特性外，網(wǎng)絡(luò)的拓撲結(jié)構(gòu)也對網(wǎng)絡(luò)的特性有重要的影響。

根據(jù)網(wǎng)絡(luò)中神經(jīng)元的連接方式，將網(wǎng)絡(luò)分成以下兩種基本型式。（1）前向網(wǎng)絡(luò)前向網(wǎng)絡(luò)中，各神經(jīng)元接受前一級輸入，單輸出到下一級，無反饋。（2）反饋網(wǎng)絡(luò)所有神經(jīng)元都是計算單元，同時可接受輸入，并向外界輸出，信息有反饋。第10頁/共40頁4.2BP神經(jīng)元網(wǎng)絡(luò)BP算法于1986年由Rumelhart等提出來的，通過數(shù)學(xué)上的詳細分析和完整的推導(dǎo)，系統(tǒng)地解決了多層神經(jīng)元網(wǎng)絡(luò)中隱層單元連接權(quán)的學(xué)習(xí)問題。單層感知機雖具有較好的記憶和學(xué)習(xí)功能，可以進行模式識別（分類），但不能解決非線性問題，于是研究者提出了多層感知機，并采用誤差反向傳遞學(xué)習(xí)算法（ErrorBackPropagation，簡稱BP算法）進行網(wǎng)絡(luò)訓(xùn)練。因為多層前饋網(wǎng)絡(luò)的訓(xùn)練經(jīng)常采用誤差反向傳播算法，所以通常人們都將多層前饋網(wǎng)絡(luò)直接稱為BP網(wǎng)絡(luò)。由于BP算法得到廣泛的使用，BP模型已成為神經(jīng)網(wǎng)絡(luò)的重要模式之一。第11頁/共40頁θ1θ2θpγ1γqana1a2c1cqy1yqnpqw11w12v11v12SpBpLqCq第12頁/共40頁一、BP網(wǎng)絡(luò)學(xué)習(xí)方法的基本思想：將訓(xùn)練過程分為兩個階段：第一階段：正向傳播，輸入信息從輸入層經(jīng)隱含層單元處理后傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元狀態(tài)。第二階段：倘若在輸出層得不到希望的輸出，則轉(zhuǎn)入第二階段反向傳播，將誤差信號沿原來的神經(jīng)元連接通路返回，通過修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播進行計算。這樣，反復(fù)地運用這兩個過程，使得誤差信號最小，最后使得信號誤差達到允許的范圍之內(nèi)，網(wǎng)絡(luò)就結(jié)束學(xué)習(xí)訓(xùn)練過程。第13頁/共40頁二、BP算法的基本原理

典型BP網(wǎng)絡(luò)分為三層，即輸入層、隱含層和輸出層。其算法主要由以下四部分組成，即模式順傳播——誤差逆?zhèn)鞑ァ洃浻?xùn)練——學(xué)習(xí)收斂。1、模式順傳播2、誤差的逆?zhèn)鞑?、記憶訓(xùn)練4、學(xué)習(xí)收斂文本文件第14頁/共40頁四、應(yīng)用例如圖用六個神經(jīng)元組成的BP網(wǎng)絡(luò)（圖a）來產(chǎn)生圖b的理想輸出。（a）(b)第15頁/共40頁隨機選取的權(quán)矩陣為：采用S函數(shù)輸出，學(xué)習(xí)數(shù)據(jù)如下：輸入00.050.10.150.2…0.90.95…輸出0.50.5250.550.5750.6…0.950.975…圖（a）為訓(xùn)練1493次后的示意圖，圖(b)為訓(xùn)練30588次后的示意圖。(a)(b)第16頁/共40頁4.3標準BP網(wǎng)絡(luò)存在的問題BP網(wǎng)絡(luò)具有對信息的分布式存儲，有一定的容錯性和抗干擾性，其最主要的特點是具有很強的非線性影射能力和柔性網(wǎng)絡(luò)結(jié)構(gòu)，得到了廣泛的應(yīng)用。

標準BP網(wǎng)絡(luò)由于本身的網(wǎng)絡(luò)結(jié)構(gòu)和算法，使其存在著一定的缺點：由于采用梯度優(yōu)化，存在局部極小問題。學(xué)習(xí)算法收斂速度慢，常需要千步以上。隱層數(shù)和各層的單元數(shù)的選擇尚無理論指導(dǎo)，一般依靠經(jīng)驗選擇。網(wǎng)絡(luò)為前向結(jié)構(gòu)，無反饋連接，是一個非線性影射系統(tǒng)。若學(xué)習(xí)系數(shù)和慣性系數(shù)選擇不當，會使網(wǎng)絡(luò)學(xué)習(xí)麻痹。第17頁/共40頁4.4標準BP網(wǎng)絡(luò)的改進措施

近年來所提出的BP改進方法主要目的是加快訓(xùn)練速度，避免陷入局部極小和改善網(wǎng)絡(luò)的概括能力。一、提高收斂速度1.累積誤差校正算法利用m個學(xué)習(xí)模式（樣本）的累積誤差校正各層間的權(quán)值及各層的閾值。特點：這種算法的校正次數(shù)少、學(xué)習(xí)時間短，但該算法是將各個學(xué)習(xí)模式的誤差進行平均處理，在某些情況下易引起網(wǎng)絡(luò)的振蕩。適用范圍：適宜于樣本較少的訓(xùn)練。第18頁/共40頁閾值調(diào)整量計算

:中間層到輸入層權(quán)值調(diào)整量計算：文本文件2、S函數(shù)輸出限幅算法

由于網(wǎng)絡(luò)的權(quán)值校正量與中間層輸出bj有關(guān)，當bj為0或1時，△wjt為0，則校正不起作用，因此限制S函數(shù)的輸出是加快網(wǎng)絡(luò)校正的有效方法。

當S輸出<0.01或>0.99時，取其值為0.01或0.99，這樣可以加快收斂過程。第19頁/共40頁式中，本次應(yīng)得校正量，本次校正量d，慣性系數(shù)η∈（0，1），前一次校正量

若慣性系數(shù)太大，會削弱誤差項的作用，延長收斂作用，引起振蕩。3、慣性校正法在每次對權(quán)值和閾值進行校正時，可按照一定的比例加上前一次學(xué)習(xí)時的校正量，即慣性項。這樣可以加快網(wǎng)絡(luò)的學(xué)習(xí)收斂效果。第20頁/共40頁4、改進慣性校正法若慣性系數(shù)太大，會削弱誤差項的作用，延長收斂作用，引起振蕩，因此將慣性項系數(shù)設(shè)為變量，隨著校正的進行而逐漸增大慣性系數(shù)，使被校正量隨著學(xué)習(xí)進程的發(fā)展，逐漸沿前一次校正方向變化，為此達到加速收斂的目的。通常η<=0.9左右。第21頁/共40頁5、基于變步長的BP算法慣性系數(shù)越大，學(xué)習(xí)效率越高，收斂快，但η越大，易引起振蕩。

選擇η的原則:

在不引起振蕩的情況下，盡可能選大的η。

變步長的思想:

在訓(xùn)練開始時選較大的η值，然后每次訓(xùn)練結(jié)束時，將誤差指標E（N+1）與上一次E（N）比較，若E（N+1）<E（N），則按原步長繼續(xù)訓(xùn)練，否則，將發(fā)生振蕩，減少步長E（N+1）=E（N）/2，退回上一步重新進行訓(xùn)練計算。6、前向神經(jīng)元網(wǎng)絡(luò)的分階段學(xué)習(xí)法利用自適應(yīng)BP算法在遠離極小點處收斂快，而牛頓法在極小點處收斂快的特點，分段學(xué)習(xí)?？赏瑫r利用一、二階導(dǎo)數(shù)信息。第22頁/共40頁二、學(xué)習(xí)系數(shù)和慣性系數(shù)的自適應(yīng)調(diào)整調(diào)整參數(shù)的準則是檢查某特定加權(quán)的修正是否確實降低了誤差函數(shù)，若不是這樣，則應(yīng)修正α和β值，可采用啟發(fā)式信息使α和β得到自適應(yīng)調(diào)整，也可將模糊推理方法應(yīng)用于α和β的調(diào)整中。輸出層中間層到輸入層第23頁/共40頁三、改進誤差函數(shù)傳統(tǒng)的誤差函數(shù)表達式：可用其他函數(shù)代替?zhèn)鹘y(tǒng)的誤差函數(shù)表達式，其原則是：只要f函數(shù)在時達到最小就可以。Bawm和Wilczek等人（1988）提出了一種誤差函數(shù)，該函數(shù)式，當時，發(fā)散，從而避免了傳統(tǒng)誤差式的麻痹現(xiàn)象。第24頁/共40頁四、全局優(yōu)化思想

標準BP網(wǎng)絡(luò)存在局部極小問題，跳出局部極小的一般做法是：增加隱單元數(shù)、改進學(xué)習(xí)效率、從多個初始點開始學(xué)習(xí)。這些方法需試湊多次才能成功，但這樣會使訓(xùn)練時間加長。1、采用全局優(yōu)化方法，避免局部極小問題。

在BP算法中加入一個由全局優(yōu)化方法形成的初始點選擇模塊，以選擇好初始權(quán)值，從而自動地避免了局部極小問題?？刹捎玫姆椒ㄓ校核淼佬?yīng)法、填充函數(shù)法、測度論法等三種全局優(yōu)化方法，實驗證明，測度論法比較有效。第25頁/共40頁2、采用優(yōu)化理論方法，如卡爾曼濾波、同倫優(yōu)化等。

利用最優(yōu)化估計理論中的卡爾曼濾波方法，把BP算法的網(wǎng)絡(luò)權(quán)值作為濾波的狀態(tài)變量，從而可以用卡爾曼濾波來實現(xiàn)非線性網(wǎng)絡(luò)的學(xué)習(xí)，不僅避免了局部極小，而且大大提高了學(xué)習(xí)速度。也有將BP網(wǎng)絡(luò)誤差函數(shù)最小化問題轉(zhuǎn)化為一非線性方程式的求解問題，然后將連續(xù)同倫思想用于非線性代數(shù)方程式的求解，建立了相應(yīng)的同倫BP網(wǎng)絡(luò)理論和學(xué)習(xí)算法。同倫BP算法不但在大范圍收斂，同時具有良好的收斂速度和可克服病態(tài)能力，在梯度法不收斂的時候，它仍能給出滿意解。第26頁/共40頁3、運用聚類分析法。

在網(wǎng)絡(luò)訓(xùn)練階段，采用最臨近準則，將動態(tài)聚類樣本用于權(quán)重的預(yù)置，改進了BP算法中迭代緩慢的缺陷，從而避免了標準BP網(wǎng)絡(luò)學(xué)習(xí)中的局部極小問題。4、將GA思想用于BP網(wǎng)絡(luò)訓(xùn)練。

將GA和BP結(jié)合而形成的人工神經(jīng)元網(wǎng)絡(luò)（ANN）的方法有兩種：

（1）先BP、后GA：先用BP培訓(xùn)一個預(yù)先選定的結(jié)構(gòu)ANN直到平均誤差不再有意義地減少時為止，然后再用GA進行優(yōu)化，重復(fù)這樣的搜索，直到滿足要求。

（2）先GA，后BP：先用GA優(yōu)化描述ANN的參數(shù)組合，直到適應(yīng)度函數(shù)的平均值不再有意義地增加為止，然后再用精選的樣本進行訓(xùn)練優(yōu)化。

GA——全局收斂，BP——非線性影射第27頁/共40頁5、采用逐步逼近法的思想進行BP網(wǎng)絡(luò)的全局最優(yōu)學(xué)習(xí)首先根據(jù)問題的性質(zhì)構(gòu)造一個合適的BP網(wǎng)絡(luò)，然后根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)一個誤差函數(shù)，再利用非線性函數(shù)求極值的方法求解得到網(wǎng)絡(luò)的權(quán)值向量最優(yōu)解。這樣就回避了BP網(wǎng)絡(luò)的一系列缺陷。但這種方法在處理分類問題時不一定合適。其總的思想是借助求解非線性函數(shù)最小值來完成BP網(wǎng)絡(luò)的訓(xùn)練任務(wù)。

6、借助模擬退火的思想對BP網(wǎng)絡(luò)進行訓(xùn)練，使其收斂全局最小。建立新解產(chǎn)生機制。第28頁/共40頁4.5人工神經(jīng)元網(wǎng)絡(luò)的應(yīng)用1989年Funahashi證明，三層前向神經(jīng)元網(wǎng)絡(luò)可以以任意精度逼近定義在緊致集K上N維連續(xù)函數(shù)。

BP的應(yīng)用主要是其非線性影射能力。一、在機械設(shè)計中應(yīng)用在齒輪設(shè)計中的應(yīng)用例：（1）實現(xiàn)變厚度齒輪減速器中設(shè)計變量與動態(tài)參數(shù)之間的映射關(guān)系，從而解決了動態(tài)優(yōu)化設(shè)計中目標函數(shù)難以建立的難題，使復(fù)雜的動態(tài)優(yōu)化問題轉(zhuǎn)化為簡單的普通優(yōu)化問題。1、擬合各種曲線圖表

BP網(wǎng)絡(luò)是一個通用函數(shù)逼近器。第29頁/共40頁

（2）利用BP網(wǎng)絡(luò)來實現(xiàn)齒輪傳動機構(gòu)中設(shè)計變量到齒面接觸疲勞強度和齒根彎曲疲勞強度的映射關(guān)系，從而簡化了計算中反復(fù)計算齒形系數(shù)、應(yīng)力校正系數(shù)所帶來的麻煩。

（3）利用BP網(wǎng)絡(luò)來處理強度計算中大量圖表的插值計算問題，為圖表的計算機化提供了一條途徑等等。如結(jié)合面基礎(chǔ)特性參數(shù)公式的歸納和影射。

在優(yōu)化設(shè)計中，只要是非線性映射或函數(shù)逼近的問題，都可以用BP網(wǎng)絡(luò)加以解決。但有一點必須明確，BP網(wǎng)絡(luò)最適合于處理輸入輸出之間關(guān)系不明確，且無法用一個明確的函數(shù)關(guān)系表達的場合。對于有確切函數(shù)關(guān)系的輸入輸出，使用ANN也就沒有多大意義了。第30頁/共40頁2、凸輪曲線擬合，加工表面擬合。3、專家系統(tǒng)中的知識獲取。二、在機械結(jié)構(gòu)優(yōu)化中的應(yīng)用算例1：懸臂梁結(jié)構(gòu)分析。如圖所示的懸臂梁結(jié)構(gòu)，已知P=200N，E=2×105MPa，μ=0.3，設(shè)計變量為b、h、l，取值范圍為：b∈「30，50」，h∈［30，50］，1∈[400，900〕。1、結(jié)構(gòu)分析及結(jié)構(gòu)重分析中的應(yīng)用

在復(fù)雜結(jié)構(gòu)的FEM結(jié)構(gòu)優(yōu)化設(shè)計中，可以用神經(jīng)網(wǎng)絡(luò)代替有限元作結(jié)構(gòu)近似重分析，這在結(jié)構(gòu)優(yōu)化設(shè)計中特別有意義。第31頁/共40頁解：（1）設(shè)計訓(xùn)練樣本集為了使樣本點在設(shè)計變量空間均勻分布，一般要按正交表來安排樣本點。b、h均按3水平，l按6水平，設(shè)計L18正交表布點。表4.1為按L18正交表布點及相應(yīng)尺寸組合的有限元分析結(jié)果，δ是C點位移，σ為B點彎曲應(yīng)力。表4.1

訓(xùn)練網(wǎng)絡(luò)時，隱結(jié)點數(shù)為7，目標誤差0.0001，最大訓(xùn)練次數(shù)2000。第32頁/共40頁（2）用測試樣本檢驗網(wǎng)絡(luò)在網(wǎng)絡(luò)訓(xùn)練階段，只要隱結(jié)點足夠多，訓(xùn)練時間足夠長，目標誤差取得足夠小，則最終的訓(xùn)練誤差可以足夠小。這表明網(wǎng)絡(luò)能夠以任意精度逼近樣本點?？梢钥闯觯?jīng)過訓(xùn)練（學(xué)習(xí)），可以用BP網(wǎng)絡(luò)代替FEM作結(jié)構(gòu)近似分析是可行的。第33頁/共40頁例2．摩托車車架的結(jié)構(gòu)動態(tài)優(yōu)化設(shè)計目標函數(shù)：W（X）→mins.t.:結(jié)構(gòu)尺寸限制，滿足強度要求，第1階固有頻率>25Hz，解：上述最優(yōu)化問題用有限元