第6章分類預(yù)測人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)最早是由心理學(xué)家和神經(jīng)學(xué)家提出的，旨在尋求開發(fā)和測試神經(jīng)的計算模擬。神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸出單元，其中每個連接都與一個權(quán)相關(guān)聯(lián)2人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3輸入層負責(zé)接收樣本數(shù)據(jù)集中各輸入變量的數(shù)值位于輸入層的結(jié)點稱為輸入結(jié)點(輸入單元)，其個數(shù)由樣本數(shù)據(jù)的屬性維度決定輸入的信息稱為輸入向量xiwij…輸入層Ol輸出層隱藏層wkl…wjk………

xiwij…輸入層Ol輸出層隱藏層wkl…wjk………

人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)4隱藏層是輸入層和輸出層間多個神經(jīng)元和鏈接組成的各個層面，實現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的計算和非線性特性隱藏層可有多層，視非線性、功能和性能要求而定隱藏層的結(jié)點為隱藏結(jié)點(或隱單元)，處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察隱藏結(jié)點數(shù)目越多，神經(jīng)網(wǎng)絡(luò)的非線性越顯著，魯棒性也更好習(xí)慣上會選輸入結(jié)點1.2~1.5倍設(shè)立隱藏層結(jié)點xiwij…輸入層Ol輸出層隱藏層wkl…wjk………

人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)5輸出結(jié)點的個數(shù)由樣本分類個數(shù)決定：輸出為二分類型，則輸出結(jié)點個數(shù)可為1或2，并取值0或1來表示分類結(jié)果輸出為n多分類型，則輸出結(jié)點個數(shù)可為log2n，并取值為二進制的0和1輸出為數(shù)值型，則輸出結(jié)點數(shù)為1輸出層負責(zé)實現(xiàn)系統(tǒng)處理結(jié)果的輸出輸出的信息稱為輸出向量位于輸出層的結(jié)點稱為輸出結(jié)點（輸出單元）。神經(jīng)元/感知器6∑j(·)fAj(·)uj組合函數(shù)w1jw2jwsjI1I2Is……連接權(quán)Oj

θj偏置輸出

人工神經(jīng)網(wǎng)絡(luò)延用了人體神經(jīng)元“激活”這一概念和詞匯，在每個感知器中設(shè)置了一個數(shù)學(xué)函數(shù)來表達的元素，稱為激活函數(shù)。激活函數(shù)完成神經(jīng)單元的非線性特性。

輸入激活函數(shù)組合函數(shù)的輸出范圍可能會需要一定的線性調(diào)整，以符合激活函數(shù)的輸入范圍，需對組合函數(shù)的結(jié)果設(shè)置一個偏置量（閾值）神經(jīng)元/感知器7∑j(·)fAj(·)uj組合函數(shù)w1jw2jwsjI1I2Is……連接權(quán)Oj

θj偏置輸出

輸入激活函數(shù)

激活函數(shù)sign函數(shù)8激活函數(shù)sigmoid函數(shù)（Logistic函數(shù)）9輸出映射在(0，1)之間，輸出范圍有限單調(diào)連續(xù)，易于求導(dǎo)優(yōu)化效果穩(wěn)定適合用于輸出層感知器的激活函數(shù)。因為sigmoid函數(shù)具有的飽和性，容易產(chǎn)生梯度消失，導(dǎo)致訓(xùn)練失效輸出并不是以0為中心可以看出，sigmoid函數(shù)的導(dǎo)數(shù)只有在x=0附近的時候有比較好的激活性，在正負飽和區(qū)的梯度都接近于0，造成梯度彌散，無法完成深層網(wǎng)絡(luò)的訓(xùn)練。激活函數(shù)tanh雙曲正切函數(shù)10取值范圍為[-1，1]在特征相差明顯時的應(yīng)用效果較好，在循環(huán)訓(xùn)練過程中會不斷擴大特征效果是0均值的應(yīng)用中比sigmoid函數(shù)有更強的應(yīng)用性同樣具有飽和性，也會造成梯度消失激活函數(shù)ReLU函數(shù)11用于某些算法（如隨機梯度下降）時，收斂速度較快當(dāng)x<0時，ReLU硬飽和；當(dāng)x>0時，則不存在飽和問題在x>0時保持梯度不衰減，從而緩解梯度消失問題。但隨著訓(xùn)練推進，部分輸入會落入硬飽和區(qū)，導(dǎo)致對應(yīng)權(quán)重?zé)o法更新，導(dǎo)致神經(jīng)元死亡輸出均值也大于0偏移現(xiàn)象和神經(jīng)元死亡會共同影響網(wǎng)絡(luò)的收斂性。人工神經(jīng)網(wǎng)絡(luò)12拓撲結(jié)構(gòu)劃分兩層神經(jīng)網(wǎng)絡(luò)三層神經(jīng)網(wǎng)絡(luò)多層神經(jīng)網(wǎng)絡(luò)結(jié)點間的連接方式劃分層間連接層內(nèi)連接人工神經(jīng)網(wǎng)絡(luò)13結(jié)點間的連接方向劃分前饋式神經(jīng)網(wǎng)絡(luò)BP(BackPropagation)反饋式神經(jīng)網(wǎng)絡(luò)(Feedback)BP人工神經(jīng)網(wǎng)絡(luò)BP(BackPropagation)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。14………

xi,i=1,2,…,mwij…輸入層yl,l=1,2,…,n輸出層隱藏層wkl…wjkBP人工神經(jīng)網(wǎng)絡(luò)15每個處理單元具有輸入端和相應(yīng)的輸出，內(nèi)部包含組合函數(shù)、激活函數(shù)及用來調(diào)節(jié)處理單元的活性的偏置量（閾值）bi。輸入層的處理單元的輸入為xi，輸出為Oi。隱藏層的輸入為上一層的輸出Ij（對于第2層隱藏層，Ij=Oi），輸出為Oj；輸出層的輸入為Ik（Ik為上一層隱藏層的輸出，如Oj）輸出為Ol。激活函數(shù)一般使用sigmoid函數(shù)。BP人工神經(jīng)網(wǎng)絡(luò)16信號的前向傳播誤差的后向傳播………

xi,i=1,2,…,mwij…輸入層yl,l=1,2,…,n輸出層隱藏層wkl…wjk

BP人工神經(jīng)網(wǎng)絡(luò)處理過程171.初始化網(wǎng)絡(luò)權(quán)值和處理單元的閾值最簡單的辦法就是隨機初始化，分別為wij，wjk，…，wkl和bij，bjk，…，bkl賦隨機值?！?/p>

xi,i=1,2,…,mwij…輸入層yl,l=1,2,…,n輸出層隱藏層wkl…wjkBP人工神經(jīng)網(wǎng)絡(luò)處理過程182.信號的前向傳播，計算各處理單元的輸出按照網(wǎng)絡(luò)連接以及組合函數(shù)和激活函數(shù)關(guān)系公式，逐層計算隱藏層處理單元和輸出層處理單元的輸入和輸出。輸入層：………

xi,i=1,2,…,mwij…輸入層yl,l=1,2,…,n輸出層隱藏層wkl…wjk輸出層：隱藏層：BP人工神經(jīng)網(wǎng)絡(luò)處理過程193.誤差后向傳播對于訓(xùn)練數(shù)據(jù)xi，輸出應(yīng)為yl，與人工神經(jīng)網(wǎng)絡(luò)實際輸出Ol存在差異。定義系統(tǒng)的總輸出誤差為系統(tǒng)輸出層各處理單元輸出誤差的平均值（即各輸出Ol與訓(xùn)練數(shù)據(jù)yl的差異），是輸出與其期望值的均方差：需要根據(jù)差異的情況對系統(tǒng)內(nèi)各連接的權(quán)值進行調(diào)整，使二者相等或逼近

yl?！?/p>

xi,i=1,2,…,mwij…輸入層yl,l=1,2,…,n輸出層隱藏層wkl…wjkBP人工神經(jīng)網(wǎng)絡(luò)處理過程203.誤差后向傳播輸出層：輸出誤差E為wkl的函數(shù)，可對wkl求偏微分，利用梯度下降算法，對wkl進行調(diào)整，即使其最小化，以降低系統(tǒng)輸出誤差。

BP人工神經(jīng)網(wǎng)絡(luò)處理過程213.誤差后向傳播隱藏層：輸出誤差E為wkl的函數(shù)，可對wkl求偏微分，利用梯度下降算法，對wkl進行調(diào)整，即使其最小化，以降低系統(tǒng)輸出誤差。

BP人工神經(jīng)網(wǎng)絡(luò)處理過程223.誤差后向傳播修正權(quán)值：利用輸出層和隱藏層的誤差計算公式，可以對各連接權(quán)值和處理單元閾值進行迭代修正，使輸出誤差逐步降低，直到滿足終止條件。引入神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)率η的概念，控制權(quán)值的修正速度。學(xué)習(xí)率通常取值0~1之間，選取要適中。太小，學(xué)習(xí)速度慢，wjk的收斂速度太慢；太大，會使wjk值出現(xiàn)擺動，影響系統(tǒng)的穩(wěn)定性。BP人工神經(jīng)網(wǎng)絡(luò)處理過程234.模型評估5.模型應(yīng)用………

xi,i=1,2,…,mwij…輸入層yl,l=1,2,…,n輸出層隱藏層wkl…wjkx1,2,…,mO1,2,…,nE<ε【例】24w1x2=10H1H2H3O1O2x1=5w2w3w4w5w6y2=0.95y1=0.05w7w8w9w10w11w12

∑f(·)b2

∑f(.)組合函數(shù)

激活函數(shù)b1H1

uO1O1uH1組合函數(shù)

激活函數(shù)輸入端的輸入值為x1=5，x2=10；輸出層的輸出值應(yīng)為：y1=0.05，y2=0.95。1.初始化網(wǎng)絡(luò)權(quán)值和處理單元的閾值w1=0.1w4=0.3w2=0.15w5=0.3w3=0.2w6=0.35w7=0.4w10=0.6w8=0.45w11=0.6w9=0.5w12=0.65b1=0.35b2=0.72.信號的前向傳播，計算各處理單元的輸出x1=5x2=10uH1=2.35uH2=3.85uH3=5.35H1=0.912934H2=0.979164H3=0.995274

uO1=2.101920uO2=2.246289O1=0.891090O2=0.904330

【例】25

3.誤差后向傳播w7=0.3254800w8=0.4536072w9=0.4200739w10=0.5538689w11=0.5187589w12=0.6539325輸出層：輸入端的輸入值為x1=5，x2=10；輸出層的輸出值應(yīng)為：y1=0.05，y2=0.95。w1x2=10H1H2H3O1O2x1=5w2w3w4w5w6y2=0.95y1=0.05w7w8w9w10w11w12

∑f(·)b2

∑f(.)組合函數(shù)

激活函數(shù)b1H1

uO1O1uH1組合函數(shù)

激活函數(shù)【例】26

w1=0.0901535w2=0.1303070w3=0.1967253w4=0.2434507w5=0.2990649w6=0.3481298隱藏層：輸入端的輸入值為x1=5，x2=10；輸出層的輸出值應(yīng)為：y1=0.05，y2=0.95。3.誤差后向傳播w1x2=10H1H2H3O1O2x1=5w2w3w4w5w6y2=0.95y1=0.05w7w8w9w10w11w12

∑f(·)b2

∑f(.)組合函數(shù)

激活函數(shù)b1H1

uO1O1uH1組合函數(shù)

激活函數(shù)【例】27輸入端的輸入值為x1=5，x2=10；輸出層的輸出值應(yīng)為：y1=0.05，y2=0.95。4.多次迭代w1=…w7=…w2=…w8=…w3=…w9=…w4=…w10=…w5=…w11=…w6=…w12=…最終w1x2=10H1H2H3O1O2x1=5w2w3w4w5w6y2=0.95y1=0.05w7w8w9w10w11w12

∑f(·)b2

∑f(.)組合函數(shù)

激活函數(shù)b1H1

uO1O1uH1組合函數(shù)

激活函數(shù)幾個問題權(quán)值wij的調(diào)整更新實例更新(caseupdate)：每處理一個樣本就更新權(quán)值和偏置周期更新(epochupdate)：處理完訓(xùn)練集中的所有樣本之后再更新權(quán)值和偏置28幾個問題終止條件前一周期所有的

wij

都小于某個指定的閾值，或前一周期未正確分類的樣本百分比小于某個閾值，或超過預(yù)先指定的周期數(shù)29實踐中，權(quán)值收斂可能需要數(shù)十萬個周期幾個問題對訓(xùn)練樣本