第5講神經(jīng)網(wǎng)絡(luò)分類2003.12.181第5講神經(jīng)網(wǎng)絡(luò)分類2003.12.181人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)概述人工神經(jīng)網(wǎng)絡(luò)提供了一種普遍且實用的方法從樣例中學(xué)習(xí)值為實數(shù)、離散值或向量的函數(shù)。人工神經(jīng)網(wǎng)絡(luò)對于訓(xùn)練數(shù)據(jù)中的錯誤健壯性很好。人工神經(jīng)網(wǎng)絡(luò)已被成功應(yīng)用到很多領(lǐng)域，例如視覺場景分析，語音識別，機(jī)器人控制。其中，最流行的網(wǎng)絡(luò)和算法是20世紀(jì)80年代提出的BP網(wǎng)絡(luò)和BP算法，BP算法使用梯度下降法來調(diào)節(jié)BP網(wǎng)絡(luò)的參數(shù)以最佳擬合由輸入-輸出對組成的訓(xùn)練集合。2003.12.182人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)概述人工神經(jīng)網(wǎng)絡(luò)提供了一種普遍且實用的方法從BP算法概述1、BP算法的出現(xiàn)非循環(huán)多級網(wǎng)絡(luò)的訓(xùn)練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓(xùn)練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應(yīng)性和有效性。2003.12.183BP算法概述1、BP算法的出現(xiàn)2003.12.183BP網(wǎng)絡(luò)的基本結(jié)構(gòu)2003.12.184BP網(wǎng)絡(luò)的基本結(jié)構(gòu)2003.12.184確定BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)在開始訓(xùn)練之前，需要確定網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)：出入層神經(jīng)元的個數(shù)、隱含層神經(jīng)元的層數(shù)及每一層神經(jīng)元的個數(shù)、輸出層神經(jīng)元的個數(shù)。對訓(xùn)練樣本中的每一屬性的值進(jìn)行歸一化，使其值落在（0，1）區(qū)間，有助于加快學(xué)習(xí)過程。對于離散的屬性值，要進(jìn)行合適的編碼。BP網(wǎng)一般都選用二級網(wǎng)絡(luò)。實驗表明：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。2003.12.185確定BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)在開始訓(xùn)練之前，需要確定網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)神經(jīng)元的M-P模型2003.12.186神經(jīng)元的M-P模型2003.12.186激活函數(shù)(ActivationFunction)

激活函數(shù)——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+c

netooc2003.12.187激活函數(shù)(ActivationFunction)激活函數(shù)2、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

2003.12.1882、非線性斜面函數(shù)(RampFunction) γ2、非線性斜面函數(shù)（RampFunction）γ-γθ

-θ

net

o

2003.12.1892、非線性斜面函數(shù)（RampFunction）γ-γ3、閾值函數(shù)（ThresholdFunction）階躍函數(shù)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實數(shù)，θ為閾值二值形式： 1 ifnet>θf（net）= 0 ifnet≤θ雙極形式： 1 ifnet>θf（net）= -1 ifnet≤θ

2003.12.18103、閾值函數(shù)（ThresholdFunction）階躍函數(shù)3、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet02003.12.18113、閾值函數(shù)（ThresholdFunction）階躍函數(shù)4、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制

2003.12.18124、S形函數(shù)壓縮函數(shù)（SquashingFunction4、S形函數(shù)

a+bo(0,c)netac=a+b/22003.12.18134、S形函數(shù)a+bo(0,c)netac=a+b/220BP算法2003.12.1814BP算法2003.12.1814BP算法的基本思想BP算法的基本工作過程大概可以分為兩個階段：1）信號的向前傳播，在這個階段，要求計算出隱含層和輸出層中每一神經(jīng)元的凈輸入和輸出。 2）誤差的向后傳播，在這個階段，要求計算出輸出層和隱含層中每一神經(jīng)元的誤差。2003.12.1815BP算法的基本思想BP算法的基本工作過程大概可以分為兩個階段初始化問題在BP算法中，權(quán)和偏置在網(wǎng)絡(luò)學(xué)習(xí)之前，都將其初始化為不同的小隨機(jī)數(shù)?！安煌北ＷC網(wǎng)絡(luò)可以學(xué)習(xí)；“小隨機(jī)數(shù)”防止其值過大而提前進(jìn)入飽和狀態(tài)。2003.12.1816初始化問題在BP算法中，權(quán)和偏置在網(wǎng)絡(luò)學(xué)習(xí)之前，都將其初始化更新問題基本的BP算法采用的是實例更新，即每處理一個實例就更新一次權(quán)和偏置。實例更新的缺陷：實例的順序?qū)τ?xùn)練結(jié)果有較大影響。它更“偏愛”較后出現(xiàn)的實例。而給其中的實例安排一個適當(dāng)?shù)捻樞?，是非常困難的。解決的辦法就是采用周期更新，即每處理一遍所有的實例才更新一次權(quán)和偏置。周期更新的好處是：可以消除實例順序?qū)Y(jié)果的影響。2003.12.1817更新問題基本的BP算法采用的是實例更新，即每處理一個實例就更收斂速度問題BP算法的訓(xùn)練速度是非常慢的，尤其是當(dāng)訓(xùn)練達(dá)到一定的程度后，甚至有時是發(fā)散的。2003.12.1818收斂速度問題BP算法的訓(xùn)練速度是非常慢的，尤其是當(dāng)訓(xùn)練達(dá)到一局部極小點問題避免——修改初始值：并不是總有效。逃離——統(tǒng)計方法：[Wasserman，1986]將Cauchy訓(xùn)練與BP算法結(jié)合起來，可以在保證訓(xùn)練速度不被降低的情況下，找到全局極小點。2003.12.1819局部極小點問題避免——修改初始值：并不是總有效。2003.1網(wǎng)絡(luò)癱瘓問題在訓(xùn)練中，權(quán)可能變得很大，這會使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導(dǎo)函數(shù)在此點上的取值很小。根據(jù)相應(yīng)式子，此時的訓(xùn)練步長會變得非常小，進(jìn)而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂。2003.12.1820網(wǎng)絡(luò)癱瘓問題在訓(xùn)練中，權(quán)可能變得很大，這會使神經(jīng)元的網(wǎng)絡(luò)輸入穩(wěn)定性問題用修改量的綜合實施權(quán)的修改（用消除樣本順序影響的算法4-2來訓(xùn)練）連續(xù)變化的環(huán)境，它將變成無效的（網(wǎng)絡(luò)不可塑）2003.12.1821穩(wěn)定性問題用修改量的綜合實施權(quán)的修改（用消除樣本順序影響的算步長問題BP網(wǎng)絡(luò)的收斂是基于無窮小的權(quán)修改量步長太小，收斂就非常慢步長太大，可能會導(dǎo)致網(wǎng)絡(luò)的癱瘓和不穩(wěn)定自適應(yīng)步長，使得權(quán)修改量能隨著網(wǎng)絡(luò)的訓(xùn)練而不斷變化。[1988年，Wasserman]2003.12.1822步長問題BP網(wǎng)絡(luò)的收斂是基于無窮小的權(quán)修改量2003.12.BP算法適合問題的特征實例是用很多“屬性-值”對表示的目標(biāo)函數(shù)的輸出可能是離散值、實數(shù)值或者由若干實數(shù)屬性或離散屬性組成的向量訓(xùn)練數(shù)據(jù)可能包含錯誤可容忍長時間的訓(xùn)練可能需要快速求出目標(biāo)函數(shù)值人類能否理解學(xué)到的目標(biāo)函數(shù)是不重要的2003.12.1823BP算法適合問題的特征實例是用很多“屬性-值”對表示的200第5講神經(jīng)網(wǎng)絡(luò)分類2003.12.1824第5講神經(jīng)網(wǎng)絡(luò)分類2003.12.181人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)概述人工神經(jīng)網(wǎng)絡(luò)提供了一種普遍且實用的方法從樣例中學(xué)習(xí)值為實數(shù)、離散值或向量的函數(shù)。人工神經(jīng)網(wǎng)絡(luò)對于訓(xùn)練數(shù)據(jù)中的錯誤健壯性很好。人工神經(jīng)網(wǎng)絡(luò)已被成功應(yīng)用到很多領(lǐng)域，例如視覺場景分析，語音識別，機(jī)器人控制。其中，最流行的網(wǎng)絡(luò)和算法是20世紀(jì)80年代提出的BP網(wǎng)絡(luò)和BP算法，BP算法使用梯度下降法來調(diào)節(jié)BP網(wǎng)絡(luò)的參數(shù)以最佳擬合由輸入-輸出對組成的訓(xùn)練集合。2003.12.1825人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)概述人工神經(jīng)網(wǎng)絡(luò)提供了一種普遍且實用的方法從BP算法概述1、BP算法的出現(xiàn)非循環(huán)多級網(wǎng)絡(luò)的訓(xùn)練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓(xùn)練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應(yīng)性和有效性。2003.12.1826BP算法概述1、BP算法的出現(xiàn)2003.12.183BP網(wǎng)絡(luò)的基本結(jié)構(gòu)2003.12.1827BP網(wǎng)絡(luò)的基本結(jié)構(gòu)2003.12.184確定BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)在開始訓(xùn)練之前，需要確定網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)：出入層神經(jīng)元的個數(shù)、隱含層神經(jīng)元的層數(shù)及每一層神經(jīng)元的個數(shù)、輸出層神經(jīng)元的個數(shù)。對訓(xùn)練樣本中的每一屬性的值進(jìn)行歸一化，使其值落在（0，1）區(qū)間，有助于加快學(xué)習(xí)過程。對于離散的屬性值，要進(jìn)行合適的編碼。BP網(wǎng)一般都選用二級網(wǎng)絡(luò)。實驗表明：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。2003.12.1828確定BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)在開始訓(xùn)練之前，需要確定網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)神經(jīng)元的M-P模型2003.12.1829神經(jīng)元的M-P模型2003.12.186激活函數(shù)(ActivationFunction)

激活函數(shù)——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+c

netooc2003.12.1830激活函數(shù)(ActivationFunction)激活函數(shù)2、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

2003.12.18312、非線性斜面函數(shù)(RampFunction) γ2、非線性斜面函數(shù)（RampFunction）γ-γθ

-θ

net

o

2003.12.18322、非線性斜面函數(shù)（RampFunction）γ-γ3、閾值函數(shù)（ThresholdFunction）階躍函數(shù)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實數(shù)，θ為閾值二值形式： 1 ifnet>θf（net）= 0 ifnet≤θ雙極形式： 1 ifnet>θf（net）= -1 ifnet≤θ

2003.12.18333、閾值函數(shù)（ThresholdFunction）階躍函數(shù)3、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet02003.12.18343、閾值函數(shù)（ThresholdFunction）階躍函數(shù)4、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制

2003.12.18354、S形函數(shù)壓縮函數(shù)（SquashingFunction4、S形函數(shù)

a+bo(0,c)netac=a+b/22003.12.18364、S形函數(shù)a+bo(0,c)netac=a+b/220BP算法2003.12.1837BP算法2003.12.1814BP算法的基本思想BP算法的基本工作過程大概可以分為兩個階段：1）信號的向前傳播，在這個階段，要求計算出隱含層和輸出層中每一神經(jīng)元的凈輸入和輸出。 2）誤差的向后傳播，在這個階段，要求計算出輸出層和隱含層中每一神經(jīng)元的誤差。2003.12.1838BP算法的基本思想BP算法的基本工作過程大概可以分為兩個階段初始化問題在BP算法中，權(quán)和偏置在網(wǎng)絡(luò)學(xué)習(xí)之前，都將其初始化為不同的小隨機(jī)數(shù)?！安煌北ＷC網(wǎng)絡(luò)可以學(xué)習(xí)；“小隨機(jī)數(shù)”防止其值過大而提前進(jìn)入飽和狀態(tài)。2003.12.1839初始化問題在BP算法中，權(quán)和偏置在網(wǎng)絡(luò)學(xué)習(xí)之前，都將其初始化更新問題基本的BP算法采用的是實例更新，即每處理一個實例就更新一次權(quán)和偏置。實例更新的缺陷：實例的順序?qū)τ?xùn)練結(jié)果有較大影響。它更“偏愛”較后出現(xiàn)的實例。而給其中的實例安排一個適當(dāng)?shù)捻樞颍欠浅＠щy的。解決的辦法就是采用周期更新，即每處理一遍所有的實例才更新一次權(quán)和偏置。周期更新的好處是：可以消除實例順序?qū)Y(jié)果的影響。2003.12.1840更新問題基本的BP算法采用的是實例更新，即每處理一個實例就更收斂速度問題BP算法的訓(xùn)練速度是非常慢的，尤其是當(dāng)訓(xùn)練達(dá)到一定的程度后，甚至有時是發(fā)散的。2003.12.1841收斂速度問題BP算法的訓(xùn)練速度是非常慢的，尤其是當(dāng)訓(xùn)練達(dá)到一局部極小點問題避免——修改初始值：并不是總有效。逃離——統(tǒng)計方法：[Wasserman，1986]將Cau