2022/11/281可以說，神經(jīng)網(wǎng)絡(luò)的優(yōu)化學(xué)習(xí)一直是神經(jīng)網(wǎng)絡(luò)研究熱點(diǎn)1943年,WarrenMcCulloch和WalterPitts,人工神經(jīng)元模型1949年,DonaldO.Hebb,聯(lián)想式學(xué)習(xí)規(guī)則1957年,FrankRosenblatt等人,感知器(Perceptron)及其學(xué)習(xí)規(guī)則1960年,BernardWidrow和MarcianHoff,自適應(yīng)線性神經(jīng)元，Widrow—Hoff學(xué)習(xí)算法

第六章：神經(jīng)網(wǎng)絡(luò)的優(yōu)化學(xué)習(xí)2022/11/2821969年,MarvinMinsky和SeymourPapert,《感知器》,神經(jīng)網(wǎng)絡(luò)研究陷入低潮。直到80年代,改進(jìn)的(多層)感知器網(wǎng)絡(luò)和學(xué)習(xí)規(guī)則,喚起人們對(duì)神經(jīng)網(wǎng)絡(luò)研究的興趣。第六章：神經(jīng)網(wǎng)絡(luò)的優(yōu)化學(xué)習(xí)2022/11/283感知器是第一個(gè)完整的人工神經(jīng)網(wǎng)絡(luò)，具有聯(lián)想記憶的功能，可以用于模式識(shí)別，并且在工程中得到實(shí)現(xiàn)。當(dāng)前，人們?nèi)匀徽J(rèn)為感知器網(wǎng)絡(luò)是一種重要的神經(jīng)網(wǎng)絡(luò)。因?yàn)椋瑢?duì)于某些應(yīng)用問題而言，感知器仍是一種快速可靠的求解方法。對(duì)感知器網(wǎng)絡(luò)行為的理解將會(huì)為理解更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)奠定良好基礎(chǔ)。6.1感知器學(xué)習(xí)規(guī)則2022/11/284一、單神經(jīng)元感知器

6.1.1感知器的結(jié)構(gòu)二、多神經(jīng)元感知器

2022/11/285

輸出權(quán)值向量

輸入向量單神經(jīng)元感知器單神經(jīng)元感知器結(jié)構(gòu)與MP神經(jīng)元模型十分相似作用函數(shù)類別界限凈輸入閾值輸出2022/11/286若，則若，則單神經(jīng)元感知器二輸入單神經(jīng)元感知器2022/11/287三輸入單神經(jīng)元感知器,類別界限相當(dāng)于在三維空間中定義了一個(gè)平面，該平面將輸入模式分為兩類。單神經(jīng)元感知器n(

)輸入單神經(jīng)元感知器，類別界限對(duì)于在n

維向量空間上的線性可分模式，通過一個(gè)n

輸入的單神經(jīng)元感知器一定可以找到一個(gè)超平面，將該模式分為兩類。

2022/11/288輸出向量連接權(quán)系數(shù)矩陣輸入向量閾值向量作用函數(shù)多神經(jīng)元感知器2022/11/289第i

個(gè)神經(jīng)元的類別界限其中：是輸入向量與第i

個(gè)神經(jīng)元的連接權(quán)值；是第i

個(gè)神經(jīng)元的閾值；由m

個(gè)神經(jīng)元構(gòu)成的感知器網(wǎng)絡(luò)最多可以區(qū)分出種輸入模式。

多神經(jīng)元感知器2022/11/2810感知器主要用作模式分類，感知器的學(xué)習(xí)實(shí)質(zhì)是通過改變輸入向量與神經(jīng)元的連接權(quán)值或神經(jīng)元的閾值，使感知器具有能夠正確區(qū)分目標(biāo)數(shù)據(jù)的能力。設(shè)有P

組樣本數(shù)據(jù)為：其中是第組樣本輸入向量；是該輸入相應(yīng)的目標(biāo)輸出。

6.1.2感知器的學(xué)習(xí)在感知器網(wǎng)絡(luò)尚未訓(xùn)練的情況下，可能與相差甚遠(yuǎn)。感知器學(xué)習(xí)就是通過調(diào)整權(quán)系數(shù)和閾值，使其實(shí)際輸出逐步逼近目標(biāo)輸出。2022/11/2811FrankRosenblatt的貢獻(xiàn)在于提出了訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于解決模式識(shí)別問題的學(xué)習(xí)規(guī)則，并證明了只要求解問題的權(quán)值存在，那么其學(xué)習(xí)規(guī)則通常會(huì)收斂到正確的網(wǎng)絡(luò)權(quán)值上。整個(gè)學(xué)習(xí)過程較為簡(jiǎn)單，而且是自動(dòng)的。只要把反映網(wǎng)絡(luò)行為的樣本數(shù)據(jù)對(duì)提交給網(wǎng)絡(luò)，網(wǎng)絡(luò)就能夠根據(jù)樣本數(shù)據(jù)從隨機(jī)初始化的權(quán)值和偏置值開始自動(dòng)地進(jìn)行學(xué)習(xí)。

6.1.2感知器的學(xué)習(xí)2022/11/2812設(shè)有樣本數(shù)據(jù)為：，，目標(biāo)輸出為0的兩個(gè)輸入向量用空心圓〇表示，目標(biāo)輸出為1的輸入向量用實(shí)心圓●表示。單神經(jīng)元感知器的學(xué)習(xí)2022/11/2813為了簡(jiǎn)化學(xué)習(xí)過程，取感知器的神經(jīng)元沒有閾值。類別界限為

單神經(jīng)元感知器的學(xué)習(xí)類別界限穿過原點(diǎn)，而且和是正交的。為了保證感知器能夠有效將和，區(qū)分開，必須找到一條合適的類別界限。2022/11/2814計(jì)算實(shí)際輸出：首先將送入：

樣本輸入向量的目標(biāo)值，說明感知器沒有給出正確的值。在開始訓(xùn)練時(shí)需要賦初始權(quán)值：隨機(jī)取單神經(jīng)元感知器的學(xué)習(xí)為了正確分類，應(yīng)該調(diào)整權(quán)值使其逐漸指向。2022/11/2815解決方法:是將加到上，使得更加偏向于。如果，且，則調(diào)整調(diào)整后單神經(jīng)元感知器的學(xué)習(xí)2022/11/2816計(jì)算的實(shí)際輸出

單神經(jīng)元感知器的學(xué)習(xí)的目標(biāo)向量，被錯(cuò)誤地劃分。讓遠(yuǎn)離，具體操作過程如果，且，則調(diào)整調(diào)整后2022/11/2817計(jì)算的輸出

單神經(jīng)元感知器的學(xué)習(xí)的目標(biāo)輸出，被錯(cuò)誤的劃分了。調(diào)整后調(diào)整2022/11/2818若感知器能夠正確工作，則保持權(quán)值向量不變。即：如果，單神經(jīng)元感知器的學(xué)習(xí)則。2022/11/2819定義一個(gè)新的誤差變量感知器學(xué)習(xí)的規(guī)則如果，則如果，則如果，則單神經(jīng)元感知器的學(xué)習(xí)總結(jié)為若考慮閾值2022/11/2820權(quán)值向量的第

i

行式中閾值向量第i

個(gè)元素的學(xué)習(xí)規(guī)則多神經(jīng)元感知器的學(xué)習(xí)權(quán)值向量的第

i

行的學(xué)習(xí)規(guī)則2022/11/2821多神經(jīng)元感知器的學(xué)習(xí)多神經(jīng)元感知器的學(xué)習(xí)規(guī)則式中2022/11/2822多層感知器圖中所示的異或關(guān)系是線性不可分的，單層感知器不能將其正確分類。歷史上，Minsky正是利用這個(gè)典型的例子指出了感知器的致命弱點(diǎn)，從而導(dǎo)致了70年代神經(jīng)元的研究低潮。●●2022/11/2823第q層的輸出向量第q層的連接權(quán)系數(shù)矩陣第q層的輸入向量第q層的閾值向量作用函數(shù)多層感知器Q層網(wǎng)絡(luò)，每層nq個(gè)神經(jīng)元，q=1,…,Q。第0層為輸入層，有n0個(gè)神經(jīng)元。2022/11/2824多層感知器●●●●L1:P2(1),P1P3P4(-1)L2:P4(-1),P1P2P3(1)L3:Q2(-1),Q1Q3(1)2022/11/28251960年，BernardWidrow和MarcianHoff，自適應(yīng)線性神經(jīng)元(ADALINE)網(wǎng)絡(luò)，最小均方(LMS)學(xué)習(xí)算法。ADALINE網(wǎng)絡(luò)在結(jié)構(gòu)上與感知器非常相似，區(qū)別在于它的作用函數(shù)是線性函數(shù)而不是硬極限函數(shù)。6.2

Widrow-Hoff學(xué)習(xí)算法2022/11/2826輸出向量連接權(quán)矩陣輸入向量閾值向量作用函數(shù)6.2.1ADALINE網(wǎng)絡(luò)的結(jié)構(gòu)第i

個(gè)神經(jīng)元的輸出連接權(quán)值閾值2022/11/2827凈輸入神經(jīng)元輸出兩輸入的ADALINE6.2.1ADALINE網(wǎng)絡(luò)的結(jié)構(gòu)2022/11/2828LMS算法也是有監(jiān)督學(xué)習(xí)算法，設(shè)有組樣本數(shù)據(jù)其中是第組樣本輸入向量；是該輸入相應(yīng)的目標(biāo)輸出。

當(dāng)輸入向量作用到ADALINE網(wǎng)絡(luò)時(shí)，其實(shí)際輸出為。在網(wǎng)絡(luò)尚未訓(xùn)練的情況下，可能與相差甚遠(yuǎn)。LMS學(xué)習(xí)算法就是通過調(diào)整ADALINE網(wǎng)絡(luò)的權(quán)系數(shù)和閾值，使網(wǎng)絡(luò)實(shí)際輸出逐步逼近目標(biāo)輸出，以便使均方誤差最小。6.2.2LMS學(xué)習(xí)算法2022/11/2829多輸入的單神經(jīng)元定義廣義權(quán)值向量連接權(quán)值

定義廣義輸入向量6.2.2LMS學(xué)習(xí)算法網(wǎng)絡(luò)輸出有輸入向量2022/11/2830定義誤差網(wǎng)絡(luò)的均方誤差6.2.2LMS學(xué)習(xí)算法進(jìn)一步，有若令，，時(shí)，上式改寫為相關(guān)系數(shù)，相關(guān)矩陣。2022/11/2831假設(shè)正定，則有且僅有一個(gè)強(qiáng)極小點(diǎn)6.2.2LMS學(xué)習(xí)算法性能函數(shù)的梯度方法1：利用**直接計(jì)算。方法2：利用*使用最速下降法迭代計(jì)算。方法3：對(duì)梯度進(jìn)行估計(jì)，利用*使用最速下降法迭代計(jì)算。***2022/11/2832均方誤差估計(jì)梯度估計(jì)其中6.2.2LMS學(xué)習(xí)算法2022/11/28336.2.2LMS學(xué)習(xí)算法2022/11/2834具有固定的學(xué)習(xí)速度的最速下降算法被代替，有或?qū)憺?.2.2LMS學(xué)習(xí)算法上式即最小均方(LMS)算法，又稱Widrow-Hoff學(xué)習(xí)算法。2022/11/2835對(duì)多神經(jīng)元網(wǎng)絡(luò)，第i

個(gè)神經(jīng)元權(quán)值迭代公式其中，是第i

個(gè)神經(jīng)元在第k

次迭代時(shí)的偏差。第i

個(gè)神經(jīng)元的閾值迭代公式6.2.2LMS學(xué)習(xí)算法多神經(jīng)元ADALINE網(wǎng)絡(luò)的LMS學(xué)習(xí)算法其中2022/11/2836LMS迭代學(xué)習(xí)算法實(shí)質(zhì)是如何調(diào)整值，使得趨向于?，F(xiàn)在關(guān)心的是如果按照上式對(duì)進(jìn)行迭代，LMS算法能否收斂，且權(quán)值向量能否收斂于？6.2.3LMS學(xué)習(xí)算法收斂性分析

2022/11/2837被代替獨(dú)立于取，即6.2.3LMS學(xué)習(xí)算法收斂性分析求數(shù)學(xué)期望2022/11/2838所有特征值落入單位圓內(nèi)，系統(tǒng)趨于穩(wěn)定。即6.2.3LMS學(xué)習(xí)算法收斂性分析其中是的特征值。由于R正定,其特征值實(shí)數(shù)且大于零，所以迭代參數(shù)的穩(wěn)態(tài)解即LMS算法不僅收斂，而且能夠收斂到性能函數(shù)的極小值上。

2022/11/2839LMS學(xué)習(xí)算法非常重要:1它是多層網(wǎng)絡(luò)中BP算法的先驅(qū);2它被廣泛使用于現(xiàn)在的信號(hào)處理應(yīng)用中。6.2.3LMS學(xué)習(xí)算法收斂性分析2022/11/2840感知器學(xué)習(xí)規(guī)則和LMS學(xué)習(xí)算法，只能用來訓(xùn)練單層神經(jīng)網(wǎng)絡(luò)。單層神經(jīng)網(wǎng)絡(luò)故有的局限性就是只能解線性可分的分類問題。Rosenblatt和Widrow提出了采用多層神經(jīng)網(wǎng)絡(luò)的解決方法，但沒有找到訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)合適的學(xué)習(xí)算法。6.3反向傳播(BP)學(xué)習(xí)算法1974,PaulWerboss,訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法，該算法未受到重視。20世紀(jì)80年代中期，DavidRumelhart和JamesMcClelland，訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的BP學(xué)習(xí)算法（《并行分布式處理》）

，反向傳播算法開始受到重視。2022/11/2841輸入層:

n個(gè)神經(jīng)元,線性函數(shù)作用函數(shù)。隱含層:l個(gè)神經(jīng)元，非線性作用函數(shù)。輸出層:

m個(gè)神經(jīng)元,非線性作用函數(shù)。6.3.1多層前向神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)：基于誤差反向傳播學(xué)習(xí)算法的前向神經(jīng)網(wǎng)絡(luò)。2022/11/2842單層感知器或ADALINE網(wǎng)絡(luò):解決線性可分的模式分類問題。多層神經(jīng)網(wǎng)絡(luò):解決不是線性可分的模式分類問題，而且它能夠逼近任意非線性函數(shù)。在控制領(lǐng)域中得到青睞，即可以反映出過程的動(dòng)態(tài)特性（建模），也能夠反映出期望輸出與控制量間的對(duì)應(yīng)關(guān)系（控制）。6.3.1多層前向神經(jīng)網(wǎng)絡(luò)一個(gè)三層神經(jīng)網(wǎng)絡(luò)（隱含層神經(jīng)元采用S型作用函數(shù)，輸出層采用線性函數(shù)），可以以任意精度逼近任何感興趣的函數(shù)。2022/11/2843多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)屬于有監(jiān)督學(xué)習(xí)，其學(xué)習(xí)過程由信息正向傳播和誤差反向傳播兩部分組成。6.3.2BP學(xué)習(xí)算法

2022/11/2844輸入層：隱含層：神經(jīng)網(wǎng)絡(luò)的前向計(jì)算輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。

輸出層：2022/11/2845若網(wǎng)絡(luò)輸出和期望輸出不一致，則將其誤差信號(hào)，從輸出端反向傳播，并在傳播過程中對(duì)網(wǎng)絡(luò)中各神經(jīng)元之間的連接權(quán)值不斷修正，使神經(jīng)網(wǎng)絡(luò)的輸出趨向于期望輸出值。誤差反向傳播和連接權(quán)的調(diào)整2022/11/2846設(shè)有Q

組樣本數(shù)據(jù)其中第q

組樣本輸入向量，是該輸入對(duì)應(yīng)的目標(biāo)輸出。性能函數(shù)誤差反向傳播和連接權(quán)的調(diào)整用近似代替改寫成2022/11/2847調(diào)整神經(jīng)元的連接權(quán)系數(shù)，使性能函數(shù)趨于最小。為了在線學(xué)習(xí)，將寫成迭代形式采用最速下降法調(diào)整權(quán)值參數(shù)，并且用代替，對(duì)誤差反向傳播和連接權(quán)的調(diào)整其中是學(xué)習(xí)步長(zhǎng)。有2022/11/2848①

輸出層神經(jīng)元權(quán)系數(shù)的調(diào)整權(quán)系數(shù)的迭代公式權(quán)系數(shù)的修正量誤差反向傳播和連接權(quán)的調(diào)整學(xué)習(xí)速率2022/11/2849

求定義誤差反向傳播系數(shù)誤差反向傳播和連接權(quán)的調(diào)整2022/11/2850誤差反向傳播和連接權(quán)的調(diào)整2022/11/2851輸出層權(quán)系數(shù)的修正量或輸出層權(quán)值迭代公式誤差反向傳播和連接權(quán)的調(diào)整2022/11/2852②隱含層神經(jīng)元權(quán)系數(shù)的調(diào)整權(quán)系數(shù)的迭代公式權(quán)系數(shù)的修正量學(xué)習(xí)速率誤差反向傳播和連接權(quán)的調(diào)整2022/11/2853定義誤差反向傳播系數(shù)誤差反向傳播和連接權(quán)的調(diào)整2022/11/2854誤差反向傳播和連接權(quán)的調(diào)整2022/11/2855隱含層權(quán)系數(shù)調(diào)整量隱含層權(quán)值迭代公式誤差反向傳播和連接權(quán)的調(diào)整2022/11/2856提供訓(xùn)練樣本數(shù)據(jù)①

初始化設(shè)置神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的初始權(quán)系數(shù)，一般取較小的隨機(jī)數(shù)。②提供訓(xùn)練樣本數(shù)據(jù)BP學(xué)習(xí)算法計(jì)算過程③計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出輸入樣本，按照前向計(jì)算公式計(jì)算網(wǎng)絡(luò)中各神經(jīng)元的輸入、輸出。最終由輸入層經(jīng)隱層至輸出層，求得神經(jīng)網(wǎng)絡(luò)輸出層各神經(jīng)元的輸出，即神經(jīng)網(wǎng)絡(luò)的輸出。

2022/11/2857④反向傳播計(jì)算

按照梯度下降法計(jì)算權(quán)系數(shù)的調(diào)整量，逐層調(diào)整神經(jīng)元的權(quán)值。BP學(xué)習(xí)算法計(jì)算過程⑤判斷一個(gè)訓(xùn)練周期是否結(jié)束檢測(cè)訓(xùn)練集中是否有未訓(xùn)練的樣本，如果有返回③，若沒有進(jìn)入⑥。⑥判斷是否滿足終止條件2022/11/2858計(jì)算神經(jīng)網(wǎng)絡(luò)輸出與期望輸出之間的偏差BP學(xué)習(xí)算法計(jì)算過程若滿足上述條件，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)結(jié)束；否則，進(jìn)入③開始新一周期的訓(xùn)練。給出評(píng)價(jià)準(zhǔn)則或2022/11/2859BP學(xué)習(xí)算法存在的缺陷6.3.3BP學(xué)習(xí)算法的改進(jìn)

①收斂速度慢

②陷入局部極小值

BP神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)①萬能逼近

②容錯(cuò)性較好

③泛化性能較好

2022/11/2860收斂速度慢的原因?yàn)楸苊鈾?quán)值過大，采用較小的學(xué)習(xí)速率，從而造成收斂速度慢。收斂速度慢的解決辦法變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率。收斂速度慢2022/11/2861由于BP學(xué)習(xí)算法采用梯度下降法，它可以收斂到一個(gè)極小值，但并不能保證全局極小。陷入局部極小值2022/11/2862迭代公式其中：為