多層神經(jīng)網(wǎng)絡(luò)灰書包資源共享聯(lián)盟/文化產(chǎn)業(yè)資源下載基地/灰書包文化產(chǎn)業(yè)/文化創(chuàng)意產(chǎn)業(yè)灰書包多層神經(jīng)網(wǎng)絡(luò)尋求的是一種在訓(xùn)練線性判別函數(shù)的同時(shí)學(xué)習(xí)其非線性程度的方法;決定非線性映射的參數(shù)的學(xué)習(xí)是與控制線性判別函數(shù)的參數(shù)的學(xué)習(xí)同時(shí)進(jìn)行的。兩層網(wǎng)絡(luò)只能實(shí)現(xiàn)一個(gè)線性判決邊界，如果給出足夠數(shù)量的隱單元，三層及更多層網(wǎng)絡(luò)就可以實(shí)現(xiàn)任意的判決邊界。各判決區(qū)不必是凸的或是單聯(lián)通的。多層神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)是算法簡(jiǎn)單，運(yùn)行非線性函數(shù)的具體形式可以通過(guò)訓(xùn)練樣本獲得。訓(xùn)練多層網(wǎng)絡(luò)的方法即反向傳播算法（BP算法），是基于誤差的梯度下降準(zhǔn)則（LMS算法）的一種自然延伸。神經(jīng)網(wǎng)絡(luò)是一種可以適應(yīng)復(fù)雜模型的非常靈活的啟發(fā)式的統(tǒng)計(jì)模式識(shí)別技術(shù)。反向傳播有一些啟發(fā)式技巧，我們可以對(duì)輸入值的范圍、初始權(quán)值、期望輸出等參數(shù)值做出明智的選擇。網(wǎng)絡(luò)拓?fù)湓谏窠?jīng)網(wǎng)絡(luò)分類中起著重要作用。通過(guò)對(duì)隱含層的數(shù)目、節(jié)點(diǎn)單元個(gè)數(shù)、反饋節(jié)點(diǎn)的個(gè)數(shù)等選擇，可將對(duì)問(wèn)題非正式或啟發(fā)式的知識(shí)嵌入到網(wǎng)絡(luò)結(jié)構(gòu)中。因此，網(wǎng)絡(luò)拓?fù)涞脑O(shè)置也是一種啟發(fā)式的選擇。設(shè)置網(wǎng)絡(luò)拓?fù)鋪?lái)選擇模型、通過(guò)反向傳播算法來(lái)估計(jì)參數(shù)，是測(cè)試各種可選模型的方法。神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用問(wèn)題涉及到正則化，即選擇或調(diào)整網(wǎng)絡(luò)的復(fù)雜程度。1前饋運(yùn)算和分類如圖的三層神經(jīng)網(wǎng)絡(luò)由一個(gè)輸入層、一個(gè)隱含層、一個(gè)輸出層組成。它們由修正的權(quán)值互連。除了連接輸入單元，每個(gè)單元還連接著一個(gè)偏置（bias）。在模式識(shí)別里，輸入單元提供特征量，輸出單元激發(fā)的信號(hào)成為用來(lái)分類的判別函數(shù)的值。隱含單元對(duì)各個(gè)輸入進(jìn)行加權(quán)求和運(yùn)算的“凈激活”TOC\o"1-5"\h\zdd"叫=2＞片+氣嚴(yán)為X沁=吋柱2-12-0每個(gè)隱含層單元激發(fā)出一個(gè)輸出分量，這個(gè)分量是它激活的非線性函數(shù)，即yj=輸出單元的凈激活：*z樨*=2＞嚴(yán)勿+%）=乞凡叫=心J-1J-0輸出單元對(duì)net的非線性函數(shù)是：例如，激活函數(shù)可以是符號(hào)函數(shù)，但一般要求激活函數(shù)式連續(xù)可微的。也允許輸出層的激活函數(shù)同隱含層的不一樣，甚至每個(gè)單元都有不同的激活函數(shù)。只有兩種類別時(shí)，一般只采用單個(gè)輸出單元，通過(guò)輸出值得符號(hào)來(lái)標(biāo)識(shí)一個(gè)輸入模式。有多個(gè)輸出單元時(shí)，計(jì)算每個(gè)判別函數(shù)，并通過(guò)使判別函數(shù)最大來(lái)將輸入信號(hào)分類。多層網(wǎng)絡(luò)的表達(dá)能力：任何從輸入到輸出的連續(xù)映射函數(shù)都可以用一個(gè)三層非線性網(wǎng)絡(luò)實(shí)現(xiàn)，條件是給出足夠數(shù)量的隱單元nH、適當(dāng)?shù)姆蔷€性函數(shù)和權(quán)值。2反向傳播算法神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問(wèn)題是根據(jù)訓(xùn)練樣本和期望輸出來(lái)設(shè)置合適的權(quán)值。反向傳播是最簡(jiǎn)單也最一般的方法，是線性LMS算法的自然延伸，更具啟發(fā)價(jià)值。反向傳播的作用在于可以對(duì)每一個(gè)隱單元計(jì)算有效誤差，并由此推導(dǎo)出一個(gè)輸入層到隱含層權(quán)值的學(xué)習(xí)規(guī)則。網(wǎng)絡(luò)由兩類基本運(yùn)算模式：前饋和學(xué)習(xí)。前饋運(yùn)算包括提供一個(gè)模式給輸入單元、在網(wǎng)絡(luò)間傳遞信號(hào)，然后在輸入單元得到輸出。對(duì)于有監(jiān)督的學(xué)習(xí)，包括了提供一個(gè)輸入模式，并改變網(wǎng)絡(luò)參數(shù)使實(shí)際輸出更加接近期望教師信號(hào)或目標(biāo)值。上圖的三層網(wǎng)絡(luò)中：在前饋操作里，一個(gè)d維的輸入模式x被提供給輸入層，每個(gè)輸入單元發(fā)送它所對(duì)應(yīng)的分量xi。nH個(gè)隱單元中的每一個(gè)都計(jì)算它的凈激活能netj,它是輸入層信號(hào)和隱單元權(quán)值wji的內(nèi)積。隱單元的輸出是yj=f(netj),f()是一個(gè)非線性轉(zhuǎn)換函數(shù)，這里是sigmoid。c個(gè)輸出單元的工作原理類似于隱含層單元的，計(jì)算凈激活能netk,即隱單元信號(hào)和輸出單元權(quán)值的內(nèi)積。網(wǎng)絡(luò)的最終發(fā)送信號(hào)zk=f(netk)作為分類用的判別函數(shù)。網(wǎng)絡(luò)訓(xùn)練過(guò)程中，這些輸出信號(hào)和一個(gè)引導(dǎo)向量或目標(biāo)向量t作比較，任何差值都用于整個(gè)網(wǎng)絡(luò)的權(quán)值訓(xùn)練?；視Y源共享聯(lián)盟/文化產(chǎn)業(yè)資源下載基地/灰書包文化產(chǎn)業(yè)/文化創(chuàng)意產(chǎn)業(yè)灰書包任一差值對(duì)應(yīng)一誤差。該誤差或準(zhǔn)則函數(shù)是權(quán)值的某種標(biāo)量函數(shù)，它在網(wǎng)絡(luò)輸出與期望輸出匹配時(shí)達(dá)到最小。權(quán)值向著可以減小誤差值的方向調(diào)整?？紤]一個(gè)模式的訓(xùn)練誤差，定義為輸出端的期望輸出值tk和實(shí)際輸出值z(mì)k的差的平方和。]]￡1..即損失函數(shù)：￡z藝方向傳播學(xué)習(xí)規(guī)則是基于梯度下降法的。權(quán)值首先被初始化為隨機(jī)值，然后向誤差減小的方向調(diào)整。△w=—孑一其中n是學(xué)習(xí)率，僅表示權(quán)值的相對(duì)變化尺度。迭代算法在第m次迭代時(shí)取一個(gè)權(quán)向量并將它更新為w（附+1）=w伽）+Aw考慮第一個(gè)隱含層到輸出層的權(quán)值wkj。由于誤差并不是明顯決定于wjk,我們必須使用鏈?zhǔn)轿⒎址▌t：其中單元k的敏感度定義為%=dJ此敏感度描述總誤差怎樣隨著單元的激發(fā)而變化。aj3旳召氐dJdzaj3旳召氐dJdzkdzkdn%（氐-玉）廣Of』由輸出單元凈激活公式可推得：灰書包資源共享聯(lián)盟/文化產(chǎn)業(yè)資源下載基地/灰書包文化產(chǎn)業(yè)/文化創(chuàng)意產(chǎn)業(yè)灰書包綜上所述，可得隱含層到輸出層的權(quán)值更新或?qū)W習(xí)規(guī)則:%=VM=卯血一玉）廣（梅氐）丹考慮輸入層到隱含層的權(quán)值學(xué)習(xí)規(guī)則￡嘰=麻心=耳工W挖廣陽(yáng)J）陽(yáng)Lji」反向傳播算法，更確切的說(shuō)“誤差反向傳播”算法。在訓(xùn)練過(guò)程中一個(gè)誤差（敏感度）必須從輸出層傳播回隱含層，以實(shí)現(xiàn)輸入層到隱含層的權(quán)值學(xué)習(xí)。本質(zhì)上，反向傳播只是“分層模型”里的梯度下降法。在分層模型里對(duì)連續(xù)函數(shù)執(zhí)行鏈?zhǔn)椒▌t可以計(jì)算準(zhǔn)則函數(shù)對(duì)所有模型權(quán)值的導(dǎo)數(shù)。初始權(quán)值的設(shè)置如果權(quán)值全部為0,反向傳播誤差也將為0,輸入層到輸出層的權(quán)值將不變。故不能設(shè)為0，一般采用隨機(jī)初始值。3訓(xùn)練協(xié)議及學(xué)習(xí)曲線灰書包資源共享聯(lián)盟/文化產(chǎn)業(yè)資源下載基地/灰書包文化產(chǎn)業(yè)/文化創(chuàng)意產(chǎn)業(yè)灰書包三種：隨機(jī)訓(xùn)練、