第七章人工神經(jīng)網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.2常用神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.2常用神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò)？人工神經(jīng)網(wǎng)絡(luò)的研究在一定程度上受到了生物學(xué)的啟發(fā)，因?yàn)樯锏膶W(xué)習(xí)系統(tǒng)是由相互連接的神經(jīng)元組成的異常復(fù)雜的網(wǎng)絡(luò)。而人工神經(jīng)網(wǎng)絡(luò)與此大體相似，它是由一系列簡(jiǎn)單單元相互密集連接構(gòu)成，其中每一個(gè)單元有一定數(shù)量的實(shí)值輸入，并產(chǎn)生單一的實(shí)數(shù)值輸出。7.1人工神經(jīng)網(wǎng)絡(luò)介紹為了加深對(duì)這種類比的認(rèn)識(shí)，讓我們考慮一些來自生物學(xué)的事實(shí)。例如，據(jù)估計(jì)人類的大腦是由大約個(gè)神經(jīng)元相互連接組成的密集網(wǎng)絡(luò)，平均每一個(gè)神經(jīng)元與其他個(gè)神經(jīng)元相連。神經(jīng)元的活性通常被通向其他神經(jīng)元的連接激活或抑制。目前知道的最快的神經(jīng)元轉(zhuǎn)換時(shí)間與計(jì)算機(jī)的轉(zhuǎn)換時(shí)間相比慢很多。然而人類能夠以驚人的速度做出復(fù)雜度驚人的決策。7.1人工神經(jīng)網(wǎng)絡(luò)介紹這個(gè)事實(shí)使很多人推測(cè)，生物神經(jīng)系統(tǒng)的信息處理能力一定得益于對(duì)分布在大量神經(jīng)元上的信息表示的高度并行處理。ANN系統(tǒng)的一個(gè)動(dòng)機(jī)就是獲得這種基于分布表示的高度并行算法。由于ANN只是一定程度地受生物神經(jīng)系統(tǒng)的啟發(fā)，所以ANN并未模擬生物神經(jīng)系統(tǒng)中的很多復(fù)雜特征，而且已經(jīng)知道ANN的很多特征與生物系統(tǒng)也是不一致的。例如，對(duì)于我們考慮的ANN，每個(gè)單元輸出單一的不變值，然而生物神經(jīng)元輸出的是復(fù)雜的時(shí)序脈沖。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)固有的并行結(jié)構(gòu)和并行處理人工神經(jīng)網(wǎng)絡(luò)與人類的大腦類似，不但結(jié)構(gòu)上是并行的，其處理順序也是并行的。在同一層內(nèi)的處理單元都是同時(shí)工作的，即神經(jīng)網(wǎng)絡(luò)的計(jì)算功能分布在多個(gè)處理單元上，而傳統(tǒng)的計(jì)算機(jī)通常只有一個(gè)處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡(luò)功能常常用一般計(jì)算機(jī)的串行工作方式來模擬，所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡(luò)將會(huì)大大提高處理速度，實(shí)現(xiàn)快速處理。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)容錯(cuò)性人類大腦具有很強(qiáng)的容錯(cuò)能力，這正是由于大腦中知識(shí)是存儲(chǔ)在很多處理單元和它們的連接上的。每天大腦的一些細(xì)胞都可能會(huì)自動(dòng)死亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定由于知識(shí)存在整個(gè)系統(tǒng)中，而不是在一個(gè)存儲(chǔ)單元內(nèi)，因此一定比例的結(jié)點(diǎn)不參與運(yùn)算，對(duì)整個(gè)系統(tǒng)的性能不會(huì)產(chǎn)生重大影響。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力有指導(dǎo)的訓(xùn)練：將輸入樣本加到網(wǎng)絡(luò)輸入并給出相應(yīng)的輸出，通過多次訓(xùn)練迭代獲得連接權(quán)值。（有監(jiān)督：感知器神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)）無指導(dǎo)的訓(xùn)練：網(wǎng)絡(luò)通過訓(xùn)練自行調(diào)節(jié)連接加權(quán)，從而對(duì)輸入樣本分類。（無監(jiān)督：自組織神經(jīng)網(wǎng)絡(luò)）在網(wǎng)絡(luò)訓(xùn)練時(shí)，有時(shí)只能給出大量的輸入圖形，沒有指定它們的輸出，網(wǎng)絡(luò)就自行按輸入圖形的特征對(duì)它們進(jìn)行分類。如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)具有推理能力綜合推理的能力：網(wǎng)絡(luò)具有正確響應(yīng)和分辨從未見過的輸入樣本的能力。進(jìn)行數(shù)字圖形的識(shí)別時(shí)，對(duì)于不完善的數(shù)字圖形或失真的數(shù)字圖形仍能正確辨認(rèn)。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（AdaptiveSystems）、自適應(yīng)網(wǎng)（AdaptiveNetworks）聯(lián)接模型（Connectionism）神經(jīng)計(jì)算機(jī)（Neurocomputer）人工神經(jīng)網(wǎng)絡(luò)的別名7.1人工神經(jīng)網(wǎng)絡(luò)介紹ANN與傳統(tǒng)AI技術(shù)的比較項(xiàng)目傳統(tǒng)的AI技術(shù)

ANN技術(shù)

基本實(shí)現(xiàn)方式

串行處理；由程序?qū)崿F(xiàn)控制

并行處理；對(duì)樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)；通過人工神經(jīng)元之間的相互作用實(shí)現(xiàn)控制

基本開發(fā)方法

設(shè)計(jì)規(guī)則、框架、程序；用樣本數(shù)據(jù)進(jìn)行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個(gè)模型）

定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)——自動(dòng)從樣本數(shù)據(jù)中抽取內(nèi)涵（自動(dòng)適應(yīng)應(yīng)用環(huán)境）

適應(yīng)領(lǐng)域

精確計(jì)算：符號(hào)處理，數(shù)值計(jì)算非精確計(jì)算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對(duì)象

左腦（邏輯思維）右腦（形象思維）7.1人工神經(jīng)網(wǎng)絡(luò)介紹13人工神經(jīng)元生物神經(jīng)元是以細(xì)胞體為主體，由許多向四面延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞。生物神經(jīng)元由4部分組成：細(xì)胞體、軸突、樹突和突觸。7.1人工神經(jīng)網(wǎng)絡(luò)介紹14人工神經(jīng)元細(xì)胞體：是生物神經(jīng)元的主體。由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜組成。細(xì)胞核進(jìn)行呼吸和新陳代謝等許多生化過程。軸突：由細(xì)胞體向外伸長(zhǎng)的最長(zhǎng)一條分支。軸突相當(dāng)于細(xì)胞的輸出電纜，其端部的許多神經(jīng)末梢為信號(hào)輸出子，用于傳出細(xì)胞體產(chǎn)生的輸出電化學(xué)信號(hào)，即神經(jīng)沖動(dòng)。樹突：由細(xì)胞體向外伸出的其他許多較短的分支。它相當(dāng)于細(xì)胞的輸入端，接受來自四面八方的傳入神經(jīng)沖動(dòng)。7.1人工神經(jīng)網(wǎng)絡(luò)介紹突觸：神經(jīng)元之間通過軸突（輸出）和樹突（輸入）相互連接，其接口稱為突觸。多個(gè)神經(jīng)元以突觸相連接即形成了生物神經(jīng)網(wǎng)絡(luò)。突觸有兩種類型：興奮型突觸和抑制型突觸。膜電位：由于細(xì)胞膜對(duì)細(xì)胞液中的不同例子具有不同的通透性，使得細(xì)胞膜內(nèi)外之間存在著電位差，稱為膜電位。7.1人工神經(jīng)網(wǎng)絡(luò)介紹16突觸軸突及突觸與其它許多神經(jīng)元建立聯(lián)系。樹突接收來自不同神經(jīng)元的信息。神經(jīng)元之間的這種復(fù)雜聯(lián)系就形成了相應(yīng)的神經(jīng)網(wǎng)絡(luò)。7.1人工神經(jīng)網(wǎng)絡(luò)介紹17樹突：輸入端突觸：輸入/輸出的接口；細(xì)胞體：微型處理器，它對(duì)各種輸入信息進(jìn)行整合；軸突：輸出信號(hào)沿著軸突傳至神經(jīng)末梢，并通過突觸傳向其他的神經(jīng)元的樹突。7.1人工神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的基本特性。人工神經(jīng)元是對(duì)生物神經(jīng)元結(jié)構(gòu)和功能的模擬，是對(duì)生物神經(jīng)元的形式化描述，是對(duì)生物神經(jīng)元的信息處理過程的抽象。

7.1人工神經(jīng)網(wǎng)絡(luò)介紹M-P模型M-P模型建立的假設(shè)條件每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；神經(jīng)元具有空間整合特性和閾值特性；神經(jīng)元輸入與輸出間有固定的時(shí)滯，主要取決于突觸延擱；忽略時(shí)間整合作業(yè)和不應(yīng)期；神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。7.1人工神經(jīng)網(wǎng)絡(luò)介紹M-P模型MP神經(jīng)元模型是1943年，由WarrenMcCulloch和WalterPitts提出的。M-P模型包括了加權(quán)、求和和激勵(lì)（轉(zhuǎn)移）三部分功能。神經(jīng)元接收到來自n個(gè)其他神經(jīng)元傳遞過來的輸入信號(hào)x1,x2,…,xn；這些輸入信號(hào)通過帶權(quán)值的連接進(jìn)行傳遞w1,w2,…,wn；神經(jīng)元接收到的總輸入值將與神經(jīng)元的閾值θ進(jìn)行比較；通過“激活函數(shù)”f(?)處理產(chǎn)生神經(jīng)元的輸出y。7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)元的基本構(gòu)成人工神經(jīng)元模擬生物神經(jīng)元：輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)——執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)，傳遞函數(shù)等：

O=f(net)

激活函數(shù)(傳遞函數(shù))7.1人工神經(jīng)網(wǎng)絡(luò)介紹單輸入人工神經(jīng)元神經(jīng)元輸出傳輸函數(shù)偏置(值)輸入權(quán)值凈輸入7.1人工神經(jīng)網(wǎng)絡(luò)介紹多輸入神經(jīng)元簡(jiǎn)化符號(hào)7.1人工神經(jīng)網(wǎng)絡(luò)介紹25激活函數(shù)(1.閾值函數(shù))

階躍函數(shù)：符號(hào)函數(shù)：7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(2.線性傳輸函數(shù))

LinearTransferFunction7.1人工神經(jīng)網(wǎng)絡(luò)介紹27激活函數(shù)(3.分段線性函數(shù))

分段線性函數(shù)：7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(4.Sigmoid函數(shù))

7.1人工神經(jīng)網(wǎng)絡(luò)介紹Sigmoid函數(shù)作為激活函數(shù)具有優(yōu)點(diǎn)：非線性、單調(diào)性無限次可微當(dāng)權(quán)值很大時(shí)，可近似閾值函數(shù)當(dāng)權(quán)值很小時(shí)，可近似線性函數(shù)Sigmoid函數(shù)作為激活函數(shù)具有缺點(diǎn)：存在飽和區(qū)域，會(huì)造成梯度消失：神經(jīng)網(wǎng)絡(luò)使用Sigmoid激活函數(shù)進(jìn)行反向傳播時(shí)，輸出接近0或1的神經(jīng)元其梯度趨近于0。Sigmoid函數(shù)輸出是非零對(duì)稱的，所有的W都朝著同一符號(hào)方向變化會(huì)減小訓(xùn)練速度。激活函數(shù)(4.Sigmoid函數(shù))

7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(5.Tanh函數(shù))

優(yōu)點(diǎn)：Tanh（雙曲正切）

函數(shù)的取值范圍在(-1,1)之間，單調(diào)連續(xù)，異于求導(dǎo)；tanh函數(shù)線性區(qū)斜率較Sigmoid更大一些，在此區(qū)域內(nèi)訓(xùn)練速度會(huì)更快；tanh函數(shù)輸出均值為零（關(guān)于圓點(diǎn)對(duì)稱），也就不存在Sigmoid函數(shù)中

dW恒為正或者恒為負(fù)，從而影響訓(xùn)練速度的問題；缺點(diǎn)：tanh函數(shù)與Sigmoid函數(shù)一樣，也存在飽和區(qū)梯度消失問題。7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(6.修正線性單元ReLU函數(shù))

優(yōu)點(diǎn)：沒有飽和區(qū)，不存在梯度消失問題；沒有復(fù)雜的指數(shù)運(yùn)算，計(jì)算簡(jiǎn)單、效率提高；實(shí)際收斂速度較快；缺點(diǎn)：當(dāng)x<0時(shí)，ReLU輸出總為零。該神經(jīng)元輸出為零，則反向傳播時(shí)，權(quán)重、參數(shù)的梯度橫為零，造成權(quán)重、參數(shù)永遠(yuǎn)不會(huì)更新，即造成神經(jīng)元失效；ReLU的輸出仍然是非零對(duì)稱的；7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)(7.LeakyReLU函數(shù))

優(yōu)點(diǎn)：沒有飽和區(qū)，不存在梯度消失問題；沒有復(fù)雜的指數(shù)運(yùn)算，計(jì)算簡(jiǎn)單、效率提高；實(shí)際收斂速度較快；不會(huì)造成神經(jīng)元失效；變形：LeakyReLU可以得到更多擴(kuò)展。不讓x乘常數(shù)項(xiàng)，而是讓x乘超參數(shù)；7.1人工神經(jīng)網(wǎng)絡(luò)介紹激活函數(shù)名稱輸入/輸出關(guān)系圖標(biāo)Matlab函數(shù)硬極限函數(shù)Hardlim對(duì)稱極限函數(shù)Hardlims線性函數(shù)Pureline飽和線性函數(shù)Satlin7.1人工神經(jīng)網(wǎng)絡(luò)介紹對(duì)稱飽和線性函數(shù)Satlins對(duì)數(shù)S型函數(shù)Logsig雙曲正切S型函數(shù)Tansig正線性函數(shù)Poslin競(jìng)爭(zhēng)函數(shù)Compet7.1人工神經(jīng)網(wǎng)絡(luò)介紹35人工神經(jīng)網(wǎng)絡(luò)的基本要素

神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練算法人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型：激活函數(shù)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)：網(wǎng)絡(luò)分幾層、每層幾個(gè)節(jié)點(diǎn)、節(jié)點(diǎn)之間如何連接等等。神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的結(jié)構(gòu)及學(xué)習(xí)方法。7.1人工神經(jīng)網(wǎng)絡(luò)介紹單層網(wǎng)絡(luò)（只計(jì)算處理單元層）最簡(jiǎn)單的網(wǎng)絡(luò)是把一組結(jié)點(diǎn)形成一層。左邊的黑色圓點(diǎn)只起著分配輸入信號(hào)的作用，沒有計(jì)算作用，不看作是網(wǎng)絡(luò)的一層。右邊用圓圈表示的一組結(jié)點(diǎn)被看作一層。人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層網(wǎng)絡(luò)一般來說，大而復(fù)雜的網(wǎng)絡(luò)能提供更強(qiáng)的計(jì)算能力。雖然目前已構(gòu)成了很多網(wǎng)絡(luò)模型，但它們的結(jié)點(diǎn)都是按層排列的，這一點(diǎn)正是模仿了大腦皮層中的網(wǎng)絡(luò)模塊。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進(jìn)行級(jí)聯(lián)構(gòu)成的，即上一層的輸出作為下一層的輸入。人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層網(wǎng)絡(luò)兩層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層網(wǎng)絡(luò)三層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層網(wǎng)絡(luò)注意：在構(gòu)成多層網(wǎng)絡(luò)時(shí)，層間的轉(zhuǎn)移函數(shù)應(yīng)是非線性的，否則多層網(wǎng)絡(luò)的計(jì)算能力并不比單層網(wǎng)絡(luò)強(qiáng)。若干的線性單元層疊加還是線性單元。在線性轉(zhuǎn)移函數(shù)的情況下，兩層網(wǎng)絡(luò)輸出的計(jì)算是第一層的輸出xW1作為第二層的輸入，通過第二個(gè)加權(quán)矩陣得到網(wǎng)絡(luò)的輸出

y=(xW1)W2=x(W1W2)這表明兩層線性網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò)，只是后者的加權(quán)矩陣為兩個(gè)加權(quán)矩陣的乘積。人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一般來說，凡包含反饋連接的網(wǎng)絡(luò)均稱為回歸型網(wǎng)絡(luò)，或稱反饋網(wǎng)絡(luò)。一層反饋網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）二層反饋網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)7.1人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)根據(jù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，通常把神經(jīng)網(wǎng)絡(luò)模型分成三種類型：反饋型網(wǎng)絡(luò)(feedbacknetwork)前饋型網(wǎng)絡(luò)(feedforwardnetwork)競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)(competitivelearningnetwork)用正號(hào)（“+”，可省略）表示傳送來的信號(hào)起刺激作用，它用于增加神經(jīng)元的活躍度；用負(fù)號(hào)（“-”）表示傳送來的信號(hào)起抑制作用，它用于降低神經(jīng)元的活躍度。7.1人工神經(jīng)網(wǎng)絡(luò)介紹前饋型網(wǎng)絡(luò)(feedforwardnetwork)

基本特點(diǎn)：結(jié)點(diǎn)按照一定的層次排列；網(wǎng)絡(luò)是單向的，信號(hào)只能按照單一的方向，從下一層結(jié)點(diǎn)傳遞到相應(yīng)的上一層結(jié)點(diǎn)；上層結(jié)點(diǎn)與下一層所有結(jié)點(diǎn)相聯(lián)接。層間（Inter-field）聯(lián)接

代表網(wǎng)絡(luò)：多層感知機(jī)徑向基函數(shù)網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹反饋型網(wǎng)絡(luò)(feedbacknetwork)

基本特點(diǎn)：輸入信號(hào)作用于神經(jīng)元結(jié)點(diǎn)后，各個(gè)結(jié)點(diǎn)的輸出又作為輸入反饋到各結(jié)點(diǎn)，形成一個(gè)動(dòng)態(tài)系統(tǒng)，當(dāng)系統(tǒng)穩(wěn)定后讀取其輸出；層間（Inter-field）聯(lián)接循環(huán)聯(lián)接

代表網(wǎng)絡(luò)：Hopfield網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)(competitivelearningnetwork)基本特點(diǎn)：神經(jīng)元結(jié)點(diǎn)通常排列在同一個(gè)層次上；沒有反饋聯(lián)接，但是結(jié)點(diǎn)之間有橫向的聯(lián)接或相互影響；在學(xué)習(xí)時(shí)通過神經(jīng)元之間的競(jìng)爭(zhēng)實(shí)現(xiàn)特定的映射。層內(nèi)（Intra-field）聯(lián)接代表網(wǎng)絡(luò)：自組織映射(SOM)網(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國(guó)學(xué)者F.Rosenblatt于1957年提出。感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號(hào)處理的數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。簡(jiǎn)單感知器：簡(jiǎn)單感知器模型實(shí)際上仍然是M-P模型的結(jié)構(gòu)。它是一種單層感知器模型，一層為輸入層（只負(fù)責(zé)接收輸入信號(hào)，無信息處理能力），另一層具有計(jì)算單元，可以通過采用監(jiān)督學(xué)習(xí)來逐步增強(qiáng)模式劃分的能力，達(dá)到學(xué)習(xí)的目的。7.1人工神經(jīng)網(wǎng)絡(luò)介紹感知器模型單輸出的感知器(M-P模型)輸入層神經(jīng)元輸出層神經(jīng)元多輸出的感知器輸入層神經(jīng)元輸出層神經(jīng)元7.1人工神經(jīng)網(wǎng)絡(luò)介紹49單神經(jīng)元感知器實(shí)例一般來說，感知器的激活函數(shù)采用階躍或符號(hào)函數(shù)。7.1人工神經(jīng)網(wǎng)絡(luò)介紹感知器(perceptron)：?jiǎn)螌痈兄?，通過監(jiān)督學(xué)習(xí)建立模式識(shí)別能力.多神經(jīng)元感知器7.1人工神經(jīng)網(wǎng)絡(luò)介紹51單層感知器功能——部分邏輯函數(shù)7.1人工神經(jīng)網(wǎng)絡(luò)介紹單層感知器無法解決異或(XOR)問題

g（x,y）y01x001110解決方法：多層感知器7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.1人工神經(jīng)網(wǎng)絡(luò)介紹多層感知器的設(shè)計(jì)多層感知器可以逼近任意的多元非線性函數(shù)輸入層單元數(shù)=輸入變量/特征維數(shù)輸出層單元數(shù)=模式類數(shù)/待逼近的函數(shù)個(gè)數(shù)隱層單元數(shù)：無有效方法網(wǎng)絡(luò)初始化對(duì)結(jié)果有影響，通常用較小的隨機(jī)數(shù)學(xué)習(xí)率η的選擇7.1人工神經(jīng)網(wǎng)絡(luò)介紹在感知器算法中我們實(shí)際上是在利用理想輸出與實(shí)際輸出之間的誤差作為增量來修正權(quán)值，然而在多層感知器中，我們只能計(jì)算出輸出層的誤差，中間隱層由于不直接與外界連接，其誤差無法估計(jì)。反向傳播算法（BP算法）的思想：從后向前反向逐層傳播輸出層的誤差，以間接計(jì)算隱層的誤差。算法可以分為兩個(gè)階段：正向過程：從輸入層經(jīng)隱層逐層正向計(jì)算各單元的輸出；反向過程：由輸出誤差逐層反向計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值。反向傳播算法（BP）7.1人工神經(jīng)網(wǎng)絡(luò)介紹56學(xué)習(xí)從一個(gè)未訓(xùn)練的網(wǎng)絡(luò)開始；向輸入層提供一個(gè)訓(xùn)練樣本，前饋獲得誤差；誤差或準(zhǔn)則函數(shù)是權(quán)值的某種標(biāo)量函數(shù)（如：最小平方誤差LMS準(zhǔn)則），它在網(wǎng)絡(luò)輸出與期望輸出匹配時(shí)達(dá)到最??；學(xué)習(xí)算法：將權(quán)值向著可以減小誤差值的方向調(diào)整；BP算法對(duì)每個(gè)隱單元計(jì)算有效誤差，并基于梯度下降法推導(dǎo)出一個(gè)從輸出層反向計(jì)算到第一個(gè)隱層的學(xué)習(xí)規(guī)則。7.1人工神經(jīng)網(wǎng)絡(luò)介紹57（1）選擇一組訓(xùn)練樣本，每一個(gè)樣本由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣本集中取一樣本，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層結(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對(duì)訓(xùn)練樣本集中的每一個(gè)樣本重復(fù)（3）-（5）的步驟，直到對(duì)整個(gè)訓(xùn)練樣本集的誤差達(dá)到要求時(shí)為止。BP算法的學(xué)習(xí)過程7.1人工神經(jīng)網(wǎng)絡(luò)介紹反向傳播算法中采用梯度法修正權(quán)值，為此要求輸出函數(shù)可微。通常采用Sigmoid函數(shù)作為輸出函數(shù)。下圖中，BP算法如何修正ωijiOiωijjOjkBP算法如何修正權(quán)值7.1人工神經(jīng)網(wǎng)絡(luò)介紹iOiωijjOj對(duì)于輸出層而言：是實(shí)際輸出值是理想輸出值定義最小均方誤差函數(shù)：情況一：?jiǎn)螌泳W(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹定義局部梯度：（這層的輸入對(duì)誤差的影響）權(quán)值ωij的修正量為：權(quán)值ωij對(duì)誤差E的影響：iOiωijjOj情況一：?jiǎn)螌泳W(wǎng)絡(luò)7.1人工神經(jīng)網(wǎng)絡(luò)介紹61情況一：?jiǎn)螌泳W(wǎng)絡(luò)計(jì)算此時(shí)，結(jié)點(diǎn)j為輸出結(jié)點(diǎn)，則：iOiωijjOj7.1人工神經(jīng)網(wǎng)絡(luò)介紹62情況二：多層網(wǎng)絡(luò)iOiωijjOjkωjk對(duì)于輸出層而言：是實(shí)際輸出值是理想輸出值定義最小均方誤差函數(shù)：7.1人工神經(jīng)網(wǎng)絡(luò)介紹63情況二：多層網(wǎng)絡(luò)iOiωijjOjkωjk此時(shí)，結(jié)點(diǎn)j不是輸出結(jié)點(diǎn)，則：7.1人工神經(jīng)網(wǎng)絡(luò)介紹對(duì)于Sigmoid函數(shù)：將其代入可以得到反向傳播算法的步驟如下：7.1人工神經(jīng)網(wǎng)絡(luò)介紹BP算法流程：(1)選定權(quán)系數(shù)初值(2)重復(fù)下述過程直至收斂(對(duì)各個(gè)樣本依次計(jì)算)1)從前向后各層計(jì)算各單元2)對(duì)輸出層計(jì)算3)從后向前計(jì)算各隱層7.1人工神經(jīng)網(wǎng)絡(luò)介紹4)計(jì)算并保存各個(gè)權(quán)值修正量：5)修正權(quán)值：以上算法是對(duì)每個(gè)樣本作權(quán)值修正（單樣本）也可以對(duì)各個(gè)樣本計(jì)算后求和，按照總誤差修正權(quán)值（批處理）7.1人工神經(jīng)網(wǎng)絡(luò)介紹BP算法的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來訓(xùn)練前饋多層網(wǎng)絡(luò)較好的算法。缺點(diǎn)：BP算法的收斂速度一般來說比較慢；BP算法只能收斂于局部最優(yōu)解，不能保證收斂于全局最優(yōu)解；當(dāng)隱層元的數(shù)量足夠多時(shí)，網(wǎng)絡(luò)對(duì)訓(xùn)練樣本的識(shí)別率很高，但對(duì)測(cè)試樣本的識(shí)別率有可能很差，即網(wǎng)絡(luò)的推廣能力有可能較差。7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.1人工神經(jīng)網(wǎng)絡(luò)介紹7.2常用神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)7.2.1SOM網(wǎng)絡(luò)SOM是一種自組織（競(jìng)爭(zhēng)型）神經(jīng)網(wǎng)絡(luò)，除了SOM外，其他常見的自組織（競(jìng)爭(zhēng)型）神經(jīng)網(wǎng)絡(luò)還有對(duì)偶傳播(CounterPropagation)網(wǎng)絡(luò)，自適應(yīng)共振理論（AdaptiveResonanceTheory）網(wǎng)絡(luò)等。1981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡(jiǎn)稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，且該過程是自動(dòng)完成的。自組織特征映射正是根據(jù)這一看法提出，其特點(diǎn)與人腦的自組織特性相類似。7.2.1SOM網(wǎng)絡(luò)如圖7.10所示。該網(wǎng)絡(luò)由輸入層和輸出層組成，其中輸入層的神經(jīng)元個(gè)數(shù)的選取按輸入網(wǎng)絡(luò)的向量個(gè)數(shù)而定，輸入神經(jīng)元為一維矩陣，接收網(wǎng)絡(luò)的輸入信號(hào)，輸出層則是由神經(jīng)元按一定的方式排列成一個(gè)二維節(jié)點(diǎn)矩陣。輸入層的神經(jīng)元與輸出層的神經(jīng)元通過權(quán)值相互聯(lián)結(jié)在一起。當(dāng)網(wǎng)絡(luò)接收到外部的輸入信號(hào)以后，輸出層的某個(gè)神經(jīng)元便會(huì)“興奮”起來。圖7.10SMO神經(jīng)網(wǎng)絡(luò)模型SOM網(wǎng)絡(luò)特點(diǎn)：基本思想：網(wǎng)絡(luò)的競(jìng)爭(zhēng)層的各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式響應(yīng)的機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝者。這一獲勝神經(jīng)元?jiǎng)t表示對(duì)輸入模式的分類。學(xué)習(xí)算法：模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競(jìng)爭(zhēng)作用的信息處理的動(dòng)力學(xué)原理來指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像多層神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)的誤差作為算法的準(zhǔn)則。網(wǎng)絡(luò)結(jié)構(gòu)：一般是由輸入層和競(jìng)爭(zhēng)層構(gòu)成的兩層網(wǎng)絡(luò)；兩層之間各神經(jīng)元實(shí)現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒有隱含層。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間還存在橫向連接。7.2.1SOM網(wǎng)絡(luò)網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活，即為獲勝者。競(jìng)爭(zhēng)學(xué)習(xí)的步驟：（1）向量歸一化，對(duì)當(dāng)前向量和全部神經(jīng)元做歸一化（2）尋找獲勝神經(jīng)元，依據(jù)相似度評(píng)價(jià)（3）網(wǎng)絡(luò)輸出與權(quán)值調(diào)整步驟（3）完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。學(xué)習(xí)率處于（0，1]，一般隨著學(xué)習(xí)的進(jìn)展而減小，神經(jīng)元（權(quán)重）趨于聚類中心。7.2.1SOM網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)（RBF網(wǎng)絡(luò)）是一種常用的前饋神經(jīng)網(wǎng)絡(luò)。（拓?fù)浣Y(jié)構(gòu)比較固定）

特征：只有一個(gè)隱層；隱層單元采用徑向基函數(shù)作為輸出函數(shù)；（非線性映射，將原始空間投影到高維，從而線性可分。）輸入層到隱層單元間的權(quán)值固定為1；輸出結(jié)點(diǎn)為線性求和單元隱層到輸出結(jié)點(diǎn)的權(quán)值可調(diào)7.2.2RBF網(wǎng)絡(luò)徑向基函數(shù)的作用往往是局部的，離中心越遠(yuǎn)函數(shù)值越小。常用的徑向基函數(shù)是高斯函數(shù)。其中：輸入向量第i個(gè)隱結(jié)點(diǎn)的中心徑向基函數(shù)（RadialBasisFunction）：某種沿徑向?qū)ΨQ的標(biāo)量函數(shù)。通常定義為空間中任意一點(diǎn)到某一中心之間歐氏距離的單調(diào)函數(shù)。記為：中心和寬度兩個(gè)參數(shù)可調(diào)7.2.2RBF網(wǎng)絡(luò)可以從兩個(gè)方面理解RBF網(wǎng)絡(luò)函數(shù)逼近：把網(wǎng)絡(luò)看成對(duì)未知函數(shù)f(x)的逼近器。一般任何函數(shù)都可以表示成一組基函數(shù)的加權(quán)和，這相當(dāng)于用隱層單元的輸出函數(shù)構(gòu)成一組基函數(shù)來逼近f(x)。線性分類：把隱層看做是對(duì)輸入的非線性映射（通常將低維線性不可分的樣本映射到高維空間），再用線性分類器（輸出結(jié)點(diǎn)的輸出函數(shù)是線性函數(shù)）分類。7.2.2RBF網(wǎng)絡(luò)RBF網(wǎng)絡(luò)學(xué)習(xí)算法RBF網(wǎng)絡(luò)中有三組參數(shù)可調(diào)：隱層基函數(shù)的中心、方差，以及隱層結(jié)點(diǎn)與輸出結(jié)點(diǎn)之間的權(quán)值。RBF網(wǎng)絡(luò)學(xué)習(xí)算法的兩個(gè)階段確定RBF函數(shù)的中心（核函數(shù)的參數(shù)）：無師學(xué)習(xí)訓(xùn)練隱層與輸出結(jié)點(diǎn)之間的權(quán)值：有師學(xué)習(xí)7.2.2RBF網(wǎng)絡(luò)RBF網(wǎng)絡(luò)學(xué)習(xí)算法Step1：對(duì)所有樣本的輸入進(jìn)行聚類（可以采用k均值聚類算法），求得各隱層結(jié)點(diǎn)RBF函數(shù)的中心。Step2：當(dāng)RBF函數(shù)的中心ci確定后，訓(xùn)練隱層與輸出結(jié)點(diǎn)之間的權(quán)值。這是一個(gè)線性優(yōu)化問題。（利用訓(xùn)練樣本監(jiān)督完成，如最小二乘法，梯度下降法）7.2.2RBF網(wǎng)絡(luò)RBF網(wǎng)絡(luò)的優(yōu)缺點(diǎn)RBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)主要的不同點(diǎn)是：在非線性映射上采用了不同的輸出函數(shù)，分別為徑向基函數(shù)與Sigmoid函數(shù)。前者的作用是局部的，后者的作用是全局的。已經(jīng)證明，RBF網(wǎng)絡(luò)具有唯一最佳逼近的特性，且無局部極小，可以獲得全局最優(yōu)解。徑向基函數(shù)、隱層結(jié)點(diǎn)個(gè)數(shù)難以確定（人工神經(jīng)網(wǎng)絡(luò)的公共問題），目前尚無解決方案。隱層結(jié)點(diǎn)RBF函數(shù)的中心難以求解，阻礙了RBF網(wǎng)絡(luò)的廣泛應(yīng)用。7.2.2RBF網(wǎng)絡(luò)7.2.3BP網(wǎng)絡(luò)BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McClelland為首的科學(xué)家提出的概念，是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)具有任意復(fù)雜的模式分類能力和優(yōu)良的多維函數(shù)映射能力，解決了簡(jiǎn)單感知器不能解決的異或(ExclusiveOR，XOR)和一些其他問題。從結(jié)構(gòu)上講，BP網(wǎng)絡(luò)具有輸入層、隱藏層和輸出層；從本質(zhì)上講，BP算法就是以網(wǎng)絡(luò)誤差平方為目標(biāo)函數(shù)、采用梯度下降法來計(jì)算目標(biāo)函數(shù)的最小值。BP神經(jīng)網(wǎng)絡(luò)基本原理：BP神經(jīng)網(wǎng)絡(luò)的基本思想是梯度下降法，利用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值和期望輸出值的誤差均方差為最小。正向傳播時(shí)，輸入信號(hào)通過隱含層作用于輸出節(jié)點(diǎn)，經(jīng)過非線性變換，產(chǎn)生輸出信號(hào)，若實(shí)際輸出與期望輸出不相符，則轉(zhuǎn)入誤差的反向傳播過程。反向傳播時(shí)，將輸出誤差通過隱含層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層所有單元，以從各層獲得的誤差信號(hào)作為調(diào)整各單元權(quán)值的依據(jù)。通過調(diào)整輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)的聯(lián)接強(qiáng)度和隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的聯(lián)接強(qiáng)度以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)(權(quán)值和閾值)，訓(xùn)練即告停止。7.2.3BP網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：BP網(wǎng)絡(luò)是在輸入層與輸出