神經(jīng)細胞與生物神經(jīng)網(wǎng)絡生物神經(jīng)細胞（神經(jīng)元）

人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡。

神經(jīng)元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。神經(jīng)細胞與生物神經(jīng)網(wǎng)絡生物神經(jīng)元神經(jīng)細胞與生物神經(jīng)網(wǎng)絡神經(jīng)細胞—神經(jīng)元(neuron)神經(jīng)細胞—突起突觸軸突(輸出)和樹突（輸入）相互聯(lián)接，其接口稱為突觸。神經(jīng)突觸是調(diào)整神經(jīng)元之間相互作用的基本結構和功能單元。電信號化學信號樹突軸突神經(jīng)細胞與生物神經(jīng)網(wǎng)絡樹突——突觸電位軸突——神經(jīng)脈沖（動作電位）膜電位：神經(jīng)細胞內(nèi)外電位之差20~100mv靜息電位：休止膜電位-70mv

神經(jīng)細胞與生物神經(jīng)網(wǎng)絡神經(jīng)元的激活

當膜電位比靜息電位高出約20mv，即達到-50mv時，神經(jīng)元（細胞）被激活。表現(xiàn)為膜電位急劇上升，在1ms內(nèi)比靜息電位上升100mv，達到30mv，軸突有電流傳出。然后，膜電位又急劇下降，回到靜息電位。30mv人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡(ArtificialNeuron--AN)

是由大量基本處理單元（神經(jīng)元）廣泛互聯(lián)而成的網(wǎng)絡，是人腦的抽象、簡化、模擬，反映人腦的基本特性。作為神經(jīng)元模型應具備的那些要素？人工神經(jīng)網(wǎng)絡作為神經(jīng)元模型應具備的三個要素具有突觸或聯(lián)接

用wij表示神經(jīng)元i和j之間聯(lián)接強度。正、負值具有反映生物神經(jīng)元時空整合功能的輸入信號累加器具有一個激勵函數(shù)用于限制神經(jīng)元輸出

激勵函數(shù)將輸出信號壓縮（限制）在一個允許范圍內(nèi)，是其成為有限值。[0,1]或[-1,1]人工神經(jīng)網(wǎng)絡人工神經(jīng)元模型x1…xn表示與該神經(jīng)元相連接的所有神經(jīng)元的輸入（出）w1…wn表示與相連接神經(jīng)元的突觸強度（連接權）θ表示神經(jīng)元的（電壓）閾值。f()表示激勵函數(shù),單調(diào)上升函數(shù)，且取有限值神經(jīng)元電位值：神經(jīng)元的輸出值：y=f(s)Σf()...ys人工神經(jīng)網(wǎng)絡激勵函數(shù)的基本作用控制輸入對輸出的激活；對輸入、輸出進行函數(shù)轉換；將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。激勵函數(shù)類型閾值函數(shù)線性函數(shù)非線性函數(shù)：Sigmoid函數(shù)人工神經(jīng)網(wǎng)絡非線性函數(shù)Sigmoid（S型）函數(shù)

a為s函數(shù)的斜率參數(shù)。非線性函數(shù)S型函數(shù)：雙曲正切f(s)=tanh(s)f-as人工神經(jīng)網(wǎng)絡的類型結構分類單層前向網(wǎng)絡多層前向網(wǎng)絡反饋網(wǎng)絡互連網(wǎng)絡人工神經(jīng)網(wǎng)絡的類型單層前向網(wǎng)絡擁有一層計算節(jié)點輸入層輸出層人工神經(jīng)網(wǎng)絡的類型多層前向網(wǎng)絡擁有一個或多個隱含層輸入層輸出層隱含層人工神經(jīng)網(wǎng)絡的類型在人工神經(jīng)網(wǎng)絡中，權（值）是一個反映信息儲存的關鍵量。在網(wǎng)絡的結構和激勵函數(shù)確定以后，如何設計權使網(wǎng)絡達到一定的要求，這是必不可少的部分，大多數(shù)神經(jīng)網(wǎng)絡權的設計是通過學習得到的。學習（訓練）：通過神經(jīng)網(wǎng)絡所在環(huán)境的刺激作用調(diào)整網(wǎng)絡的自由參數(shù)，使網(wǎng)絡以一種新的方式對外部環(huán)境作出反應的過程。人工神經(jīng)網(wǎng)絡的學習學習方法是人工神經(jīng)網(wǎng)絡研究中的核心問題。人工神經(jīng)網(wǎng)絡連接權的確定通常有兩種方法：根據(jù)具體要求：直接計算出來，如Hopfield網(wǎng)絡作優(yōu)化計算時就屬于這種情況；通過學習得到的，大多數(shù)人工神經(jīng)網(wǎng)絡都用這種方法。人工神經(jīng)網(wǎng)絡的學習Hebb學習

是DonallHebb根據(jù)生理學中條件反射機理，于1949年提出的神經(jīng)元連接強度變化的規(guī)則。

如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強。兩個神經(jīng)元之間的連接權，正比于兩個神經(jīng)元的活動值。人工神經(jīng)網(wǎng)絡的學習Wij是神經(jīng)元xj到xi的突觸權值，xj和xi分別表示神經(jīng)元j和i在一段時間內(nèi)的平均值。η學習速率Hebb學習規(guī)則是人工神經(jīng)網(wǎng)絡學習的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡的學習規(guī)則都可以看作Hebb學習規(guī)則的變形。Wij(n+1)=Wij(n)+Δwij(n)人工神經(jīng)網(wǎng)絡的學習糾錯學習e(n)=d(n)-yi(n)d(n)為期望神經(jīng)網(wǎng)絡的輸出；yi(n)實際輸出；

目的：調(diào)整權值，使誤差信號e(n)減少設代價函數(shù)（性能指標）E(n)=1/2e2(n)

反復調(diào)整突觸權值使代價函數(shù)達到最小或使系統(tǒng)達到一個穩(wěn)定狀態(tài)（權值穩(wěn)定），完成學習過程。Δwij(n)=η

e(n)xj(n)wij神經(jīng)元xj到xi的權值。η為學習速率Wij(n+1)=Wij(n)+Δwij(n)

人工神經(jīng)網(wǎng)絡的特性分布存儲和容錯性信息在神經(jīng)網(wǎng)絡內(nèi)的存儲是按內(nèi)容分布于許多神經(jīng)元中，每個神經(jīng)元存儲多種信息的部分內(nèi)容。部分信息的丟失仍可以使完整的信息得以恢復，網(wǎng)絡具有容錯性和聯(lián)想記憶功能。并行處理各單元可以同時進行類似的處理過程，整個網(wǎng)絡的信息處理方式是大規(guī)模并行的。人工神經(jīng)網(wǎng)絡的特性可塑性與自適應性和自組織性神經(jīng)元之間的聯(lián)接具有多樣性，各元間的聯(lián)接強度具有可塑性，相當于突觸傳遞信息能力的變化。這使得網(wǎng)絡可以通過學習與訓練進行自組織，以適應不同信息處理的要求。

處理的非線性通過學習，ANN具有很好的輸入輸出映射，它可以是線性的也可以是非線性的。利用ANN的非線性，可解決許多非線性問題。BP神經(jīng)網(wǎng)絡2023/10/28221.1BP網(wǎng)絡簡介1.2網(wǎng)絡模型1.3學習規(guī)則1.4圖形解釋1.BP網(wǎng)絡2023/10/2823反向傳播網(wǎng)絡(Back-PropagationNetwork，簡稱BP網(wǎng)絡)是將W-H學習規(guī)則一般化，對非線性可微分函數(shù)進行權值訓練的多層網(wǎng)絡權值的調(diào)整采用反向傳播(Back-propagation）的學習算法它是一種多層前向反饋神經(jīng)網(wǎng)絡，其神經(jīng)元的變換函數(shù)是S型函數(shù)輸出量為0到1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射1.1BP網(wǎng)絡簡介2023/10/28241.1BP網(wǎng)絡簡介BP網(wǎng)絡主要用于下述方面函數(shù)逼近：用輸入矢量和相應的輸出矢量訓練一個網(wǎng)絡逼近一個函數(shù)模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進行分類；數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲具有將強泛化性能：使網(wǎng)絡平滑地學習函數(shù)，使網(wǎng)絡能夠合理地響應被訓練以外的輸入泛化性能只對被訓練的輸入／輸出對最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡具有內(nèi)插值特性，不具有外插值性。超出最大訓練值的輸入必將產(chǎn)生大的輸出誤差2023/10/28251.2網(wǎng)絡模型輸出層隱藏層輸入層o1o2om…x1x2xn………………2023/10/28261.2網(wǎng)絡模型感知器和自適應線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的BP網(wǎng)絡具有一層或多層隱含層，除了在多層網(wǎng)絡上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號函數(shù){－1，1}BP網(wǎng)絡經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線性函數(shù)2023/10/28271.2網(wǎng)絡模型BP網(wǎng)絡特點輸入和輸出是并行的模擬量網(wǎng)絡的輸入輸出關系是各層連接的權因子決定，沒有固定的算法權因子通過學習信號調(diào)節(jié)。學習越多，網(wǎng)絡越聰明隱含層越多，網(wǎng)絡輸出精度越高，且個別權因子的損壞不會對網(wǎng)絡輸出產(chǎn)生大的影響只有當希望對網(wǎng)絡的輸出進行限制，如限制在0和1之間，那么在輸出層應當包含S型激活函數(shù)在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)2023/10/28281.2網(wǎng)絡模型S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信號，放大系數(shù)則較大采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關系2023/10/28291.3

學習規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學習算法主要思想對于q個輸入學習樣本：P1,P2,…,Pq，已知與其對應的輸出樣本為：T1,T2,…,Tq使網(wǎng)絡輸出層的誤差平方和達到最小用網(wǎng)絡的實際輸出A1,A2,…,Aq,與目標矢量T1,T2,…,Tq之間的誤差修改其權值，使Am與期望的Tm,(m＝l,…,q)盡可能接近2023/10/28301.3

學習規(guī)則BP算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網(wǎng)絡將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權值直至達到期望目標2023/10/28311.3

學習規(guī)則假設輸入為P，輸入神經(jīng)元有r個，隱含層內(nèi)有s1個神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個神經(jīng)元，對應的激活函數(shù)為F2，輸出為A，目標矢量為T2023/10/28321.3

學習規(guī)則信息的正向傳遞隱含層中第i個神經(jīng)元的輸出輸出層第k個神經(jīng)元的輸出定義誤差函數(shù)2023/10/28331.3

學習規(guī)則利用梯度下降法求權值變化及誤差的反向傳播輸出層的權值變化其中同理可得2023/10/28341.3

學習規(guī)則利用梯度下降法求權值變化及誤差的反向傳播隱含層權值變化其中同理可得2023/10/28351.3

學習規(guī)則對于f1為對數(shù)S型激活函數(shù)，對于f2為線性激活函數(shù)2023/10/28361.4誤差反向傳播圖形解釋誤差反向傳播過程實際上是通過計算輸出層的誤差ek，然后將其與輸出層激活函數(shù)的一階導數(shù)f2’相乘來求得δki由于隱含層中沒有直接給出目標矢量，所以利用輸出層的δki反向傳遞來求出隱含層權值的變化量Δw2ki。然后計算同樣通過將ei與該層激活函數(shù)的一階導數(shù)f1’相乘，而求得δij，以此求出前層權值的變化量Δw1ij如果前面還有隱含層，沿用上述同樣方法依