神經(jīng)元與網(wǎng)絡結(jié)構(gòu)第一頁，共十六頁，2022年，8月28日1．1生物神經(jīng)元及生物神經(jīng)網(wǎng)絡

1．1．1生物神經(jīng)元人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡神經(jīng)元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。

第二頁，共十六頁，2022年，8月28日圖3－1生物神經(jīng)元示意圖

第三頁，共十六頁，2022年，8月28日從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學物質(zhì)。突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位。

第四頁，共十六頁，2022年，8月28日1．1．2

人腦神經(jīng)網(wǎng)絡信息處理的特點1．分布存儲與冗余性

2．并行處理

3．信息處理與存儲合一

4．可塑性與自組織性

5．魯棒性

第五頁，共十六頁，2022年，8月28日1．2人工神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡直觀理解

神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結(jié)構(gòu)，它一般由許多個神經(jīng)元組成，每個神經(jīng)元只有一個輸出，它可以連接到很多其他的神經(jīng)元，每個神經(jīng)元輸入有多個連接通道，每個連接通道對應于一個連接權(quán)系數(shù)。

第六頁，共十六頁，2022年，8月28日1．2．1人工神經(jīng)元模型歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖3－3模擬。

圖3－3人工神經(jīng)元模型

第七頁，共十六頁，2022年，8月28日響應函數(shù)的基本作用：1、控制輸入對輸出的激活作用；2、對輸入、輸出進行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。

第八頁，共十六頁，2022年，8月28日根據(jù)響應函數(shù)的不同，人工神經(jīng)元有以下幾種類型：

圖3—4人工神經(jīng)元的響應函數(shù)

第九頁，共十六頁，2022年，8月28日1、閾值單元

2、線性單元

3、非線性單元：Sigmoid函數(shù)

第十頁，共十六頁，2022年，8月28日1．2．2人工神經(jīng)網(wǎng)絡的構(gòu)成神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡的特性及能力主要取決于網(wǎng)絡的拓撲結(jié)構(gòu)及學習方法。

人工神經(jīng)網(wǎng)絡連接的幾種基本形式：1．前向網(wǎng)絡

網(wǎng)絡中的神經(jīng)元是分層排列的，每個神經(jīng)元只與前一層的神經(jīng)元相連接。

2．從輸出到輸入有反饋的前向網(wǎng)絡

3．層內(nèi)互連前向網(wǎng)絡

4．互連網(wǎng)絡

第十一頁，共十六頁，2022年，8月28日圖3—5神經(jīng)網(wǎng)絡的典型結(jié)構(gòu)

第十二頁，共十六頁，2022年，8月28日1．2．3人工神經(jīng)網(wǎng)絡的學習

學習方法是人工神經(jīng)網(wǎng)絡研究中的核心問題。

人工神經(jīng)網(wǎng)絡連接權(quán)的確定通常有兩種方法：一種是根據(jù)具體要求：直接計算出來，如Hopfield網(wǎng)絡作優(yōu)化計算時就屬于這種情況；另一種是通過學習得到的，大多數(shù)人工神經(jīng)網(wǎng)絡都用這種方法。

第十三頁，共十六頁，2022年，8月28日1．Hebb學習規(guī)則是DonallHebb根據(jù)生理學中條件反射機理，于1949年提出的神經(jīng)元連接強度變化的規(guī)則。

如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強。

Hebb學習規(guī)則是人工神經(jīng)網(wǎng)絡學習的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡的學習規(guī)則都可以看作Hebb學習規(guī)則的變形。

第十四頁，共十六頁，2022年，8月28日2．誤差校正規(guī)則用已知樣本作為教師對網(wǎng)絡進行學習。式(3—8)和式(3—9)的學習規(guī)則可由二次