1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第2講神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí),內(nèi)容安排 一、生物神經(jīng)元 二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,一、生物神經(jīng)元,生物神經(jīng)元 突觸信息處理 信息傳遞功能與特點(diǎn),1.1 生物神經(jīng)元,神經(jīng)元是大腦處理信息的基本單元 人腦大約由1011個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò) 神經(jīng)元以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹(shù)枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹(shù)的枝干 主要由細(xì)胞體、樹(shù)突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成,生物神經(jīng)元示意圖,1.2 突觸的信息處理,生物神經(jīng)元傳遞信息的過(guò)程為多輸入、單輸出 神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主要發(fā)生在突觸附近

2、 當(dāng)神經(jīng)元細(xì)胞體通過(guò)軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過(guò)其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì) 突觸有兩種類型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位,1.3 信息傳遞功能與特點(diǎn),具有時(shí)空整合能力 不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞 神經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1150ms之間 信息傳遞時(shí)延和不應(yīng)期，一般為0.3lms 可塑性，突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能 存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng) 對(duì)應(yīng)突觸傳遞作用增強(qiáng)、減弱和飽和,二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)元模型 常見(jiàn)響應(yīng)函數(shù) 人

3、工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu),2.1 人工神經(jīng)網(wǎng)絡(luò),直觀理解 神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu) 它一般由大量神經(jīng)元組成 每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元 每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù),2.2 人工神經(jīng)元模型,通用模型 求和操作 響應(yīng)函數(shù),2.2 人工神經(jīng)元模型,響應(yīng)函數(shù)的基本作用 控制輸入對(duì)輸出的激活作用 對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換 將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出,(a)閾值單元 (b)線性單元 (c)(d)非線性單元：Sigmoid函數(shù),2.3 常見(jiàn)神經(jīng)元響應(yīng)函數(shù),2.3 常見(jiàn)神經(jīng)元響應(yīng)函數(shù),人工神經(jīng)元的響應(yīng)函數(shù),神經(jīng)元的模

4、型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法 人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式 前向網(wǎng)絡(luò) (a) 從輸出到輸入有反饋的前向網(wǎng)絡(luò) (b) 用來(lái)存儲(chǔ)某種模式序列 層內(nèi)互連前向網(wǎng)絡(luò) (c) 限制層內(nèi)同時(shí)動(dòng)作的神經(jīng)元；分組功能 相互結(jié)合型網(wǎng)絡(luò) (d),2.4 人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu),神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu),權(quán)值確定 Hebb學(xué)習(xí)規(guī)則 誤差校正（糾錯(cuò)）學(xué)習(xí)規(guī)則 相近（無(wú)教師）學(xué)習(xí)規(guī)則,三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法 根據(jù)具體要求，直接計(jì)算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算 通過(guò)學(xué)習(xí)得到的。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用這種方法 學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的

5、核心問(wèn)題,3.1 權(quán)值確定,Donall Hebb根據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則 如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng) a為學(xué)習(xí)速率，Vi, Vj為神經(jīng)元i和j的輸出 Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形,3.2 Hebb學(xué)習(xí)規(guī)則,用已知樣本作為教師對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí) 學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出 誤差校正學(xué)習(xí)規(guī)則實(shí)際上是一種梯度方法 不能保證得到全局最優(yōu)解 要求大量訓(xùn)練樣本，收斂速度慢 對(duì)樣本地表示次序變化比較敏感,3.3 誤差校正規(guī)則,3.3 無(wú)教師學(xué)習(xí)規(guī)則,這類學(xué)習(xí)不在于尋找一個(gè)特殊映射的表示，而是將事件空間分類為輸入活動(dòng)區(qū)域，并有選擇地對(duì)這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反映觀察事件的分部 輸入可以市連續(xù)值，對(duì)噪聲有較強(qiáng)地抗干擾能力 對(duì)較少輸入樣本，結(jié)果可能要依