第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識2.1人工神經(jīng)網(wǎng)絡(luò)的生物基礎(chǔ)2.2人工神經(jīng)元模型2.3人工神經(jīng)網(wǎng)絡(luò)模型2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

2.1人工神經(jīng)網(wǎng)絡(luò)的生物基礎(chǔ)

神經(jīng)元(Neuron)也稱神經(jīng)細(xì)胞，它是生物神經(jīng)系統(tǒng)的最基本單元，它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。2.1.1生物神經(jīng)元結(jié)構(gòu)每個神經(jīng)元都包括四個部分：細(xì)胞體(cellbody)、樹突(dendrite)和軸突(axon)和突觸(synapse)。每個神經(jīng)元大約有1000~100000個突觸。若干神經(jīng)元以突觸相連構(gòu)成神經(jīng)網(wǎng)絡(luò)。

(a)簡單神經(jīng)元網(wǎng)絡(luò)圖c)簡化后的網(wǎng)絡(luò)示意圖圖2.1簡單神經(jīng)元網(wǎng)絡(luò)及其簡化結(jié)構(gòu)圖b)突觸結(jié)構(gòu)圖2.1.2生物神經(jīng)元的信息處理機(jī)理一、信息的產(chǎn)生研究認(rèn)為，神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動。由膜內(nèi)外離子濃度決定。

神經(jīng)元狀態(tài)：靜息興奮抑制

膜電位：極化polarization去極化depolarization超極化hypeypolarization膜電位變化圖神經(jīng)元對信息的傳遞與接收通過突觸進(jìn)行。

二信息的傳遞與接收神經(jīng)電脈沖神經(jīng)質(zhì)產(chǎn)生神經(jīng)質(zhì)釋放結(jié)合過程電生理反應(yīng)突觸信息傳遞過程三、信息的整合空間整合：同一時刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。時間整合：各輸入脈沖抵達(dá)神經(jīng)元的時間先后不一樣?？偟耐挥|后膜電位為一段時間內(nèi)的累積。四、生物神經(jīng)網(wǎng)絡(luò)以確定方式和拓?fù)浣Y(jié)構(gòu)互連而成，完成信息采集、存儲、綜合處理等功能。人類社會關(guān)系亦如此。2.2人工神經(jīng)元模型2.2.1神經(jīng)元的建模最早提出且影響巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6點(diǎn)假設(shè)：(1)每個神經(jīng)元都是一個多輸入單輸出的信息處理單元；(2)神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；(6)神經(jīng)元本身是非時變的，即其突觸時延和突觸強(qiáng)度均為常數(shù)。(3)神經(jīng)元具有空間整合特性和閾值特性；(4)神經(jīng)元輸入與輸出間有固定的時滯,主要取決于突觸延擱；(5)忽略時間整合作用和不應(yīng)期；(a)表明人工神經(jīng)元有許多輸入信息，一個輸出信息；(b)表示突觸強(qiáng)度和性質(zhì)不同，導(dǎo)致作用不同，即權(quán)重不同；(c)表明信號整合；(d)總和超過閾值時，神經(jīng)元被激活。2.報2.距2雨神喂經(jīng)元纏的數(shù)講學(xué)模翠型令xi(t優(yōu))表示馬t時努刻神摘經(jīng)元j接收厲的來硬自神勇經(jīng)元i的輸孔入信苦息，oj(t身)表示t時刻仰神經(jīng)場元j的輸足出信忙息，落則神別經(jīng)元j的狀州態(tài)可淺用如涂下數(shù)貢學(xué)式樂表示嗚：τij——矩輸暴入輸靠出間抱的突鴿觸時匙延；Tj——門神敢經(jīng)元額j的出閾值掩；wij——沃神架經(jīng)元i到j(luò)的突語觸連倚接系歉數(shù)或抓稱權(quán)重潑值；f()凡——稍神經(jīng)甘元轉(zhuǎn)佛移函旨數(shù)。(2羽.蘭1)若取安突觸脫時延攔為單舉位時弓間，膊則式(朋2.戀2)識全面呈表達(dá)晶了神名經(jīng)元寇模型覽的6設(shè)點(diǎn)假莊設(shè)。令：(2孝.屠2)(2逢.3戶)上式喜是神宰經(jīng)元j在t時刻培的凈傻輸入盛，體山現(xiàn)了顫神經(jīng)欠元j的空膨間整愧合特幫性，柱但未摧考慮呆時間柱整合姓。利用須矩陣滿表示租如下喜：ne焦t'j=WjTX其中巾：Wj=(w1,w2,…逼,wn)TX=(x1,x2,…喇,xn)T(2蒼.4適)(2井.5雕)oj=f(ne沒tj)=f(WjTX)(2辨.6刮)令x0=-1，w0=Tj則有-Tj=x0w0神經(jīng)語元的創(chuàng)轉(zhuǎn)移康函數(shù)主要叮區(qū)別雷為轉(zhuǎn)也移函遙數(shù)，今常用牧的有抹四種郊：(1播)閾與值型棍轉(zhuǎn)移慘函數(shù)1x≥0f(x)=(2虎.7邪)0x＜0M-芹P模黃型屬緒于此醒類。單極哄性閾許值函晉數(shù)性雙報極性慘閾值冒函數(shù)(2惹)非寶線性票轉(zhuǎn)移誕函數(shù)單極眠性S漿型函芳數(shù)調(diào)雙極直性S浸型函牛數(shù)(3扯)分角段線忘性轉(zhuǎn)油移函敗數(shù)0論x≤0f(灶x)漆=凳cx0＜x≤xc(2耐.9呀)1身xc＜x(4滾)概率率型桃轉(zhuǎn)移津函數(shù)溫度率參數(shù)玻爾榆茲曼厚熱力忍學(xué)模星型人工釋神經(jīng)盼元－飛信息張?zhí)幚砗瀱卧斯そ锷窠?jīng)季元－陪信息嚴(yán)處理洪單元信息膨輸入人工邪神經(jīng)鏈元－恒信息累處理勢單元信息耳傳播夏與處肅理：同加權(quán)廈求和人工幼神經(jīng)厲元－同信息展處理帆單元信息情傳播人工怠神經(jīng)璃元－蛇信息胳處理質(zhì)單元信息書傳播聚與處淚理：本非線漆性人工咱神經(jīng)依元－廟信息輝處理擠單元信息揭輸出轉(zhuǎn)換夢函數(shù)服是神曉經(jīng)網(wǎng)策絡(luò)特群征的凡第一袖大要鞏素。單純保層次迎型結(jié)算構(gòu)2.絮3岔人工字神經(jīng)潑網(wǎng)絡(luò)病模型兩種注分類鹿方法率：拓高撲結(jié)蔥構(gòu)、歲信息棄流向網(wǎng)絡(luò)莖拓?fù)洳斫Y(jié)構(gòu)勾類型1、心層次林型結(jié)命構(gòu)：鏈3種輸出訴層到斬輸入警層有桑連接層內(nèi)瓣有連污接層岡次型曾結(jié)構(gòu)2、互連家型結(jié)勻構(gòu)全互掙連型尊結(jié)構(gòu)局部歪互連描型網(wǎng)這絡(luò)結(jié)令構(gòu)還有誕一種涌稀疏絲式連接趣型網(wǎng)絡(luò)嶄信息丹流向徑類型己：2劑種前饋洗型網(wǎng)歌絡(luò)拓?fù)湫蠼Y(jié)構(gòu)橋是神雖經(jīng)網(wǎng)鋤絡(luò)特紋征的種第二元大要壤素反饋因型網(wǎng)慘絡(luò)2.域4巴神繳經(jīng)網(wǎng)犯絡(luò)學(xué)袋習(xí)神經(jīng)虧網(wǎng)絡(luò)委能夠東通過為對樣腸本的垃學(xué)習(xí)是訓(xùn)練玻，不踐斷改撤變網(wǎng)途絡(luò)的袍連接顫權(quán)值席以及憐拓?fù)湫到Y(jié)構(gòu)濟(jì)，以紹使網(wǎng)儲絡(luò)的庸輸出跌不斷秤地接儉近期勞望的絮輸出過。這惜一過激程稱旁為神魂經(jīng)網(wǎng)遭絡(luò)的拳學(xué)習(xí)度或訓(xùn)揀練，壁其本領(lǐng)質(zhì)是旅可變堵權(quán)值鹿的動稠態(tài)調(diào)演整。神經(jīng)遇網(wǎng)絡(luò)趴的學(xué)較習(xí)類紋型：有導(dǎo)餓師學(xué)悄習(xí)(有監(jiān)際督學(xué)隊習(xí))無導(dǎo)閘師學(xué)容習(xí)(無監(jiān)秤督、河自組痰織)死記拍式學(xué)膠習(xí)(灌輸猾式)日本浙學(xué)者宋Am薯ar刊i在司19燃90遺年提紛出了覺一種璃神經(jīng)言網(wǎng)絡(luò)誼權(quán)值寶調(diào)整件的通端用學(xué)恭習(xí)規(guī)俊則，席如下旱圖：通用漢學(xué)習(xí)蘇規(guī)則仁：權(quán)海向量Wj在t時刻姨的調(diào)徹整量ΔWj(t泰)與t時刻豈的輸宜入X(堤t)和學(xué)蓄習(xí)信千號r的乘憲積成黑正比始，即錯：2.崖4.周1屋He倡bb訴學(xué)習(xí)保規(guī)則學(xué)習(xí)聽信號怎：權(quán)調(diào)普整公房誠式：權(quán)分亡量調(diào)食整公拋式：要求復(fù)：使蜜用小自的隨雷機(jī)數(shù)縫初始學(xué)化權(quán)廢值特點(diǎn)喘：前辣饋、最無導(dǎo)董師學(xué)乖習(xí)例2斯.1耳設(shè)朝有4個丟輸入細(xì)和1克個輸使出的岸神經(jīng)膏網(wǎng)絡(luò)發(fā)，閾衰值T=0諒，學(xué)小習(xí)率η=1撇，三勸個樣核本為灑：X1=(贈1,咸-2篇,1救.5矮,0壩)T，X2=(撕1,尿-0抄.5竟,-嘆2,圣-1脂.5狼)T,X3=(太0,色1,德-1矮,1燒.5延)T,初頑始權(quán)旺：W(0彈)=銹(1飾,-椒1,鉛0,導(dǎo)0.降5)T。眠利用顯He獎bb暮學(xué)習(xí)音法計信算權(quán)剪值。解：虧設(shè)轉(zhuǎn)鋼換函鈴數(shù)為掏符號握函數(shù)f(荒x)警=s漸gn棋(n嗚et辮)(1摧)(2只)(3蜂)2.千4.白2弟Pe豎rc逼ep波tr逢on誰學(xué)習(xí)壘規(guī)則學(xué)習(xí)瞧信號竟：權(quán)調(diào)吵整公宜式：權(quán)分曠量調(diào)痰整公忌式：由于宜采用膚符號碌函數(shù)鄰，符尊合期混望時掘不調(diào)戰(zhàn)整，那否則卵，權(quán)雪值特?fù)д鞴褪綖槟I：要求堅：只狠適應(yīng)諒二進(jìn)賀制神姑經(jīng)元特點(diǎn)混：有牛導(dǎo)師古學(xué)習(xí)2.荒4.教3δ學(xué)習(xí)癢規(guī)則學(xué)習(xí)撕信號撇：權(quán)調(diào)汪整公黨式：權(quán)分士量調(diào)美整公俊式：要求全：轉(zhuǎn)懇換函放數(shù)連量續(xù)可暴導(dǎo)特點(diǎn)心：多拖層前計饋，查有導(dǎo)嗎師學(xué)仇習(xí)例2對.2拋設(shè)磨有4腦個輸頂入1棚個輸懼出的販神經(jīng)傅網(wǎng)絡(luò)熄，閾宮值內(nèi)柳含，增學(xué)習(xí)澆率η=0然.1秀，三畏個樣嬌本為胸：X1=(烏-1百,1擇,-妻2,臟0)T，X2=(終-1法,0兔,1漁.5顏,-偏0.概5)T,X3=(跪-1黎,-占1,扎1,評0.避5)T,初莊始權(quán)丹：W(0串)=河(0爛.5挺,1蟲,-嗽1,呈0)T，期稍望輸翅出：d1=-柄1，d2=-傳1，d3=1揮。利用δ學(xué)習(xí)法計薪算權(quán)巷值。解：族設(shè)轉(zhuǎn)英換函滑數(shù)為父：(1陡)(2艷)(3文)2.姥4.勺4LM蘋S學(xué)習(xí)效規(guī)則烏(最淺小均川方)學(xué)習(xí)擁信號哪：權(quán)調(diào)概整公帆式：權(quán)分啄量調(diào)扮整公姜式：LM腦S是δ學(xué)習(xí)閑規(guī)則賄的特倚例特點(diǎn)扁：有孩導(dǎo)師絲式學(xué)習(xí)2.茫4.睛5堂C彈or濃re服la澆ti稼on鏈（相葛關(guān)）死學(xué)習(xí)蝕規(guī)則學(xué)習(xí)木信號癢：權(quán)調(diào)慕整公扛式：權(quán)分充量調(diào)喘整公悲式：要求撈：權(quán)立值初沖始化贈為責(zé)0特點(diǎn)鄭：有蹄導(dǎo)師緒學(xué)習(xí)2.選4.設(shè)