脈沖神經(jīng)元模型綜述脈沖神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的基本工作模式為：突觸后神經(jīng)元在接受到刺激信號(hào)后，其膜電勢(shì)開始升高，到累積達(dá)到某一閾值后神經(jīng)元就會(huì)點(diǎn)火，然后立刻回落到復(fù)位電位附近并進(jìn)入一段不應(yīng)期，該時(shí)期內(nèi)對(duì)任何的外界刺激神經(jīng)元都不會(huì)給予反應(yīng)，直到不應(yīng)期過(guò)去后再開始接受新的刺激。神經(jīng)元模型是研究神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，學(xué)者們根據(jù)神經(jīng)元的生理學(xué)特性從不同的角度去進(jìn)行模擬，提出了多種脈沖神經(jīng)元模型。因生物神經(jīng)元常以電信號(hào)傳導(dǎo)或者神經(jīng)遞質(zhì)轉(zhuǎn)運(yùn)的方式去完成信息傳遞，這會(huì)引起神經(jīng)元細(xì)胞膜內(nèi)外產(chǎn)生離子滲透的過(guò)程，繼而出現(xiàn)電勢(shì)差，當(dāng)電勢(shì)差足夠大時(shí)就會(huì)生成輸出脈沖信號(hào)，于是科學(xué)家們提出了基于膜電壓的脈沖神經(jīng)元模型。另一方面來(lái)看，人體神經(jīng)元并非在所有時(shí)刻都會(huì)傳輸信號(hào)，僅在那些膜電壓足夠強(qiáng)的特殊時(shí)刻，才會(huì)發(fā)送脈沖信號(hào)，所以又有研究人員提出了基于脈沖時(shí)間驅(qū)動(dòng)的神經(jīng)元模型。本章將會(huì)對(duì)脈沖神經(jīng)網(wǎng)絡(luò)中常用的幾種神經(jīng)元模型進(jìn)行詳細(xì)介紹。Hodgkin-Huxley模型1952年AlanLloydHodgkin和AndrewFieldingHuxley創(chuàng)建了歷史上首個(gè)脈沖神經(jīng)網(wǎng)絡(luò)計(jì)算單元模型——Hodgkin-Huxley模型[34]，其解釋了魷魚巨軸突中的動(dòng)作電位發(fā)射與離子傳播的機(jī)制?，F(xiàn)在常用的一些脈沖神經(jīng)元模型大都是在Hodgkin-Huxley模型的基礎(chǔ)上改進(jìn)而來(lái)，本小節(jié)中借助圖2-2來(lái)理解其構(gòu)成原理。在圖2-2的左圖中，細(xì)胞利用細(xì)胞膜的半滲透性將細(xì)胞內(nèi)部的與含有大量的細(xì)胞外液分開，起到了電容器的一個(gè)作用。當(dāng)細(xì)胞內(nèi)外滲透壓穩(wěn)定達(dá)到電荷守恒時(shí)，細(xì)胞膜上無(wú)電荷流動(dòng)，否則將引起電勢(shì)差進(jìn)而導(dǎo)致電荷從高濃度一側(cè)向低濃度一側(cè)滲入，直到到達(dá)新的平衡狀態(tài)，而電荷的流動(dòng)過(guò)程中會(huì)產(chǎn)生電流。在圖2-2的右圖中，當(dāng)電流輸入電路中時(shí)，對(duì)應(yīng)在細(xì)胞一側(cè)增加離子濃度，會(huì)導(dǎo)致細(xì)胞膜兩端的陽(yáng)離子濃度失衡繼而在細(xì)胞膜上出現(xiàn)電勢(shì)差，對(duì)應(yīng)圖2-2的右圖中的電池。圖2-2Hodgkin-Huxley模型結(jié)構(gòu)[34]圖2-2，為了實(shí)現(xiàn)細(xì)胞膜的電荷守恒，離子會(huì)通過(guò)細(xì)胞膜進(jìn)行滲透，對(duì)標(biāo)右圖中電流在電路中流動(dòng)，這樣就可以被分離為對(duì)電容進(jìn)行充電的和通過(guò)其他元件的電流，所以集成電路中的電流公式可表示為公式(2-1)所示。 (2-1)由公式(2-1)可以看出，被分成幾個(gè)部分在并聯(lián)的集成電路中流通，而并聯(lián)的電路中電壓處處相等。根據(jù)電容的定義公式：(表示電荷量，是電容器電壓)，得到電容電流公式(2-2)。 (2-2)如圖2-2中右圖所示，在標(biāo)準(zhǔn)的H-H模型中，電路中的其他元件電流實(shí)際上為鈉離子通道，鉀離子通道和電阻R的滲漏通道三種通道上的電流。研究人員常以電導(dǎo)形式去描述這些通道，而電阻電導(dǎo)，是一個(gè)僅由電阻自身特性決定的不受電壓影響的值。三個(gè)通道全開放的情況下，以最大的電導(dǎo)與進(jìn)行電流傳輸，其值由電壓與時(shí)間的比例來(lái)決定。參數(shù)和n分別是和的通道調(diào)控參數(shù)，參數(shù)，和分別為三個(gè)通道的電位，于是可以將改寫成公式(2-3)形式。 (2-3)HodgkinandHuxley模型能夠精確地模擬生物神經(jīng)元的離子滲透導(dǎo)致的電位差至發(fā)送脈沖信號(hào)傳遞信息的整個(gè)流程，是仿生性最強(qiáng)的數(shù)學(xué)模型之一。但是如公式(2-3)所示，該模型使用一個(gè)四維的非線性微分方程進(jìn)行運(yùn)算，計(jì)算過(guò)程非常繁瑣，實(shí)用性不強(qiáng)。所以，大量研究人員對(duì)該模型進(jìn)行了改進(jìn)與降維，拓展出了實(shí)用性更強(qiáng)的神經(jīng)元模型，比如漏電積分點(diǎn)火模型和脈沖響應(yīng)模型，接下來(lái)將分別對(duì)這兩種模型進(jìn)行詳細(xì)的介紹。漏電積分點(diǎn)火模型(Leaky-Integrate-and-Fire,LIF)HodgkinandHuxley模型為其他脈沖神經(jīng)元模型的研究奠定了基礎(chǔ)，通過(guò)對(duì)HodgkinandHuxley模型進(jìn)行簡(jiǎn)化和拓展[35]，更多便于使用的Spiking神經(jīng)元模型被陸續(xù)提出，并在神經(jīng)編碼、學(xué)習(xí)記憶和動(dòng)力控制中得到了大量使用[36]。LIF模型就是HodgkinandHuxley模型簡(jiǎn)化后提出的，LIF模型的基本思想是:輸入電流接入后，后突觸神經(jīng)元膜電壓順勢(shì)上升，當(dāng)積累超過(guò)某一閾值界限時(shí)會(huì)激發(fā)出脈沖信號(hào)，積分點(diǎn)火階段完成；之后，膜電壓快速回落到靜息位置。如圖2-3，虛線中的部分為L(zhǎng)IF模型的模擬電路，借鑒HodgkinandHuxley模型電路思想，模型中電阻R并聯(lián)著電容C，電容C用于實(shí)現(xiàn)“積分點(diǎn)火”過(guò)程，而電阻R就是一個(gè)漏電裝置，讓神經(jīng)元在無(wú)輸入的情況下，能夠?qū)⒛る妱?shì)恢復(fù)至靜息電位。外部輸入電流控制著整個(gè)RC電路，通常是來(lái)自突觸前神經(jīng)元的脈沖信號(hào)。當(dāng)輸入RC電路時(shí)，將電容器C兩側(cè)的電壓值升高，當(dāng)電容器電壓達(dá)到或超過(guò)擊穿電壓的時(shí)，電容器就開始放電產(chǎn)生輸出脈沖，然后其膜電壓快速恢復(fù)到靜息電位。下一次電流再輸入時(shí)，電容C繼續(xù)充電，直到達(dá)到閾值釋放電壓。圖2-3LIF模型示意圖[36]由圖可得，該電路中只有兩部分構(gòu)成，所以驅(qū)動(dòng)電流可從公式(2-1)可改寫成公式(2-4)的形式。 (2-4)式中第一項(xiàng)是指電阻R中的電流，根據(jù)歐姆定律可得其計(jì)算方式為公式(2-5)。 (2-5)公式(2-5)中為線性電阻R對(duì)應(yīng)電壓[37]；公式(2-4)中對(duì)電容C進(jìn)行充電，計(jì)算方法同公式(2-2)，將公式(2-2)與公式(2-5)帶回到公式(2-4)中可得公式(2-6)。 (2-6)根據(jù)公式(2-6)，兩邊同時(shí)乘以電阻R，并令，轉(zhuǎn)換得公式(2-7)。 (2-7)其中，為神經(jīng)元膜電壓，是一個(gè)積分時(shí)間衰減參數(shù)。在LIF中對(duì)于動(dòng)作電位的生成細(xì)則沒有給出明確表示，電位是通過(guò)脈沖點(diǎn)火時(shí)間確定的，可表示為公式(2-8)形式。 (2-8)在點(diǎn)火時(shí)間之后，電位被重置為一個(gè)新的值，直到下一個(gè)電流信號(hào)輸入進(jìn)來(lái)。但一般而言，在真實(shí)環(huán)境中，神經(jīng)元模型在發(fā)送脈沖后會(huì)進(jìn)入一個(gè)相對(duì)不應(yīng)期，在此期間脈沖神經(jīng)元的動(dòng)作電位不會(huì)因?yàn)樾盘?hào)輸入而產(chǎn)生任何變化，直到這段時(shí)間之后，動(dòng)作電位才會(huì)被重置為。脈沖響應(yīng)模型(Spikeresponsemodel,SRM)SRM模型同樣是根據(jù)神經(jīng)元模型演變而來(lái)的。SRM把傳統(tǒng)的LIF微分模型轉(zhuǎn)換為了一個(gè)與脈沖的輸入輸出相關(guān)的函數(shù)，在SRM模型中對(duì)神經(jīng)元?jiǎng)幼麟娢坏纳闪鞒探o進(jìn)行了描述解釋[38]。SRM模型的基本思想是：脈沖神經(jīng)元的狀態(tài)依然可以通過(guò)其膜電壓來(lái)表示，針對(duì)某一個(gè)神經(jīng)元而言，其所有的突觸前神經(jīng)元傳遞過(guò)來(lái)的每一個(gè)輸入脈沖都會(huì)對(duì)該神經(jīng)元的膜電壓造成持續(xù)的影響，同時(shí)該神經(jīng)元上次輸出脈沖時(shí)間的時(shí)間也會(huì)對(duì)其產(chǎn)生影響。SRM脈沖神經(jīng)元在沒有輸入信號(hào)時(shí)，膜電壓會(huì)等于靜息電壓；當(dāng)有刺激傳來(lái)時(shí)膜電壓才會(huì)出現(xiàn)一個(gè)先上升然后緩慢落回到靜息電位的過(guò)程，所以計(jì)算時(shí)可以暫時(shí)將作為一個(gè)偏移量而不帶入計(jì)算過(guò)程。根據(jù)SRM模型的基本思想，所有來(lái)自突觸前神經(jīng)元的脈沖刺激都會(huì)在神經(jīng)元中引起突觸后電位。在某個(gè)時(shí)刻，由多個(gè)輸入信號(hào)引起的當(dāng)前神經(jīng)元的PSP積累超過(guò)設(shè)定上限時(shí)，神經(jīng)元便進(jìn)行一次點(diǎn)火操作發(fā)送出輸出信號(hào)。隨后內(nèi)部膜電壓即開始迅速下降到靜息電位附近，并且進(jìn)入一段短暫的不應(yīng)期，在不應(yīng)期內(nèi)神經(jīng)元不會(huì)對(duì)任何的輸入信號(hào)做出反應(yīng)。Gerstner和Kistler提出用膜電壓去表示神經(jīng)元的內(nèi)部狀態(tài)，其計(jì)算方式被定義為受所有突觸前神經(jīng)元的輸出脈沖序列以及神經(jīng)元間傳遞效能值影響的突觸后電位加權(quán)和，如公式(2-9)所示。 (2-9)在上式(2-9)中，是突觸前神經(jīng)元的第次脈沖的輸出時(shí)間，是神經(jīng)元與神經(jīng)元的效能權(quán)值。核函數(shù)η(?)為一個(gè)標(biāo)準(zhǔn)的無(wú)刺激脈沖神經(jīng)元電位變化動(dòng)作，動(dòng)態(tài)描述了神經(jīng)元發(fā)出脈沖之后不應(yīng)期現(xiàn)象、如何恢復(fù)至靜息電位等過(guò)程，神經(jīng)元每發(fā)送一次脈沖該過(guò)程就會(huì)被復(fù)現(xiàn)一次。核函數(shù)?(?)用于計(jì)算神經(jīng)元接收到的所有來(lái)自前突觸神經(jīng)元的脈沖信號(hào)對(duì)其膜電勢(shì)的影響。核函數(shù)代表的是外部的輸入電流對(duì)其膜電壓的影響，描述了由脈沖響應(yīng)引起的膜電位偏離其靜止值的時(shí)間過(guò)程。因?yàn)樾枰獙?duì)個(gè)輸入神經(jīng)元輸出脈沖信號(hào)導(dǎo)致的當(dāng)前神經(jīng)元的PSP值進(jìn)行計(jì)算，所以公式中要求，并且在計(jì)算過(guò)程中要及時(shí)更新當(dāng)前神經(jīng)元的前一次點(diǎn)火時(shí)間。SRM脈沖神經(jīng)元與LIF脈沖神經(jīng)元的主要差異在于：第一，SRM模型在達(dá)到閾值并發(fā)送脈沖信號(hào)后，在信號(hào)重置進(jìn)入不應(yīng)期時(shí)會(huì)產(chǎn)生特有的負(fù)越界過(guò)程，該過(guò)程常被描述為是神經(jīng)元對(duì)自己產(chǎn)生的脈沖信號(hào)做出的應(yīng)激響應(yīng)；第二，SRM參數(shù)依賴于前一次脈沖信號(hào)產(chǎn)生時(shí)間而不像LIF是依賴于固定閾值的，SRM擁有動(dòng)態(tài)閾值函數(shù)，其脈沖發(fā)放閾值是與當(dāng)前時(shí)間t與之前最近一次脈沖信號(hào)產(chǎn)生時(shí)刻的時(shí)間差值相關(guān)的變量，這就導(dǎo)致SRM的閾值會(huì)因?yàn)槊}沖的發(fā)放與運(yùn)行時(shí)間的改變而改變。SRM模型是一種脈沖生成機(jī)制更簡(jiǎn)單、閾值表示更合理、解釋內(nèi)容更豐富的神經(jīng)元模型。而且實(shí)驗(yàn)證明，在SRM模型中進(jìn)行將隨時(shí)間變化的動(dòng)態(tài)閾值轉(zhuǎn)換為固定閾值并不復(fù)雜，而且還能達(dá)到簡(jiǎn)化計(jì)算流程的目的，所以本文研究中未進(jìn)行特殊說(shuō)明的閾值都是