第2章

神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)6/4/202312.1目的第1章給出了生物神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的簡述。現(xiàn)在來介紹簡化的神經(jīng)元數(shù)學(xué)模型，并解釋這些人工神經(jīng)元如何相互連接形成各種網(wǎng)絡(luò)結(jié)構(gòu)。另外，本章還將通過幾個(gè)簡單的實(shí)例闡述這些網(wǎng)絡(luò)如何工作。本書中將使用本章所引入的概念和符號。

6/4/202322.2原理和實(shí)例2.2.1符號神經(jīng)網(wǎng)絡(luò)是一門新興學(xué)科。迄今為止，人們還并沒有對其建立嚴(yán)格的數(shù)學(xué)符號和結(jié)構(gòu)化表示。另外，神經(jīng)網(wǎng)絡(luò)方面的論文和書籍均是來自諸如工程、物理、心理學(xué)和數(shù)學(xué)等許多不同領(lǐng)域，作者都習(xí)慣使用本專業(yè)的特殊詞匯。于是，神經(jīng)網(wǎng)絡(luò)的許多文獻(xiàn)都難以閱讀，概念也較實(shí)際情況更為復(fù)雜。在本課中，我們盡可能地使用標(biāo)準(zhǔn)符號。6/4/20233本課中的圖、數(shù)學(xué)公式以及解釋圖和數(shù)學(xué)公式的正文，將使用以下符號：標(biāo)量：小寫的斜體字母，如a,b,c。向量：小寫的黑正體字母，如a,b,c。矩陣：大寫的黑正體字母，如A,B,C。2.2原理和實(shí)例6/4/202342.2.2神經(jīng)元模型1．單輸入神經(jīng)元概念：輸入、權(quán)值、偏置（值）、凈輸入、傳輸函數(shù)、輸出.

一個(gè)規(guī)范的單輸入神經(jīng)元如圖2-1所示。圖2-1單輸入神經(jīng)元表示6/4/20235●標(biāo)量輸入p乘標(biāo)量權(quán)值w得到wp，再將其送入累加器?！窳硪粋€(gè)輸入1

乘上偏置值b，再將其送入累加器?！窭奂悠鬏敵鐾ǔ１环Q為凈輸入n，它被送入一個(gè)傳輸函數(shù)?！駛鬏敽瘮?shù)f中產(chǎn)生神經(jīng)元的標(biāo)量輸出a。若將這個(gè)簡單模型和第1章所討論的生物神經(jīng)元相對照，則權(quán)值對應(yīng)于突觸的連接強(qiáng)度，細(xì)胞體對應(yīng)于累加器和傳輸函數(shù)，神經(jīng)元輸出代表軸突的信號。6/4/20236神經(jīng)元輸出按下式計(jì)算：例如，若

，則

注意，w和b是神經(jīng)元的可調(diào)整標(biāo)量參數(shù)。設(shè)計(jì)者也可選擇特定的傳輸函數(shù)，在一些學(xué)習(xí)規(guī)則中調(diào)整參數(shù)w和b，以滿足特定的需要。正如將在下一節(jié)所討論的，依據(jù)不同目的可以選擇不同的傳輸函數(shù)。6/4/202372．傳輸函數(shù)圖2-1中的傳輸函數(shù)可以是累加器輸出（凈輸入）n的線性或非線性函數(shù)。可以用特定的傳輸函數(shù)滿足神經(jīng)元要解決的特定問題。

本書包括了各種不同的傳輸函數(shù)。下面將討論其中最常用的三種。

6/4/20238

●硬極限傳輸函數(shù):

硬極限傳輸函數(shù)如圖2-2中的左圖所示，當(dāng)函數(shù)的自變量小于0時(shí)，函數(shù)的輸出為0;當(dāng)函數(shù)的自變量大于或等于0時(shí)，函數(shù)的輸出為1。用該函數(shù)可以把輸入分成兩類。第三、四章將廣泛使用該傳輸函數(shù)。硬極限傳輸函數(shù)單輸入hardlim神經(jīng)元圖2-2硬極限傳輸函數(shù)6/4/20239

圖2-2的右圖描述了使用硬極限傳輸函數(shù)的單輸入神經(jīng)元的輸入/輸出特征曲線。從中可看出權(quán)值和偏置值的影響。注意，兩圖之間的圖標(biāo)代表硬極限傳輸函數(shù)。在網(wǎng)絡(luò)圖中的這個(gè)圖標(biāo)表示使用了該傳輸函數(shù)。6/4/202310●線性傳輸函數(shù)：線性傳輸函數(shù)的輸出等于輸入（如圖2-3所示）:

線性傳輸函數(shù)單輸入purelin神經(jīng)元圖2-3線性傳輸函數(shù)6/4/202311●對數(shù)-S形傳輸函數(shù)：

對數(shù)-S形（logsig）傳輸函數(shù)如圖2-4所示。

Log-Sigmoid傳輸函數(shù)單輸入logsig神經(jīng)元

圖2-4對數(shù)-S形傳輸函數(shù)6/4/202312該傳輸函數(shù)的輸入在（-∞，+∞）之間取值，輸出則在0到1之間取值，其數(shù)學(xué)表達(dá)為：本書所用的大多數(shù)傳輸函數(shù)在表2-1中都可以找到。當(dāng)然，你也可以定義不同于表2-1的傳輸函數(shù)。6/4/202313名稱

輸入/輸出關(guān)系

圖標(biāo)

MATLAB函數(shù)硬極限函數(shù)

a=0,n<0a=1,n≥0Hardlim對稱硬極限函數(shù)

a=-1,n<0a=1,n≥0hardlims線性函數(shù)

a=npurelin飽和線性函數(shù)

a=0,n<0a=n,0≤n≤1a=1,n>1stalin表2-1傳輸函數(shù)6/4/202314對稱飽和線性函數(shù)

a=-1,n<-1a=n,-1≤n≤1a=1,n>1stalins對數(shù)-S函數(shù)

logsig雙曲正切-S函數(shù)

tansig6/4/202315C正線性函數(shù)

a=0,n<0a=n,n≥0poslin競爭函數(shù)

a=1,具有最大n的神經(jīng)元a=0,所有其他的神經(jīng)元compot6/4/2023163．多輸入神經(jīng)元

概念：權(quán)值矩陣：通常，一個(gè)神經(jīng)元有不止一個(gè)輸入。具有R個(gè)輸入的神經(jīng)元如圖2-5所示。其輸入：分別對應(yīng)權(quán)值矩陣W的元素：

6/4/202317

圖2-5多輸入神經(jīng)元6/4/202318

該神經(jīng)元有一個(gè)偏置值b，它與所有輸入的加權(quán)和累加，從而形成凈輸入：這個(gè)表達(dá)式也可以寫成矩陣形式：其中單個(gè)神經(jīng)元的權(quán)值矩陣W只有一列元素。神經(jīng)元的輸出可以寫成：

6/4/202319概念：權(quán)值下標(biāo)

權(quán)值矩陣元素下標(biāo)的第一個(gè)下標(biāo)表示權(quán)值相應(yīng)連接所指定的目標(biāo)神經(jīng)元編號，第二個(gè)下標(biāo)表示權(quán)值相應(yīng)連接的源神經(jīng)元編號。

據(jù)此，的含義是：該權(quán)值表示從第二個(gè)源神經(jīng)元到第一個(gè)目標(biāo)神經(jīng)元的連接。6/4/202320概念：簡化符號本課程將采用簡化符號來表示神經(jīng)元。圖2-6為利用這種符號所表示的多輸入神經(jīng)元。

圖2-6具有R個(gè)輸入的神經(jīng)元的簡化符號

6/4/202321例2.1對于圖2-1所示的單個(gè)神經(jīng)元設(shè)輸入，分別采用hardlm,hardlims,purelin,satlin,logsig傳輸函數(shù)，求神經(jīng)元的輸出值。6/4/202322解：據(jù)（2.1）式有

6/4/2023232.2.3網(wǎng)絡(luò)結(jié)構(gòu)1．神經(jīng)網(wǎng)絡(luò)的層概念：層圖2-7是由S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)。注意，R個(gè)輸入中的每一個(gè)值均與每個(gè)神經(jīng)元相連。權(quán)值矩陣現(xiàn)有S行。通常，每層的輸入個(gè)數(shù)并不等于該層中神經(jīng)元的數(shù)目（即R≠S）6/4/202324圖2-7S個(gè)神經(jīng)元組成的層6/4/202325輸入向量通過如下權(quán)矩陣W進(jìn)入網(wǎng)絡(luò)：

(2.6)

6/4/202326

同樣，具有S個(gè)神經(jīng)元、R個(gè)輸入的單層網(wǎng)絡(luò)能用簡化的符號表示為圖2-8所示的形式。

圖2-8由S個(gè)神經(jīng)元組成的層的簡化表示6/4/2023272．多層神經(jīng)網(wǎng)絡(luò)

概念：層上標(biāo)

第一層的值矩陣可以寫為,第二層的權(quán)值矩陣可以寫為，等等。如圖2-9所示的三層網(wǎng)絡(luò)就用了這種標(biāo)記方法。6/4/202328圖2-9三層網(wǎng)絡(luò)6/4/202329

如圖所示，第一層有R個(gè)輸入、S1個(gè)神經(jīng)元，第二層有S2個(gè)神經(jīng)元，等等。要注意不同層可以有不同數(shù)目的神經(jīng)元。第一層和第二層的輸出分別是第二層和第三層的輸入。據(jù)此，可以將第二層看作是一個(gè)單層網(wǎng)絡(luò)，它有R=S1個(gè)輸入，S＝S2個(gè)神經(jīng)元，和一個(gè)S2S1維的權(quán)值矩陣W2。第二層的輸入是a1

，輸出是a2。第三層與第二層情況相似。

6/4/202330

概念：輸出層、隱含層

如某層的輸出是網(wǎng)絡(luò)的輸出，則稱該層為輸出層，而其他層叫隱含層。上圖中的網(wǎng)絡(luò)有一個(gè)輸出層（第3層）和兩個(gè)隱含層（第1層和第2層）。前面討論的三層網(wǎng)絡(luò)同樣也可以用簡化的符號表示，如圖2-10所示。6/4/202331圖2-10三層網(wǎng)絡(luò)的簡化表示6/4/202332

多層網(wǎng)絡(luò)的功能要比單層網(wǎng)絡(luò)強(qiáng)大得多。比如，一個(gè)第一層具有S形傳輸函數(shù)、第二層具有線性傳輸函數(shù)的網(wǎng)絡(luò)，經(jīng)過訓(xùn)練可對大多數(shù)函數(shù)達(dá)到任意精度的逼近,而單層網(wǎng)絡(luò)則不能做到這一點(diǎn)。6/4/202333

決定一個(gè)網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)非常重要。網(wǎng)絡(luò)的輸入/輸出神經(jīng)元的數(shù)量是由問題描述定義的。如果有4個(gè)外部變量作為網(wǎng)絡(luò)輸入，那么網(wǎng)絡(luò)就有4個(gè)外部變量作為網(wǎng)絡(luò)輸入，那么網(wǎng)絡(luò)就有4個(gè)輸入。同樣，如果網(wǎng)絡(luò)有7個(gè)輸出，那么網(wǎng)絡(luò)的輸出層就應(yīng)該有7個(gè)神經(jīng)元。

6/4/202334

輸出信號所期望的特征有助于選擇輸出層的傳輸函數(shù)。如果一個(gè)輸出要么是-1，要么是1，那么該輸出神經(jīng)元就可以用對稱硬極限傳輸函數(shù)。6/4/202335

那么，如果網(wǎng)絡(luò)有兩層以上的神經(jīng)元時(shí)，又將如何確定各層的神經(jīng)元數(shù)目？其實(shí)問題的關(guān)鍵在于外部問題并沒有直接指明隱含層需要的神經(jīng)元數(shù)目。

6/4/202336實(shí)際上，精確預(yù)測隱含層所需要的神經(jīng)元的數(shù)目至今仍然存在一些在理論上還沒有解決的問題。這個(gè)問題是一個(gè)十分活躍的研究領(lǐng)域。大多數(shù)實(shí)際的神經(jīng)網(wǎng)絡(luò)僅僅只有2到3層神經(jīng)元，很少有4層或更多層。6/4/202337

這里還應(yīng)該討論一下偏置值的使用問題。是否使用偏置值是可以選擇的。偏置值給網(wǎng)絡(luò)提供了額外的變量，從而使得網(wǎng)絡(luò)具有更強(qiáng)的能力，事實(shí)也的確是如此。例如，如果沒有偏置值，當(dāng)網(wǎng)絡(luò)輸入為0時(shí)，一個(gè)神經(jīng)元的凈輸入總是為0。這是不希望出現(xiàn)的，可以通過用偏置值來避免。

6/4/202338例2．2設(shè)

試畫出其網(wǎng)絡(luò)結(jié)構(gòu)示意圖，并求網(wǎng)絡(luò)的輸出值。

6/4/202339

圖2-14例2.2的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)6/4/202340則6/4/202341例2.3一個(gè)兩層神經(jīng)網(wǎng)絡(luò)有4個(gè)輸入，3個(gè)輸出，輸出為0～1之間連續(xù)變化量。設(shè)第1層的神經(jīng)元數(shù)為2,傳輸函數(shù)為tansig,兩層神經(jīng)元都有閾值，畫出其網(wǎng)絡(luò)向量模型結(jié)構(gòu)示意圖。6/4/202342解：根據(jù)題意，其網(wǎng)絡(luò)向量模型結(jié)構(gòu)示意圖如圖2-15

圖2-15例2.3神經(jīng)網(wǎng)絡(luò)的向量模型6/4/202343例2.4某個(gè)神經(jīng)網(wǎng)絡(luò)的部分屬性如下，據(jù)此畫出其網(wǎng)絡(luò)向量模型結(jié)構(gòu)示意圖。net.numlnputs=1%網(wǎng)絡(luò)有1個(gè)輸入向量net.inputs{l}.size=2%2個(gè)輸入變量，即輸入變量為2維。net.numLayers=2%有2個(gè)網(wǎng)絡(luò)層net.layers{l}.dimensions=3%第l個(gè)網(wǎng)絡(luò)層有3個(gè)神經(jīng)元6/4/202344net.layers{2｝.dimensions=2%第2個(gè)網(wǎng)絡(luò)層有2個(gè)神經(jīng)元net.biasConnect=[1;1]%每個(gè)網(wǎng)絡(luò)層的神經(jīng)元都有閾值net.inputConnect＝[1;0]%第1個(gè)網(wǎng)絡(luò)層（輸入層）與輸入向量連接，

%第2個(gè)網(wǎng)絡(luò)層與輸入向量無連接net.layerConnect=[00;10]%只有第1個(gè)網(wǎng)絡(luò)層到第2個(gè)網(wǎng)絡(luò)層的連接，

%無其他網(wǎng)絡(luò)層連接6/4/202345net.outputConnect＝[01]%第2個(gè)網(wǎng)絡(luò)層為輸出層，net.outputs{l}.size=2%有2個(gè)輸出變量，即輸出變量為2維。net.layers{l}.transferFcn=logsig

%第一網(wǎng)絡(luò)層神經(jīng)元的傳輸函數(shù)為logsignet.layers{2}.transferFcn=logsig

%第二網(wǎng)絡(luò)層神經(jīng)元的傳輸函數(shù)為logsig解:據(jù)此畫出網(wǎng)絡(luò)向量模型結(jié)構(gòu)示意圖如圖2-16所示。6/4/202346

圖2-16例2.4神經(jīng)網(wǎng)絡(luò)的向量模型6/4/2023472.3小結(jié):●單輸入神經(jīng)元：

6/4/202348●多輸入神經(jīng)元：6/4/202349●多輸入神經(jīng)元簡化圖示：6/4/202350名稱

輸入/輸出關(guān)系

圖標(biāo)

MATLAB函數(shù)硬極限函數(shù)

a=0,n<0a=1,n≥0Hardlim對稱硬極限函數(shù)

a=-1,n<0a=1,n≥0hardlims線性函數(shù)

a=npurelin●傳輸函數(shù)：6/4/202351飽和線性函數(shù)

a=0,n<0a=n,0≤n≤1a=1,n>1stalin對稱飽和線性函數(shù)

a=-1,n<-1a=n,-1≤n≤1a=1,n>1stalins6/4/202352對數(shù)-S函數(shù)

logsig雙曲正切-S函數(shù)

tansig正線性函數(shù)

a=0,n<0a=n,n≥0poslin競爭函數(shù)

a=1,具有最大n的神經(jīng)元a=0,所有其他的神經(jīng)元Ccompot6/4/202353●神經(jīng)元層6/4/202354●三層神經(jīng)元簡化圖示：6/4/202355

●如何選取一種網(wǎng)絡(luò)結(jié)構(gòu)？應(yīng)用問題的描述從如下幾個(gè)方面非常有助于定義網(wǎng)絡(luò)的結(jié)構(gòu)：

l）網(wǎng)絡(luò)的輸入個(gè)數(shù)＝應(yīng)用問題的輸入數(shù);

2）輸出層神經(jīng)元的數(shù)目＝應(yīng)用問題的輸出數(shù)目;

3）輸出層的傳輸函數(shù)選擇至少部分依賴于應(yīng)用問題的輸出描述。6/4/2023562.4例題P2.1一個(gè)單輸入神經(jīng)元的輸入是2.0，其權(quán)值是2.3，偏置值是-3。ⅰ）傳輸函數(shù)的凈輸入是多少？ⅱ）神經(jīng)元的輸出是多少？

6/4/202357解：（?。﹤鬏敽瘮?shù)的網(wǎng)絡(luò)輸入由下式給出：（ⅱ）因?yàn)槲粗付▊鬏敽瘮?shù)，所以不能確定該神經(jīng)元的輸出。6/4/202358P2.2如果P2.1中的神經(jīng)元分別具有如下傳輸函數(shù)，請問其輸出值分別是多少？（?。┯矘O限函數(shù)（ⅱ）線性函數(shù)（ⅲ）對數(shù)-S形（logsig）函數(shù)解：（?。τ矘O限傳輸函數(shù)有

1（ii）對線性傳輸函數(shù)有

1.66/4/202359(ⅲ）對對數(shù)-S形傳輸函數(shù)有6/4/202360P2.3給定一個(gè)具有如下參數(shù)的兩輸入神經(jīng)元：

,

試依據(jù)下列傳輸函數(shù)計(jì)算神經(jīng)元輸出：

(1）對稱硬極限傳輸函數(shù)。

(2）飽和線性傳輸函數(shù)。

(3）雙曲正切S形（tansig）傳輸函數(shù)。6/4/202361解：首先計(jì)算凈輸入n:-1.8現(xiàn)針對每種傳輸函數(shù)計(jì)算該神經(jīng)元的輸出。

-10-0.94686/4/202362P2.4現(xiàn)有一個(gè)單層神經(jīng)網(wǎng)絡(luò)，具有6個(gè)輸入和2個(gè)輸出。輸出被限制為0到1之間的連續(xù)值。敘述該網(wǎng)絡(luò)的結(jié)構(gòu)，請說明：（1）需要多少個(gè)神經(jīng)元？（2）權(quán)值矩陣的維數(shù)是多少？（3）能夠采用什么傳輸函數(shù)？（4）需要采用偏置值嗎？6/4/202363解：該問題的求解結(jié)果如下：（1）需要兩個(gè)輸出神經(jīng)元，每個(gè)輸出一個(gè)。（2）對應(yīng)2個(gè)神經(jīng)元和6個(gè)輸入，權(quán)值矩陣應(yīng)有2行6列（乘積是一個(gè)二元向量）。（3）根據(jù)前面所討論的傳輸函數(shù)性質(zhì)，選用Logsig傳輸函數(shù)是最適合的。（4）題中未能給出足夠的條件以確定是否