2.1目的

第1章給除了生物神經元和神經網絡的簡述?，F在來介紹簡化的神經元數學模型，并解釋這些人工神經元如何相互連接形成各種網絡結構。另外，本章還將通過幾個簡單的實例闡述這些網絡如何工作。本書中將使用本章所引入的概念和符號。現在是1頁\一共有30頁\編輯于星期三2.2原理和實例2.2.1符號本書中的圖、數字公式以及解釋圖和數字公式的正文，將使用一下符號：標量：小寫的斜體字母，如a,b,c。向量：小寫的黑正體字母，如a,b,c。矩陣：大寫的黑整體字母，如A,B,C?！瘛瘛瘳F在是2頁\一共有30頁\編輯于星期三2.2.2神經元模型單輸入神經元權值偏置(值)凈輸入傳輸函數圖2-1單輸入神經元現在是3頁\一共有30頁\編輯于星期三若將這個簡單模型和前面第1章所討論的生物神經元相對照，則權值w對應于突觸的連接強度，細胞體對應于累加器和傳輸函數，神經元輸出a代表軸突的信號。

神經元輸出按下式計算：

a=f(wp+b)注：還有多閾值、多權值神經元現在是4頁\一共有30頁\編輯于星期三

實際輸出取決與所選擇的待定傳輸函數。2.傳輸函數圖2-1中的傳輸函數可以是n的線性或者非線性函數?？梢杂锰囟ǖ膫鬏敽瘮禎M足神經元要解決的特定問題。本書包括了各個不同的傳輸函數。下面將討論其中最常用的三種。

硬極限傳輸函數

線性傳輸函數

a=n(2.1)

對數-S形傳輸函數

a=1/1+e-n

(2.2)現在是5頁\一共有30頁\編輯于星期三

a=hardlim(n)a=hardlim(wp+b)

硬極限傳輸函數單輸入hardlim神經元圖2-2硬極限傳輸函數現在是6頁\一共有30頁\編輯于星期三

a=purelin(n)a=purelin(wp+b)

線性傳輸函數單輸入purelin神經元圖2-3線性傳輸函數現在是7頁\一共有30頁\編輯于星期三

a=logsig(n)a=logsig(wp+b)

Log-Sigmoid

傳輸函數單輸入logsig神經元圖2-4對數-S形傳輸函數現在是8頁\一共有30頁\編輯于星期三名稱輸入/輸出關系圖標MATLAB函數硬極限函數a=0,n<0a=1,n≥0hardlim對稱硬極限函數a=-1,n<0a=+1,n≥0hardlims線性函數a=npurelin飽和線性函數a=0,n<0a=n,0≤n≤1a=1,n>1satlin對稱飽和線性函數a=-1,n<-1a=n,-1≤n≤1a=1,n>1satlins對數-S形函數a=1/1+e-nlogsig雙曲正切S形函數a=en-e-n/en+e-ntansig正線性函數a=0,n<0a=n,n≥0poslin競爭函數a=1,具有最大n的神經元a=0,所有其他神經元compet現在是9頁\一共有30頁\編輯于星期三

3.多輸入神經元

權值矩陣通常，一個神經元有不止一個輸入。具有R個輸入的神經元如圖2-5所示。其輸入p1,p2,…,pR

分別對應權值矩陣W的元素w1,1,w1,2,…,w1,R

。圖2-5多輸入神經元現在是10頁\一共有30頁\編輯于星期三

該神經元有一個偏置值b,它與所有輸入的加權和累加，從而形成凈輸入n：

n=w1,1p1+w1,2p2+…+w1,RpR+b

（2.3）這個表達式也可以寫成矩陣形式：n=Wp+b(2.4)其中單個神經元的權值矩陣W只有一行元素。神經元的輸出可以寫成：a=f(Wp+b)(2.5)

權值下標權值矩陣元素下標的第一個下標表示權值相應連接所指定的目標神經元編號，第二個下標表示權值相應連接的源神經元編號。

簡化符號圖2-6為利用這種符號所表示的多輸入神經元?，F在是11頁\一共有30頁\編輯于星期三

圖2-6具有R個輸入的神經元的簡化符號在圖2-6中，左邊垂直的實心條表示輸入向量p，p下面的變量R×1表示p的維數，也即輸入是由R個元素組成的一維向量。這些輸入被送人權值矩陣W，W有1行R列。常量1則作為輸入與標量偏置值b相乘。傳輸函數f的凈輸入是n，它是偏置值b與積Wp的和。在這種情況現在是12頁\一共有30頁\編輯于星期三下，神經元的輸出a是一個標量。如果網絡有多個神經元，那么網絡輸出就可能是一個向量。請注意，網絡的輸入是由問題的外部描述決定的。2.2.3網絡結構1.神經元的層層圖2-7是由S個神經元組成的單層網絡。

該層包括權值矩陣、累加器、偏置值向量b、傳輸函數框和輸出向量a?，F在是13頁\一共有30頁\編輯于星期三輸入向量p的每個元素均通過權值矩陣W和每個神經元相連。輸入向量通過如下權矩陣W進入網絡：（2.6）同樣，具有S個神經元、R個輸入的單層網絡也能用簡化的符號表示為如圖2-8所示的形式。

權值下標權值矩陣元素下標的第一個下標表示權值相應連接所指定的目標神經元編號，第二個下標表示權值相應連接的源神經元編號。W2,3?現在是14頁\一共有30頁\編輯于星期三

2.多層神經元層上標現在考慮具有幾層神經元的網絡。每個變量都附加一個上標來表示其所處層次。圖2-9所示的三層網絡就使用了這種標記方法?，F在是15頁\一共有30頁\編輯于星期三

輸入層隱含層如果某層的輸出是網絡的輸出，那么稱該層為輸出層，而其他層叫隱含層。前面討論的三層網絡同樣也可以用簡化的符號表示，如圖2-10所示?，F在是16頁\一共有30頁\編輯于星期三

3.遞歸網絡延時在討論遞歸網絡前，首先介紹一些簡單的構造模塊。第一種是延時模塊，如圖2-11所示。延時輸出a(t)由輸入u(t)根據下式計算得到：

a(t)=u(t-1)

（2.7）現在是17頁\一共有30頁\編輯于星期三

積分器另一種將用于第15章至第18章中的連續(xù)時間遞歸網絡的構造模塊是積分器，如圖2-12所示：

積分器的輸出a(t)由輸入u(t)根據下式計算得到：（2.8）現在是18頁\一共有30頁\編輯于星期三

遞歸網絡一個遞歸網絡是一個帶反饋的網絡，其部分輸出連接到它的輸入。圖2-13給出了一種類型的離散時間遞歸網絡。

a(1)=satlins(Wa(0)+b),a(2)=satlins(Wa(1)+b),…現在是19頁\一共有30頁\編輯于星期三2.3小結單輸入神經元多輸入神經元現在是20頁\一共有30頁\編輯于星期三傳輸函數名稱輸入/輸出關系圖標MATLAB函數硬極限函數a=0,n<0a=1,n≥0hardlim對稱硬極限函數a=-1,n<0a=+1,n≥0hardlims線性函數a=npurelin飽和線性函數a=0,n<0a=n,0≤n≤1a=1,n>1satlin對稱飽和線性函數a=-1,n<-1a=n,-1≤n≤1a=1,n>1satlins對數-S形函數a=1/1+e-nlogsig雙曲正切S形函數a=en-e-n/en+e-ntansig正線性函數a=0,n<0a=n,n≥0poslin競爭函數a=1,具有最大n的神經元a=0,所有其他神經元compet現在是21頁\一共有30頁\編輯于星期三神經元層三層神經元現在是22頁\一共有30頁\編輯于星期三延時模塊積分器模塊現在是23頁\一共有30頁\編輯于星期三遞歸網絡如何選取一種網絡結構應用問題的描述從如下幾個方面非常有助于定義網絡的結構：

1）網絡的輸入個數=應用問題的輸入數；

2）輸出層神經元的數目=應用問題的輸出數目；

現在是24頁\一共有30頁\編輯于星期三

3）輸出層的傳輸函數選擇至少部分依賴與應用問題的輸出描述。2.4例題

P2.1一個單輸入神經元的輸入是2.0，其權值是2.3，偏置值是-3。（i）傳輸函數的凈輸入是多少？（ii）神經元的輸出是多少？解（i）傳輸函數的網絡輸出由下式給出：現在是25頁\一共有30頁\編輯于星期三

（ii）因為未指定傳輸函數，所以不能確定該神經元的輸出。

P2.2如果P2.1中的神經元分別具有如下傳輸函數，請問其輸出值分別是多少？（i）硬極限函數（ii）線性函數（iii）對數-S形（logsig）函數解（i）對硬極限傳輸函數有（ii）對線性傳輸函數有（iii）對對數-S形傳輸函數有現在是26頁\一共有30頁\編輯于星期三

P2.3

給定一個具有如下參數的兩輸入神經元：b=1.2,W=[32],p=，試依據下列傳輸函數計算神經元輸出：（i）對稱硬極限傳輸函數（ii）飽和現行傳輸函數（iii）雙曲正切S形（tansig）傳輸函數解首先計算凈輸入n:

現針對每種傳輸函數計算該神經元的輸出。

現在是27頁\一共有30頁\編輯于星期三（i）（ii）（iii）

P2.4現有一個單層神經網絡，具有6個輸入和2個輸出。輸出被限制為0到1之間的連續(xù)值。敘述該網絡的結構，請說明：（i）需要多少個神經元？（ii）權值矩陣的維數是多少？（iii）能夠采用什么傳輸函數？（iv）需要采用偏置值嗎？現在是28頁\一共有30頁\編輯于星