1、第15章 人工神經(jīng)網(wǎng)絡(luò)方法人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的一種抽象的數(shù)學(xué)模型, 它以某種簡(jiǎn)化、抽象和模擬等方式, 反映大腦功能的若干基本特征. 數(shù)學(xué)建模的人工神經(jīng)網(wǎng)絡(luò)方法就是從大量數(shù)據(jù)中利用某些方法，尋找該系統(tǒng)或事件的內(nèi)在規(guī)律，建立該系統(tǒng)或事件的數(shù)據(jù)之間的聯(lián)系，并用一種數(shù)學(xué)描述其輸入與輸出之間的關(guān)系. 它將一個(gè)系統(tǒng)的內(nèi)在聯(lián)系是通過(guò)數(shù)據(jù)、圖表、圖像、圖形、公式、方程、網(wǎng)絡(luò)結(jié)構(gòu)等形式來(lái)體現(xiàn)的，所以，在某種程度上可以說(shuō)，數(shù)據(jù)、圖表、圖像、圖形、公式、方程、網(wǎng)絡(luò)結(jié)構(gòu)等都是該系統(tǒng)的模型表達(dá)，這種表達(dá)就是相似系統(tǒng)的概念。因此，數(shù)學(xué)建模就是由一種系統(tǒng)的模型表達(dá)轉(zhuǎn)換為系統(tǒng)的另一種模型或表達(dá)形

2、式, 比如數(shù)據(jù)、圖表、圖像、圖形、公式、方程、網(wǎng)絡(luò)結(jié)構(gòu)等形式. 這種表達(dá)就是相似系統(tǒng)的概念. 數(shù)學(xué)建模的人工神經(jīng)網(wǎng)絡(luò)方法就是用人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)形式來(lái)代替實(shí)際物理系統(tǒng)模型。15.1人工神經(jīng)網(wǎng)簡(jiǎn)介什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（Artif icial Neural Network, ANN），簡(jiǎn)稱(chēng)為神經(jīng)網(wǎng)絡(luò), 是由大量處理單元（人工神經(jīng)元）廣泛互連而成的網(wǎng)絡(luò)，是對(duì)人腦的抽象、簡(jiǎn)化和模擬，反映人腦的基本特征. 它按照一定的學(xué)習(xí)規(guī)則, 通過(guò)對(duì)大量樣本數(shù)據(jù)的學(xué)習(xí)和訓(xùn)練, 抽象出樣本數(shù)據(jù)間的特性-網(wǎng)絡(luò)掌握的“知識(shí)”, 把這些“知識(shí)”以神經(jīng)元之間的連接權(quán)和閾值的形式儲(chǔ)存在下來(lái), 利用這些“知識(shí)”可以實(shí)現(xiàn)某

3、種人腦的推理、判斷等功能.人工神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理結(jié)構(gòu)出發(fā)來(lái)研究人的智能行為, 模擬人腦信息處理的能力。它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)及工程等學(xué)科的一種技術(shù)。人工神經(jīng)網(wǎng)絡(luò)的要素一個(gè)神經(jīng)網(wǎng)絡(luò)的特性和功能取決于三個(gè)要素：一是構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本單元-神經(jīng)元；二是神經(jīng)元之間的連續(xù)方式-神經(jīng)網(wǎng)絡(luò)的拓樸結(jié)構(gòu)；三是用于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和訓(xùn)練，修正神經(jīng)元之間的連接權(quán)值和閾值的學(xué)習(xí)規(guī)則。1神經(jīng)元人工神經(jīng)元是對(duì)生物神經(jīng)元的功能的模擬。人的大腦中大約含有 SKIPIF 1 0 個(gè)生物神經(jīng)元，生物神經(jīng)元以細(xì)胞體為主體，由許多向周?chē)由斓牟灰?guī)則樹(shù)枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹(shù)的枝干

4、。主要由細(xì)胞體、樹(shù)突、軸突和突觸(Synapse，又稱(chēng)神經(jīng)鍵)組成，如圖151所示。圖151 生物神經(jīng)元示意圖生物神經(jīng)元通過(guò)突觸接收和傳遞信息。在突觸的接受側(cè)，信號(hào)被送入胞體，這些信號(hào)在胞體里被綜合。其中有的信號(hào)起刺激作用，有的起抑制作用。當(dāng)胞體中接受的累加刺激超過(guò)一個(gè)閾值時(shí)，胞體就被激發(fā)，此時(shí)它將通過(guò)枝蔓向其他神經(jīng)元發(fā)出信號(hào)。根據(jù)生物神經(jīng)元的特點(diǎn)，人們?cè)O(shè)計(jì)人工神經(jīng)元，用它模擬生物神經(jīng)元的輸入信號(hào)加權(quán)和的特性。設(shè) SKIPIF 1 0 個(gè)輸入分別用 SKIPIF 1 0 表示，它們對(duì)應(yīng)的聯(lián)接權(quán)值依次為 SKIPIF 1 0 ，用 SKIPIF 1 0 表該神經(jīng)元所獲得的輸入信號(hào)的累積效果，即該

5、神經(jīng)元的網(wǎng)絡(luò)輸入量， SKIPIF 1 0 表示神經(jīng)元的實(shí)際輸出。圖152給出了人工神經(jīng)元基本特性示意圖。圖152 人工神經(jīng)元基本特性示意圖為了實(shí)現(xiàn)人工神經(jīng)元的功能, 人工神經(jīng)元有一個(gè)變換函數(shù), 用于執(zhí)行對(duì)該神經(jīng)元所獲的網(wǎng)絡(luò)輸入量的轉(zhuǎn)換, 這就是激活函數(shù), 它可以將神經(jīng)元的輸出進(jìn)行放大處理或限制在一個(gè)適當(dāng)?shù)姆秶鷥?nèi). 一般地, 激活函數(shù)由以下幾種形式:(1)硬極限函數(shù)，也叫閾值函數(shù), 階躍函數(shù) 常用于分類(lèi)。 SKIPIF 1 0 其中sgn(*)為符號(hào)函數(shù)。(2)線性函數(shù) 常用于實(shí)現(xiàn)函數(shù)逼近的網(wǎng)絡(luò)。 SKIPIF 1 0 (3)飽和線性函數(shù), 也叫非線性斜面函數(shù), 它是最簡(jiǎn)單的非線性函數(shù), 常用

6、于分類(lèi)。 SKIPIF 1 0 (4)Sigmoidal函數(shù), 也稱(chēng)S(型)函數(shù), 壓縮函數(shù), 邏輯斯特函數(shù) 常用于分類(lèi)、函數(shù)逼近或優(yōu)化。 SKIPIF 1 0 (5)高斯函數(shù) 常用于智能控制，系統(tǒng)優(yōu)化，信息處理，模式識(shí)別等。 SKIPIF 1 0 2. 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單個(gè)的人工神經(jīng)元的功能是簡(jiǎn)單的, 只有通過(guò)一定的方式將大量的人工神經(jīng)元廣泛的連接起來(lái), 組成龐大的人工神經(jīng)網(wǎng)絡(luò), 才能實(shí)現(xiàn)對(duì)復(fù)雜的信息進(jìn)行處理和存儲(chǔ), 并表現(xiàn)出不同的優(yōu)越特性. 根據(jù)神經(jīng)元之間的連接的拓?fù)浣Y(jié)構(gòu)上的不同, 將人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類(lèi), 即層次型結(jié)構(gòu)和互連型結(jié)構(gòu).(1) 層次型拓?fù)浣Y(jié)構(gòu)層次型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)將神經(jīng)元按

7、功能的不同分為若干層, 一般有輸入層、中間層(隱層)和輸出層，各層順序連接， 如圖153所示。輸入層接受外部的信號(hào)，并由各輸入單元傳遞給直接相連的中間層各個(gè)神經(jīng)元。中間層是網(wǎng)絡(luò)的內(nèi)部處理單元層，它與外部沒(méi)有直接連接，神經(jīng)網(wǎng)絡(luò)所具有的模式變換能力，如模式分類(lèi)、模式完善、特征提取等，主要是在中間層進(jìn)行的。根據(jù)處理功能的不同，中間層可以是一層、多層也可以。由于中間層單元不直接與外部輸入輸出進(jìn)行信息交換，因此常將神經(jīng)網(wǎng)絡(luò)的中間層稱(chēng)為隱層，或隱含層，隱藏層等。輸出層是網(wǎng)絡(luò)輸出運(yùn)行結(jié)果并與顯示設(shè)備或執(zhí)行機(jī)構(gòu)相連接的部分。圖153 層次型神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖 (2)互連型拓?fù)浣Y(jié)構(gòu) 互連型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是指網(wǎng)絡(luò)

8、中任意兩個(gè)神經(jīng)元之間都是可以相互連接的，如圖154所示。例如，Hopfield網(wǎng)絡(luò)(循環(huán)網(wǎng)絡(luò))、波爾茨曼機(jī)模型網(wǎng)絡(luò)的結(jié)構(gòu)均屬于這種類(lèi)型。圖154 全互連型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖3. 網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則(算法)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)有兩種形式：有導(dǎo)學(xué)習(xí)和無(wú)導(dǎo)學(xué)習(xí)。有導(dǎo)學(xué)習(xí)也稱(chēng)監(jiān)督學(xué)習(xí)（Supervised Learning）。一般情況下，有導(dǎo)學(xué)習(xí)的訓(xùn)練樣本是輸入輸出對(duì)（ SKIPIF 1 0 ）， SKIPIF 1 0 ，其中 SKIPIF 1 0 為輸入樣本， SKIPIF 1 0 為輸出樣本（期望輸出，或?qū)熜盘?hào)）。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的是：通過(guò)調(diào)節(jié)各神經(jīng)元的自由參數(shù)，是網(wǎng)絡(luò)產(chǎn)生期望的行為，即當(dāng)輸入樣本 SKIPI

9、F 1 0 時(shí)，網(wǎng)絡(luò)輸出盡可能接近 SKIPIF 1 0 。無(wú)導(dǎo)學(xué)習(xí)也稱(chēng)無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）或自組織學(xué)習(xí)（Self-Organized Learning）。無(wú)導(dǎo)學(xué)習(xí)不提供導(dǎo)師信號(hào)，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境（即輸入信號(hào)情況）而異，系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律。不管是有導(dǎo)學(xué)習(xí)還是無(wú)導(dǎo)學(xué)習(xí)，都要通過(guò)調(diào)整神經(jīng)元的自由參數(shù)（權(quán)值或閾值）實(shí)現(xiàn)。輸入樣本： SKIPIF 1 0 當(dāng)前權(quán)值： SKIPIF 1 0 期望輸出： SKIPIF 1 0 權(quán)值調(diào)節(jié)公式： SKIPIF 1 0 ，其中 SKIPIF 1 0 為學(xué)習(xí)率，一般取較小的值，權(quán)

10、值調(diào)整量 SKIPIF 1 0 一般與x,d及當(dāng)前權(quán)值w(t)有關(guān)。(1) Hebb學(xué)習(xí)規(guī)則輸入樣本： SKIPIF 1 0 當(dāng)前權(quán)值： SKIPIF 1 0 實(shí)際輸出： SKIPIF 1 0 權(quán)值調(diào)節(jié)公式： SKIPIF 1 0 ，其中權(quán)值調(diào)整量 SKIPIF 1 0 .(2) 離散感知器學(xué)習(xí)規(guī)則如果神經(jīng)元的基函數(shù)取線性函數(shù)，激活函數(shù)取硬極限函數(shù)，則神經(jīng)元就成了單神經(jīng)元感知器，其學(xué)習(xí)規(guī)則稱(chēng)離散感知器學(xué)習(xí)規(guī)則，是一種有導(dǎo)學(xué)習(xí)算法。常用于單層及多層離散感知器網(wǎng)絡(luò)。輸入樣本： SKIPIF 1 0 當(dāng)前權(quán)值： SKIPIF 1 0 期望輸出： SKIPIF 1 0 當(dāng)前輸出： SKIPIF 1 0

11、 當(dāng)前誤差信號(hào)： SKIPIF 1 0 當(dāng)前權(quán)值調(diào)節(jié)量： SKIPIF 1 0 權(quán)值修正公式： SKIPIF 1 0 。(3) Delta( SKIPIF 1 0 )學(xué)習(xí)規(guī)則1986年，認(rèn)知心理學(xué)家McClelland和RumeChart在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中引入了 SKIPIF 1 0 (Delta)規(guī)則，該規(guī)則也稱(chēng)連續(xù)感知器學(xué)習(xí)規(guī)則。輸入樣本： SKIPIF 1 0 當(dāng)前權(quán)值： SKIPIF 1 0 期望輸出： SKIPIF 1 0 基函數(shù)： SKIPIF 1 0 實(shí)際輸出： SKIPIF 1 0 （激活函數(shù)）輸出誤差： SKIPIF 1 0 神經(jīng)元權(quán)值調(diào)節(jié) SKIPIF 1 0 學(xué)習(xí)規(guī)則的目的

12、是：通過(guò)訓(xùn)練權(quán)值w，使得對(duì)于訓(xùn)練樣本對(duì)（x,d），神經(jīng)元的輸出誤差 SKIPIF 1 0 達(dá)最小，誤差E是權(quán)向量w的函數(shù)，欲使誤差E最小，w應(yīng)與誤差的負(fù)梯度成正比，即 SKIPIF 1 0 ，其中，比例系數(shù) SKIPIF 1 0 是一個(gè)常數(shù)，誤差梯度： SKIPIF 1 0 得權(quán)值調(diào)整公式： SKIPIF 1 0 常用于：?jiǎn)螌印⒍鄬由窠?jīng)網(wǎng)絡(luò)、BP網(wǎng)。(4) 最小均方(LMS)學(xué)習(xí)規(guī)則1962年，Bernard Widrow和Marcian Hoff提出了Widrow-Hoff學(xué)習(xí)規(guī)則，因?yàn)樗苁股窠?jīng)元實(shí)際輸出與期望輸出之間的平方差最小，故又稱(chēng)最小均方規(guī)則（LMS）。在 SKIPIF 1 0 學(xué)

13、習(xí)規(guī)則中，若激活函數(shù)f()?。?SKIPIF 1 0 ，則 SKIPIF 1 0 學(xué)習(xí)規(guī)則就成為L(zhǎng)MS學(xué)習(xí)規(guī)則：輸入樣本： SKIPIF 1 0 當(dāng)前權(quán)值： SKIPIF 1 0 期望輸出： SKIPIF 1 0 基函數(shù)： SKIPIF 1 0 實(shí)際輸出： SKIPIF 1 0 （激活函數(shù)）輸出誤差： SKIPIF 1 0 SKIPIF 1 0 權(quán)值調(diào)整公式： SKIPIF 1 0 常用于自適應(yīng)線性單元。(5) 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則也稱(chēng)Winner-Take-All（勝者為王）學(xué)習(xí)規(guī)則，用于無(wú)導(dǎo)師學(xué)習(xí)。一般將網(wǎng)絡(luò)的某一層確定為競(jìng)爭(zhēng)層，對(duì)于一個(gè)特定的輸入 SKIPIF 1 0 ，競(jìng)爭(zhēng)層的所有神經(jīng)元均有輸

14、出響應(yīng)，其中響應(yīng)值最大的神經(jīng)元 SKIPIF 1 0 為在競(jìng)爭(zhēng)中獲勝的神經(jīng)元，即： SKIPIF 1 0 . 只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量 SKIPIF 1 0 ，調(diào)整量為： SKIPIF 1 0 ，式中 SKIPIF 1 0 ，是學(xué)習(xí)常數(shù)，一般其值隨著學(xué)習(xí)進(jìn)展的增大而減少。由于兩個(gè)向量的點(diǎn)積越大，表明兩者越近似，所以調(diào)整獲勝神經(jīng)元權(quán)值的是使 SKIPIF 1 0 進(jìn)一步接近當(dāng)前輸入 SKIPIF 1 0 . 顯然，當(dāng)下次出現(xiàn)與 SKIPIF 1 0 相像的輸入模式時(shí)，上次獲勝的神經(jīng)元更容易獲勝，在反復(fù)的競(jìng)爭(zhēng)學(xué)習(xí)過(guò)程中，競(jìng)爭(zhēng)層的各神經(jīng)元所對(duì)應(yīng)的權(quán)向量被逐漸調(diào)整為樣本空間的聚類(lèi)中心。數(shù)學(xué)建模

15、中常用的兩種網(wǎng)絡(luò)在數(shù)學(xué)建模中，常用的人工神經(jīng)網(wǎng)絡(luò)主要有兩類(lèi)：一是基于誤差反向傳播算法的前饋神經(jīng)網(wǎng)絡(luò)，比如BP神經(jīng)網(wǎng)絡(luò)，主要用于實(shí)現(xiàn)非線性映射；二是自相連映射神經(jīng)網(wǎng)絡(luò)，比如Hopfield神經(jīng)網(wǎng)絡(luò)，主要用于聚類(lèi)和模式識(shí)別等。15.2人工神經(jīng)網(wǎng)的實(shí)現(xiàn)15.2.1 BP網(wǎng)絡(luò)算法與實(shí)現(xiàn)1.BP網(wǎng)絡(luò)算法BP網(wǎng)絡(luò)是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)，其訓(xùn)練算法為BP(Back Propagation)算法，是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會(huì)由輸入輸出對(duì)組成的訓(xùn)練組的特性。下面進(jìn)行BP算法推導(dǎo)，圖155為BP為網(wǎng)絡(luò)的結(jié)構(gòu)圖。圖155 三層BP網(wǎng)絡(luò)結(jié)構(gòu)輸入向量： SKIPIF 1 0 隱層輸出向量： SKIPIF 1 0

16、輸出層輸出向量： SKIPIF 1 0 期望輸出向量： SKIPIF 1 0 輸入層到隱層之間的權(quán)值矩陣： SKIPIF 1 0 , 其中列向量 SKIPIF 1 0 為隱層第j個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量： SKIPIF 1 0 .隱層到輸出層之間的權(quán)值矩陣： SKIPIF 1 0 ，其中列向量 SKIPIF 1 0 為輸出層第k個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量： SKIPIF 1 0 對(duì)于輸出層，激活函數(shù)為 SKIPIF 1 0 , (15.1)該層的網(wǎng)絡(luò)輸入為 SKIPIF 1 0 ; (15.2)對(duì)于隱層，激活函數(shù)為 SKIPIF 1 0 , (15.3)該層的網(wǎng)絡(luò)輸入為 SKIPIF 1 0 . (15

17、.4)以上所選激活函數(shù) SKIPIF 1 0 均為Sigmoid函數(shù)，它是連續(xù)可導(dǎo)的。例如, 可令 SKIPIF 1 0 , (15.5)則 SKIPIF 1 0 .定義輸出誤差為 SKIPIF 1 0 (15.6)將以上誤差定義式代入至輸出層，有 SKIPIF 1 0 (15.7)進(jìn)一步展開(kāi)至隱層，有 SKIPIF 1 0 (15.8)從式(15.7) (15.8)可以看出，誤差 SKIPIF 1 0 是各層權(quán)值 SKIPIF 1 0 的函數(shù)。調(diào)整權(quán)值可使誤差 SKIPIF 1 0 不斷減小，因此，因使權(quán)值的調(diào)整量與誤差的梯度下降成正比，即 SKIPIF 1 0 (15.9) SKIPIF

18、1 0 (15.10)式中，負(fù)號(hào)表示梯度下降，常數(shù) SKIPIF 1 0 在訓(xùn)練中表示學(xué)習(xí)速率，一般取 SKIPIF 1 0 .根據(jù)式(15.9)(15.10), 可對(duì)連接權(quán)值進(jìn)行調(diào)整。下面進(jìn)行對(duì)連接權(quán)調(diào)整的理論推導(dǎo),在以下推導(dǎo)過(guò)程中, 我們有： SKIPIF 1 0 . 由(15.9)(15.10)得, SKIPIF 1 0 (15.11) SKIPIF 1 0 (15.12)對(duì)于輸出層和隱層，分別定義一個(gè)誤差信號(hào)，記為 SKIPIF 1 0 , SKIPIF 1 0 (15.13)由(15.2)和(15.13)，則（15.11）可寫(xiě)為： SKIPIF 1 0 （15.14)由（15.4）和

19、（15.13），則（15.12）可寫(xiě)為： SKIPIF 1 0 (15.15)由(15.14)(15.15)可知, 為調(diào)整連接值, 只需求出誤差信號(hào) SKIPIF 1 0 ， SKIPIF 1 0 .事實(shí)上,它們可展開(kāi)為： SKIPIF 1 0 (15.16) SKIPIF 1 0 (15.17)又由(15.6)(15.7)可得： SKIPIF 1 0 (15.18) SKIPIF 1 0 (15.19)將(15.18)(15.19)分別代入(15.16)、(15.17), 并利用(15.5), 得： SKIPIF 1 0 (15.20) SKIPIF 1 0 (15.21)至此, 我們得到了

20、兩個(gè)誤差信號(hào)的計(jì)算公式, 將它們代入到(15.14)(15.15), 就得到了BP算法連接權(quán)的值調(diào)整計(jì)算公式： SKIPIF 1 0 , (15.22a) SKIPIF 1 0 . (15.22b)2. BP算法程序?qū)崿F(xiàn)（1）連接權(quán)初始化對(duì)權(quán)值矩陣 SKIPIF 1 0 賦隨機(jī)數(shù)，將樣本模式計(jì)數(shù)器P和訓(xùn)練次數(shù)計(jì)數(shù)器q置為1，誤差E=0，學(xué)習(xí)率 SKIPIF 1 0 設(shè)為 SKIPIF 1 0 ，網(wǎng)絡(luò)訓(xùn)練后達(dá)到的精度 SKIPIF 1 0 .設(shè)為一個(gè)小的正數(shù)（0.001）.（2）輸入訓(xùn)練樣本對(duì)，計(jì)算各層輸出用當(dāng)前樣本 SKIPIF 1 0 對(duì)向量組 SKIPIF 1 0 賦值，用下式計(jì)算 SKI

21、PIF 1 0 中各分量：輸出層： SKIPIF 1 0 隱層： SKIPIF 1 0 式中， SKIPIF 1 0 （3）計(jì)算網(wǎng)絡(luò)輸出誤差假設(shè)共有P對(duì)訓(xùn)練樣本, 總輸出誤差為 SKIPIF 1 0 ,其中 SKIPIF 1 0 .（4）計(jì)算各層誤差信號(hào)： SKIPIF 1 0 ， SKIPIF 1 0 （5）調(diào)整各層權(quán)值應(yīng)用（15.22a），（15.22b），計(jì)算W，V中各分量。（6）檢查是否對(duì)所有樣本完成一次輪訓(xùn)若 SKIPIF 1 0 ，計(jì)數(shù)器 SKIPIF 1 0 各增加1，返回步驟(2)，否則轉(zhuǎn)步（7）。（7）檢查網(wǎng)絡(luò)總誤差 SKIPIF 1 0 是否達(dá)到精度要求，若 SKIPIF

22、1 0 ，訓(xùn)練結(jié)束。15.2.2 Hopfield網(wǎng)絡(luò)算法與實(shí)現(xiàn)Hopfield網(wǎng)絡(luò)是單層對(duì)稱(chēng)全反饋網(wǎng)絡(luò)，根據(jù)激活函數(shù)選取的不同，可分為離散型和連續(xù)性兩種。根據(jù)神經(jīng)網(wǎng)絡(luò)運(yùn)行過(guò)程中的信息流向，可分為前饋式和反饋式兩種基本類(lèi)型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無(wú)關(guān)。一般地, 神經(jīng)元信息的傳遞需要對(duì)神經(jīng)元進(jìn)行刺激，這就是信息的輸入，這部分是由樹(shù)突完成的，當(dāng)然對(duì)于不同的神經(jīng)元而言輸入信息的種類(lèi)不同。信息輸入的形式是以局部電流的形式，但由于每一個(gè)生物神經(jīng)元的始段與任意一個(gè)神經(jīng)元的突觸距離是不同的，所以要考慮在總和之前乘以不同的權(quán)值。而在始段的電位類(lèi)似于感覺(jué)神經(jīng)元的性質(zhì)，只是

23、此處的輸入可以視作為電流在始段處加權(quán)后電流的總和。信息的輸出結(jié)果則是由各突觸在始段的電位大小與此神經(jīng)元的閾值大小的關(guān)系決定的。如果神經(jīng)元的輸出只取1和0這兩個(gè)值，那么該網(wǎng)絡(luò)稱(chēng)為離散Hopfield神經(jīng)網(wǎng)絡(luò)。在離散Hopfield網(wǎng)絡(luò)中，所采用的神經(jīng)元都是二值神經(jīng)元。因此，所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)?？紤]由三個(gè)神經(jīng)元組成的離散Hopfield神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖156所示。圖156 離散Hopfield神經(jīng)網(wǎng)絡(luò)圖在圖156中，第0層僅僅是作為網(wǎng)絡(luò)的輸入，它不是實(shí)際神經(jīng)元，所以無(wú)計(jì)算功能；而第一層是實(shí)際神經(jīng)元，故而執(zhí)行對(duì)輸入信息與權(quán)系數(shù)乘積求累加和，并由非線性函數(shù)f處理后

24、產(chǎn)生輸出信息。f是一個(gè)簡(jiǎn)單的閾值函效，如果神經(jīng)元的輸出信息大于閾值，那么，神經(jīng)元的輸出就取值為1；小于閾值，則神經(jīng)元的輸出就取值為0。在Hopfield網(wǎng)絡(luò)中，信息的傳遞由輸入、聯(lián)結(jié)權(quán)、網(wǎng)絡(luò)輸入以及輸出構(gòu)成。Hopfield神經(jīng)網(wǎng)絡(luò)由單層全互聯(lián)的神經(jīng)元組成，神經(jīng)元沒(méi)有自連接，即 SKIPIF 1 0 ；神經(jīng)元與神經(jīng)元之間的連接是對(duì)稱(chēng)的，即，故各神經(jīng)元之間的權(quán)向量： SKIPIF 1 0 .當(dāng)用Hopfield網(wǎng)絡(luò)作為相聯(lián)存儲(chǔ)器時(shí)，設(shè)有個(gè)樣本向量 SKIPIF 1 0 、 SKIPIF 1 0 、 SKIPIF 1 0 、 SKIPIF 1 0 要存入Hopfield神經(jīng)網(wǎng)絡(luò)中，則以及第個(gè)神經(jīng)元

25、與第個(gè)神經(jīng)元之間相連的權(quán)值 SKIPIF 1 0 為：, SKIPIF 1 0 即當(dāng) SKIPIF 1 0 在 SKIPIF 1 0 時(shí)等于0，則說(shuō)明一個(gè)神經(jīng)元的輸出并不會(huì)反饋到它自己的輸入；這時(shí)，離散的HopfieId網(wǎng)絡(luò)稱(chēng)為無(wú)自反饋網(wǎng)絡(luò); 當(dāng) SKIPIF 1 0 在 SKIPIF 1 0 時(shí)不等于0，則說(shuō)明個(gè)神經(jīng)元的輸出會(huì)反饋到它自己的輸入；這時(shí)，離散的Hopfield網(wǎng)絡(luò)稱(chēng)為有自反饋的網(wǎng)絡(luò)。離散HopfieId網(wǎng)絡(luò)二值輸出為： SKIPIF 1 0 ，且 SKIPIF 1 0 .連續(xù)Hopfield網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)相同。這種拓?fù)浣Y(jié)構(gòu)和生物的神經(jīng)系統(tǒng)中大量存

26、在的神經(jīng)反饋回路是相一致的。在連續(xù)Hopfield網(wǎng)絡(luò)中，其穩(wěn)定條件也要求 SKIPIF 1 0 ，這和離散Hopfield網(wǎng)絡(luò)一致. 連續(xù)Hopfield網(wǎng)絡(luò)和離散Hopfield網(wǎng)絡(luò)不同的地方在于其輸入不是脈沖函數(shù)，而是連續(xù)的S型函數(shù)。連續(xù)Hopfield網(wǎng)絡(luò)要求在時(shí)間上是連續(xù)的所以，網(wǎng)絡(luò)中各神經(jīng)元是處于同步工作狀態(tài)。對(duì)于一個(gè)神經(jīng)細(xì)胞，即神經(jīng)元 SKIPIF 1 0 ，設(shè)其內(nèi)部膜電位狀態(tài)用 SKIPIF 1 0 表示, 細(xì)胞膜輸入電容為 SKIPIF 1 0 ，細(xì)胞膜的傳遞電阻為 SKIPIF 1 0 ，輸出電壓為 SKIPIF 1 0 ，外部輸入電流用 SKIPIF 1 0 表示，則連續(xù)

27、Hopfield網(wǎng)絡(luò)可用圖157所示的電路表示。圖157連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)圖網(wǎng)絡(luò)輸出為 SKIPIF 1 0 其動(dòng)力學(xué)方程為 SKIPIF 1 0 其中 SKIPIF 1 0 為輸出電位, SKIPIF 1 0 為輸入電位。由此可用一般式表示, 即 SKIPIF 1 0 .評(píng)價(jià)此模型的重要指標(biāo)為能量函數(shù)，其表示如下： SKIPIF 1 0 其中 SKIPIF 1 0 -網(wǎng)絡(luò)的一致性測(cè)度； SKIPIF 1 0 -神經(jīng)元的輸入和輸出的一致性測(cè)度； SKIPIF 1 0 -神經(jīng)元自身的穩(wěn)定性的測(cè)度。對(duì)于離散型Hopfield神經(jīng)網(wǎng)絡(luò), 其能量函數(shù)的計(jì)算公式為其中 SKIPIF 1 0 表

28、示第 SKIPIF 1 0 個(gè)神經(jīng)元的網(wǎng)絡(luò)輸出。對(duì)于連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò), 其能量函數(shù)的計(jì)算公式為比較以上兩個(gè)能量函數(shù), 不難發(fā)現(xiàn)無(wú)論網(wǎng)絡(luò)屬于哪種類(lèi)型，均有 SKIPIF 1 0 .因此, 當(dāng)網(wǎng)絡(luò)神經(jīng)元的傳遞函數(shù)是S函數(shù)，且網(wǎng)絡(luò)權(quán)系數(shù)矩陣對(duì)稱(chēng)時(shí), 則網(wǎng)絡(luò)的能量會(huì)隨時(shí)間的增加而下降或保持不變；而且只有當(dāng)輸出電位隨時(shí)間變化不變時(shí)網(wǎng)絡(luò)的能量才會(huì)不變。簡(jiǎn)而言之，在上述條件下, 網(wǎng)絡(luò)的能量是不變或下降的。程序?qū)崿F(xiàn)Matlab的人工神經(jīng)網(wǎng)絡(luò)工具箱描述了圖形用戶接口, 運(yùn)算法則和體系結(jié)構(gòu)，并且解釋了工具箱為了使用模塊化網(wǎng)絡(luò)對(duì)象描述而增強(qiáng)的機(jī)動(dòng)性。1.BP網(wǎng)絡(luò)的主要函數(shù)數(shù)據(jù)歸一化mapminmax;

29、 mapstd; 創(chuàng)建BP網(wǎng)絡(luò)newff;初始化init;仿真 sim;訓(xùn)練算法trainlm（速度快，需存儲(chǔ)空間大）;學(xué)習(xí)規(guī)則learngdm; 網(wǎng)絡(luò)訓(xùn)練train.2. Hopfield網(wǎng)絡(luò)的主要函數(shù)飽和線性傳遞函數(shù)satlin;對(duì)稱(chēng)飽和線性傳遞函數(shù)satlins;生成一個(gè)Hopfield回歸網(wǎng)絡(luò)newhop;更新NNT 2.0 Hopfield回歸網(wǎng)絡(luò)nnt2hop.15.3人工神經(jīng)網(wǎng)的應(yīng)用人工神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)多年的發(fā)展，應(yīng)用研究也取得了突破性進(jìn)展，范圍正在不斷擴(kuò)大，其應(yīng)用領(lǐng)域幾乎包括各個(gè)方面。半個(gè)世紀(jì)以來(lái)，這門(mén)學(xué)科的理論和技術(shù)基礎(chǔ)已達(dá)到了一定規(guī)模，就應(yīng)用的技術(shù)領(lǐng)域而言有計(jì)算機(jī)視覺(jué)，語(yǔ)言的識(shí)

30、別、理解與合成，優(yōu)化計(jì)算，智能控制及復(fù)雜系統(tǒng)分析，模式識(shí)別，神經(jīng)計(jì)算機(jī)研制，知識(shí)推理專(zhuān)家系統(tǒng)與人工智能。涉及的學(xué)科有神經(jīng)生理學(xué)、認(rèn)識(shí)科學(xué)、數(shù)理科學(xué)、心理學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)、光學(xué)、動(dòng)力學(xué)、生物電子學(xué)等。人工神經(jīng)網(wǎng)絡(luò)具有的獨(dú)特結(jié)構(gòu)和信息處理能力，使得它具有廣泛的應(yīng)用領(lǐng)域和潛在的應(yīng)用領(lǐng)域. 1.模式識(shí)別神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)許多的模式預(yù)處理和模式識(shí)別. 所謂模式，一般指文字、符號(hào)、圖形、圖像、聲音等. 模式預(yù)處理就是對(duì)模式進(jìn)行壓縮、增強(qiáng)、去噪、特征提取、以及各種變換等, 就是通過(guò)某種預(yù)處理接收一種形式的信息，然后應(yīng)用某種方法把他們轉(zhuǎn)換成更多的、想要的、可用的形式的信息. 模式識(shí)別就是對(duì)輸入

31、模式映射到某些特定類(lèi)別，從而加以識(shí)別分類(lèi)。2.信號(hào)處理神經(jīng)網(wǎng)絡(luò)被廣泛地應(yīng)用于信號(hào)處理領(lǐng)域, 主要包括: 信號(hào)變換與分解, 自適應(yīng)均衡與干擾對(duì)消, 信號(hào)檢測(cè)與估計(jì), 圖像處理, 陣列信號(hào)處理, 譜估計(jì), 小波變換, 等.3.自動(dòng)控制神經(jīng)網(wǎng)絡(luò)在自動(dòng)控制方面的應(yīng)用很多, 例如: Window提出的LMS算法就是應(yīng)用于自動(dòng)控制的一個(gè)典型代表, 前饋神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)的應(yīng)用, 機(jī)器人智能控制, 神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí), 模糊神經(jīng)網(wǎng)絡(luò)智能控制(如控制洗衣機(jī)的整個(gè)洗衣過(guò)程), 等.4.其它應(yīng)用隨著神經(jīng)網(wǎng)絡(luò)理論研究和計(jì)算能力的不斷深入，神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域不斷擴(kuò)展，應(yīng)用水平不斷提高. 目前, 人們也將神經(jīng)網(wǎng)絡(luò)用

32、于航空航天事業(yè), 空難事故分析、控制系統(tǒng)、自動(dòng)駕駛, 通信、圖像壓縮、口語(yǔ)實(shí)時(shí)翻譯，娛樂(lè)、游戲、下棋，等。15.4 建模案例及分析本節(jié)我們建立基于Matlab平臺(tái)的BP神經(jīng)網(wǎng)絡(luò)模型，研究2011年全國(guó)數(shù)學(xué)建模A題(城市表層土壤重金屬污染分析)的污染的預(yù)測(cè)問(wèn)題.問(wèn)題的提出 我們首先給出2011年全國(guó)數(shù)學(xué)建模A題關(guān)于“城市表層土壤重金屬污染分析”的問(wèn)題：隨著城市經(jīng)濟(jì)的快速發(fā)展和城市人口的不斷增加，人類(lèi)活動(dòng)對(duì)城市環(huán)境質(zhì)量的影響日顯突出。對(duì)城市土壤地質(zhì)環(huán)境異常的查證，以及如何應(yīng)用查證獲得的海量數(shù)據(jù)資料開(kāi)展城市環(huán)境質(zhì)量評(píng)價(jià)，研究人類(lèi)活動(dòng)影響下城市地質(zhì)環(huán)境的演變模式，日益成為人們關(guān)注的焦點(diǎn)。按照功能劃分，

33、城區(qū)一般可分為生活區(qū)、工業(yè)區(qū)、山區(qū)、主干道路區(qū)及公園綠地區(qū)等，分別記為1類(lèi)區(qū)、2類(lèi)區(qū)、5類(lèi)區(qū)，不同的區(qū)域環(huán)境受人類(lèi)活動(dòng)影響的程度不同?，F(xiàn)對(duì)某城市城區(qū)土壤地質(zhì)環(huán)境進(jìn)行調(diào)查。為此，將所考察的城區(qū)劃分為間距1公里左右的網(wǎng)格子區(qū)域，按照每平方公里1個(gè)采樣點(diǎn)對(duì)表層土（010厘米深度）進(jìn)行取樣、編號(hào)，并用GPS記錄采樣點(diǎn)的位置。應(yīng)用專(zhuān)門(mén)儀器測(cè)試分析，獲得了每個(gè)樣本所含的多種化學(xué)元素的濃度數(shù)據(jù)。另一方面，按照2公里的間距在那些遠(yuǎn)離人群及工業(yè)活動(dòng)的自然區(qū)取樣，將其作為該城區(qū)表層土壤中元素的背景值。另外, 該題目還有三個(gè)附件, 其中附件1列出了采樣點(diǎn)的位置、海拔高度及其所屬功能區(qū)等信息，附件2列出了8種主要重金

34、屬元素在采樣點(diǎn)處的濃度，附件3列出了8種主要重金屬元素的背景值。下面我們運(yùn)用BP神經(jīng)網(wǎng)絡(luò), 預(yù)測(cè)重金屬污染物對(duì)環(huán)境的影響情況.問(wèn)題的分析由于定性分析重金屬污染物的傳播特征需要較強(qiáng)的專(zhuān)業(yè)知識(shí)背景，而所給數(shù)據(jù)的變量不多（變量?jī)H坐標(biāo)、高度與功能區(qū)），統(tǒng)計(jì)學(xué)方法又不足以完全揭示變量與污染物傳播特征的關(guān)系。一方面，人工神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的自組織、自適應(yīng)與自學(xué)習(xí)能力，能夠在未完全了解重金屬污染物傳播機(jī)理的情況下，完成自變量、變量間與重金屬污染物濃度之間的非線性映射；另一方面，將重金屬污染傳播過(guò)程看作網(wǎng)絡(luò)輸入與輸出的一類(lèi)非線性映射,但是僅通過(guò)網(wǎng)絡(luò)的輸入輸出數(shù)據(jù)難以準(zhǔn)確尋找重金屬污染物濃度的極值（即污染源），而

35、遺傳算法具有全局的非線性尋優(yōu)能力。綜合上述考慮，我們建立神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)重金屬污染的數(shù)學(xué)模型。污染傳播的BP神經(jīng)網(wǎng)絡(luò)模型1數(shù)據(jù)預(yù)處理題目附件中所給的原始數(shù)據(jù)共計(jì)319組，顯然不能滿足神經(jīng)網(wǎng)絡(luò)的訓(xùn)練要求，因此，我們從問(wèn)題一中插值過(guò)后的60501組數(shù)據(jù)中隨機(jī)選擇10000組數(shù)據(jù)。前9900組作為BP網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集，后100組數(shù)據(jù)作為BP網(wǎng)絡(luò)的檢驗(yàn)數(shù)據(jù)集。數(shù)據(jù)歸一化可以方便后面數(shù)據(jù)的處理，并保證程序運(yùn)行時(shí)收斂加快。我們將數(shù)據(jù)集按公式(15.21)進(jìn)行歸一化處理： SKIPIF 1 0 , (15.21)其中 SKIPIF 1 0 , SKIPIF 1 0 表示需要?dú)w一化的數(shù)據(jù), SKIPIF 1 0

36、分別為需要?dú)w一化的數(shù)據(jù)集的最大值, 最小值.Matlab工具箱中函數(shù)“mapminmax”可以實(shí)現(xiàn)了數(shù)據(jù)的歸一化任務(wù)。命令為inputn,inputps=mapminmax(input_train)；其中，inputn為歸一化后的數(shù)據(jù)集，inputps為原始數(shù)據(jù)集信息，input_train為原始數(shù)據(jù)集。2. 建立BP網(wǎng)絡(luò) 在這里，我們建立3N1的BP網(wǎng)絡(luò)結(jié)構(gòu)，其中，3表示輸入項(xiàng)（分別為坐標(biāo) SKIPIF 1 0 ，坐標(biāo) SKIPIF 1 0 ，高度 SKIPIF 1 0 ）；N為隱藏層神經(jīng)元個(gè)數(shù)；1表示輸出項(xiàng)（重金屬污染物濃度）。網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖15-8所示。圖15-8 BP網(wǎng)絡(luò)結(jié)構(gòu)圖隱藏層激活函數(shù)選擇雙曲正切S形函數(shù)，即 SKIPIF 1 0 ；輸出層激活函數(shù)采用簡(jiǎn)單的線性函數(shù)： SKIPIF 1 0 .隱藏層神經(jīng)元個(gè)數(shù)對(duì)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度有顯著的影響，節(jié)點(diǎn)數(shù)太少, 網(wǎng)絡(luò)不能很好地學(xué)習(xí), 需要增加訓(xùn)練次數(shù), 訓(xùn)練的精度也受影響；節(jié)點(diǎn)數(shù)太多, 訓(xùn)練時(shí)間增加, 網(wǎng)絡(luò)容易過(guò)擬合。人工神經(jīng)網(wǎng)絡(luò)隱層神經(jīng)元數(shù)目的確定方法還沒(méi)有一個(gè)完善的理論指導(dǎo)，通常是在實(shí)際操作中根據(jù)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)者經(jīng)驗(yàn)和估計(jì)確定，例如： SKIPIF 1 0 ( SKIPIF 1 0 , SKIPIF 1 0 )式中, SKIPIF 1 0 為輸入層節(jié)點(diǎn)數(shù); SK