第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

本章簡單地介紹生物神經(jīng)元、神經(jīng)元模型、人工神經(jīng)網(wǎng)絡(luò)模型及其學(xué)習(xí)算法。第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.1生物神經(jīng)元模型§2.2人工神經(jīng)元模型§2.3網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型§2.4人工神經(jīng)網(wǎng)絡(luò)模型§2.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)§2.6小結(jié)2第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.1生物神經(jīng)元模型神經(jīng)元是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單元。據(jù)統(tǒng)計大腦大約包含個神經(jīng)元，每個神經(jīng)元于大約個其他的神經(jīng)元相連接，構(gòu)成一個極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)元網(wǎng)絡(luò)。生物神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱，按照外部的刺激信號做自適應(yīng)變化，而每個神經(jīng)元又隨著所接受的的多個激勵信號的綜合結(jié)果呈現(xiàn)出興奮與抑制狀態(tài)。大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部刺激信息做自適應(yīng)變化的過程，大腦處理星系的結(jié)果有個圣經(jīng)元狀態(tài)的整體效果確定。3第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元基本結(jié)構(gòu)細(xì)胞體（Cellbody）樹突(Dendrite)軸突（Axon）突觸（Synapse）每一個神經(jīng)元都通過突觸與其他神經(jīng)元聯(lián)系，突觸的“連接強(qiáng)度”可隨系統(tǒng)受到訓(xùn)練的強(qiáng)度而改變。生物神經(jīng)元結(jié)構(gòu)4第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元功能興奮與抑制傳入神經(jīng)元的沖動經(jīng)整和后使細(xì)胞膜電位升高，超過動作電位的閾值時即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末梢傳出。傳入神經(jīng)元的沖動經(jīng)整和后使細(xì)胞膜電位降低，低于閾值時即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。學(xué)習(xí)與遺忘由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)與減弱，因此神經(jīng)元具有學(xué)習(xí)和遺忘的功能。

返回5第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.2人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過程以反應(yīng)人腦某些特性的計算結(jié)構(gòu)。它不是人腦神經(jīng)系統(tǒng)的真實描寫，只是特的某種抽象、簡化和模擬。人工神經(jīng)元是對生物圣經(jīng)元的一種形式化描述，他對生物神經(jīng)元的信息處理過程進(jìn)行抽象，應(yīng)用數(shù)序語言予以描述，對生物神經(jīng)元的結(jié)構(gòu)與功能進(jìn)行模擬，并用模型圖予以表達(dá)。6第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1943年，McCulloch-Pitts(麥克洛奇－皮茲)根據(jù)生物神經(jīng)元的動作原理提出了神經(jīng)元模型，即M-P模型，經(jīng)過不斷改進(jìn)，形成目前廣泛應(yīng)用的形式神經(jīng)元模型。對于神經(jīng)元的處理機(jī)制，該模型在簡化的基礎(chǔ)上提出以下6點(diǎn)假設(shè)進(jìn)行描述：1.每個神經(jīng)元都是一個多輸入單輸出的信息處理單元2.突觸分興奮性和抑制性兩種類型3.神經(jīng)元具有空間整合特性和閾值特性4.神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸的延遲5.忽略時間整合作用和不應(yīng)期6.神經(jīng)元本身是非時變的，即其突觸時延和突觸強(qiáng)度均為常數(shù)7第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。下圖顯示了一種簡化的人工神經(jīng)元結(jié)構(gòu)。它是一個多輸入、單輸出的非線性元件。人工神經(jīng)元結(jié)構(gòu)模型8第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)元輸入輸出關(guān)系可描述為其中xj(j=1,2,…,n)是從其它神經(jīng)元傳來的輸入信號

wji表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值

θi

為閾值

f(?)稱為激發(fā)函數(shù)或作用函數(shù)(2-1)

有時為了方便起見，常把看成是恒等于1的輸入x0的權(quán)值，這時式(2-1)的和式可寫成9第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)輸出激發(fā)函數(shù)f(·)又稱為變換函數(shù)，它決定神經(jīng)元(節(jié)點(diǎn))的輸出。該輸出為1或0，取決于其輸入之和大于或小于內(nèi)部閾值。函數(shù)一般具有非線性特征。下面幾個圖表示了幾種常見的激發(fā)函數(shù)。

(1)閾值函數(shù)(見圖(a),(b))

當(dāng)yi取0或1時，f(x)為圖(a)所示的階躍函數(shù)：10第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)當(dāng)yi取-1或1時，f(x)為圖(b)所示的sgn函數(shù)：

(2)飽和型函數(shù)(見圖(c))

11第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(4)雙曲函數(shù)(見圖(d))(5)S型函數(shù)(見圖(e))

神經(jīng)元的狀態(tài)與輸入作用之間的關(guān)系是在(0,1)內(nèi)連續(xù)取值的單調(diào)可微函數(shù)，稱為Sigmoid函數(shù)，簡稱S型函數(shù)。當(dāng)趨于無窮時，S型曲線趨于階躍函數(shù)，通常情況下，取值為1。12第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(6)高斯型函數(shù)(見圖(f))

在徑向基函數(shù)構(gòu)成的神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的結(jié)構(gòu)可用高斯函數(shù)描述如下：

返回13第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.3網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型層次型結(jié)構(gòu)互聯(lián)型結(jié)構(gòu)網(wǎng)絡(luò)的學(xué)習(xí)算法將在今后的小節(jié)中介紹。14第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的連接模式層內(nèi)連接本層內(nèi)部神經(jīng)元之間的連接，可用來加強(qiáng)層內(nèi)神經(jīng)元之間的競爭。循環(huán)連接指神經(jīng)元到自身的連接。用于不斷增強(qiáng)自身的激活值，使本次的輸出與上次的輸出相關(guān)。層間連接指不同層之間的連接。這種連接用來實現(xiàn)信號傳遞?？梢允乔跋虻囊部梢允欠聪虻?。

返回15第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.4人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元，可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。就神經(jīng)網(wǎng)絡(luò)的主要連接形式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。16第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(1)前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)。如下圖所示，神經(jīng)元分層排列，有輸入層、隱層(亦稱中間層，可有若干層)和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。17第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)目前，大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、誤差反向傳播(BP)網(wǎng)絡(luò)等。18第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

(2)反饋型神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示。若總節(jié)點(diǎn)（神經(jīng)元）數(shù)為N，則每個節(jié)點(diǎn)有N個輸入和一個輸出，即所有節(jié)點(diǎn)都是一樣的，它們之間都可相互連接。19第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。

返回20第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)§2.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)最有吸引力的特點(diǎn)就是它的學(xué)習(xí)能力。學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特征的主要指標(biāo)，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)的能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程。所謂訓(xùn)練，就是在將由樣本向量構(gòu)成的樣本集合輸入到人工神經(jīng)網(wǎng)路的過程中，按照一定方式去調(diào)整神經(jīng)元之間的連接權(quán)。使網(wǎng)絡(luò)能將樣本集的內(nèi)涵以連接權(quán)矩陣的方式存儲起來，從而使網(wǎng)絡(luò)在數(shù)據(jù)輸入時可以給出適當(dāng)?shù)妮敵觥?1第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師信號來分類，可分為有教師學(xué)習(xí)、無教師學(xué)習(xí)和再勵學(xué)習(xí)等幾大類。在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。22第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)有教師學(xué)習(xí)有教師學(xué)習(xí)，也稱有監(jiān)督學(xué)習(xí)，假設(shè)教師和神經(jīng)網(wǎng)絡(luò)同時要對從周圍環(huán)境中抽取出來的訓(xùn)練向量（即例子）做出判斷，教師可以根據(jù)自身掌握的一些知識為神經(jīng)網(wǎng)絡(luò)提供期望響應(yīng)。期望響應(yīng)一般都代表著神經(jīng)網(wǎng)絡(luò)完成的最優(yōu)動作。神經(jīng)網(wǎng)絡(luò)的參數(shù)可以在訓(xùn)練向量和誤差信號的綜合影響下進(jìn)行調(diào)整。誤差信號可以定義為神經(jīng)網(wǎng)絡(luò)實際響應(yīng)與預(yù)期響應(yīng)之差。這種調(diào)整可以逐步而又反復(fù)地進(jìn)行，其最終目的就是要讓神經(jīng)網(wǎng)絡(luò)模擬教師信號。23第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)有教師學(xué)習(xí)24第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)利用這種手段，教師對環(huán)境掌握的知識就可以通過訓(xùn)練最大限度的傳授給神經(jīng)網(wǎng)絡(luò)。當(dāng)條件成熟時，就可以將教師信號排除在外，讓網(wǎng)絡(luò)完全自主地應(yīng)對環(huán)境?？梢圆捎糜?xùn)練樣本的平方誤差作為性能測試標(biāo)準(zhǔn)，它可以定義為系統(tǒng)的一個帶自由參數(shù)的函數(shù)，該函數(shù)可以看作一個多維誤差-性能曲面，簡稱誤差曲面。后面將要討論的Delta學(xué)習(xí)算法屬于有教師學(xué)習(xí)。它是一種閉環(huán)反饋系統(tǒng)，但未知的環(huán)境不包含在循環(huán)中。25第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)實際誤差曲面是所有可能的輸入輸出的平均。有教師學(xué)習(xí)系統(tǒng)能夠處理有用信息，根據(jù)系統(tǒng)當(dāng)前的行為計算出誤差曲面的梯度。誤差曲面上任何一點(diǎn)的梯度指的是指向最速下降方向的向量。給定一個設(shè)計好的算法來使代價函數(shù)最小，而且有足夠的輸入-輸出數(shù)據(jù)集，那么有教師學(xué)習(xí)往往可以很好地完成諸如模式分類、函數(shù)逼近等任務(wù)。

26第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)無教師學(xué)習(xí)在無教師學(xué)習(xí)范例中，沒有教師監(jiān)視學(xué)習(xí)過程，即神經(jīng)網(wǎng)絡(luò)沒有任何例子可以學(xué)習(xí)。無教師學(xué)習(xí)又可分為兩類：自組織學(xué)習(xí)無監(jiān)督競爭學(xué)習(xí)27第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)無教師學(xué)習(xí)28第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(1)自組織學(xué)習(xí)即網(wǎng)絡(luò)的學(xué)習(xí)過程完全是一種自我學(xué)習(xí)的過程，不存在外部教師的示教，也不存在來自外部環(huán)境的反饋指示網(wǎng)絡(luò)應(yīng)該輸出什么或者是否正確。自組織學(xué)習(xí)過程中，網(wǎng)絡(luò)根據(jù)某種規(guī)則反復(fù)地調(diào)整連接權(quán)以響應(yīng)輸入模式的激勵，直到網(wǎng)絡(luò)最后形成某種有序狀態(tài)。也就是說，自組織學(xué)習(xí)是靠神經(jīng)元本身對輸入模式的不斷適應(yīng)，抽取輸入信號的規(guī)律(如統(tǒng)計規(guī)律)。一旦網(wǎng)絡(luò)顯現(xiàn)出輸入數(shù)據(jù)的統(tǒng)計特征，則網(wǎng)絡(luò)就實現(xiàn)了對輸入特征的編碼，即把輸入特征“記憶”下來。而且在記憶之后，當(dāng)它再出現(xiàn)時，能把它識別出來。29第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

自組織學(xué)習(xí)能對網(wǎng)絡(luò)的學(xué)習(xí)過程進(jìn)行度量，并優(yōu)化其中的自由參數(shù)?？梢哉J(rèn)為，這種學(xué)習(xí)的評價準(zhǔn)則隱含于網(wǎng)絡(luò)內(nèi)部。神經(jīng)網(wǎng)絡(luò)的這種自組織特性來源于其結(jié)構(gòu)的可塑性。(1)自組織學(xué)習(xí)30第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(2)無監(jiān)督競爭學(xué)習(xí)在無監(jiān)督競爭學(xué)習(xí)系統(tǒng)中，沒有外部的教師或則評價來監(jiān)督學(xué)習(xí)的過程。要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且自由參數(shù)將根據(jù)這個度量來逐步優(yōu)化。為了完成無監(jiān)督競爭學(xué)習(xí)規(guī)則，神經(jīng)網(wǎng)絡(luò)包括兩層：輸入層和競爭層。輸入層接受有用的數(shù)據(jù)。競爭層由相互競爭的神經(jīng)元組成，采用“勝者全得”的策略，具有最大總輸入的神經(jīng)元的輸出置1，贏得競爭而被激活，其它神經(jīng)元置0，連接權(quán)的調(diào)整僅在獲勝神經(jīng)元與輸入之間進(jìn)行，其他皆不變。31第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)再勵學(xué)習(xí)把學(xué)習(xí)看作試探評價（獎或懲）過程，學(xué)習(xí)機(jī)選擇一個動作（輸出）作用于環(huán)境之后，使環(huán)境的狀態(tài)改變，并產(chǎn)生一個再勵信號（獎或懲）反饋至學(xué)習(xí)機(jī)。學(xué)習(xí)機(jī)依據(jù)再勵信號與環(huán)境當(dāng)前的狀態(tài)選擇下一動作作用于環(huán)境，選擇的原則是使受到獎勵的可能性增大。32第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)常用學(xué)習(xí)規(guī)則Hebb規(guī)則Delta規(guī)則（最小均方差規(guī)則）概率式學(xué)習(xí)規(guī)則競爭式學(xué)習(xí)規(guī)則梯度下降規(guī)則Kohonen(克豪南)學(xué)習(xí)規(guī)則逆誤差傳播規(guī)則33第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(1)Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)方法1949年生物學(xué)家D.O.Hebbian基于對生物學(xué)和心理學(xué)的研究，提出了學(xué)習(xí)行為的突觸聯(lián)系和神經(jīng)群理論。認(rèn)為突觸前與突觸后二者同時興奮，即兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)算法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)34第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)Hebb學(xué)習(xí)規(guī)則權(quán)向量的調(diào)整公式為權(quán)值的調(diào)整量與輸入輸出的乘積成正比。經(jīng)常出現(xiàn)的模式對權(quán)向量有最大的影響。為此，Hebb學(xué)習(xí)規(guī)則需預(yù)先設(shè)定權(quán)飽和值，以防止輸入和輸出正負(fù)始終一致時出現(xiàn)權(quán)值無限制增長。學(xué)習(xí)信號簡單的等于神經(jīng)元的輸出35第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)Hebb學(xué)習(xí)過程框圖36第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(2)Delta規(guī)則（最小均方差規(guī)則）由美國Standford大學(xué)的Windrow教授于60年代提出常用的規(guī)則之一改變單元間的連接權(quán)重來減小系統(tǒng)實際輸出與期望輸出之間的誤差，也稱為最小方差規(guī)則適用于自適應(yīng)信號處理、非線性系統(tǒng)控制、線性系統(tǒng)辨識等37第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)其中，dp代表期望的輸出(教師信號)yp=f(WXp)網(wǎng)絡(luò)的實際輸出

W是網(wǎng)絡(luò)的所有權(quán)值組成的向量：假設(shè)誤差準(zhǔn)則函數(shù)為：Xp為輸入模式：訓(xùn)練樣本數(shù)38第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)現(xiàn)在的問題是如何調(diào)整權(quán)值W

，使準(zhǔn)則函數(shù)最小?？捎锰荻认陆捣▉砬蠼?，其基本思想是沿著E的負(fù)梯度方向不斷修正W值，直到E達(dá)到最小，這種方法的數(shù)學(xué)表達(dá)式為其中39第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)用表示,則有W的修正規(guī)則為上式稱為學(xué)習(xí)規(guī)則，又稱誤差修正規(guī)則。40第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)定義誤差傳播函數(shù)為

規(guī)則實現(xiàn)了E中的梯度下降，因此使誤差函數(shù)達(dá)到最小值。但學(xué)習(xí)規(guī)則只適用于線性可分函數(shù)，無法用于多層網(wǎng)絡(luò)。誤差反向傳播(BackPropagation,簡寫為BP)

網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在規(guī)則基礎(chǔ)上發(fā)展起來的，可在多層網(wǎng)絡(luò)上有效地學(xué)習(xí)。41第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)概率式學(xué)習(xí)的典型代表是Boltzmann機(jī)學(xué)習(xí)規(guī)則。它是基于模擬退火的統(tǒng)計優(yōu)化方法，因此又稱模擬退火算法Boltzmann機(jī)模型是一個包括輸入、輸出和隱層的多層網(wǎng)絡(luò)，但隱層間存在互聯(lián)結(jié)構(gòu)且網(wǎng)絡(luò)層次不明顯由于模擬退火過程要求高溫使系統(tǒng)達(dá)到平衡狀態(tài)，而冷卻（即退火）過程又必須緩慢地進(jìn)行，否則容易造成局部最小，所以這種學(xué)習(xí)規(guī)律的算法收斂速度較慢。(3)概率式學(xué)習(xí)規(guī)則42第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

Boltzmann機(jī)的訓(xùn)練過程，就是根據(jù)規(guī)則：對神經(jīng)元i，j

間的連接權(quán)值進(jìn)行調(diào)整的過程。式中，為學(xué)習(xí)速率

pij表示網(wǎng)絡(luò)受到學(xué)習(xí)樣本的約束且系統(tǒng)達(dá)到平衡狀態(tài)時第i個和第j個神經(jīng)元同時為1的概率表示系統(tǒng)為自由運(yùn)轉(zhuǎn)狀態(tài)且達(dá)到平衡狀態(tài)時第i個和第j個神經(jīng)元同時為1的概率43第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)調(diào)整權(quán)值的原則是：當(dāng)時，則權(quán)值增加，否則減少權(quán)值。這種權(quán)值調(diào)整公式稱為Boltzmann機(jī)學(xué)習(xí)規(guī)則，即

當(dāng)小于一定值時，學(xué)習(xí)結(jié)束。44第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)競爭學(xué)習(xí)屬于無教師學(xué)習(xí)方式。這種學(xué)習(xí)方式利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)接，以及同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性聯(lián)接，而距離較遠(yuǎn)的神經(jīng)元產(chǎn)生抑制性聯(lián)接。在這種聯(lián)接機(jī)制中引入競爭機(jī)制的學(xué)習(xí)方式稱為競爭式學(xué)習(xí)。它的本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次的神經(jīng)元對低層次神經(jīng)元的輸入模式進(jìn)行競爭識別。(4)競爭式學(xué)習(xí)規(guī)則45第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)競爭式學(xué)習(xí)的思想來源于人腦的自組織能力。大腦能夠及時地調(diào)整自身結(jié)構(gòu)，自動地向環(huán)境學(xué)習(xí)，完成所需執(zhí)行的功能而并不需要教師訓(xùn)練。競爭式神經(jīng)網(wǎng)絡(luò)亦是如此，所以又把這一