人工智能ArtificialIntelligence計(jì)算智能（二）ComputationalIntelligence

Agenda神經(jīng)網(wǎng)絡(luò)概述感知機(jī)前饋神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)隨機(jī)神經(jīng)網(wǎng)絡(luò)遺傳算法人工生命

Hopfield網(wǎng)絡(luò)（1）反饋神經(jīng)網(wǎng)絡(luò)是得到最充分研究和應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一。Hopfield為這一網(wǎng)絡(luò)引入了一種穩(wěn)定過程，即提出了人工神經(jīng)網(wǎng)絡(luò)能量函數(shù)的概念，使網(wǎng)絡(luò)的運(yùn)行穩(wěn)定性判斷有了可靠而簡便的依據(jù)。Hopfield網(wǎng)絡(luò)在聯(lián)想存取及優(yōu)化計(jì)算等領(lǐng)域得到了成功的應(yīng)用，拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍.Hopfield網(wǎng)絡(luò)（2）Hopfield網(wǎng)絡(luò)主要有下面的特點(diǎn):網(wǎng)絡(luò)是一個全連網(wǎng)絡(luò),即網(wǎng)絡(luò)中任意兩個單元之間都有連線,而且這種連接是對稱的,即wij=wji.網(wǎng)絡(luò)有兩種類型：離散和連續(xù)。離散是說單元是二值的，它們的激活是用（1，-1）或（1，0）表示。而在連續(xù)的網(wǎng)絡(luò)中，單元的激活是連續(xù)的，它們可以取0到1之間的任一實(shí)數(shù)值Hopfield網(wǎng)絡(luò)（3）Hopfield網(wǎng)絡(luò)的基本結(jié)構(gòu)如下，N1,N2,┅，Nn表示網(wǎng)絡(luò)的n個神經(jīng)元，其轉(zhuǎn)移特性函數(shù)為?(x)，?(x)，┅,?(x),門限值為1，2，┅n

。對于離散型Hopfield網(wǎng)絡(luò)，各結(jié)點(diǎn)一般選相同的轉(zhuǎn)移特性函數(shù)，且為符號函數(shù)，即有?(x)=?(x)=┅=?(x)=sign(x)這里假定：各結(jié)點(diǎn)門限值相等，且等于0。令：x=(x1,x2,┅,xn)T,x{-1,+1}n為網(wǎng)絡(luò)的輸入y=(y1,y2,┅,yn)T,y{-1,+1}n為網(wǎng)絡(luò)的輸出v(t)=(v1(t),v2(t),┅vn(t))T,v(t){-1，+1}n為網(wǎng)絡(luò)在時刻t的狀態(tài)，其中：對離散網(wǎng)絡(luò)，t{0,1,2,┅}為離散時間變量；Wij為從Ni到Nj的連接權(quán)值Hopfield網(wǎng)絡(luò)（4）Hopfield網(wǎng)絡(luò)（5）網(wǎng)絡(luò)的吸引子。設(shè)t=0時對網(wǎng)絡(luò)輸入模式x，網(wǎng)絡(luò)處于狀態(tài)v(0),而在時刻t，網(wǎng)絡(luò)到達(dá)狀態(tài)v(t)。若v(t)穩(wěn)定，則稱v(t)為網(wǎng)絡(luò)的穩(wěn)定吸引子。在非穩(wěn)定吸引子的情況，若網(wǎng)絡(luò)狀態(tài)有規(guī)律的在某些狀態(tài)之間振蕩，則稱網(wǎng)絡(luò)處于有限環(huán)（limitedcircle）狀態(tài)。若網(wǎng)絡(luò)無規(guī)律的在某些狀態(tài)之間振蕩，則稱網(wǎng)絡(luò)處于混沌（chaos）狀態(tài)。吸引子的吸引域。對于某些特定的初始狀態(tài)，網(wǎng)絡(luò)按一定的運(yùn)行規(guī)則最后可能穩(wěn)定在同一吸引子上。稱能夠穩(wěn)定在吸引子v(t)的所有初始狀態(tài)集合為的吸引域v(t).Hopfield網(wǎng)絡(luò)（6）網(wǎng)絡(luò)運(yùn)行的收斂性：Hopfield網(wǎng)絡(luò)（7）網(wǎng)絡(luò)學(xué)習(xí)規(guī)則：聯(lián)想記憶的編碼方法是實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶的基礎(chǔ),人們對此進(jìn)行了大量的研究，主要的方法有：基于Hebb規(guī)則的編碼：方法簡單并且方便于理論上研究網(wǎng)絡(luò)的記憶容量和網(wǎng)絡(luò)記憶模式的容錯性能,但是它并不能保證使所有需要記憶的模式都成為網(wǎng)絡(luò)的穩(wěn)定點(diǎn);基于偽逆規(guī)則的編碼：運(yùn)算量大,同時又不能保證所獲得的矩陣滿足對稱性以及對角元為0的限制,這樣在記憶模式有誤差的情況下并不能保證網(wǎng)絡(luò)的收斂性Hopfield網(wǎng)絡(luò)（8）網(wǎng)絡(luò)學(xué)習(xí)規(guī)則：限制條件(i)主要保證網(wǎng)絡(luò)在輸入有誤差的情況下仍能正確回憶所記模式,而條件(ii)則是為了使預(yù)先給定的模式成為網(wǎng)絡(luò)的不動點(diǎn).若網(wǎng)絡(luò)無規(guī)律的在某些狀態(tài)之間振蕩，則稱網(wǎng)絡(luò)處于混沌（chaos）狀態(tài)。Hopfield網(wǎng)絡(luò)（7）由網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)造網(wǎng)絡(luò)，讓其運(yùn)行，則穩(wěn)定狀態(tài)在一定條件下就是問題的解Hopfield網(wǎng)絡(luò)（3）基于Hebb規(guī)則的編碼：方法簡單并且方便于理論上研究網(wǎng)絡(luò)的記憶容量和網(wǎng)絡(luò)記憶模式的容錯性能,但是它并不能保證使所有需要記憶的模式都成為網(wǎng)絡(luò)的穩(wěn)定點(diǎn);當(dāng)網(wǎng)絡(luò)溫度時，玻爾茲曼機(jī)神經(jīng)元退化為離散的Hopfield模型神經(jīng)元。Hopfield網(wǎng)絡(luò)的應(yīng)用：Hopfield網(wǎng)已成功地用于多個領(lǐng)域，應(yīng)用方式主要有兩種：聯(lián)想存取和優(yōu)化計(jì)算。Hopfield網(wǎng)絡(luò)的基本結(jié)構(gòu)如下，N1,N2,┅，Nn表示網(wǎng)絡(luò)的n個神經(jīng)元，其轉(zhuǎn)移特性函數(shù)為?(x)，?(x)，┅,?(x),門限值為1，2，┅n。若v(t)穩(wěn)定，則稱v(t)為網(wǎng)絡(luò)的穩(wěn)定吸引子。ComputationalIntelligence模擬退火算法（SimulatedAnnealing）但是，隨著溫度T的降低，物體處于高能狀態(tài)的可能性就逐漸減少，最后當(dāng)溫度下降到充分低時，物體建一概率1穩(wěn)定在低能狀態(tài)。但是，隨著溫度T的降低，物體處于高能狀態(tài)的可能性就逐漸減少，最后當(dāng)溫度下降到充分低時，物體建一概率1穩(wěn)定在低能狀態(tài)。盡管兩種網(wǎng)絡(luò)的學(xué)習(xí)方法都屬于有指導(dǎo)學(xué)習(xí)的范疇，但BP方法是利用反方向誤差傳播來時輸出誤差沿梯度方向下降，而玻爾茲曼機(jī)借助于統(tǒng)計(jì)物學(xué)的方法，采用模擬退火過程來模擬外界環(huán)境。令：x=(x1,x2,┅,xn)T,x{-1,+1}n為網(wǎng)絡(luò)的輸入Hopfield網(wǎng)絡(luò)（5）Hopfield網(wǎng)絡(luò)（1）Hopfield網(wǎng)絡(luò)（9）Hebb學(xué)習(xí)規(guī)則：

Hopfield網(wǎng)絡(luò)（10）離散Hopfield網(wǎng)學(xué)習(xí)算法：

Hopfield網(wǎng)絡(luò)（11）Hopfield網(wǎng)絡(luò)的應(yīng)用：Hopfield網(wǎng)已成功地用于多個領(lǐng)域，應(yīng)用方式主要有兩種：聯(lián)想存取和優(yōu)化計(jì)算。不同應(yīng)用的基本思想可以歸納如下：對于特定的問題，選擇一種合適的表示方法，使得神經(jīng)網(wǎng)絡(luò)得輸出與問題得解對應(yīng)起來構(gòu)造神經(jīng)網(wǎng)絡(luò)的能量函數(shù)，使其最小值對應(yīng)于問題的最佳解由能量函數(shù)反推出神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)由網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)造網(wǎng)絡(luò)，讓其運(yùn)行，則穩(wěn)定狀態(tài)在一定條件下就是問題的解Agenda神經(jīng)網(wǎng)絡(luò)概述感知機(jī)前饋神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)隨機(jī)神經(jīng)網(wǎng)絡(luò)遺傳算法人工生命

隨機(jī)神經(jīng)網(wǎng)絡(luò)前面討論的兩種網(wǎng)絡(luò)都為確定性的網(wǎng)絡(luò)，組成它們的神經(jīng)元均為確定性的，即給定神經(jīng)元的輸入其輸出就是確定的，但在生物神經(jīng)元中由于有各種各樣的干擾這實(shí)際上是很難實(shí)現(xiàn)的。同時人工神經(jīng)元的硬件實(shí)現(xiàn)也會有各種擾動，從而帶來某些不確定性，因此討論隨機(jī)神經(jīng)元顯得必要且必需。模擬退火算法（SimulatedAnnealing）玻爾茲曼機(jī)（BoltzmannMachine，BM）模擬退火算法（1）模擬退火算法：基本思想是把某類優(yōu)化問題的求解過程與統(tǒng)計(jì)熱力學(xué)中的熱平衡問題進(jìn)行對比，試圖通過模擬高溫物體退火過程的方法，來找到優(yōu)化問題的全局最優(yōu)或近似全局最優(yōu)解。一個物體（例如金屬）的退火過程大體上是這樣的：首先對該物體加熱（熔化），那么物體內(nèi)的原子就可高速自由運(yùn)行，處于較高的能量狀態(tài)。但是作為一個實(shí)際的物理系統(tǒng)，原子的運(yùn)行總是最低的能態(tài)。一開始溫度較高時，高溫使系統(tǒng)具有較高的內(nèi)能，而隨著溫度的下降，原子越來越趨向于低能態(tài)，最后整個物體形成最低能量的基態(tài)模擬退火算法（2）當(dāng)溫度T很高時，概率分布對一定范圍內(nèi)的能量E并沒有顯著差異，即物體處于高能狀態(tài)域低能狀態(tài)的可能性相差不大。但是，隨著溫度T的降低，物體處于高能狀態(tài)的可能性就逐漸減少，最后當(dāng)溫度下降到充分低時，物體建一概率1穩(wěn)定在低能狀態(tài)。模擬退火算法（3）模擬退火算法（1）模擬退火算法（4）模擬退火算法（2）模擬退火算法（5）以上模擬退火的實(shí)現(xiàn)過程中有三個基本的因素應(yīng)該注意。怎樣按照某種概率過程產(chǎn)生新的搜索狀態(tài)，而向該狀態(tài)的轉(zhuǎn)移應(yīng)該不受能量曲面的限制。根據(jù)當(dāng)前溫度及新狀態(tài)與原狀態(tài)在能量曲面的相應(yīng)位置，怎樣確立形狀態(tài)的接見標(biāo)準(zhǔn)。怎樣選擇初始溫度及怎樣更新溫度，確立溫度的下降過程。以上三點(diǎn)影響模擬退火的收斂速度，且影響退火結(jié)束以后多大的概率時狀態(tài)穩(wěn)定在全局最小點(diǎn)。玻爾茲曼機(jī)（1）玻爾茲曼機(jī)（2）當(dāng)網(wǎng)絡(luò)溫度時，玻爾茲曼機(jī)神經(jīng)元退化為離散的Hopfield模型神經(jīng)元。BM網(wǎng)絡(luò)也有同步和異步運(yùn)行方式，對于異步串行的BM網(wǎng)絡(luò)，由于它的于運(yùn)行過程等價于相應(yīng)狀態(tài)能量函數(shù)的模擬退火過程，所以如果溫度下降足夠慢，網(wǎng)絡(luò)最終將收斂能量函數(shù)的最小值，則也正是BM網(wǎng)絡(luò)可用于組合優(yōu)化問題原理。對于全并行的網(wǎng)絡(luò)已經(jīng)證明它可能不收斂，即使是網(wǎng)絡(luò)溫度趨于0。如果是部分并行不要太高，則網(wǎng)絡(luò)的大多數(shù)都收斂，如果網(wǎng)絡(luò)溫度趨于0怎樣選擇初始溫度及怎樣更新溫度，確立溫度的下降過程。當(dāng)網(wǎng)絡(luò)溫度時，玻爾茲曼機(jī)神經(jīng)元退化為離散的Hopfield模型神經(jīng)元。一開始溫度較高時，高溫使系統(tǒng)具有較高的內(nèi)能，而隨著溫度的下降，原子越來越趨向于低能態(tài)，最后整個物體形成最低能量的基態(tài)以上三點(diǎn)影響模擬退火的收斂速度，且影響退火結(jié)束以后多大的概率時狀態(tài)穩(wěn)定在全局最小點(diǎn)。設(shè)t=0時對網(wǎng)絡(luò)輸入模式x，網(wǎng)絡(luò)處于狀態(tài)v(0),而在時刻t，網(wǎng)絡(luò)到達(dá)狀態(tài)v(t)。Hopfield網(wǎng)絡(luò)的應(yīng)用：Hopfield網(wǎng)已成功地用于多個領(lǐng)域，應(yīng)用方式主要有兩種：聯(lián)想存取和優(yōu)化計(jì)算。前面討論的兩種網(wǎng)絡(luò)都為確定性的網(wǎng)絡(luò)，組成它們的神經(jīng)元均為確定性的，即給定神經(jīng)元的輸入其輸出就是確定的，但在生物神經(jīng)元中由于有各種各樣的干擾這實(shí)際上是很難實(shí)現(xiàn)的。Hopfield網(wǎng)絡(luò)（9）但是，隨著溫度T的降低，物體處于高能狀態(tài)的可能性就逐漸減少，最后當(dāng)溫度下降到充分低時，物體建一概率1穩(wěn)定在低能狀態(tài)。網(wǎng)絡(luò)是一個全連網(wǎng)絡(luò),即網(wǎng)絡(luò)中任意兩個單元之間都有連線,而且這種連接是對稱的,即wij=wji.Hopfield網(wǎng)絡(luò)（6）Hopfield網(wǎng)絡(luò)的基本結(jié)構(gòu)如下，N1,N2,┅，Nn表示網(wǎng)絡(luò)的n個神經(jīng)元，其轉(zhuǎn)移特性函數(shù)為?(x)，?(x)，┅,?(x),門限值為1，2，┅n。同時人工神經(jīng)元的硬件實(shí)現(xiàn)也會有各種擾動，從而帶來某些不確定性，因此討論隨機(jī)神經(jīng)元顯得必要且必需。玻爾茲曼機(jī)（3）玻爾茲曼機(jī)拓?fù)浣Y(jié)構(gòu)與一般二層前饋網(wǎng)絡(luò)相似，其運(yùn)行過程也與BP感知器類似。兩種網(wǎng)絡(luò)的主要區(qū)別實(shí)在學(xué)習(xí)過程上。盡管兩種網(wǎng)絡(luò)的學(xué)習(xí)方法都屬于有指導(dǎo)學(xué)習(xí)的范疇，但BP方法是利用反方向誤差傳播來時輸出誤差沿梯度方向下降，而玻爾茲曼機(jī)借助于統(tǒng)計(jì)物學(xué)的方法，采用模擬退火過程來模擬外界環(huán)境。但是玻爾茲曼機(jī)與BP感知器在網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)表示及狀態(tài)轉(zhuǎn)換三點(diǎn)主要的差異。以上三點(diǎn)影響模擬退火的收斂速度，且影響退火結(jié)束以后多大的概率時狀態(tài)穩(wěn)定在全局最小點(diǎn)。Hopfield網(wǎng)絡(luò)（2）Hopfield網(wǎng)絡(luò)（4）這里假定：各結(jié)點(diǎn)門限值相等，且等于0。?(x)=?(x)=┅=?(x)=sign(x)若v(t)穩(wěn)定，則稱v(t)為網(wǎng)絡(luò)的穩(wěn)定吸引子。反饋神經(jīng)網(wǎng)絡(luò)是得到最充分研究和應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一。Hopfield網(wǎng)絡(luò)的應(yīng)用：Hopfield網(wǎng)已成功地用于多個領(lǐng)域，應(yīng)用方式主要有兩種：聯(lián)想存取和優(yōu)化計(jì)算。Hopfield網(wǎng)絡(luò)（1）模擬退火算法（SimulatedAnnealing）Hopfield網(wǎng)絡(luò)在聯(lián)想存取及優(yōu)化計(jì)算等領(lǐng)域得到了成功的應(yīng)用，拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍.由能量函數(shù)反推出神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模擬退火算法（SimulatedAnnealing）Hopfield網(wǎng)絡(luò)的應(yīng)用：