神經(jīng)網(wǎng)絡(luò)及其基礎(chǔ)算法應(yīng)用人工智能技術(shù)應(yīng)用導(dǎo)論010203神經(jīng)網(wǎng)絡(luò)簡介前饋型神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)目錄04卷積神經(jīng)網(wǎng)絡(luò)01神經(jīng)網(wǎng)絡(luò)簡介PARTONE神經(jīng)網(wǎng)絡(luò)簡介生物神經(jīng)元由細(xì)胞體、樹突、軸突和突觸（Synapse，又稱神經(jīng)鍵）組成。樹突起感受作用，接收來自其他神經(jīng)元的傳遞信號。軸突只有一條，軸突給其他多個神經(jīng)元傳遞信息，這個連接的位置叫做“突觸”。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元模型人工神經(jīng)元模型是一個模擬生物神經(jīng)元，包含輸入，輸出與計算功能的模型。輸入可以類比為生物神經(jīng)元的樹突，而輸出可以類比為生物神經(jīng)元的突觸，計算則可以類比為生物神經(jīng)元的細(xì)胞體。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元模型一個典型的人工神經(jīng)元模型：+1代表偏移值（偏置項(xiàng),BiasUnits）；X1,X2,...Xn代表初始特征；W0,W1,W2,...，Wn代表權(quán)重（Weight），即特征的縮放倍數(shù)；特征經(jīng)過縮放和偏移后全部累加起來，此后還要經(jīng)過一次激活運(yùn)算然后再輸出。圖中的箭頭線稱為“連接”，每個“連接”上有一個“權(quán)值”。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元模型如判斷某個同學(xué)某門課是否合格（二分類問題），要根據(jù)該同學(xué)的平時、期中及期末成績綜合評定。假如該門課平時成績90分，期中成績75分，期末成績85分，如果總評成績的構(gòu)成是：總成績=平時*20%+期中*30%+期末*50%的話，那么x1=90,w1=0.2；x2=75,w2=0.3；x3=85,w3=0.5；則：總評成績=x1*w1+x2*w2+x3*w3=90*0.2+75*0.3+85*0.5=83；然后把總評成績83交給激活函數(shù)判定，如果規(guī)定高于60分為合格，那么激活函數(shù)則判定該名同學(xué)成績合格。偏置項(xiàng)可以理解為此次試卷太難，老師決定給每位同學(xué)送5分。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元模型人工神經(jīng)元相當(dāng)于一個多輸入單輸出的非線性閾值器件。如果輸入信號的加權(quán)和超過閾值，則人工神經(jīng)元被激活。閾值一般不是一個常數(shù)，它隨著神經(jīng)元的興奮程度而變化。神經(jīng)元的計算過程稱為激活（Activation），是指一個神經(jīng)元讀入特征，執(zhí)行計算，并產(chǎn)生輸出的過程。激活函數(shù)（ActivationFunction）一般是非線性函數(shù)，用于為人工神經(jīng)元網(wǎng)絡(luò)模型加入非線性變換特征，使其能夠處理復(fù)雜的非線性分類任務(wù)。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元的特點(diǎn)：神經(jīng)元是一多輸入、單輸出元件；具有非線性的輸入、輸出特性；具有可塑性，其塑性變化的部分主要是權(quán)值的變化；神經(jīng)元的輸出響應(yīng)是各個輸入值的綜合作用結(jié)果；輸入分為興奮型（正值）和抑制型（負(fù)值）兩種。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元網(wǎng)絡(luò)人工神經(jīng)元網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），簡稱人工神經(jīng)網(wǎng)絡(luò)或神經(jīng)網(wǎng)絡(luò)，它從信息處理角度通過對人腦神經(jīng)元及其網(wǎng)絡(luò)進(jìn)行模擬、簡化和抽象，按照不同的連接方式組成不同的網(wǎng)絡(luò)，建立某種運(yùn)算模型。神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式，輸出則依據(jù)神經(jīng)元的連接方式、權(quán)重值和激活函數(shù)的不同而不同。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元網(wǎng)絡(luò)一個經(jīng)典的神經(jīng)網(wǎng)絡(luò)：最左邊的層稱為輸入層（InputLayer），對應(yīng)樣本特征；最右邊的層稱為輸出層（OutputLayer），對應(yīng)輸出結(jié)果；中間層是零到多層的隱藏層（HiddenLayer,也稱為隱層），負(fù)責(zé)模型的計算。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元網(wǎng)絡(luò)一個經(jīng)典的神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元網(wǎng)絡(luò)輸入層節(jié)點(diǎn)（神經(jīng)元）接受外部世界的信號或數(shù)據(jù)，對應(yīng)樣本的特征輸入，每一個節(jié)點(diǎn)表示樣本的特征向量x中的一個特征變量或特征項(xiàng)；輸出層節(jié)點(diǎn)對應(yīng)樣本的預(yù)測輸出，每一個節(jié)點(diǎn)表示樣本在不同類別下的預(yù)測概率，實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱藏層節(jié)點(diǎn)處在輸入層和輸出層單元之間，是不能由系統(tǒng)外部觀察的單元，其對應(yīng)中間的激活計算，稱為隱藏單元（HiddenUnit）。在神經(jīng)網(wǎng)絡(luò)中，隱藏單元的作用可以理解為對輸入層的特征進(jìn)行變換，并將其層層傳遞到輸出層進(jìn)行結(jié)果預(yù)測。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元網(wǎng)絡(luò)一個神經(jīng)網(wǎng)絡(luò)的搭建，需要滿足三個條件：輸入和輸出，權(quán)重和閾值，及多層網(wǎng)絡(luò)結(jié)構(gòu)。其中，最困難的部分就是確定權(quán)重和閾值。但現(xiàn)實(shí)中，可以采用試錯法來確定權(quán)重和閾值。其具體方法是保持其他參數(shù)不變，輕微地改變權(quán)值（或閾值）的值，然后觀察輸出有什么變化；不斷重復(fù)這個過程，直至得到對應(yīng)最精確輸出的那組權(quán)重和閾值。這個過程稱為模型的訓(xùn)練（Training）。因此，神經(jīng)網(wǎng)絡(luò)的運(yùn)作過程如下：確定輸入和輸出；找到一種或多種算法，可以從輸入得到輸出；采用一組已知答案的數(shù)據(jù)集，用來訓(xùn)練模型，估算權(quán)重和閾值；一旦新的數(shù)據(jù)產(chǎn)生，輸入模型，就可以得到結(jié)果，同時對權(quán)重和閾值進(jìn)行校正。神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)元網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)按照不同的方式可以進(jìn)行如下分類：按性能分：連續(xù)型和離散型網(wǎng)絡(luò)，或確定型和隨機(jī)型網(wǎng)絡(luò)；按學(xué)習(xí)方法分：有監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)、半監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)和無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)；按拓?fù)浣Y(jié)構(gòu)分：前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)的主要優(yōu)點(diǎn)是它們能夠處理復(fù)雜的非線性問題，并且能發(fā)現(xiàn)不同輸入間的依賴關(guān)系。神經(jīng)網(wǎng)絡(luò)也允許增量式訓(xùn)練，并且通常不要求大量空間來存儲訓(xùn)練模型，因?yàn)樗鼈冃枰４娴膬H僅是一組代表突觸權(quán)重的數(shù)字而已。同時，也沒有必要保留訓(xùn)練后的原始數(shù)據(jù)，這意味著，可以將神經(jīng)網(wǎng)絡(luò)用于不斷有訓(xùn)練數(shù)據(jù)出現(xiàn)的應(yīng)用之中。神經(jīng)網(wǎng)絡(luò)的主要缺點(diǎn)在于它是一種黑盒方法。在現(xiàn)實(shí)中，一個網(wǎng)絡(luò)也許會有幾百甚至幾千萬個節(jié)點(diǎn)，很難確知網(wǎng)絡(luò)是如何得到最終答案的。無法確知推導(dǎo)過程對于某些應(yīng)用而言也許是一個很大的障礙。另一個缺點(diǎn)是，在訓(xùn)練數(shù)據(jù)量的大小及與問題相適應(yīng)的神經(jīng)網(wǎng)絡(luò)規(guī)模方面，沒有明確的規(guī)則可以遵循，最終的決定往往需要依據(jù)大量的試驗(yàn)。神經(jīng)網(wǎng)絡(luò)簡介感知器算法及應(yīng)用示例1958年計算科學(xué)家FrankRosenblatt發(fā)布了“感知器”（Perceptron）?！案兄鳌敝塾谑褂脝蝹€神經(jīng)元、單層網(wǎng)絡(luò)進(jìn)行有監(jiān)督學(xué)習(xí)，并且輸入數(shù)據(jù)線性可分，用來解決and和or的問題，但不適用于非線性輸入模式的分類。神經(jīng)網(wǎng)絡(luò)簡介感知器算法及應(yīng)用示例此模型中Rosenblatt引用權(quán)重W1、W2、...、Wn表示相應(yīng)輸入對于輸出重要性的實(shí)數(shù)（權(quán)重）。神經(jīng)元的輸出為0或者1。使用階躍函數(shù)來作為感知器的激活函數(shù)。一個感知器由以下幾部分組成：輸入權(quán)值：一個感知器可以接收多個輸入(x1,x2,...,xn∣xi∈R)，每個輸入上有一個權(quán)值wi∈R，此外還有一個偏置項(xiàng)b∈R，就是上圖中的w0。激活函數(shù)：感知器的激活函數(shù)可以有很多選擇，在此列中選擇階躍函數(shù)來作為激活函數(shù)f。f(z)=1，當(dāng)z大于0；f(z)=0，當(dāng)z等于或小于0。輸出：感知器的輸出由y=f(w?x+b)決定。神經(jīng)網(wǎng)絡(luò)簡介對于感知器輸出公式：

公式6-3令w1=0.5、w2=0.5、b=?0.8，而激活函數(shù)f(z)使用階躍函數(shù)，這時，感知器就相當(dāng)于and函數(shù)。輸入邏輯與真值表的第一行，即x1、x2都為0，那么根據(jù)公式6-3計算輸出：自行驗(yàn)證邏輯與真值表的第二、三、四行。同樣，令w1=0.5、w2=0.5、b=?0.3時，感知器就相當(dāng)于or函數(shù)。輸入邏輯或真值表的第二行，即x1=1、x2=0，那么根據(jù)公式6-3：自行驗(yàn)證邏輯或真值表的第一、三、四行。神經(jīng)網(wǎng)絡(luò)簡介使感知器自行獲得正確的權(quán)重項(xiàng)和偏置項(xiàng)的值？訓(xùn)練！將權(quán)重項(xiàng)和偏置項(xiàng)初始化為0，然后，利用下面的感知器規(guī)則迭代的修改wi和b，直到訓(xùn)練完成。

公式6-4其中:

公式6-5wi是與輸入對應(yīng)xi的權(quán)重項(xiàng)，b是偏置項(xiàng)。事實(shí)上，可以把b看作是值永遠(yuǎn)為1的輸入所對應(yīng)的權(quán)重w0。t是訓(xùn)練樣本的實(shí)際值，一般稱之為label。而y是感知器的輸出值。η是一個稱為學(xué)習(xí)速率的常數(shù)，其作用是控制每一步調(diào)整權(quán)的幅度。神經(jīng)網(wǎng)絡(luò)簡介示列:感知器邏輯算法and和or的Python實(shí)現(xiàn)。在該代碼中，首先建立一個感知器模型，包括初始化感知器及定義激活函數(shù)，然后分別定義預(yù)測、訓(xùn)練、迭代、更新權(quán)重及偏置、打印信息的方法。當(dāng)輸入訓(xùn)練數(shù)據(jù)及對應(yīng)的特征后，模型把每對輸入向量及對應(yīng)的特征迭代一遍，并更新權(quán)重及偏置，直到所有訓(xùn)練數(shù)據(jù)處理完畢，這樣模型就找到了and和or的合適的權(quán)重和偏置值，然后使用測試數(shù)據(jù)來測試結(jié)果。請注意，在實(shí)現(xiàn)and和or的功能時，感知器模型并沒有改變，只是改變了訓(xùn)練數(shù)據(jù)的特征向量。代碼6-1:ch6_1_perception_and_or.py(參見教程209頁）神經(jīng)網(wǎng)絡(luò)簡介【運(yùn)行結(jié)果】weights :[0.1,0.2]bias :-0.2000001and1=10and0=01and0=00and1=0weights :[0.1,0.1]bias :0.0000001or1=10or0=01or0=10or1=1Processfinishedwithexitcode002前饋型神經(jīng)網(wǎng)絡(luò)PARTTWO前饋型神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)模型前饋神經(jīng)網(wǎng)絡(luò)（Feed-ForwardNeuralNetwork,FFNN），簡稱前饋網(wǎng)絡(luò)。在前饋型神經(jīng)網(wǎng)絡(luò)中，采用一種單向多層結(jié)構(gòu)，其中每一層包含若干個神經(jīng)元，同一層的神經(jīng)元之間沒有互相連接，層間信息的傳送只沿一個方向進(jìn)行。各神經(jīng)元從輸入層開始，接收前一級輸入，并輸出到下一級，直至輸出層。整個網(wǎng)絡(luò)中無反饋，可用一個有向無環(huán)圖表示。前饋神經(jīng)網(wǎng)絡(luò)第一層稱為輸入層，最后一層為輸出層，中間為一到多層的隱藏層。前饋型神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)模型前饋網(wǎng)絡(luò)具有復(fù)雜的非線性映射能力。輸出僅僅由當(dāng)前輸入和權(quán)值矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無關(guān),均不考慮輸出與輸入之間在時間上的滯后性，而只表達(dá)兩者之間的映射關(guān)系。前饋神經(jīng)網(wǎng)絡(luò)分為單層（單計算層）前饋神經(jīng)網(wǎng)絡(luò)和多層（多計算層）前饋神經(jīng)網(wǎng)絡(luò)。前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，應(yīng)用廣泛，能夠以任意精度逼近任意連續(xù)函數(shù)及平方可積函數(shù)，而且可以精確實(shí)現(xiàn)任意有限訓(xùn)練樣本集。從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一種靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。前饋型神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)模型常見前饋神經(jīng)網(wǎng)絡(luò)有：感知器網(wǎng)絡(luò)：用于模式分類，可分為單層感知器網(wǎng)絡(luò)和多層感知器網(wǎng)絡(luò)。BP網(wǎng)絡(luò)：指權(quán)重調(diào)整采用了誤差反向傳播（BackPropagation，BP）學(xué)習(xí)算法的前饋網(wǎng)絡(luò)。采用了S形函數(shù)（Sigmoid）可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。RBF網(wǎng)絡(luò)：指隱藏層神經(jīng)元由RBF神經(jīng)元組成的前饋網(wǎng)絡(luò)。RBF神經(jīng)元是指神經(jīng)元的變換函數(shù)為RBF（RadialBasisFunction，徑向基函數(shù)）的神經(jīng)元。前饋型神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)模型

BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)：前饋型神經(jīng)網(wǎng)絡(luò)基本BP算法包括信號的正向傳播和誤差反傳兩個過程。計算誤差輸出時按從輸入到輸出的方向進(jìn)行，調(diào)整權(quán)值和閾值時則從輸出到輸入的方向進(jìn)行。正向傳播時，輸入信號通過隱層作用于輸出節(jié)點(diǎn)，經(jīng)過非線性變換，產(chǎn)生輸出信號，若實(shí)際輸出與期望輸出不相符，則轉(zhuǎn)入誤差的反向傳播過程。誤差反傳是將輸出誤差通過隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層所有單元，以從各層獲得的誤差信號作為調(diào)整各單元權(quán)值的依據(jù)。通過調(diào)整輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)的聯(lián)接強(qiáng)度和隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的聯(lián)接強(qiáng)度以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對應(yīng)的網(wǎng)絡(luò)參數(shù)(權(quán)值和閾值)，訓(xùn)練即告停止。此時經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)即能對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。前饋型神經(jīng)網(wǎng)絡(luò)反向傳播神經(jīng)網(wǎng)絡(luò)算法規(guī)則BP算法是一種有監(jiān)督式的學(xué)習(xí)算法：輸入學(xué)習(xí)樣本，使用反向傳播算法對網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)的調(diào)整訓(xùn)練，使輸出的向量與期望向量盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。輸入層神經(jīng)元的個數(shù)由樣本屬性的維度決定，輸出層神經(jīng)元的個數(shù)由樣本分類個數(shù)決定。隱藏層的層數(shù)和每層的神經(jīng)元個數(shù)由用戶指定。神經(jīng)元數(shù)太少時，網(wǎng)絡(luò)不能很好的學(xué)習(xí)，訓(xùn)練迭代的次數(shù)也比較多，訓(xùn)練精

度也不高。神經(jīng)元數(shù)太多時，網(wǎng)絡(luò)的功能變得強(qiáng)大，精確度也更高，但訓(xùn)練迭代的次數(shù)

也大，可能會出現(xiàn)過擬合(OverFitting)現(xiàn)象。前饋型神經(jīng)網(wǎng)絡(luò)隱層神經(jīng)元個數(shù)的選取原則是：在能夠解決問題的前提下，再加上一兩個神經(jīng)元，以加快誤差下降速度即可。算法基本流程：前饋型神經(jīng)網(wǎng)絡(luò)反向傳播神經(jīng)網(wǎng)絡(luò)應(yīng)用示例BP神經(jīng)網(wǎng)絡(luò)可以用作分類、聚類、預(yù)測等。代碼6-2:使用BP神經(jīng)網(wǎng)絡(luò)對由scikit-learn中的函數(shù)產(chǎn)生的200個數(shù)據(jù)進(jìn)行數(shù)據(jù)分類及決策邊界。本示例中使用scikit-learn中make_moons方法生成了兩類數(shù)據(jù)集，分別用空心點(diǎn)和實(shí)心點(diǎn)表示（見圖6.6）。本示例希望通過訓(xùn)練使得機(jī)器學(xué)習(xí)分類器能夠在給定的x軸y軸坐標(biāo)上預(yù)測正確的分類情況。由圖6.6可見，該圖無法用直線把數(shù)據(jù)劃分，可見這些數(shù)據(jù)樣本呈非線性，那么諸如邏輯回歸（LogisticRegression）等這類線性分類器將無法適用于這個案例。前饋型神經(jīng)網(wǎng)絡(luò)圖6.6：Scikit-learn中make_moons方法生成的兩類數(shù)據(jù)集前饋型神經(jīng)網(wǎng)絡(luò)搭建由一個輸入層，一個隱層，一個輸出層組成的三層神經(jīng)網(wǎng)絡(luò)。輸入層中的節(jié)點(diǎn)數(shù)由數(shù)據(jù)的維度來決定，也就是2個。輸出層的節(jié)點(diǎn)數(shù)則是由類的數(shù)量來決定，也是2個。以x，y坐標(biāo)作為輸入，輸出的則是兩種概率，分別是0和1。隱層的維度可選（本例隱層維度為3）（見圖6-7），激活函數(shù)使用tanh，使用學(xué)習(xí)速率固定的批量梯度下降法(迭代20000次)來尋找參數(shù)。前饋型神經(jīng)網(wǎng)絡(luò)代碼6-2:ch6_2_bp_classifier.py（請參見教程216頁）【運(yùn)行結(jié)果】03反饋型神經(jīng)網(wǎng)絡(luò)PARTTHREE反饋型神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)模型反饋神經(jīng)網(wǎng)絡(luò)（FeedbackNeuralNetworks,FBNN）是一種狀態(tài)隨時間變化的系統(tǒng)，每個神經(jīng)元將自身的輸出信號經(jīng)過一步時移，再作為輸入信號反饋給其他神經(jīng)元，這種信息的反饋可以發(fā)生在不同網(wǎng)絡(luò)層的神經(jīng)元之間，也可以只局限于某一層神經(jīng)元上，即輸出不僅與當(dāng)前輸入和網(wǎng)絡(luò)權(quán)值有關(guān)，還和網(wǎng)絡(luò)之前輸入有關(guān)。反饋神經(jīng)網(wǎng)絡(luò)的典型代表是Elman網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)。Elman網(wǎng)絡(luò)主要用于信號檢測和預(yù)測方面，Hopfield網(wǎng)絡(luò)主要用于聯(lián)想記憶、聚類以及優(yōu)化計算等方面。反饋型神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)的典型代表是Elman網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)：Elman網(wǎng)絡(luò)主要用于信號檢測和預(yù)測方面，Hopfield網(wǎng)絡(luò)主要用于聯(lián)想記憶、聚類以及優(yōu)化計算等方面。反饋神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)的比較如下：前饋神經(jīng)網(wǎng)絡(luò)取連續(xù)或離散變量，一般不考慮輸出與輸入在時間上的滯后效應(yīng)，只表達(dá)輸出與輸入的映射關(guān)系。但在Hopfield網(wǎng)絡(luò)中，需考慮輸出與輸入之間在時間上的延遲，因此，因此需要通過微分方程或差分方程描述網(wǎng)絡(luò)的動態(tài)數(shù)學(xué)模型。前饋型網(wǎng)絡(luò)的學(xué)習(xí)主要采用誤差修正法，計算過程一般比較慢，收斂速度也比較慢。而Hopfield網(wǎng)絡(luò)的學(xué)習(xí)主要采用Hebb規(guī)則，一般情況下計算的收斂速度很快。Hopfield網(wǎng)絡(luò)也有類似于前饋型網(wǎng)絡(luò)的應(yīng)用，例如用作聯(lián)想記憶或分類，而在優(yōu)化計算方面的應(yīng)用更加顯示出Hopfield網(wǎng)絡(luò)的特點(diǎn)。反饋型神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)分為離散型(DiscreteHopfieldNeuralNetworkDHNN)和連續(xù)型(ContinuesHopfieldNeuralNetworkCHNN)兩種網(wǎng)絡(luò)模型。DHNN適合于處理輸入為二值邏輯的樣本，主要用于聯(lián)想記憶，使用一組非線性差分方程來描述神經(jīng)網(wǎng)絡(luò)狀態(tài)的演變過程；CHNN適合于處理輸入為模擬量的樣本，主要用于分布存儲，使用一組非線性微分方程來描述神經(jīng)網(wǎng)絡(luò)狀態(tài)的演變過程。Hopfield神經(jīng)網(wǎng)絡(luò)采用了半監(jiān)督學(xué)習(xí)方式，其權(quán)值按照一定的實(shí)現(xiàn)規(guī)則計算出來，網(wǎng)絡(luò)中各個神經(jīng)元的狀態(tài)在運(yùn)行過程中不斷更新，直到網(wǎng)絡(luò)狀態(tài)穩(wěn)定。網(wǎng)絡(luò)狀態(tài)穩(wěn)定時的輸出就是問題的解。反饋型神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，即每個神經(jīng)元的輸出只取1和－1這兩種狀態(tài)（分別表示激活和抑制）。離散Hopfield網(wǎng)絡(luò)是一個單層網(wǎng)絡(luò)，有n個神經(jīng)元節(jié)點(diǎn)，每個神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點(diǎn)沒有自反饋。每個節(jié)點(diǎn)都可處于一種可能的狀態(tài)（1或－1），即當(dāng)該神經(jīng)元所受的刺激超過其閥值θ時，神經(jīng)元就處于一種狀態(tài)（比如1），否則神經(jīng)元就始終處于另一狀態(tài)（比如－1），它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（localminimum），而非全局極?。╣lobalminimum）的情況也可能發(fā)生。反饋型神經(jīng)網(wǎng)絡(luò)DHNN的結(jié)構(gòu)DHNN是一種單層的、其輸入/輸出為二值的反饋網(wǎng)絡(luò)。假設(shè)一個由三個神經(jīng)元組成的離散Hopfield神經(jīng)網(wǎng)絡(luò)：反饋型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法Hopfield網(wǎng)絡(luò)按動力學(xué)方式運(yùn)行，其工作過程為狀態(tài)的演化過程，即從初始狀態(tài)按“能量”減小的方向進(jìn)行演化，直到達(dá)到穩(wěn)定狀態(tài)，穩(wěn)定狀態(tài)即為網(wǎng)絡(luò)的輸出狀態(tài)。串行方式Hopfield網(wǎng)絡(luò)的運(yùn)行步驟：第一步對網(wǎng)絡(luò)進(jìn)行初始化；第二步從網(wǎng)絡(luò)中隨機(jī)選取一個神經(jīng)元i；第三步求出神經(jīng)元i的輸入；第四步求出神經(jīng)元i的輸出，此時網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變；第五步判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件，則結(jié)束；否則轉(zhuǎn)至第二步繼續(xù)運(yùn)行。反饋型神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶功能聯(lián)想記憶功能是離散Hopfield網(wǎng)絡(luò)的一個重要應(yīng)用范圍。用網(wǎng)絡(luò)的穩(wěn)態(tài)表示一種記憶模式，初始狀態(tài)朝著穩(wěn)態(tài)收斂的過程便是網(wǎng)絡(luò)尋找記憶模式的過程，初態(tài)可視為記憶模式的部分信息，網(wǎng)絡(luò)演變可視為從部分信息回憶起全部信息的過程，從而實(shí)現(xiàn)聯(lián)想記憶。實(shí)現(xiàn)聯(lián)想記憶，必須具有兩個基本條件：網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息；具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。實(shí)現(xiàn)聯(lián)想記憶的過程分為兩個階段：學(xué)習(xí)記憶階段，設(shè)計者通過某一設(shè)計方法確定一組合適的權(quán)值，使網(wǎng)絡(luò)記憶期望的穩(wěn)定平衡點(diǎn)。憶階段則是網(wǎng)絡(luò)的工作過程。反饋型神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)兩個突出的特點(diǎn)：即記憶是分布式的，而聯(lián)想是動態(tài)的。離散Hopfield網(wǎng)絡(luò)局限性，主要表現(xiàn)在以下幾點(diǎn)：記憶容量的有限性；偽穩(wěn)定點(diǎn)的聯(lián)想與記憶；當(dāng)記憶樣本較接近時，網(wǎng)絡(luò)不能始終回憶出正確的記憶等。另外網(wǎng)絡(luò)的平衡穩(wěn)定點(diǎn)并不可以任意設(shè)置的，也沒有一個通用的方式來事先知道平衡穩(wěn)定點(diǎn)。利用Hopfield網(wǎng)絡(luò)可實(shí)現(xiàn)優(yōu)化求解問題：將帶求解的目標(biāo)函數(shù)設(shè)置為網(wǎng)絡(luò)能量函數(shù)，當(dāng)能量函數(shù)趨于最小時，網(wǎng)絡(luò)狀態(tài)的輸出就是問題的最優(yōu)解。網(wǎng)絡(luò)的初態(tài)視為問題的初始解，而網(wǎng)絡(luò)從初始狀態(tài)向穩(wěn)態(tài)的收斂過程便是優(yōu)化計算過程，這種尋優(yōu)搜索是在網(wǎng)絡(luò)演變過程中自動完成的。反饋型神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)（ContinuousHopfieldNeuralNetwork,CHNN）是一種單層反饋非線性網(wǎng)絡(luò)，每一個神經(jīng)元的輸出均反饋至所有神經(jīng)元的輸入。CHNN的拓?fù)浣Y(jié)構(gòu)和生物神經(jīng)系統(tǒng)中大量存在的神經(jīng)反饋回路是一致的。Hopfield用模擬電路設(shè)計了一個CHNN的電路模型，如圖所示：反饋型神經(jīng)網(wǎng)絡(luò)對于連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)，Hopfield給出如下穩(wěn)定性定理：當(dāng)Hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元傳遞函數(shù)g是連續(xù)且有界的（如Sigmoid函數(shù)），并且網(wǎng)絡(luò)的權(quán)值系數(shù)矩陣對稱，則這個連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的。CHNN網(wǎng)絡(luò)具有良好的收斂性且具有有限的平衡點(diǎn)，并且能夠漸進(jìn)穩(wěn)定。漸進(jìn)穩(wěn)定的平衡點(diǎn)為其能量函數(shù)的局部極小點(diǎn)。CHNN能將任意一組希望存儲的正交化矢量綜合為網(wǎng)絡(luò)的漸進(jìn)的平衡點(diǎn)。CHNN網(wǎng)絡(luò)存儲表現(xiàn)為神經(jīng)元之間互聯(lián)的分布式動態(tài)存儲。CHNN以大規(guī)模、非線性、連續(xù)時間并行方式處理信息，其計算時間就是網(wǎng)絡(luò)趨于平衡點(diǎn)的時間。反饋型神經(jīng)網(wǎng)絡(luò)示例：用DHNN識別殘缺的字母設(shè)計實(shí)現(xiàn)的一個Hopfield網(wǎng)絡(luò)，使其具有聯(lián)想記憶功能，能正確識別被噪聲污染后的數(shù)字。本例根據(jù)橫切掉一半的數(shù)字殘骸恢復(fù)原來的數(shù)字，該算法根據(jù)Hebb歸一化學(xué)習(xí)原則，并采用了Kronecker積的方法完成了實(shí)現(xiàn)。作者為AlexPan。本例首先使用完整穩(wěn)定的原始數(shù)字‘0’及‘2’對Hopfield網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練結(jié)束后使用橫切掉一半的‘0’及‘2’來驗(yàn)證訓(xùn)練結(jié)果，訓(xùn)練數(shù)字及驗(yàn)證數(shù)字使用一維5*6的bit數(shù)組模擬。反饋型神經(jīng)網(wǎng)絡(luò)示例：用DHNN識別殘缺的字母本例中，首先建立一個Hopfield神經(jīng)網(wǎng)絡(luò)模型，確定神經(jīng)元的個數(shù)及權(quán)重矩陣，同時根據(jù)Hebb學(xué)習(xí)原則，定義了Kronecker積的方法。在定義訓(xùn)練時，首先定義一個一次使用單個穩(wěn)定狀態(tài)并更新權(quán)重矩陣的訓(xùn)練方法trainOnce，然后再定義使用trainOnce方法進(jìn)行全Hopfield網(wǎng)絡(luò)訓(xùn)練的方法hopTrain，最后定義啟動方法hopRun。代碼詳見：ch6_3_hopfield.py反饋型神經(jīng)網(wǎng)絡(luò)【運(yùn)行結(jié)果】04卷積神經(jīng)網(wǎng)絡(luò)PARTFOUR卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，對于大型圖像處理有出色表現(xiàn)。CNN在短時間內(nèi)變成了一種顛覆性的技術(shù)，打破了從文本、視頻到語音等多個領(lǐng)域所有最先進(jìn)的算法，遠(yuǎn)遠(yuǎn)超出了其最初在圖像處理的應(yīng)用范圍。CNN由許多神經(jīng)網(wǎng)絡(luò)層組成，卷積和池化這兩種不同類型的網(wǎng)絡(luò)層通常是交替出現(xiàn)，最后通常由一個或多個全連接的層組成卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)采用了局部感受野、共享權(quán)值和池化的方式，使得神經(jīng)網(wǎng)絡(luò)易于優(yōu)化，需要訓(xùn)練的參數(shù)大大降低，并同時降低過擬合的風(fēng)險。卷積神經(jīng)網(wǎng)絡(luò)可以使用圖像直接作為神經(jīng)網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)卷積（Convolution）重要的物理意義是：一個函數(shù)（如：單位響應(yīng)）在另一個函數(shù)（如：輸入信號）上的平移、加權(quán)、疊加。通過演示求x[n]×h[n]的過程，揭示卷積的物理意義。以離散信號為例：已知x[0]=a，x[1]=b，x[2]=c。序列x[n]的可視化，其中a=1，b=3，c=2卷積神經(jīng)網(wǎng)絡(luò)已知h[0]=i,h[1]=j,h[2]=k序列h[n]的可視化，其中i=2,j=2,k=3卷積神經(jīng)網(wǎng)絡(luò)x[n]×h[n]的過程：第一步，x[n]×h[0]并平移到位置0，x[n]×h[0]并平移到位置0（i=1，1×2，3×2，2×2）卷積神經(jīng)網(wǎng)絡(luò)第二步，x[n]×h[1]并平移到位置1，x[n]×h[1]并平移到位置0（j=2，1×2，3×2，2×2）卷積神經(jīng)網(wǎng)絡(luò)第三步，x[n]×h[2]并平移到位置2，x[n]×h[0]并平移到位置2（k=3，1×3，3×3，2×3）卷積神經(jīng)網(wǎng)絡(luò)最后，把上面三個圖疊加，就得到了x[n]×h[n]卷積神經(jīng)網(wǎng)絡(luò)局部感受野當(dāng)人在觀看一張圖像時，并不是仔仔細(xì)細(xì)地查看圖像的全部，更多的時候是關(guān)注圖像的局部，即圖像要表達(dá)的主題。圖像的空間聯(lián)系中，局部的像素與圖像的主題（特征）聯(lián)系比較緊密，而距離較遠(yuǎn)的像素與圖像的主題的相關(guān)性則較弱。每個神經(jīng)元只需對局部區(qū)域進(jìn)行感知，而不需要對全局圖像進(jìn)行感知，然后在更高層將這些感受不同局部的神經(jīng)元綜合起來從而得到全局的信息。卷積神經(jīng)網(wǎng)絡(luò)則是把神經(jīng)元連接到圖像的某個局部區(qū)域，從而減少參數(shù)訓(xùn)練的數(shù)量。卷積神經(jīng)網(wǎng)絡(luò)卷積相當(dāng)于注意到圖像的某個特征，就是利用一個模版（卷積核）對圖像進(jìn)行特征（關(guān)注的單個圖像主題，如人臉的輪廓）提取。卷積過程就是一個減少參數(shù)數(shù)量的過程。卷積核相當(dāng)于是一個權(quán)值模板，卷積操作就是用卷積核在圖像上滑動（步長），并將卷積核中心依次與圖像中每一個像素對齊，然后對這個卷積核覆蓋的所有像素進(jìn)行加權(quán)，將結(jié)果作為這個卷積核在圖像上該點(diǎn)的響應(yīng)。卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)共享權(quán)值與偏置卷積核的另一大特征是權(quán)值共享，就是整張圖片使用同一個卷積核內(nèi)的參數(shù)，比如一個3×3的卷積核，這個卷積核內(nèi)9個的參數(shù)被整張圖共享，而不會因?yàn)閳D像內(nèi)位置的不同而改變卷積核內(nèi)的權(quán)值系數(shù)。只有不同的卷積核才會對應(yīng)不同的權(quán)值參數(shù)，來檢測不同的特征。權(quán)值共享的目的就是為了減少訓(xùn)練的參數(shù)量。卷積神經(jīng)網(wǎng)絡(luò)池化在卷積神經(jīng)網(wǎng)絡(luò)中，由于待處理的圖像往往都比較大，而在實(shí)際過程中，沒有必要對原圖進(jìn)行分析，能夠有效獲得圖像的特征才是最主要的。池化是采用類似于圖像壓縮的思想，對圖像進(jìn)行卷積之后，通過一個下采樣過程，將小鄰域內(nèi)的特征點(diǎn)整合成新的特征，使得特征減少、參數(shù)減少，來調(diào)整圖像的大小。CNN每次將原圖像卷積后，都通過一個下采樣的過程，來減小圖像的規(guī)模，減少計算量，以提升計算速度，同時不容易產(chǎn)生過度擬合。卷積神經(jīng)網(wǎng)絡(luò)下采樣（Subsampled）對于一幅圖像I尺寸為M*N，對其進(jìn)行縮小s倍，即得到(M/s)*(N/s)尺寸的分辨率圖像，（s是M和N的公約數(shù)）。如果考慮的是矩陣形式的圖像，就是把原始圖像I中s*s窗口內(nèi)的圖像變成一個像素，這個像素點(diǎn)的插入值可以是s*s窗口內(nèi)所有像素采用不同采樣方式所得到的的值。采樣方式有很多種，如最近鄰插值，雙線性插值，均值插值，中值插值等方法,各種插值方法都有各自的優(yōu)缺點(diǎn)。下采樣的目的有兩個：1、使得圖像符合顯示區(qū)域的大小；2、生成對應(yīng)圖像的縮略圖。卷積神經(jīng)網(wǎng)絡(luò)池化用于壓縮數(shù)據(jù)和參數(shù)的量，減小過擬合。如果輸入是圖像的話，那么池化層的最主要作用就是壓縮圖像。通過池化操作來實(shí)現(xiàn)降維，最重要的是保證特征的尺度不變性。通常一幅圖像含有的信息量是很大的，特征也很多，但是有些信息對于目標(biāo)任務(wù)沒有太多用途或者有重復(fù)，把這類冗余信息去除，把最重要的特征抽取出來，這是池化操作的一大作用。常用的池化技術(shù)有Mean-Pooling、Max-Pooling和Stochastic-Pooling三種。卷積神經(jīng)網(wǎng)絡(luò)Mean-Pooling，即對鄰域內(nèi)特征點(diǎn)求平均：假設(shè)Pooling的窗格大小是2×2，在Forward的時候，就是在前面卷積完的輸出上依次不重合地取2×2的窗平均，得到一個值就是當(dāng)前Mean-Pooling之后的值。Backward的時候，把一個值分成四等分放到前面2×2的格子里面就可以了。舉例：forward:[13;22]→[2] backward:[2]→[0.50.5;0.50.5]卷積神經(jīng)網(wǎng)絡(luò)Max-Pooling，即對鄰域內(nèi)特征點(diǎn)取最大。Forward時只需取2×2窗格內(nèi)最大值，Backward時把當(dāng)前的值放到之前那個最大位置，其他的三個位置用0填補(bǔ)。舉例：forward:[11;56]→6 backward:[3]→[00;06]卷積神經(jīng)網(wǎng)絡(luò)Stochastic-Pooling即對特征圖中的元素按照其概率值大小隨機(jī)選擇，即元素值大的被選中的概率也大。而不像Max-Pooling那樣，永遠(yuǎn)只取那個最大值元素。卷積神經(jīng)網(wǎng)絡(luò)CNN的學(xué)習(xí)規(guī)則卷積神經(jīng)網(wǎng)絡(luò)采用的是權(quán)值共享，以減少自由參數(shù)。權(quán)值更新是基于錯誤反向傳播算法。本質(zhì)上是一種輸入到輸出的映射，能夠?qū)W習(xí)輸入與輸出之間的映射關(guān)系，只要用已知的模式對卷積網(wǎng)絡(luò)加以訓(xùn)練，網(wǎng)絡(luò)就具有輸入輸出對之間的映射能力。卷積神經(jīng)網(wǎng)絡(luò)執(zhí)行的是監(jiān)督訓(xùn)練。在開始訓(xùn)練前，所有的權(quán)重都應(yīng)該用一些不同的隨機(jī)數(shù)進(jìn)行初始化?！靶‰S機(jī)數(shù)”用來保證網(wǎng)絡(luò)不會因權(quán)值過大而進(jìn)入飽和狀態(tài)，從而導(dǎo)致訓(xùn)練失??；“不同”用來保證網(wǎng)絡(luò)可以正常地學(xué)習(xí)。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法主要包括四步，這四步被分為兩個階段：第一階段，向前傳播階段：從樣本集中取一個樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；計算相應(yīng)的實(shí)際輸出Op。第二階段，向后傳播階段：計算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。這兩個階段的工作一般應(yīng)受到精度要求的控制。卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的訓(xùn)練過程如下：選定訓(xùn)練組，從樣本集中分別隨機(jī)地尋求N個樣本作為訓(xùn)練組；將各權(quán)值、閾值，置成小的接近于0的隨機(jī)值，并初始化精度控制參數(shù)和學(xué)習(xí)率；從訓(xùn)練組中取一個輸入模式加到網(wǎng)絡(luò)，并給出它的目標(biāo)輸出向量；計算出中間層輸出向量，計算出網(wǎng)絡(luò)的實(shí)際輸出向量；將輸出向量中的元素與目標(biāo)向量中的元素進(jìn)行比較，計算出輸出誤差；對于中間層的隱單元也需要計算出誤差；卷積神經(jīng)網(wǎng)絡(luò)依次計算出各權(quán)值的調(diào)整量和閾值的調(diào)整量；調(diào)整權(quán)值和調(diào)整閾值；當(dāng)經(jīng)歷M后，判斷指標(biāo)是否滿足精度要求，如果不滿足，則返回第3步，繼續(xù)迭代；如果滿足就進(jìn)入下一步；訓(xùn)練結(jié)束，將權(quán)值和閾值保存在文件中。這時可以認(rèn)為各個權(quán)值已經(jīng)達(dá)到穩(wěn)定，分類器已經(jīng)形成。再一次進(jìn)行訓(xùn)練，直接從文件導(dǎo)出權(quán)值和閾值進(jìn)行訓(xùn)練，不需要進(jìn)行初始化。卷積神經(jīng)網(wǎng)絡(luò)LeNet-5網(wǎng)絡(luò)1998年計算機(jī)科學(xué)家YannLeCun等提出的LeNet5采用了基于梯度的反向傳播算法對網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練，YannLeCun在機(jī)器學(xué)習(xí)、計算機(jī)視覺等都有杰出貢獻(xiàn)，被譽(yù)為卷積神經(jīng)網(wǎng)絡(luò)之父。LeNet-5網(wǎng)絡(luò)通過交替連接的卷積層和下采樣層，將原始圖像逐漸轉(zhuǎn)換為一系列的特征圖，并且將這些特征傳遞給全連接的神經(jīng)網(wǎng)絡(luò)層，以根據(jù)圖像的特征對圖像進(jìn)行分類。學(xué)術(shù)界對于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)注，也正是開始于LeNet-5網(wǎng)絡(luò)的提出并成功應(yīng)用于手寫體識別。LeNet-5是第一個成功應(yīng)用于數(shù)字識別問題的卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型的架構(gòu)LeNet-5共有7層（不包括輸入層），分別是2個卷積層、2個下抽樣層（池化層）、3個全連接層（其中C5層是卷積層，但使用全連接）。每層都包含不同數(shù)量的可訓(xùn)練參數(shù)，每個層有多個特征圖（FeatureMap），每個特征圖有多個神經(jīng)元，整個網(wǎng)絡(luò)結(jié)構(gòu)體如下圖所示。卷積神經(jīng)網(wǎng)絡(luò)0、INPUT層（輸入層）：輸入圖像的尺寸統(tǒng)一歸一化為32*321、C1層（卷積層）：參數(shù)：輸入圖片：32*32卷積核大?。?*5卷積核種類：6輸出特征圖大?。?8*28（32-5+1）=28神經(jīng)元數(shù)量：28*28*6可訓(xùn)練參數(shù)：（5*5+1)*6=156連