MACROBUTTONMTEditEquationSection2SEQMTEqn\r\hSEQMTSec\r1\hSEQMTChap\r1\hBP神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)研究摘要：人工神經(jīng)網(wǎng)絡(luò)是一門交叉性學(xué)科，已廣泛于醫(yī)學(xué)、生物學(xué)、生理學(xué)、哲學(xué)、信息學(xué)、計算機科學(xué)、認知學(xué)等多學(xué)科交叉技術(shù)領(lǐng)域，并取得了重要成果。BP（BackPropagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。本文將主要介紹神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，重點研究BP神經(jīng)網(wǎng)絡(luò)原理、BP神經(jīng)網(wǎng)絡(luò)算法分析及改進和深度學(xué)習(xí)的研究。關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)、算法分析、應(yīng)用引言人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，即ANN），作為對人腦最簡單的一種抽象和模擬，是人們模仿人的大腦神經(jīng)系統(tǒng)信息處理功能的一個智能化系統(tǒng)，是20世紀80年代以來人工智能領(lǐng)域興起的研究熱點。人工神經(jīng)網(wǎng)絡(luò)以數(shù)學(xué)和物理方法以及信息處理的角度對人腦神經(jīng)網(wǎng)絡(luò)進行抽象，并建立某種簡化模型，旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)最有吸引力的特點就是它的學(xué)習(xí)能力。因此從20世紀40年代人工神經(jīng)網(wǎng)絡(luò)萌芽開始，歷經(jīng)兩個高潮期及一個反思期至1991年后進入再認識與應(yīng)用研究期，涌現(xiàn)出無數(shù)的相關(guān)研究理論及成果，包括理論研究及應(yīng)用研究。最富有成果的研究工作是多層網(wǎng)絡(luò)BP算法，Hopfield網(wǎng)絡(luò)模型，自適應(yīng)共振理論，自組織特征映射理論等。因為其應(yīng)用價值，該研究呈愈演愈烈的趨勢，學(xué)者們在多領(lǐng)域中應(yīng)用REF_Ref433487729\r\h[1]人工神經(jīng)網(wǎng)絡(luò)模型對問題進行研究優(yōu)化解決。人工神經(jīng)網(wǎng)絡(luò)是由多個神經(jīng)元連接構(gòu)成，因此欲建立人工神經(jīng)網(wǎng)絡(luò)模型必先建立人工神經(jīng)元模型，再根據(jù)神經(jīng)元的連接方式及控制方式不同建立不同類型的人工神經(jīng)網(wǎng)絡(luò)模型。現(xiàn)在分別介紹人工神經(jīng)元模型及人工神經(jīng)網(wǎng)絡(luò)模型。人工神經(jīng)元模型仿生學(xué)在科技發(fā)展中起著重要作用，人工神經(jīng)元模型的建立來源于生物神經(jīng)元結(jié)構(gòu)的仿生模擬，用來模擬人工神經(jīng)網(wǎng)絡(luò)REF_Ref433487839\r\h[2]。人們提出的神經(jīng)元模型有很多，其中最早提出并且影響較大的是1943年心理學(xué)家McCulloch和數(shù)學(xué)家W.Pitts在分析總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出的MP模型。該模型經(jīng)過不斷改進后，形成現(xiàn)在廣泛應(yīng)用的BP神經(jīng)元模型。人工神經(jīng)元模型是由人量處理單元廠泛互連而成的網(wǎng)絡(luò)，是人腦的抽象、簡化、模擬，反映人腦的基本特性。一般來說，作為人工神經(jīng)元模型應(yīng)具備三個要素：具有一組突觸或連接，常用表示神經(jīng)元i和神經(jīng)元j之間的連接強度。具有反映生物神經(jīng)元時空整合功能的輸入信號累加器。具有一個激勵函數(shù)用于限制神經(jīng)元輸出。激勵函數(shù)將輸出信號限制在一個允許范圍內(nèi)。一個典型的人工神經(jīng)元模型如REF_Ref433388667\h圖11所示。圖STYLEREF1\s1SEQ圖\*ARABIC\s11人工神經(jīng)元模型其中為神經(jīng)元i的輸入信號，為連接權(quán)重，b為外部刺激，為激勵函數(shù)，為神經(jīng)元的輸出，其輸出計算公式如GOTOBUTTONZEqnNum720545REFZEqnNum720545\*Charformat\!(1.1)。 人工神經(jīng)網(wǎng)絡(luò)模型建立神經(jīng)元模型后，將多個神經(jīng)元進行連接即可建立人工神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)的類型多種多樣，它們是從不同角度對生物神經(jīng)系統(tǒng)不同層次的抽象和模擬。從功能特性和學(xué)習(xí)特性來分，典型的神經(jīng)網(wǎng)絡(luò)模型主要包括感知器、線性神經(jīng)網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、自組織映射網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)等。一般來說，當(dāng)神經(jīng)元模型確定后，一個神經(jīng)網(wǎng)絡(luò)的特性及其功能主要取決于網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及學(xué)習(xí)方法。從網(wǎng)絡(luò)拓撲結(jié)構(gòu)角度來看，神經(jīng)網(wǎng)絡(luò)可以分為以下四種基本形式REF_Ref433487949\r\h[3]：前向網(wǎng)絡(luò)、有反饋的前向網(wǎng)絡(luò)、層內(nèi)互邊前向網(wǎng)絡(luò)和互連網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如REF_Ref433388652\h圖12，其中子圖的REF_Ref433388708\r\h圖(a)為前向網(wǎng)絡(luò)結(jié)構(gòu)，REF_Ref433388727\r\h圖(b)有反饋的前向網(wǎng)絡(luò)結(jié)構(gòu)、REF_Ref433388734\r\h圖(c)層內(nèi)互邊前向網(wǎng)絡(luò)結(jié)構(gòu)和REF_Ref433388741\r\h圖(d)互連網(wǎng)絡(luò)結(jié)構(gòu)。根據(jù)有無反饋，亦可將神經(jīng)網(wǎng)絡(luò)劃分為：無反饋網(wǎng)絡(luò)和有反饋網(wǎng)絡(luò)。無反饋網(wǎng)絡(luò)為前饋神經(jīng)網(wǎng)絡(luò)(FeedForwardNNs，F(xiàn)FNNs)，有反饋網(wǎng)絡(luò)為遞歸神經(jīng)網(wǎng)絡(luò)和(RecurrentNNs，RNNs)。前向網(wǎng)絡(luò)有反饋前向網(wǎng)絡(luò)層內(nèi)互邊前向網(wǎng)絡(luò)互聯(lián)網(wǎng)絡(luò)圖STYLEREF1\s1SEQ圖\*ARABIC\s12神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)圖BP神經(jīng)網(wǎng)絡(luò)原理BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑P(BackPropagation)算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，由它最初是由Pau1werboSS在1974年提出，但未傳播，直到20世紀80年代中期RumelhartREF_Ref433487759\r\h[4]、Hinton和Williams、DavidParkerREF_Ref433487555\r\h[5]和YannLeCunREF_Ref433487561\r\h[6]重新發(fā)現(xiàn)了BP算法，同時因此算法被包括在《并行分布處理》(ParallelDistributedProcessing)，此算法才廣為人知。目前BP算法已成為應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，據(jù)統(tǒng)計有近90%的神經(jīng)網(wǎng)絡(luò)應(yīng)用是基于BP算法的。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是由信息的正向傳播和誤差的反向傳播兩個過程組成。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP網(wǎng)絡(luò)的神經(jīng)元采用的傳遞函數(shù)通常是Sigmoid型可微函數(shù)，所以可以實現(xiàn)輸入和輸出間的任意非線性映射，這使得它在諸如信號處理、計算機網(wǎng)絡(luò)、過程控制、語音識別、函數(shù)逼近、模式識別及數(shù)據(jù)壓縮等領(lǐng)域均取得了成功的應(yīng)用。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP網(wǎng)絡(luò)的基本結(jié)構(gòu)如REF_Ref433466796\h圖21所示，其模型拓撲結(jié)構(gòu)包括輸入層（input）、隱層(hiddenlayer)和輸出層(outputlayer)三層結(jié)構(gòu)。輸入層各神經(jīng)元負責(zé)接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負責(zé)信息變換，根據(jù)信息變化能力的需求。中間層可以設(shè)計為單隱層或者多隱層結(jié)構(gòu)；最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。隱層節(jié)點一般采用Sigmoid型函數(shù)，輸入和輸出節(jié)點可以采用Sigmoid型函數(shù)或者線性函數(shù)。圖STYLEREF1\s2SEQ圖\*ARABIC\s11BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖BP神經(jīng)算法原理BP算法由正向傳播和反向傳播兩部分組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱層單元處理后，傳至輸出層。每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。當(dāng)實際輸出與期望輸出不符時，進入誤差的反向傳播階段。把誤差通過輸出層沿連接路徑返回，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，通過修改各層神經(jīng)元之間的連接權(quán)值，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進行到網(wǎng)絡(luò)輸出的誤差信號減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。BP神經(jīng)網(wǎng)絡(luò)模型REF_Ref433488054\r\h[7]包括其輸入輸出模型、作用函數(shù)模型、誤差計算模型和自學(xué)習(xí)模型。節(jié)點的輸出模型BP神經(jīng)網(wǎng)絡(luò)的節(jié)點輸出包括隱層節(jié)點輸出和輸出節(jié)點輸出。其中，隱層節(jié)點輸出模型為： 輸出節(jié)點輸出模型為： 其中，為非線形作用函數(shù)，為神經(jīng)單元的閾值，為輸入節(jié)點對隱層節(jié)點的影響權(quán)重。作用函數(shù)模型作用函數(shù)是反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)又稱刺激函數(shù)，一般取為(0，1)內(nèi)連續(xù)取值Sigmoid函數(shù)： 它反映了神經(jīng)元的飽和特性。上式中，Q為表示神經(jīng)元非線性的參數(shù)，稱增益值(Gain)，也稱調(diào)節(jié)參數(shù)。Q值越大，S形曲線越陡峭；反之，Q值越小，S形曲線越平坦；一般取Q=1。誤差計算模型誤差計算模型是反映神經(jīng)網(wǎng)絡(luò)期望輸出與計算輸出之間誤差大小的函數(shù)，其計算如下： 其中網(wǎng)絡(luò)目標(biāo)輸出。自學(xué)習(xí)模型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，即連接下層節(jié)點和上層節(jié)點之間的權(quán)重矩陣的設(shè)定和誤差修正過程。BP網(wǎng)絡(luò)學(xué)習(xí)分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。有監(jiān)督學(xué)習(xí)需要設(shè)定期望值，無監(jiān)督學(xué)習(xí)方式只需輸入模式之分。自學(xué)習(xí)模型為 其中，為學(xué)習(xí)因子；輸出節(jié)點的計算誤差；為輸出節(jié)點的計算輸出；為動量因子。BP模型把一組輸入輸出樣本的函數(shù)問題轉(zhuǎn)變?yōu)橐粋€非線性優(yōu)化問題，并使用了優(yōu)化技術(shù)中最普通的梯度下降法。如果把神經(jīng)網(wǎng)絡(luò)看成是輸入到輸出的映射，則這個映射是一個高度非線性映射。BP算法程序框圖如REF_Ref433482752\h圖22所示。圖STYLEREF1\s2SEQ圖\*ARABIC\s12BP學(xué)習(xí)算法框圖BP神經(jīng)網(wǎng)絡(luò)算法分析及改進BP算法現(xiàn)在已成為目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，它在函數(shù)逼近、模式識別、分類、數(shù)據(jù)壓縮等領(lǐng)域有著更加廣泛的應(yīng)用。但它存在學(xué)習(xí)收斂速度慢、容易陷入局部極小點而無法得到全局最優(yōu)解、且對初始權(quán)值的選取很敏感等缺點。具體如下：在權(quán)值調(diào)整上采用梯度下降法作為優(yōu)化算法，極易陷入局部極小。學(xué)習(xí)算法的收斂速度很慢，收斂速度還與初始權(quán)值和傳輸函數(shù)的選擇有關(guān)。網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計,即隱節(jié)點數(shù)的選擇，尚無理論指導(dǎo)，具有很大的盲目性。新加入的樣本對已經(jīng)學(xué)好的樣本影響較大，且每個輸入樣本的特征數(shù)目要求相同，泛化能力較差。針對BP算法存在的缺陷，目前國內(nèi)外已有不少人對BP網(wǎng)絡(luò)進行了大量的研究，提出了各種不同的改進方案，如優(yōu)化訓(xùn)練輸入?yún)?shù)，加入動量參數(shù)，以及學(xué)習(xí)步長的適應(yīng)調(diào)整，采用帶動量的自學(xué)習(xí)率BP算法，動態(tài)全參數(shù)自調(diào)整學(xué)習(xí)算法，記憶式初值權(quán)值和閥值方法，快速自適應(yīng)學(xué)習(xí)算法等，這些方案均提高BP神經(jīng)網(wǎng)絡(luò)收斂速度。比較典型的改進方法如下：啟發(fā)式改進為了使學(xué)習(xí)速率足夠大，又不易產(chǎn)生振蕩，根據(jù)Rumelhart的建議，在權(quán)值調(diào)整算式中，加入“動量項”，，即 其中上式第二項為常規(guī)BP算法的修正量，第三項為動量項，其中為調(diào)節(jié)因子。通過可變學(xué)習(xí)步長可以提高收斂速度?？勺儗W(xué)習(xí)速度(可變步長)的基本思想為：先設(shè)一初始步長：若一次迭代后誤差函數(shù)E增大，則將步長乘以小于1的常數(shù)，沿原來方向重新計算下一個迭代點；若一次迭代后誤差函數(shù)E減少，則將步長乘以大于l的常數(shù)。BP算法的數(shù)值優(yōu)化采用共軛梯度法和Levenberg-Marqardt算法可以提高數(shù)值精度。共軛梯度法選擇與梯度相反的方向作為第一次搜索方向，再使函數(shù)沿搜索方向極小化，再確定下一個搜索方向，直至收斂。而Levenberg-Marqardt算法是牛頓法的變形，用以最小化那些作為其他非線性函數(shù)平方和的函數(shù)，這非常適合于性能指數(shù)是均方誤差的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。Levenberg-Marqardt算法為： 其中， 當(dāng)增加時，此算法接近于有小的學(xué)習(xí)速度的最速下降算法，當(dāng)下降為0時，算法變成了高斯-牛頓法。深度學(xué)習(xí)的研究BP算法作為傳統(tǒng)訓(xùn)練多層網(wǎng)絡(luò)的典型算法，實際上對僅含幾層網(wǎng)絡(luò)，該訓(xùn)練方法就已經(jīng)很不理想。深度結(jié)構(gòu)（涉及多個非線性處理單元層）非凸目標(biāo)代價函數(shù)中普遍存在的局部最小是訓(xùn)練困難的主要來源。BP算法存在的問題：梯度越來越稀疏：從頂層越往下，誤差校正信號越來越?。皇諗康骄植孔钚≈担河绕涫菑倪h離最優(yōu)區(qū)域開始的時候（隨機值初始化會導(dǎo)致這種情況的發(fā)生）；一般，我們只能用有標(biāo)簽的數(shù)據(jù)來訓(xùn)練：但大部分的數(shù)據(jù)是沒標(biāo)簽的，而大腦可以從沒有標(biāo)簽的的數(shù)據(jù)中學(xué)習(xí)；深度學(xué)習(xí)REF_Ref433487502\r\h[8]是機器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機在于建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，是神經(jīng)網(wǎng)絡(luò)的發(fā)展。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)是關(guān)于自動學(xué)習(xí)要建模的數(shù)據(jù)的潛在（隱含）分布的多層（復(fù)雜）表達的算法。換句話來說，深度學(xué)習(xí)算法自動的提取分類需要的低層次或者高層次特征。高層次特征，一是指該特征可以分級（層次）地依賴其他特征，例如：對于機器視覺，深度學(xué)習(xí)算法從原始圖像去學(xué)習(xí)得到它的一個低層次表達，例如邊緣檢測器，小波濾波器等，然后在這些低層次表達的基礎(chǔ)上再建立表達，例如這些低層次表達的線性或者非線性組合，然后重復(fù)這個過程，最后得到一個高層次的表達。DeepLearning訓(xùn)練過程具體如下：使用自下上升非監(jiān)督學(xué)習(xí)采用無標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)，這一步可以看作是一個無監(jiān)督訓(xùn)練過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分（這個過程可以看作是featurelearning過程）：具體的，先用無標(biāo)定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時先學(xué)習(xí)第一層的參數(shù)（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠?qū)W習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的特征；在學(xué)習(xí)得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，由此分別得到各層的參數(shù)；自頂向下的監(jiān)督學(xué)習(xí)基于第一步得到的各層參數(shù)進一步fine-tune整個多層模型的參數(shù)，這一步是一個有監(jiān)督訓(xùn)練過程；第一步類似神經(jīng)網(wǎng)絡(luò)的隨機初始化初值過程，由于DL的第一步不是隨機初始化，而是通過學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果；所以DeepLearning效果好很大程度上歸功于第一步的featurelearning過程Deeplearning存在待解決的問題：對于一個特定的框架，對于多少維的輸入它可以表現(xiàn)得較優(yōu)（如果是圖像，可能是上百萬維）？對捕捉短時或者長時間的時間依賴，哪種架構(gòu)才是有效的？如何對于一個給定的深度學(xué)習(xí)架構(gòu)，融合多種感知的信息？有什么正確的機理可以去增強一個給定的深度學(xué)習(xí)架構(gòu)，以改進其魯棒性和對扭曲和數(shù)據(jù)丟失的不變性？模型方面是否有其他更為有效且有理論依據(jù)的深度模型學(xué)習(xí)算法？總結(jié)本文主要介紹神經(jīng)網(wǎng)絡(luò)的起源，神經(jīng)元模型與神經(jīng)網(wǎng)絡(luò)模型，根據(jù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的不同進行分類，將神經(jīng)網(wǎng)絡(luò)分為前饋神經(jīng)網(wǎng)絡(luò)(FeedForwardNNs，F(xiàn)FNNs)，有反饋網(wǎng)絡(luò)為遞歸神經(jīng)網(wǎng)絡(luò)和(RecurrentNNs，RNNs)。隨后重點研究BP神經(jīng)網(wǎng)絡(luò)，包括BP神經(jīng)網(wǎng)絡(luò)的原理、BP算法分析及改進。最后研究神經(jīng)網(wǎng)絡(luò)的一種發(fā)展應(yīng)用即深度學(xué)習(xí)的研究，包括深度學(xué)習(xí)的過程，優(yōu)勢，缺陷，未來的研究方向。參考文獻D.R.Baughman,Y.A.Liu.Neuralnetworksinbioprocessingandchemicalengineering.Academicpress,2014.A.J.Maren,C.T.Harston,R.M.Pap.Handbookofneuralcomputingapplications[M].AcademicPress,2014.A.Karpathy,G.Toderici,S.Shetty,etal.Large-scalevideoclassificationwithconvolutionalneuralnetworks//ComputerVisionandPatternRecognition(CVPR),2014IEEEConferenceon.IEEE,2014:1725-1732.D.E.Rumelhart,G.E.HintonandR.J.Williams·LearningrepresentationsByback-Propagationerrors.Nature.