深度神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)1內(nèi)容深度神經(jīng)網(wǎng)絡(luò)發(fā)展歷史、背景動機(jī)——WhyDeepLearning?深度學(xué)習(xí)常用模型內(nèi)容深度神經(jīng)網(wǎng)絡(luò)發(fā)展歷史、背景2NeuralnetworkBackpropagation1986

解決了一般性學(xué)習(xí)問題

與生物系統(tǒng)相聯(lián)系Nature歷史Neuralnetwork1986解決了一般性學(xué)習(xí)問題N3NeuralnetworkBackpropagation1986Nature歷史x1x2x3w1w2w3Neuralnetwork1986Nature歷史x1x24NeuralnetworkBackpropagation1986

解決了一般性學(xué)習(xí)問題

與生物系統(tǒng)相聯(lián)系Nature歷史Butitisgivenup…SVMBoostingDecisiontree…2006Neuralnetwork1986解決了一般性學(xué)習(xí)問題N5NeuralnetworkBackpropagation1986Nature歷史2006DeepbeliefnetScience……………………Unsupervised&Layer-wisedpre-trainingBetterdesignsformodelingandtraining(normalization,nonlinearity,dropout)NewdevelopmentofcomputerarchitecturesGPUMulti-corecomputersystemsLargescaledatabasesBigData!Neuralnetworksiscomingback！Neuralnetwork1986Nature歷史20066深度學(xué)習(xí)浪潮ITCompaniesareRacinginto

DeepLearning深度學(xué)習(xí)浪潮ITCompaniesareRacing7NeuralnetworkBackpropagation1986SolvegenerallearningproblemsTiedwithbiologicalsystemButitisgivenup…2006DeepbeliefnetSciencedeeplearningresultsSpeech2011NatureNeuralnetwork1986Solvegener8Objectrecognitionover1,000,000imagesand1,000categories(2GPU)NeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012NatureA.Krizhevsky,L.Sutskever,andG.E.Hinton,“ImageNetClassificationwithDeepConvolutionalNeuralNetworks,”NIPS,2012.Objectrecognitionover1,000,9NeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012ImageNet2013–imageclassificationchallengeMSRA,IBM,Adobe,NEC,Clarifai,Berkley,U.Tokyo,UCLA,UIUC,Toronto….Top20groupsalluseddeeplearningImageNet2013–objectdetectionchallengeNeuralnetwork19862006Deepbel10NeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012ImageNet2014–ImageclassificationchallengeImageNet2014–objectdetectionchallengeNeuralnetwork19862006Deepbel11NeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012GoogleandBaiduannouncedtheirdeeplearningbasedvisualsearchengines(2013)Google

“onourtestsetwesawdoubletheaverageprecisionwhencomparedtootherapproacheswehadtried.WeacquiredtherightstothetechnologyandwentfullspeedaheadadaptingittorunatlargescaleonGoogle’scomputers.Wetookcuttingedgeresearchstraightoutofanacademicresearchlabandlaunchedit,injustalittleoversixmonths.”BaiduNeuralnetwork19862006Deepbel12NeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012Facerecognition2014Deeplearningachieves99.53%faceverificationaccuracyonLabeledFacesintheWild(LFW),higherthanhumanperformanceY.Sun,X.Wang,andX.Tang.DeepLearningFaceRepresentationbyJointIdentification-Verification.NIPS,2014.Y.Sun,X.Wang,andX.Tang.Deeplylearnedfacerepresentationsaresparse,selective,androbust.CVPR,2015.Neuralnetwork19862006Deepbel13深度學(xué)習(xí)浪潮DeepLearning深度學(xué)習(xí)浪潮DeepLearning14深度學(xué)習(xí)浪潮時代背景-數(shù)據(jù)爆炸還存在很多沒有良好解決的問題，例如圖像識別、語音識別、自然語言理解、天氣預(yù)測、基因表達(dá)、內(nèi)容推薦等。深度學(xué)習(xí)浪潮時代背景-數(shù)據(jù)爆炸還存在很多沒有良好解決的問題，15深度學(xué)習(xí)浪潮時代背景-計算性能提升深度學(xué)習(xí)浪潮時代背景-計算性能提升16動機(jī)——WhyDeepLearning?動機(jī)——WhyDeepLearning?17深度學(xué)習(xí)WhatisDeepLearning?“Deeplearningisasetofalgorithmsinmachinelearningthatattempttolearninmultiplelevels,correspondingtodifferentlevelsofabstraction.Ittypicallyusesartificialneuralnetworks.Thelevelsintheselearnedstatisticalmodelscorrespondtodistinctlevelsofconcepts,wherehigher-levelconceptsaredefinedfromlower-levelones,andthesamelower-levelconceptscanhelptodefinemanyhigher-levelconcepts.”(Oct.2013.)“Deeplearningisasetofalgorithmsinmachinelearningthatattempttomodelhigh-levelabstractionsindatabyusingmodelarchitecturescomposedofmultiplenon-lineartransformations.”(Aug.2014)深度學(xué)習(xí)WhatisDeepLearning?“Dee18傳統(tǒng)機(jī)器學(xué)習(xí)解決這些問題的思路良好的特征表達(dá)，對最終算法的準(zhǔn)確性起了非常關(guān)鍵的作用，而且系統(tǒng)主要的計算和測試工作都耗在這一大部分。但實際中一般都是人工完成的。特征表達(dá)能不能自動地學(xué)習(xí)一些特征呢？能！DeepLearning傳統(tǒng)機(jī)器學(xué)習(xí)解決這些問題的思路特征表達(dá)能不能自動地學(xué)習(xí)一些特19生物學(xué)啟示人腦視覺機(jī)理“視覺系統(tǒng)的信息處理”：可視皮層是分級的神經(jīng)-中樞-大腦的工作過程，或許是一個不斷迭代、不斷抽象的過程。關(guān)鍵詞：一個是抽象，一個是迭代。從原始信號，做低級抽象，逐漸向高級抽象迭代。人類的邏輯思維，經(jīng)常使用高度抽象的概念。生物學(xué)啟示人腦視覺機(jī)理20不同水平的抽象層次化表示腦的深層結(jié)構(gòu)不同水平的抽象層次化表示腦的深層結(jié)構(gòu)21whygodeep?深層結(jié)構(gòu)能夠有效被表達(dá)對相同的函數(shù)需要更少的計算單元深層結(jié)構(gòu)可產(chǎn)生層次化特征表達(dá)允許非局部擴(kuò)展可解釋性多層隱變量允許統(tǒng)計上的組合共享深層結(jié)構(gòu)有效（vision,audio,NLP等）！whygodeep?深層結(jié)構(gòu)能夠有效被表達(dá)22ComputerVisionFeaturesComputerVisionFeatures23AudioFeaturesAudioFeatures24DeepLearning基本思想自動地學(xué)習(xí)特征假設(shè)有一堆輸入I（如圖像或者文本），我們設(shè)計了一個系統(tǒng)S（有n層），通過調(diào)整系統(tǒng)中參數(shù)，使得它的輸出仍然是輸入I，那么我們就可以自動地獲取得到輸入I的一系列層次特征，即S1，…,Sn。對于深度學(xué)習(xí)來說，其思想就是堆疊多個層也就是說這一層的輸出作為下一層的輸入。通過這種方式，就可以實現(xiàn)對輸入信息進(jìn)行分級表達(dá)了?？梢月晕⒌胤潘伞拜敵龅扔谳斎搿钡南拗艱eepLearning基本思想自動地學(xué)習(xí)特征25深層vs淺層神經(jīng)網(wǎng)絡(luò)多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類深層網(wǎng)絡(luò)結(jié)構(gòu)中，高層可以綜合應(yīng)用低層信息低層關(guān)注“局部”，高層關(guān)注“全局”、更具有語義化深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服。為自適應(yīng)地學(xué)習(xí)非線性處理過程提供了一種可能的簡潔、普適的結(jié)構(gòu)模型深層vs淺層神經(jīng)網(wǎng)絡(luò)多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)26深層vs淺層神經(jīng)網(wǎng)絡(luò)“深度模型”是手段，“特征學(xué)習(xí)”是目的。強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點；明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。深層vs淺層神經(jīng)網(wǎng)絡(luò)“深度模型”是手段，“特征學(xué)習(xí)”是目27BP算法的問題需要帶標(biāo)簽訓(xùn)練數(shù)據(jù)幾乎所有的數(shù)據(jù)是無標(biāo)簽的人腦可以從無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)局部極小對深層網(wǎng)絡(luò)遠(yuǎn)離了最優(yōu)解學(xué)習(xí)時間不適合大數(shù)據(jù)梯度消失Belowtopfewlayers,correctionsignalisminimalBP算法的問題需要帶標(biāo)簽訓(xùn)練數(shù)據(jù)28克服BP的限制梯度方法對輸入的結(jié)構(gòu)建模建立產(chǎn)生輸入的生成式模型，調(diào)整參數(shù)使得生成式模型的概率最大Learnp(image)notp(label|image)Whatkindofgenerativemodelshouldwelearn?克服BP的限制梯度方法對輸入的結(jié)構(gòu)建模Whatkindo29Deeplearning訓(xùn)練自下向上的非監(jiān)督學(xué)習(xí)（greedylayer-wisetraining）自頂向下的監(jiān)督學(xué)習(xí)就是通過帶標(biāo)簽的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對網(wǎng)絡(luò)進(jìn)行微調(diào)微調(diào)特征（中間層），使得與問題更相關(guān)。Deeplearning訓(xùn)練自下向上的非監(jiān)督學(xué)習(xí)（gree30DeepLearning的常用模型

——AutoEncoder自動編碼器DeepLearning的常用模型

31AutoEncoder自動編碼器DeepLearning最簡單的一種方法利用人工神經(jīng)網(wǎng)絡(luò)本身的層次結(jié)構(gòu)特點如果給定一個神經(jīng)網(wǎng)絡(luò)，假設(shè)其輸出與輸入是相同的，然后訓(xùn)練調(diào)整其參數(shù)，得到每一層中的權(quán)重。自然地，就得到了輸入I的幾種不同表示（每一層代表一種表示），這些表示就是特征。自動編碼器就是一種盡可能復(fù)現(xiàn)輸入信號的神經(jīng)網(wǎng)絡(luò)。為了實現(xiàn)這種復(fù)現(xiàn)，自動編碼器就必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素，就像PCA那樣，找到可以代表原信息的主要成分AutoEncoder自動編碼器DeepLearning最32AutoEncoder自動編碼器學(xué)習(xí)過程無標(biāo)簽數(shù)據(jù)，用非監(jiān)督學(xué)習(xí)學(xué)習(xí)特征在之前的前向神經(jīng)網(wǎng)絡(luò)中，如左圖，輸入的樣本是有標(biāo)簽的，即（input,target），這樣根據(jù)當(dāng)前輸出和target（label）之間的差去改變前面各層的參數(shù)，直到收斂。但現(xiàn)在我們只有無標(biāo)簽數(shù)據(jù)，也就是右邊的圖。那么這個誤差怎么得到呢？AutoEncoder自動編碼器學(xué)習(xí)過程在之前的前向神經(jīng)網(wǎng)絡(luò)33AutoEncoder自動編碼器將input輸入一個encoder編碼器，就會得到一個code，這個code也就是輸入的一個表示那么我們怎么知道這個code表示的就是input呢？增加一個decoder解碼器decoder輸出的信息

vs

開始的輸入信號input通過調(diào)整encoder和decoder的參數(shù)，使得重構(gòu)誤差最小，這樣就得到輸入input信號的一個表示了，也就是編碼code。因為是無標(biāo)簽數(shù)據(jù)，所以誤差的來源就是直接重構(gòu)后與原輸入相比得到。AutoEncoder自動編碼器將input輸入一個enco34AutoEncoder自動編碼器網(wǎng)絡(luò)結(jié)構(gòu)三層結(jié)構(gòu)輸入層，隱藏層，輸出層神經(jīng)元模型限定神經(jīng)元的數(shù)量輸入層神經(jīng)元數(shù)=輸出層神經(jīng)元數(shù)隱層神經(jīng)元數(shù)量<輸入層神經(jīng)元數(shù)量意義：迫使隱藏層節(jié)點學(xué)習(xí)得到輸入數(shù)據(jù)的壓縮表示方法AutoEncoder自動編碼器網(wǎng)絡(luò)結(jié)構(gòu)意義：迫使隱藏層節(jié)點35AutoEncoder自動編碼器利用類似神經(jīng)網(wǎng)絡(luò)的雙隱層的方式，簡單粗暴地提取了樣本的特征。TiedWeights(Vincent,2010)W’=WT只訓(xùn)練單組W就可以若W-1=WT的話，W就是個正交矩陣了，即W是可以訓(xùn)成近似正交陣的。AutoEncoder自動編碼器利用類似神經(jīng)網(wǎng)絡(luò)的雙隱層的方36AutoEncoder自動編碼器Deep結(jié)構(gòu)——逐層訓(xùn)練自編碼器“?；蓖ㄟ^編碼器產(chǎn)生特征，然后訓(xùn)練下一層。得到第一層的code，重構(gòu)誤差最小讓我們相信這個code就是原輸入信號的良好表達(dá)了，或者牽強(qiáng)點說，它和原信號是一模一樣的（表達(dá)不一樣，反映的是一個東西）。那第二層和第一層的訓(xùn)練方式就沒有差別了，將第一層輸出的code當(dāng)成第二層的輸入信號，同樣最小化重構(gòu)誤差，就會得到第二層的參數(shù)，并且得到第二層輸入的code，也就是原輸入信息的第二個表達(dá)了。其他層也以同樣的方法進(jìn)行。AutoEncoder自動編碼器Deep結(jié)構(gòu)——逐層訓(xùn)練37AutoEncoder自動編碼器監(jiān)督學(xué)習(xí)Deep結(jié)構(gòu)，每一層都會得到原始輸入的不同層次的表達(dá)。有監(jiān)督微調(diào)為了實現(xiàn)分類，可以在AutoEncoder的最頂?shù)木幋a層添加一個分類器（例如Logistic回歸、SVM等），然后通過標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法（梯度下降法）去訓(xùn)練。AutoEncoder自動編碼器監(jiān)督學(xué)習(xí)38AutoEncoder自動編碼器監(jiān)督學(xué)習(xí)最后層的特征code輸入到分類器中，基于有標(biāo)簽樣本，通過監(jiān)督學(xué)習(xí)對網(wǎng)絡(luò)進(jìn)行微調(diào)1、只調(diào)整分類器2、通過有標(biāo)簽樣本，微調(diào)整個系統(tǒng)：（如果有足夠多的數(shù)據(jù)，end-to-endlearning端對端學(xué)習(xí)）AutoEncoder自動編碼器監(jiān)督學(xué)習(xí)1、只調(diào)整分類器2、39AutoEncoder擴(kuò)展SparseAutoEncoder稀疏自動編碼器限制得到的表達(dá)code盡量稀疏DenoisingAutoEncoders降噪自動編碼器數(shù)據(jù)存在噪聲AutoEncoder擴(kuò)展SparseAutoEncode40SparseAutoEncoder稀疏自動編碼器限制得到的表達(dá)code盡量稀疏在AutoEncoder的基礎(chǔ)上加上L1的Regularity限制

人腦好像也是這樣的，某個輸入只是刺激某些神經(jīng)元，其他的大部分的神經(jīng)元是受到抑制的SparseAutoEncoder稀疏自動編碼器限制得到的41DenoisingAutoEncoders降噪自動編碼器若訓(xùn)練數(shù)據(jù)中存在噪聲，自動編碼器必須學(xué)習(xí)去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。迫使編碼器去學(xué)習(xí)輸入信號的更加魯棒的表達(dá)。就是以一定概率分布（通常使用二項分布）去擦除原始input矩陣，即每個值都隨機(jī)置0,這樣看起來部分?jǐn)?shù)據(jù)的部分特征是丟失了。以這丟失的數(shù)據(jù)x'去計算y，計算z，并將z與原始x做誤差迭代，這樣，網(wǎng)絡(luò)就學(xué)習(xí)了這個破損（Corruputed）的數(shù)據(jù)。DenoisingAutoEncoders降噪自動編碼器若42DenoisingAE降噪自動編碼器破損數(shù)據(jù)的作用通過與非破損數(shù)據(jù)訓(xùn)練的對比，破損數(shù)據(jù)訓(xùn)練出來的Weight噪聲比較小。破損數(shù)據(jù)一定程度上減輕了訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的代溝。這樣胡亂擦除原始input真的很科學(xué)？真的沒問題？

Vincent又從大腦認(rèn)知角度給了解釋：人類具有認(rèn)知被阻擋的破損圖像能力，此源于我們高等的聯(lián)想記憶感受機(jī)能。我們能以多種形式去記憶（比如圖像、聲音），所以即便是數(shù)據(jù)破損丟失，我們也能回想起來。DenoisingAE降噪自動編碼器破損數(shù)據(jù)的作用Vin43兩隱層自編碼網(wǎng)絡(luò)MNIST手寫數(shù)字識別訓(xùn)練一個包含兩個隱含層的棧式自編碼網(wǎng)絡(luò)，用來進(jìn)行MNIST手寫數(shù)字分類用原始輸入x(k)訓(xùn)練第一個自編碼器，學(xué)習(xí)得到原始輸入的一階特征表示h(1)(k)/wiki/index.php/棧式自編碼算法兩隱層自編碼網(wǎng)絡(luò)MNIST手寫數(shù)字識別訓(xùn)練一個包含兩個隱含層44兩隱層自編碼網(wǎng)絡(luò)MNIST手寫數(shù)字識別把上一層的一階特征作為另一個稀疏自編碼器的輸入，使用它們來學(xué)習(xí)二階特征h(2)(k)兩隱層自編碼網(wǎng)絡(luò)MNIST手寫數(shù)字識別把上一層的一階特征作為45兩隱層自編碼網(wǎng)絡(luò)MNIST手寫數(shù)字識別將二階特征作為softmax分類器的輸入，訓(xùn)練得到一個能將二階特征映射到數(shù)字標(biāo)簽的模型兩隱層自編碼網(wǎng)絡(luò)MNIST手寫數(shù)字識別將二階特征作為soft46兩隱層自編碼網(wǎng)絡(luò)MNIST手寫數(shù)字識別將這三層結(jié)合起來構(gòu)成一個棧式自編碼網(wǎng)絡(luò)，通過反向傳播算法(BP)同時調(diào)整所有層的參數(shù)以改善學(xué)習(xí)結(jié)果(稱為整體細(xì)調(diào)fine-tuning)兩隱層自編碼網(wǎng)絡(luò)MNIST手寫數(shù)字識別將這三層結(jié)合起來構(gòu)成一47棧式自編碼器神經(jīng)網(wǎng)絡(luò)棧式自編碼神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的表達(dá)能力及深度神經(jīng)網(wǎng)絡(luò)的所有優(yōu)點。通常能夠獲取到輸入的“層次型分組”或者“部分-整體分解”結(jié)構(gòu)。學(xué)習(xí)方式：前層的輸出作為下一層輸入的方式依次訓(xùn)練。如果網(wǎng)絡(luò)的輸入數(shù)據(jù)是圖像，網(wǎng)絡(luò)的第一層會學(xué)習(xí)如何去識別邊，第二層一般會學(xué)習(xí)如何去組合邊，從而構(gòu)成輪廓、角等。更高層會學(xué)習(xí)如何去組合更形象且有意義的特征。如果輸入數(shù)據(jù)集包含人臉圖像，更高層會學(xué)習(xí)如何識別或組合眼睛、鼻子、嘴等人臉器官。棧式自編碼器神經(jīng)網(wǎng)絡(luò)棧式自編碼神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的表達(dá)能力及深48DeepLearning的常用模型

——DeepBeliefNetworks(DBN)DeepLearning的常用模型

49發(fā)展歷程HopfieldnetworkBoltzmanmachineRestrictedBoltzmanmachineDBN發(fā)展歷程Hopfieldnetwork50HopfieldNetwork結(jié)構(gòu)單層全互連、對稱權(quán)值的反饋網(wǎng)絡(luò)狀態(tài)：-1(0)，+1網(wǎng)絡(luò)演化Hopfield網(wǎng)絡(luò)按動力學(xué)方式運行。，其工作過程為狀態(tài)的演化過程，即從初始狀態(tài)按能量減小的方向進(jìn)行演化，直到達(dá)到穩(wěn)定狀態(tài)。穩(wěn)定狀態(tài)即為網(wǎng)絡(luò)的輸出HopfieldNetwork結(jié)構(gòu)5152二值隨機(jī)神經(jīng)元(Bernoullivariables)Thesehaveastateof1or0.Theprobabilityofturningonisdeterminedbytheweightedinputfromotherunits(plusabias)00152二值隨機(jī)神經(jīng)元(Bernoullivariables52波爾茲曼機(jī)BoltzmannMachine結(jié)構(gòu)類似于Hopfield網(wǎng)絡(luò)，但它是具有隱單元的反饋互聯(lián)網(wǎng)絡(luò)遵循波爾茲曼分布，學(xué)習(xí)數(shù)據(jù)的固有內(nèi)在表示BM基本原理1.Hopfield網(wǎng)絡(luò)的神經(jīng)元的結(jié)構(gòu)功能及其在網(wǎng)絡(luò)中的地位是一樣的。但BM中一部分神經(jīng)元與外部相連,可以起到網(wǎng)絡(luò)的輸入、輸出功能,或者嚴(yán)格地說可以受到外部條件的約束。另一部分神經(jīng)元則不與外部相連，因而屬于隱單元2.每個神經(jīng)元只取1或0這兩種狀態(tài)：

狀態(tài)1代表該神經(jīng)元處于接通狀態(tài)，狀態(tài)0代表該神經(jīng)元處于斷開狀態(tài)wji=wij,wii=0網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、訓(xùn)練代價大、局部極小波爾茲曼機(jī)BoltzmannMachine結(jié)構(gòu)類似于Ho53受限波爾茲曼機(jī)RestrictedBoltzmannMachinesRestrictedBoltzmannMachine(RBM)通過輸入數(shù)據(jù)集學(xué)習(xí)概率分布的隨機(jī)生成神經(jīng)網(wǎng)絡(luò)RBM結(jié)構(gòu)：一個可見層一個隱層層內(nèi)無連接受限波爾茲曼機(jī)RestrictedBoltzmannM54二層圖：一層是可視層，即輸入數(shù)據(jù)層(v)

一層是隱藏層(h)所有的節(jié)點都是二值變量RBM中，隱單元在給定可視單元情況下，條件獨立55受限波爾茲曼機(jī)二層圖：55受限波爾茲曼機(jī)55RBM的參數(shù)，均為實數(shù)，Wij表示可見單元i和隱單元j之間的連接權(quán)重，bi和aj分別表示可見單元i和隱單元j的偏置。定義聯(lián)合組態(tài)（jointconfiguration）能量：當(dāng)參數(shù)確定時，基于該能量函數(shù)，得到(v,h)的聯(lián)合概率分布受限波爾茲曼機(jī)RBM的參數(shù)56受限波爾茲曼機(jī)學(xué)習(xí)目標(biāo)：極大似然給定N個樣本受限波爾茲曼機(jī)學(xué)習(xí)目標(biāo)：極大似然57RBM極大似然v為觀測變量，h為隱變量，其能量函數(shù)為：E(v,h;θ)概率值：

p(v,h),p(v),p(h),p(v|h),p(h|v)RBM極大似然58RBM極大似然RBM極大似然59RBMCD算法思想

(Hinton,2002)ContrastiveDivergence觀測分布真實分布RBMCD算法思想(Hinton,2002)Contr60RBM具體參數(shù)W,a,bRBM的能量：E(v,h)=?vTWh?bTv?aTh概率形式RBM具體參數(shù)W,a,b61RBM具體參數(shù)RBM具體參數(shù)62RBM對于hj∈{0;1},

vi∈{0;1},可進(jìn)一步化簡：RBM對于hj∈{0;1},vi∈{0;1},可進(jìn)一步63RBM通過采樣來計算第二項：CD-K算法再回顧ML算法目標(biāo)RBM通過采樣來計算第二項：64RBM算法流程(CD-1)：輸入樣本為{v1,v2,…,vn}，設(shè)觀測變量v,隱變量h將對各參數(shù)的偏導(dǎo)數(shù)初始化為

Δwij=0,Δaj=0,Δbi=0;Fork=1,…,N:v(0)←{vn}Forj=1,...,m,dosample：Fori=1,...,n,dosample：計算梯度，最后平均（樣本數(shù)）（隱結(jié)點數(shù)）（維數(shù)）RBM算法流程(CD-1)：（樣本數(shù)）（隱結(jié)點數(shù)）（維數(shù)）65RBMCD-1算法RBMCD-1算法66RBM圖解RBM圖解67RBM訓(xùn)練技巧（結(jié)構(gòu)已定）將數(shù)據(jù)分成Batch,在每個batch內(nèi)并行計算將CD-∞算法折衷成CD-1算法監(jiān)控學(xué)習(xí)過程防止overfitting監(jiān)控學(xué)習(xí)率增加動力機(jī)制（選樣）增加稀疏機(jī)制（聯(lián)接）G.Hinton.APracticalGuidetoTrainingRestrictedBoltzmannMachines,TechReport,No.UTMLTR2010-003,DepartmentofComputerScience,UniversityofToronto,CanadaRBM訓(xùn)練技巧（結(jié)構(gòu)已定）G.Hinton.APrac68DeepBeliefNetworks(DBNs)概率生成模型深層結(jié)構(gòu)——多層非監(jiān)督的預(yù)學(xué)習(xí)提供了網(wǎng)絡(luò)好的初始化maximizingthelower-boundofthelog-likelihoodofthedata監(jiān)督微調(diào)(fine-tuning)Generative:Up-downalgorithmDiscriminative:backpropagationDeepBeliefNetworks(DBNs)概率生成69DBN結(jié)構(gòu)Hintonetal.,2006DBN結(jié)構(gòu)Hintonetal.,200670DBNGreedytraining第一步ConstructanRBMwithaninputlayervandahiddenlayerhTraintheRBMDBNGreedytraining第一步71DBNGreedytraining第二步Stackanotherhidden

layerontopoftheRBM

toformanewRBMFixW1,sampleh1

fromQ(h1|v)asinput.TrainW2asRBM.DBNGreedytraining第二步72DBNGreedytraining第三步Continuetostacklayers

ontopofthenetwork,

trainitaspreviousstep,

withsamplesampled

fromQ(h2|h1)Andsoon…DBNGreedytraining第三步73Fine-tuningTrainingforclassificationFine-tuningTrainingforclassi74逐層貪婪訓(xùn)練RBMspecifiesP(v,h)fromP(v|h)andP(h|v)ImplicitlydefinesP(v)andP(h)KeyideaofstackingKeepP(v|h)from1stRBMReplaceP(h)bythedistributiongeneratedby2ndlevelRBM逐層貪婪訓(xùn)練RBMspecifiesP(v,h)fro75逐層貪婪訓(xùn)練EasyapproximateinferenceP(hk+1|hk)approximatedfromthe

associatedRBMApproximationbecauseP(hk+1)

differsbetweenRBMandDBNTraining:Variationalboundjustifiesgreedy

layerwisetrainingofRBMs逐層貪婪訓(xùn)練Easyapproximateinferen76DBN識別手寫數(shù)字待識別數(shù)字的黑白位圖隱性神經(jīng)元識別結(jié)果關(guān)閉狀態(tài)的神經(jīng)元開啟狀態(tài)的神經(jīng)元Resultisrighterrorrate：DBN1.2%,Compar