深度學(xué)習(xí)----許洛1.深度學(xué)習(xí)（DL）1深度學(xué)習(xí)介紹1DL歷程2BP缺點(diǎn)2CNN應(yīng)用1手寫(xiě)字體識(shí)別2語(yǔ)音識(shí)別3CNN原理卷積池化反向傳輸2.深度學(xué)習(xí)（DL）60、70年代，神經(jīng)網(wǎng)絡(luò)（NNs）最早可以追溯的時(shí)期，構(gòu)建出連續(xù)非線性層的神經(jīng)元模型；隨后，建立帶有梯度下降的BP模型，1981年首次NN得到應(yīng)用；

80年代末，基于BP訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)（DeepNNs）依然很難實(shí)現(xiàn)，90年代開(kāi)始成為研究主體；1991，

通過(guò)無(wú)導(dǎo)學(xué)習(xí)的深度學(xué)習(xí)（DeepLearning，DL）在實(shí)際中可以運(yùn)用；

2009，有導(dǎo)師學(xué)習(xí)的DL在大部分國(guó)際模式識(shí)別競(jìng)賽中領(lǐng)先于其他機(jī)器學(xué)習(xí)方法，并且第一個(gè)實(shí)現(xiàn)超人視覺(jué)模式識(shí)別，從此贏得廣泛關(guān)注。文獻(xiàn)參考：Deeplearninginneuralnetworks:Anoverview3.深度學(xué)習(xí)（DL）BP神經(jīng)網(wǎng)絡(luò)（BPNNs）網(wǎng)絡(luò)存在的主要問(wèn)題：1.一般要得到較好的訓(xùn)練效果，隱層數(shù)目不能太少，當(dāng)圖片大的時(shí)候，需要的權(quán)值會(huì)非常多；2.對(duì)平移、尺度變化敏感（比如數(shù)字偏左上角，右下角時(shí)即識(shí)別失?。?；3.圖片在相鄰區(qū)域是相關(guān)的，而這種網(wǎng)絡(luò)只是一股腦把所有像素扔進(jìn)去，沒(méi)有考慮圖片相關(guān)性。4.深度學(xué)習(xí)（DL）

最早的DL：前饋神經(jīng)網(wǎng)絡(luò)feedforward(acyclic)NNs(FNNs)和周期神經(jīng)網(wǎng)絡(luò)

recurrent(cyclic)NNs(RNNs)；目前應(yīng)用較普遍的是深度置信網(wǎng)絡(luò)(deepbeliefnetwork,DBN)和卷積神經(jīng)網(wǎng)絡(luò)（CNN），DBN網(wǎng)絡(luò)可以看作是由多個(gè)受限玻爾茲曼機(jī)疊加而成，CNN通過(guò)localreceptivefields（感受野），sharedweights（共享權(quán)值），subsampling（下采樣）概念來(lái)解決BP網(wǎng)絡(luò)的三個(gè)問(wèn)題。5.深度學(xué)習(xí)（DL）1深度學(xué)習(xí)介紹1DL歷程2BP缺點(diǎn)2CNN應(yīng)用1手寫(xiě)字體識(shí)別2語(yǔ)音識(shí)別3CNN原理卷積池化反向傳輸6.手寫(xiě)字體識(shí)別由手寫(xiě)字體組成圖像樣本經(jīng)典數(shù)據(jù)庫(kù)：mnist，共60000訓(xùn)練樣本，10000個(gè)預(yù)測(cè)樣本；訓(xùn)練樣本維度：28*28*60000訓(xùn)練標(biāo)簽維度：10*60000圖例：CNN經(jīng)典程序下載:https:///rasmusbergpalm/DeepLearnToolbox7.語(yǔ)音識(shí)別參考：《基于深度學(xué)習(xí)的語(yǔ)音識(shí)別應(yīng)用研究_張建華》該文獻(xiàn)通過(guò)深度神經(jīng)網(wǎng)絡(luò)提取語(yǔ)音特征的方法、深度神經(jīng)網(wǎng)絡(luò)提取聲韻母屬性的方法、深度學(xué)習(xí)搭建聲學(xué)模型的方法對(duì)比；一般的語(yǔ)音識(shí)別多提取每幀長(zhǎng)25ms、幀移10ms的語(yǔ)音對(duì)應(yīng)的MFCC特征,該文提取使用fBank特征。8.CNNCNN結(jié)構(gòu)圖：9.CNN在Toolbox的實(shí)現(xiàn)中，C1共有6個(gè)卷積核，則卷積結(jié)果6個(gè)特征map;卷積層的一個(gè)map與上層的所有map都關(guān)聯(lián)，如上圖的S2和C3，即C3共有6*12個(gè)卷積核，C1有156個(gè)可訓(xùn)練參數(shù)（每個(gè)濾波器5*5=25個(gè)unit參數(shù)和一個(gè)bias參數(shù)，一共6個(gè)濾波器，共(5*5+1)*6=156個(gè)參數(shù)）。最后一層將4*4的map平鋪成一條特征數(shù)組，用于訓(xùn)練。輸入圖像：28*28卷積層：均為5*5采樣核大?。壕鶠?*2。10.卷積層卷積層的每一個(gè)特征map是不同的卷積核在前一層所有map上作卷積并將對(duì)應(yīng)元素累加后加一個(gè)偏置，再求sigmod得到的。假設(shè)上一層的map大小是n*n、卷積核的大小是k*k，則該層的map大小是(n-k+1)*(n-k+1)，比如上圖的24*24的map大小24=（28-5+1）。參見(jiàn)網(wǎng)址：http:///lu597203933/article/details/4657587111.采樣層是對(duì)上一層map的一個(gè)采樣處理，相當(dāng)于對(duì)上一層map的相鄰小區(qū)域進(jìn)行聚合統(tǒng)計(jì)，區(qū)域大小為scale*scale，有些是取小區(qū)域的最大值，而ToolBox里面的實(shí)現(xiàn)是采用2*2小區(qū)域的均值。CNNToolBox里面也是用卷積來(lái)實(shí)現(xiàn)采樣的，卷積核是2*2，每個(gè)元素都是1/4。池化層12.反向傳輸反向傳輸過(guò)程是CNN最復(fù)雜的地方，雖然從宏觀上來(lái)