卷積神經(jīng)網(wǎng)絡(luò)研究及其應(yīng)用

015034910079

王顏1卷積神經(jīng)網(wǎng)絡(luò)研究及其應(yīng)用

015034910079

王顏目錄一、研究現(xiàn)狀二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)三、卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用四、總結(jié)與展望2目錄一、研究現(xiàn)狀2CNN的發(fā)展及研究現(xiàn)狀神經(jīng)網(wǎng)絡(luò)是神經(jīng)科學(xué)與計(jì)算機(jī)科學(xué)結(jié)合的產(chǎn)物。神經(jīng)網(wǎng)絡(luò)的研究幾經(jīng)起落，直到2006年，深度學(xué)習(xí)提出，深度神經(jīng)網(wǎng)研究興起。Hubel和wiesel通過對貓的視覺系統(tǒng)的實(shí)驗(yàn)，提出了感受野的概念?；谝曈X神經(jīng)感受野的理論，有學(xué)者提出CNN。一、研究現(xiàn)狀3CNN的發(fā)展及研究現(xiàn)狀神經(jīng)網(wǎng)絡(luò)是神經(jīng)科學(xué)與計(jì)算機(jī)科學(xué)結(jié)合的產(chǎn)CNN的發(fā)展及研究現(xiàn)狀深度學(xué)習(xí)在語音識別、圖像識別等領(lǐng)域摧枯拉朽。一、研究現(xiàn)狀國際會議、期刊等涌現(xiàn)大量深度學(xué)習(xí)的文章，CNN被引入很多領(lǐng)域。知名高科技公司都在深度學(xué)習(xí)領(lǐng)域加大投入。4CNN的發(fā)展及研究現(xiàn)狀深度學(xué)習(xí)在語音識別、圖像識別等領(lǐng)域摧枯神經(jīng)網(wǎng)絡(luò)起源二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)5神經(jīng)網(wǎng)絡(luò)起源二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)5神經(jīng)網(wǎng)絡(luò)-訓(xùn)練過程二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)6神經(jīng)網(wǎng)絡(luò)-訓(xùn)練過程二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)6神經(jīng)網(wǎng)絡(luò)-訓(xùn)練理念（梯度下降）各變量滿足如下公式：求vjk的梯度：求wij的梯度：二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)7神經(jīng)網(wǎng)絡(luò)-訓(xùn)練理念（梯度下降）各變量滿足如下公式：求vjk的BP算法的規(guī)律二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)8BP算法的規(guī)律二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)8卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的一種變形卷積神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)的主要區(qū)別就是CNN采用了卷積和子采樣過程。神經(jīng)生物學(xué)中局部感受野的提出（1962）催生了卷積的思想。卷積減少了CNN網(wǎng)絡(luò)參數(shù)，子采樣減少了網(wǎng)絡(luò)參數(shù)，權(quán)值共享大大減少的CNN網(wǎng)絡(luò)參數(shù)。但是CNN具備深層結(jié)構(gòu)。二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)9卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的一種變形二、神經(jīng)網(wǎng)絡(luò)與卷局部感受野二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)10局部感受野二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)10卷積神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)11卷積神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)11卷積

卷積核kernal在inputX圖中從左向右，從上至下每次移動一個位置,對應(yīng)位置相乘求和并賦值到OutputY中的一個位置。二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)12卷積卷積核kernal在inputX圖中從左向右，從子采樣（pooling）子采樣通常有兩種形式。均值子采樣和最大值子采樣，子采樣可以看做一種特殊的卷積過程。二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)13子采樣（pooling）子采樣通常有兩種形式。前向卷積過程二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)14前向卷積過程二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)14二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)15二、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)15編碼實(shí)現(xiàn)CNN我們采用了6w張手寫數(shù)字圖片作為訓(xùn)練集，用1w手寫數(shù)字圖片作為測試集。經(jīng)過100次迭代，在訓(xùn)練集上得到99.51%的準(zhǔn)確率，在測試集上得到98.8%的準(zhǔn)確率。三、卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用16編碼實(shí)現(xiàn)CNN我們采用了6w張手寫數(shù)字圖片作為訓(xùn)練集，用1wCNN特征選取本文的CNN模型的輸入是語音的頻譜特征17CNN特征選取本文的CNN模型的輸入是語音的頻譜特征17本文CNN網(wǎng)絡(luò)結(jié)構(gòu)描述18本文CNN網(wǎng)絡(luò)結(jié)構(gòu)描述181919202021212222展望

由于采用使用的訓(xùn)練數(shù)據(jù)較少，CNN嘗試的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)也少，我們還有很大的模型的調(diào)優(yōu)空間。

未來CNN還可以嘗試使用更深層的網(wǎng)絡(luò)結(jié)構(gòu)，使用更好的語音特征。由于深度網(wǎng)絡(luò)對數(shù)據(jù)描述的能力更強(qiáng),我們預(yù)測增加訓(xùn)練數(shù)據(jù)并經(jīng)合理的訓(xùn)