卷積神經(jīng)網(wǎng)絡研究及其應用

015034910079

王顏1卷積神經(jīng)網(wǎng)絡研究及其應用

015034910079

王顏目錄一、研究現(xiàn)狀二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡三、卷積神經(jīng)網(wǎng)絡應用四、總結(jié)與展望2目錄一、研究現(xiàn)狀2CNN的發(fā)展及研究現(xiàn)狀神經(jīng)網(wǎng)絡是神經(jīng)科學與計算機科學結(jié)合的產(chǎn)物。神經(jīng)網(wǎng)絡的研究幾經(jīng)起落，直到2006年，深度學習提出，深度神經(jīng)網(wǎng)研究興起。Hubel和wiesel通過對貓的視覺系統(tǒng)的實驗，提出了感受野的概念。基于視覺神經(jīng)感受野的理論，有學者提出CNN。一、研究現(xiàn)狀3CNN的發(fā)展及研究現(xiàn)狀神經(jīng)網(wǎng)絡是神經(jīng)科學與計算機科學結(jié)合的產(chǎn)CNN的發(fā)展及研究現(xiàn)狀深度學習在語音識別、圖像識別等領域摧枯拉朽。一、研究現(xiàn)狀國際會議、期刊等涌現(xiàn)大量深度學習的文章，CNN被引入很多領域。知名高科技公司都在深度學習領域加大投入。4CNN的發(fā)展及研究現(xiàn)狀深度學習在語音識別、圖像識別等領域摧枯神經(jīng)網(wǎng)絡起源二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡5神經(jīng)網(wǎng)絡起源二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡5神經(jīng)網(wǎng)絡-訓練過程二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡6神經(jīng)網(wǎng)絡-訓練過程二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡6神經(jīng)網(wǎng)絡-訓練理念（梯度下降）各變量滿足如下公式：求vjk的梯度：求wij的梯度：二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡7神經(jīng)網(wǎng)絡-訓練理念（梯度下降）各變量滿足如下公式：求vjk的BP算法的規(guī)律二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡8BP算法的規(guī)律二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡8卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡是神經(jīng)網(wǎng)絡的一種變形卷積神經(jīng)網(wǎng)絡與神經(jīng)網(wǎng)絡的主要區(qū)別就是CNN采用了卷積和子采樣過程。神經(jīng)生物學中局部感受野的提出（1962）催生了卷積的思想。卷積減少了CNN網(wǎng)絡參數(shù)，子采樣減少了網(wǎng)絡參數(shù)，權(quán)值共享大大減少的CNN網(wǎng)絡參數(shù)。但是CNN具備深層結(jié)構(gòu)。二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡9卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡是神經(jīng)網(wǎng)絡的一種變形二、神經(jīng)網(wǎng)絡與卷局部感受野二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡10局部感受野二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡10卷積神經(jīng)網(wǎng)絡的一般結(jié)構(gòu)二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡11卷積神經(jīng)網(wǎng)絡的一般結(jié)構(gòu)二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡11卷積

卷積核kernal在inputX圖中從左向右，從上至下每次移動一個位置,對應位置相乘求和并賦值到OutputY中的一個位置。二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡12卷積卷積核kernal在inputX圖中從左向右，從子采樣（pooling）子采樣通常有兩種形式。均值子采樣和最大值子采樣，子采樣可以看做一種特殊的卷積過程。二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡13子采樣（pooling）子采樣通常有兩種形式。前向卷積過程二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡14前向卷積過程二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡14二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡15二、神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡15編碼實現(xiàn)CNN我們采用了6w張手寫數(shù)字圖片作為訓練集，用1w手寫數(shù)字圖片作為測試集。經(jīng)過100次迭代，在訓練集上得到99.51%的準確率，在測試集上得到98.8%的準確率。三、卷積神經(jīng)網(wǎng)絡應用16編碼實現(xiàn)CNN我們采用了6w張手寫數(shù)字圖片作為訓練集，用1wCNN特征選取本文的CNN模型的輸入是語音的頻譜特征17CNN特征選取本文的CNN模型的輸入是語音的頻譜特征17本文CNN網(wǎng)絡結(jié)構(gòu)描述18本文CNN網(wǎng)絡結(jié)構(gòu)描述181919202021212222展望

由于采用使用的訓練數(shù)據(jù)較少，CNN嘗試的網(wǎng)絡結(jié)構(gòu)及參數(shù)也少，我們還有很大的模型的調(diào)優(yōu)空間。

未來CNN還可以嘗試使用更深層的網(wǎng)絡結(jié)構(gòu)，使用更好的語音特征。由于深度網(wǎng)絡對數(shù)據(jù)描述的能力更強,我們預測增加訓練數(shù)據(jù)并經(jīng)合理的訓