CNN卷積神經(jīng)網(wǎng)絡(luò)分析概述目錄TOC\o"1-3"\h\u22980CNN卷積神經(jīng)網(wǎng)絡(luò)分析概述 179571.1卷積 1308241.2池化 21.1卷積前文中提到了LSTM在時(shí)序問題上有很好的處理效果，接下來概述CNN卷積神經(jīng)網(wǎng)絡(luò)，CNN主要運(yùn)用于圖像識(shí)別，計(jì)算機(jī)視覺等方面。前文介紹到全連接網(wǎng)絡(luò)的概念，因此不難看出全連接有一個(gè)很大的問題在于，中間層數(shù)越多，要得出的參數(shù)量就會(huì)越多，這樣會(huì)造成計(jì)算機(jī)占用很大的內(nèi)存，其中梯度相關(guān)運(yùn)算占用的資源也會(huì)非常的多。所以需要CNN來解決這個(gè)問題，而且CNN的魯棒性和抗干擾性也非常優(yōu)越，所以目前在圖像識(shí)別方面,CNN的應(yīng)用很廣泛。接下來將研究如何避免全連接網(wǎng)絡(luò)的參數(shù)集大的缺陷。全連接層因?yàn)闀?huì)前后兩層的節(jié)點(diǎn)相互連接，如果面對(duì)輸入很多的時(shí)候會(huì)出現(xiàn)大量的連接，這樣雖然可以提取所有輸入節(jié)點(diǎn)的特征，但是由于連接過多會(huì)造成在梯度計(jì)算和反向傳播中出現(xiàn)大量的權(quán)重和偏置的計(jì)算，并且后續(xù)計(jì)算損失函數(shù)會(huì)十分復(fù)雜，對(duì)于我們希望其準(zhǔn)確快速的方面表現(xiàn)很差。全連接方式不適用，可以考慮進(jìn)行特征提取，從節(jié)點(diǎn)的重要性方面考慮，相對(duì)重要的節(jié)點(diǎn)使其占比加大，忽略相對(duì)不重要的節(jié)點(diǎn)。然而找出每個(gè)中間節(jié)點(diǎn)的重要性分布是件非常困難的事情，但是可以針對(duì)于具體問題，利用先驗(yàn)知識(shí)把這個(gè)問題簡(jiǎn)化。先舉例來講述卷積神經(jīng)網(wǎng)絡(luò)是如何工作的。對(duì)人類來說，不難識(shí)別從不同人手中寫出的不同字母的書寫，但是對(duì)于計(jì)算機(jī)它只會(huì)認(rèn)識(shí)像素陣列。既然人類可以認(rèn)識(shí)到字母的區(qū)別，是說明我們找到了它們的特征并且提取出來進(jìn)行識(shí)別。那么應(yīng)該如何讓計(jì)算機(jī)進(jìn)行特征提取，來讓計(jì)算機(jī)認(rèn)識(shí)這些字母呢？圖2-14特征提取如圖2-14，可以看出來對(duì)于X的識(shí)別，有三個(gè)部分作為識(shí)別的特征，把這三個(gè)特征提取出來，把它們叫做卷積核，如圖2-15，將白色的像素部分設(shè)置為1，黑色的像素部分設(shè)置為-1來進(jìn)行識(shí)別。CNN里最重要的運(yùn)算之一，卷積運(yùn)算，可以理解為特征提取。卷積的“卷”是指翻轉(zhuǎn)平移操作，“積”是指積分運(yùn)算。卷積核在原圖上不斷進(jìn)行運(yùn)算，如圖2-16圖2-15卷積核圖2-16卷積核運(yùn)算不難看出來其中一個(gè)卷積核和綠框中的值進(jìn)行相乘再相加取平均，最后得出來數(shù)1，這就說明它們的特征完全一樣，計(jì)算機(jī)再以此和圖片上其他部分進(jìn)行卷積運(yùn)算（當(dāng)然實(shí)際上的卷積核要進(jìn)行翻轉(zhuǎn)的，這里是為了便于理解）從圖2-17里不難看出來，經(jīng)過各個(gè)部分的卷積運(yùn)算之后，計(jì)算機(jī)得出來了它的featuremap，數(shù)字越大說明特征越相關(guān)。圖2-17提取featuremap1.2池化計(jì)算機(jī)拿三個(gè)卷積核對(duì)圖片進(jìn)行卷積得出圖2-18的結(jié)果，這三個(gè)卷積核出來的結(jié)果可以提取出各自對(duì)應(yīng)的特征。但是大部分使用CNN的地方會(huì)存在許多特征，計(jì)算機(jī)不可能在短時(shí)間內(nèi)找到數(shù)以萬計(jì)卷積核去提取特征。大部分時(shí)間需要計(jì)算機(jī)做出很快的判斷，因此計(jì)算機(jī)需要對(duì)其進(jìn)行縮小簡(jiǎn)化。就好像把視頻的分辨率從1080P降低到360P一樣，雖然圖像模糊了，但是人們依舊不難整體看出它是什么東西，只不過在細(xì)節(jié)方面稍微差一點(diǎn)罷了?？墒侨绾螌?shí)現(xiàn)這種操作使得featuremap進(jìn)行縮小呢？就需要用到一個(gè)操作叫做池化（pooling）在得出featuremap之后用一個(gè)大的框架來使得其縮小。池化分為兩種，一種叫最大池化方式，另一種叫平均池化方式。不難從字面意思看出來，計(jì)算機(jī)可以從featuremap上取一個(gè)大框的最大值作為池化值，這就是最大池化方式。反之計(jì)算機(jī)取大框的平均值作為池化值，這就叫做平均池化方式，如圖2-19。一般計(jì)算機(jī)是用最大池化方式，在保留原圖的特征的同時(shí)還能把原圖的尺寸降低。池化和卷積都會(huì)存在步長(zhǎng)，步長(zhǎng)決定了卷積池化每一次的行進(jìn)距離。然后計(jì)算機(jī)通過激活函數(shù)把卷積池化后的結(jié)果進(jìn)行負(fù)數(shù)歸0通過ReLU等激活函數(shù)來進(jìn)行，這樣方便后續(xù)操作。原圖經(jīng)過卷積激活池化如圖2-20得出結(jié)果，通過不斷重復(fù)這個(gè)過程就可以得到小的特征提取。圖2-18不同卷積核得出的featuremap圖2-19兩種池化方式圖2-20CNN實(shí)現(xiàn)過程然后經(jīng)過這個(gè)重復(fù)過程之后就可以用到前文中提到的MLP來進(jìn)行全連接排列了，然后進(jìn)行權(quán)重偏置激活的訓(xùn)練運(yùn)算，計(jì)算機(jī)就可以來識(shí)別出圖像來了。也就是說卷積池化可以理解為縮放然后把結(jié)果放入MLP中得出識(shí)別結(jié)果了。卷積核的選擇是通過計(jì)算機(jī)自我訓(xùn)練實(shí)現(xiàn)的，人們只要給參數(shù)就可以，現(xiàn)在我們運(yùn)用的訓(xùn)練模型都是前人給我們訓(xùn)練好的，因此我們后續(xù)的任務(wù)會(huì)方便很多。訓(xùn)練依舊離不開梯度下降和反向傳播。大數(shù)據(jù)的好處就體現(xiàn)在這里，我們可以用大數(shù)據(jù)不斷進(jìn)行機(jī)器訓(xùn)練。但是像表格這種，進(jìn)行數(shù)據(jù)列交換后，不影響我們的認(rèn)識(shí)閱讀的話，CNN就不是很適用了。但是CNN的出現(xiàn)還是提供給