第5章

經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)目錄01LeNet03VGG04課后作業(yè)02AlexNet1、LeNet簡(jiǎn)介1、AlexNet簡(jiǎn)介1、VGG簡(jiǎn)介L(zhǎng)eNetLeNet的簡(jiǎn)介L(zhǎng)eNet是由YannLeCun等人在1998年提出的首個(gè)成功應(yīng)用于手寫數(shù)字識(shí)別任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）。它被廣泛認(rèn)為是深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的先驅(qū)之一，對(duì)現(xiàn)代CNN的發(fā)展產(chǎn)生了深遠(yuǎn)的影響。LeNet首次采用了卷積層和池化層這兩個(gè)全新的神經(jīng)網(wǎng)絡(luò)組件，在手寫數(shù)字識(shí)別任務(wù)中取得了顯著的準(zhǔn)確率，展示了卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中的巨大潛力。核心思想：（1）LeNet結(jié)構(gòu)包括多個(gè)卷積層和池化層，能夠有效提取圖像特征，并通過(guò)全連接層進(jìn)行分類。這一架構(gòu)的設(shè)計(jì)理念為后來(lái)的深度學(xué)習(xí)模型奠定了基礎(chǔ)，促使卷積神經(jīng)網(wǎng)絡(luò)在更復(fù)雜的視覺(jué)任務(wù)中的廣泛應(yīng)用。（2）LeNet-5是最為著名的，也是LeNet系列中效果最佳的版本。LeNet-5這個(gè)網(wǎng)絡(luò)雖然很小，但是它包含了深度學(xué)習(xí)的基本模塊：卷積層，池化層，全連接層LeNetLeNet的模型結(jié)構(gòu)LeNet-5是最著名的版本，由七層組成，包括卷積層、池化層和全連接層。LeNet-5具體是由輸入層（INPUT），C1-卷積層（Convolustions,C1），S2-池化層（Subsampling,S2），C3-卷積層（Convolustions，C3），S4-池化層（Subsampling,S4），C5-卷積層（Convolustions,C5），F(xiàn)6-全連接層（FullConnection，F(xiàn)C6），輸出層（OUTPUT）組成。LeNet網(wǎng)絡(luò)模型的設(shè)計(jì)結(jié)合了卷積層和池化層的交替使用，以及全連接層的引入，使得它能夠有效地提取和識(shí)別手寫數(shù)字圖像中的特征。LeNetLeNet模型結(jié)構(gòu)中模塊的作用卷積層的主要作用是從輸入數(shù)據(jù)中提取特征。它通過(guò)卷積操作對(duì)輸入進(jìn)行局部感受，以識(shí)別出特定的模式或特征。卷積層的特點(diǎn)包括：1）特征提取，2）局部感受，3）權(quán)重共享，4）減少參數(shù)池化層(PoolingLayer)：池化層用于對(duì)特征圖進(jìn)行下采樣（Subsampling），降低其維度，同時(shí)保持重要的特征信息。池化層的特點(diǎn)包括：1）降維，2）特征選擇，3）不變性：，4）防止過(guò)擬合全連接層(FullyConnectedLayer)：全連接層是網(wǎng)絡(luò)的最后幾層，它的作用是將提取到的特征映射到最終的輸出。全連接層的特點(diǎn)包括：1）特征整合，2）分類或回歸，3）非線性映射，4）參數(shù)較多盡管在今天看來(lái)它相對(duì)簡(jiǎn)單，但LeNet的成功為卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用奠定了基礎(chǔ)，對(duì)深度學(xué)習(xí)的發(fā)展產(chǎn)生了深遠(yuǎn)的影響。AlexNetAlexNet是由AlexKrizhevsky、IlyaSutskever和GeoffreyHinton在2012年提出的一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，在當(dāng)年的ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（ILSVRC）中取得了顯著的成功，標(biāo)志著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的重大突破。AlexNet的成功不僅推動(dòng)了深度學(xué)習(xí)技術(shù)的發(fā)展，也引發(fā)了對(duì)深度學(xué)習(xí)模型的廣泛研究和應(yīng)用。AlexNetAlexnet模型為8層深度網(wǎng)絡(luò)，由5個(gè)卷積層和3個(gè)全連接層構(gòu)成，不計(jì)LRN層和池化層。AlexNet跟LeNet結(jié)構(gòu)類似，但使用了更多的卷積層和更大的參數(shù)空間來(lái)擬合大規(guī)模數(shù)據(jù)集ImageNet。AlexNetAlexNet的網(wǎng)絡(luò)結(jié)構(gòu)原圖輸入224×224×3，實(shí)際上進(jìn)行了隨機(jī)裁剪，實(shí)際大小為227×227。C1,C2,C5卷積層：基本結(jié)構(gòu)為：卷積->ReLU->池化C3,C4卷積層：基本結(jié)構(gòu)為：卷積->ReLU。注意一點(diǎn)：此層沒(méi)有進(jìn)行最大池化MaxPooling操作。全連接層FC6、FC7：基本結(jié)構(gòu)為：全連接->ReLU->Dropout全連接層FC8：FC8的基本結(jié)構(gòu)為：全連接->softmax。Softmax：最后一層全連接層的輸出是1000維softmax的輸入，softmax會(huì)產(chǎn)生1000個(gè)類別預(yù)測(cè)的值。（Dense指的是密集層（DenseLayer）和全連接層（FullyconnetedLayer）在深度學(xué)習(xí)上是一個(gè)概念。）AlexNetAlexNet的優(yōu)勢(shì)：（1）網(wǎng)絡(luò)層數(shù)增加：AlexNet具有8層變換，包括5層卷積層和3層全連接層。使得網(wǎng)絡(luò)能夠更好地學(xué)習(xí)和表示復(fù)雜的視覺(jué)特征，提高了圖像分類和識(shí)別的準(zhǔn)確性。（2）ReLU激活函數(shù)：引入ReLU激活函數(shù)取代了傳統(tǒng)的Sigmoid函數(shù)，在訓(xùn)練過(guò)程中加速了收斂速度。相比于Sigmoid和Tanh函數(shù)，ReLU函數(shù)在訓(xùn)練深層網(wǎng)絡(luò)時(shí)表現(xiàn)出更好的性能。（3）局部響應(yīng)歸一化（LRN）：在池化層之后的局部響應(yīng)歸一化（LRN）操作有助于增強(qiáng)模型的泛化能力，通過(guò)對(duì)局部神經(jīng)元活動(dòng)的抑制，提高了網(wǎng)絡(luò)的魯棒性和分類準(zhǔn)確性。（4）數(shù)據(jù)增強(qiáng)：AlexNet通過(guò)對(duì)訓(xùn)練圖像進(jìn)行隨機(jī)裁剪、水平翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)操作，擴(kuò)展了訓(xùn)練集的多樣性，減少了過(guò)擬合的風(fēng)險(xiǎn)。這種方法有效地提高了模型在實(shí)際場(chǎng)景中的泛化能力。（5）Dropout正則化：在全連接層中引入Dropout技術(shù)，通過(guò)隨機(jī)關(guān)閉部分神經(jīng)元來(lái)減少過(guò)擬合。這種技術(shù)有效地增加了模型的魯棒性，提升了在不同數(shù)據(jù)集上的泛化能力。（6）GPU加速：AlexNet是最早利用GPU進(jìn)行大規(guī)模并行計(jì)算的卷積神經(jīng)網(wǎng)絡(luò)之一。它利用GPU的高效性能加速了訓(xùn)練過(guò)程，大幅縮短了訓(xùn)練時(shí)間，使得更深層次的網(wǎng)絡(luò)結(jié)構(gòu)得以實(shí)現(xiàn)和優(yōu)化。AlexNet不僅在模型結(jié)構(gòu)上做出了創(chuàng)新和改進(jìn)，還通過(guò)大規(guī)模并行計(jì)算和數(shù)據(jù)增強(qiáng)等技術(shù)手段，顯著提高了圖像分類任務(wù)的準(zhǔn)確性和效率，為后續(xù)深度學(xué)習(xí)研究和應(yīng)用奠定了重要基礎(chǔ)。VGGVGG是由OxfordUniversity的VisualGeometryGroup（視覺(jué)幾何組）提出的一系列卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。VGG網(wǎng)絡(luò)在2014年的ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（ILSVRC）中表現(xiàn)出色，以其深度結(jié)構(gòu)和簡(jiǎn)單的卷積層配置而著稱。VGG的成功證明了網(wǎng)絡(luò)深度對(duì)提高圖像分類性能的重要性。VGGVGG模型結(jié)構(gòu)VGG的結(jié)構(gòu)與AlexNet類似，區(qū)別是深度更深，但形式上更加簡(jiǎn)單。VGG由5層卷積層、3層全連接層、1層softmax輸出層構(gòu)成，層與層之間使用Maxpool（最大池化）分開(kāi)，所有隱藏層的激活單元都采用ReLU函數(shù)。VGGVGG-16模型結(jié)構(gòu)VGG-16總共包含16個(gè)子層，第1層卷積層由2個(gè)conv3-64組成，第2層卷積層由2個(gè)conv3-128組成，第3層卷積層由3個(gè)conv3-256組成，第4層卷積層由3個(gè)conv3-512組成，第5層卷積層由3個(gè)conv3-512組成，然后是2個(gè)FC4096，1個(gè)FC1000?？偣?6層，這也就是VGG-16名字的由來(lái)。VGGVGG-16模型結(jié)構(gòu)第1層卷積層由2個(gè)conv3-64組成。（輸出尺寸:224×224×64）卷積-->ReLU-->卷積-->ReLU-->池化。第2層卷積層由2個(gè)conv3-128組成。（輸出尺寸：112×112×128）卷積-->ReLU-->卷積-->ReLU-->池化。第3層卷積層由3個(gè)conv3-256組成。（輸出尺寸:56×56×256）卷積-->ReLU-->卷積-->ReLU-->池化。第4層卷積層由3個(gè)conv3-512組成。（輸出尺寸:28×28×512）卷積-->ReLU-->卷積-->ReLU-->池化。第5層卷積層由3個(gè)conv3-512組成。（輸出尺寸:14×14×512）卷積-->ReLU-->卷積-->ReLU-->池化。第1層全連接層FC4096由4096個(gè)神經(jīng)元組成。FC-->ReLU-->Dropout。FC輸入是7×7×512的FeatureMap，展開(kāi)為7×7×512的一維向量，即7×7×512個(gè)神經(jīng)元，輸出為4096個(gè)神經(jīng)元。第2層全連接層FC4096由4096個(gè)神經(jīng)元組成。FC-->ReLU-->Dropout。第3層全連接層FC1000由1000個(gè)神經(jīng)元組成，對(duì)應(yīng)ImageNet數(shù)據(jù)集的1000個(gè)類別。該層的處理流程是：FC。最后Softmax：1000個(gè)神經(jīng)元的運(yùn)算結(jié)果通過(guò)Softmax函數(shù)中，輸出1000個(gè)類別對(duì)應(yīng)的預(yù)測(cè)概率值。VGGVGG主要特點(diǎn)1）小卷積核：VGG使用多個(gè)小的3×3卷積核來(lái)代替較大的卷積核，減少了模型的復(fù)雜性，同時(shí)通過(guò)增加深度來(lái)增加網(wǎng)絡(luò)的表達(dá)能力。2）深度網(wǎng)絡(luò)：VGG16和VGG19是深度網(wǎng)絡(luò)，具有多達(dá)19層的可訓(xùn)練參數(shù)，顯示了網(wǎng)絡(luò)深度對(duì)性能提升的影響。3）重復(fù)結(jié)構(gòu)：VGG的網(wǎng)絡(luò)結(jié)構(gòu)采用了重復(fù)的卷積和池化層組合，使得網(wǎng)絡(luò)結(jié)構(gòu)非常規(guī)整，易于理解和實(shí)現(xiàn)。4）預(yù)訓(xùn)練模型：VGG的預(yù)訓(xùn)練模型可用于遷移學(xué)習(xí)，廣泛應(yīng)用于各種計(jì)算機(jī)視覺(jué)任務(wù)。課后作業(yè)1.描述LeNet、AlexNet和VGG在架構(gòu)上以及處理視覺(jué)信息的能力上的主要區(qū)別。2.

解釋為什么像VGG這樣的更深網(wǎng)絡(luò)能夠比較淺的網(wǎng)絡(luò)如LeNet在視覺(jué)識(shí)別任務(wù)中實(shí)現(xiàn)更好的性能。3.描述在CNN架構(gòu)中使用MaxPooling層的概念和益處。4.解釋在VGG中使用?。?x3）卷積濾