AlexNet神經(jīng)網(wǎng)絡(luò)那么直接了。大部分現(xiàn)代人在使用羅馬數(shù)字計(jì)算CCX除以VI時(shí)，都會(huì)將其轉(zhuǎn)化成阿拉伯?dāng)?shù)字，從而使用位值系統(tǒng)的長(zhǎng)除法。對(duì)于一個(gè)計(jì)算任務(wù)，我們可以使用漸近運(yùn)行時(shí)間來量化任務(wù)表示的合適或不合適。例如：正確插入一個(gè)數(shù)字到有序表中，如果該數(shù)列用鏈表表示，那么所需時(shí)間是O(n)；如果該列表用紅黑樹表示，那么只需要O(logn)的時(shí)間。學(xué)習(xí)特征表示表示學(xué)習(xí)日常生活中有很多信息處理任務(wù)可能非常容易，也可能非常困難，很大程度上取決于信息是如何表示的。例如：對(duì)于人而言，可以直接使用長(zhǎng)除法計(jì)算210除以6。但是如果使用羅馬數(shù)字表示，這個(gè)問題就沒有01習(xí)的一種形式。網(wǎng)絡(luò)的最后一層通常是線性分類器，如softmax分類器，網(wǎng)絡(luò)的其余部分學(xué)習(xí)出該分類器的表示。原則上，最后一層可以是另一種模型，如最近鄰分類器

(Salakhutdinovand

Hinton,2007a)。倒數(shù)第二層的特征應(yīng)該根據(jù)最后一層的類型學(xué)習(xí)不同的性質(zhì)。監(jiān)督學(xué)習(xí)訓(xùn)練模型，一般會(huì)使得模型的各個(gè)隱藏層(特別是接近輸出層的隱藏層)的表示能夠更容易地完成訓(xùn)練任務(wù)。例如，輸入特征線性不可分的類別可能在最后一個(gè)隱藏層變成線性可分離的。表示學(xué)習(xí)在機(jī)器學(xué)習(xí)中，到底是什么因素決定了一種表示比另一種表示更好呢？選擇什么表示通常取決于后續(xù)的學(xué)習(xí)任務(wù)。我們可以將監(jiān)督學(xué)習(xí)訓(xùn)練的前饋網(wǎng)絡(luò)視為表示學(xué)一般而言，一個(gè)好的表示可以使后續(xù)的學(xué)習(xí)任務(wù)更容易。學(xué)習(xí)特征表示01學(xué)習(xí)特征表示表示學(xué)習(xí)深度學(xué)習(xí)最重要的作用：表示學(xué)習(xí)Feature

Engineering(特征工程):通過原始數(shù)據(jù)，生成新的數(shù)據(jù)的過程傳統(tǒng)做法輸入圖片Representation深度學(xué)習(xí)

輸入圖片Learning(表示學(xué)習(xí))：通過原始數(shù)據(jù)轉(zhuǎn)換為能夠被機(jī)器所學(xué)習(xí)的一種方法人工設(shè)計(jì)特征學(xué)習(xí)特征學(xué)習(xí)分類學(xué)習(xí)分類End-to-end

Learning(端到端學(xué)習(xí))01學(xué)習(xí)特征表示學(xué)習(xí)特征表示雖然于1994年，由LeCun提出LeNet5深層網(wǎng)絡(luò)，可以在早期的小數(shù)據(jù)集上取得好的成績(jī)，但是在更大的真實(shí)數(shù)據(jù)集上的表現(xiàn)并不盡人意，其性能甚至不如支持向量機(jī)。一方面，因?yàn)樯顚由窠?jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜。雖然20世紀(jì)90年代也有過?些針對(duì)神經(jīng)網(wǎng)絡(luò)的加速硬件，但并沒有像之后GPU那樣大量普及。因此，訓(xùn)練?個(gè)多通道、多層和有大量參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)在當(dāng)年很難完成。另?方面，當(dāng)年研究者還沒有大量深入研究參數(shù)初始化和非凸優(yōu)化算法等諸多問題，導(dǎo)致復(fù)雜的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練通常較困難。所以，雖然深層神經(jīng)網(wǎng)絡(luò)可以直接基于原始圖像進(jìn)行分類。這種稱為端到端(end-to-end)的方法節(jié)省了很多中間步驟。但由于其性能的限制，導(dǎo)致在很長(zhǎng)時(shí)間里分類任務(wù)更流行的方案

是，人工設(shè)計(jì)特征提取方法，然后通過機(jī)器學(xué)習(xí)特征進(jìn)行分類，主要流程是：

獲取圖像數(shù)據(jù)集；

使用已有的特征提取函數(shù)生成圖像的特征；

使用機(jī)器學(xué)習(xí)模型對(duì)圖像的特征分類。01學(xué)習(xí)特征表示學(xué)習(xí)特征表示既然特征如此重要，它該如何表示呢？

在相當(dāng)長(zhǎng)的時(shí)間里，特征都是基于各式各樣手工設(shè)計(jì)的函數(shù)從數(shù)據(jù)中提取的。不少研究者通過提出新的特征提取函數(shù)不斷改進(jìn)圖像分類結(jié)果。關(guān)于圖像特征的各種提取方法可以參閱2020年出版的《圖像局部特征檢測(cè)及描述》。在已知分類對(duì)象特征的情況下，直接通過圖像特征分類可以減少學(xué)習(xí)模型的復(fù)雜度，降低對(duì)訓(xùn)練樣本數(shù)量和質(zhì)量的要求。

許多分類任務(wù)，很難確定其分類的依據(jù)，不明確其特征是什么。在這種情況下，深度學(xué)習(xí)的獨(dú)特作用就顯示出來了。

在圖像分類中，在深層神經(jīng)網(wǎng)絡(luò)的第—級(jí)表示在特定的位置和角度是否出現(xiàn)邊緣；第二級(jí)的表示這些邊緣的組合模式，如紋理；第三級(jí)是更為高級(jí)的抽象模式。這樣逐級(jí)表示下去，最終，模型能夠較容易根據(jù)最后—級(jí)的表示完成分類任務(wù)。01例如，不少研究論文基于加州大學(xué)歐文分校(UCI)提供的若干個(gè)公開數(shù)據(jù)集，其中許多數(shù)據(jù)集只有幾百幾千張圖像。這?狀況在2010年前后興起的大數(shù)據(jù)浪潮中得到改善。特別是，2009年誕生的ImageNet數(shù)據(jù)

集包含了1,000大類物體，每類有多達(dá)數(shù)千張不同的圖像。這?規(guī)模是當(dāng)時(shí)其他公開數(shù)據(jù)集無法與之相提并論的。ImageNet數(shù)據(jù)集同時(shí)推動(dòng)計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)研究進(jìn)入新的階段，使此前的傳統(tǒng)方法不再有優(yōu)勢(shì)。學(xué)習(xí)特征表示學(xué)習(xí)特征表示深度學(xué)習(xí)發(fā)展的基礎(chǔ)條件：條件一：數(shù)據(jù)深度學(xué)習(xí)模型需要大量的有標(biāo)簽數(shù)據(jù)才能表現(xiàn)得比經(jīng)典方法更好。限于早期計(jì)算機(jī)有限的存儲(chǔ)和90年代有限的研究預(yù)算，大部分研究只基于小的公開數(shù)據(jù)集。01學(xué)習(xí)特征表示學(xué)習(xí)特征表示條件二：硬件深度學(xué)習(xí)對(duì)計(jì)算資源要求很高。早期的硬件計(jì)算能力有限，這使訓(xùn)練較復(fù)雜的神經(jīng)網(wǎng)絡(luò)變得很困難。然而，通用GPU的到來改變了這?格局。很久以來，GPU都是為圖像處理和計(jì)算機(jī)游戲設(shè)計(jì)的，尤其是針對(duì)大吞吐量的矩陣和向量乘法從而服務(wù)于基本的圖形變換。值得慶幸的是，這其中的數(shù)學(xué)表達(dá)與深度網(wǎng)絡(luò)中的卷積層的表達(dá)類似。通用GPU這個(gè)概念在2001年開始興起，涌現(xiàn)出諸如OpenCL和CUDA之類的編程框架。這使得GPU也在2010年前后開始被機(jī)器學(xué)習(xí)社區(qū)使用。01AlexNet

網(wǎng)絡(luò)AlexNet出現(xiàn)背景

2012年，AlexNet橫空出世。這個(gè)模型的名字來源于提出者Alex

Krizhevsky。AlexNet使用了8層卷積神經(jīng)網(wǎng)絡(luò)，并以很大的優(yōu)勢(shì)贏得了ImageNet2012圖像識(shí)別挑戰(zhàn)賽。它首次證明了學(xué)習(xí)到的特征可以超越手工設(shè)計(jì)的特征。

AlexNet與LeNet的設(shè)計(jì)理念非常相似，但也有顯著的區(qū)別。第?，與相對(duì)較小的LeNet相比，AlexNet包含8層變換，其中有5層卷積和2層全連接隱藏層，以及1個(gè)全連接輸出層。論

文

中

使

用

兩個(gè)GPU并行

訓(xùn)練。02AlexNet

網(wǎng)絡(luò)AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

第1層：卷積層1輸入為224×224×3(或227×227×3)的圖像，第一層卷積為11×11×96，即尺寸為11×11,有96個(gè)卷積核(論文中的兩個(gè)GPU分別有48個(gè)卷積核),步長(zhǎng)為4,卷積層后跟ReLU,因此輸出的尺寸

為224/4=56,去掉邊緣為55,因此其輸出的每個(gè)feature

map為55×55×96。最大池化層,核大小為3×3,步長(zhǎng)為2,因此feature

map的大小

為:27×27×96。

第2層：卷積層2輸入為上一層卷積的feature

map，即大小為27×27×96，卷積核大小為5×5×256,步長(zhǎng)為1,尺寸不會(huì)改變,同樣緊跟ReLU和LRN層。最大池化大小為3×3,步長(zhǎng)為2,因此feature

map為:13×13×256。02AlexNet

網(wǎng)絡(luò)AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

第3層：卷積層3，輸入的尺寸大小為13×13×256，卷積核大小為3×3×384,步長(zhǎng)為1,加上ReLU，沒有LRN和Pool，輸出為13×13×384；

第4層：卷積4,輸入為上一層的輸出，卷積核大小為為3×3×384，步長(zhǎng)同樣為1，加上ReLU，和第三層一樣，沒有LRN和Pool，輸出為13×13×384；

第5層：卷積5,輸入為第四層的輸出，卷積核大小為3×3×256，padding=1，得到的結(jié)果為13×13×256。然后直接進(jìn)行3×3的最大池化操作，

步長(zhǎng)設(shè)置為2，因此featuremap:6×6×256。02AlexNet

網(wǎng)絡(luò)AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

第6,7,8層是全連接層，F(xiàn)C:4096+ReLUFC:4096+ReLUFC:1000，最后一層為softmax為1000類的概

率值。前面介紹過，ImageNet這個(gè)比賽的分類個(gè)數(shù)為1000。全連接層中使用了RELU和Dropout。02AlexNet

網(wǎng)絡(luò)AlexNet網(wǎng)絡(luò)新技術(shù)點(diǎn)AlexNet中包含了幾個(gè)比較新的技術(shù)點(diǎn)，也首次在CNN中成功應(yīng)用了ReLU、Dropout和LRN等。同時(shí)AlexNet也使用了GPU進(jìn)行運(yùn)算加速。AlexNet將LeNet的思想發(fā)揚(yáng)光大，把CNN的基本原理應(yīng)用到了很深很寬的網(wǎng)絡(luò)中。AlexNet主要使用到的新技術(shù)點(diǎn)有以下幾點(diǎn)：AlexNet

網(wǎng)

絡(luò)新技術(shù)Dropout避

免過擬合重疊池化豐富特征ReLU激活函數(shù)

避免梯度彌散數(shù)據(jù)增強(qiáng)LRN增加范

化能力CUDA加速訓(xùn)練02AlexNet

網(wǎng)絡(luò)AlexNet網(wǎng)絡(luò)新技術(shù)點(diǎn)

成功使用ReLU作為CNN的激活函數(shù)，并驗(yàn)證其效果在較深的網(wǎng)絡(luò)超過了Sigmoid，成功解決了Sigmoid在網(wǎng)絡(luò)較深時(shí)的梯度彌散問題。雖然ReLU激活函數(shù)在很久之前就被提出了，但是直到AlexNet的出現(xiàn)才將其發(fā)揚(yáng)光大。

訓(xùn)練時(shí)使用Dropout隨機(jī)忽略一部分神經(jīng)元，以避免模型過擬合。Dropout雖有單獨(dú)的論文論述，但是AlexNet將其實(shí)用化，通過實(shí)踐證實(shí)了它的效果。在AlexNet中主要是最后幾個(gè)全連接層使用了Dropout。

在CNN中使用重疊的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出讓步長(zhǎng)比池化核的尺寸小，這樣池化層的輸出之間會(huì)有重疊和覆蓋，提升了特征的豐富性。02AlexNet

網(wǎng)絡(luò)AlexNet網(wǎng)絡(luò)新技術(shù)點(diǎn)

提出了LRN

(

Local

Response

Normalization，局部響應(yīng)正則化)層，對(duì)局部神經(jīng)元的活動(dòng)創(chuàng)建競(jìng)爭(zhēng)機(jī)制，使得其中響應(yīng)比較大的值變得相對(duì)更大，并抑制其他反饋較小的神經(jīng)元，增強(qiáng)了模型的泛化能力。

使用CUDA加速深度卷積網(wǎng)絡(luò)的訓(xùn)練，利用GPU強(qiáng)大的并行計(jì)算能力，處理神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)大量的矩陣運(yùn)算。AlexNet使用了兩塊GTX580GPU進(jìn)行訓(xùn)練，單個(gè)GTX580只有3GB顯存，這限制了可訓(xùn)練的網(wǎng)絡(luò)的最大規(guī)模。因此作者將AlexNet分布在兩個(gè)GPU上，在每個(gè)GPU的顯存中儲(chǔ)存一半的神經(jīng)元的參數(shù)。因?yàn)镚PU之間通信方便，可以互相訪問顯存，而不需要通過主機(jī)內(nèi)存，所以同時(shí)使用多塊GPU也是非常高效的。同時(shí)，AlexNet的設(shè)計(jì)讓GPU之間的通信只在網(wǎng)絡(luò)的某些層進(jìn)行，控制了通信的性能損耗。02AlexNet

網(wǎng)絡(luò)AlexNet網(wǎng)絡(luò)新技術(shù)點(diǎn)

數(shù)據(jù)增強(qiáng)，隨機(jī)地從256*256的原始圖像中截取224*224大小的區(qū)域(以及水平翻轉(zhuǎn)的鏡像)，相當(dāng)于增加了2*(256-224)^2=2048倍的數(shù)據(jù)量。如果沒有數(shù)據(jù)增強(qiáng)，僅靠原始的數(shù)據(jù)量，參數(shù)眾多的CNN會(huì)陷入過擬合中，使用了數(shù)據(jù)增強(qiáng)后可以大大減輕過擬合，提升泛化能力。進(jìn)行預(yù)測(cè)時(shí)，則是取圖片的四個(gè)角加中間共5個(gè)位置，并進(jìn)行左右翻轉(zhuǎn)，一共獲得10張圖片，對(duì)他們進(jìn)行預(yù)測(cè)并對(duì)10次結(jié)果求均值。同時(shí)，AlexNet論文中提到了會(huì)對(duì)圖像的RGB數(shù)據(jù)進(jìn)行PCA處理，并對(duì)主成分做一個(gè)標(biāo)準(zhǔn)差為0.1的高斯擾動(dòng)，增加一些噪聲，這個(gè)Trick可以讓錯(cuò)誤率再下降1%。02(Lateralinhibition)”，講的是活躍的神經(jīng)元對(duì)它周邊神經(jīng)元的影響。能夠比較有效地防止神經(jīng)網(wǎng)絡(luò)的過擬合。相對(duì)于一般如線性模型使用正則的方法來防止模型過擬合，而在神經(jīng)網(wǎng)絡(luò)中Dropout通過修改神經(jīng)網(wǎng)絡(luò)本身結(jié)構(gòu)來實(shí)現(xiàn)。對(duì)于某一層神經(jīng)元，通過定義的概率來隨機(jī)刪除一些神經(jīng)元，同時(shí)保持輸入層與輸出層神經(jīng)元的個(gè)數(shù)不變，然后按照神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法進(jìn)行參數(shù)更新，下一次迭代中，重新隨機(jī)刪除一些神經(jīng)元，直至訓(xùn)練結(jié)束?；赗eLU的深度卷積網(wǎng)絡(luò)比基于tanh和sigmoid的網(wǎng)絡(luò)訓(xùn)練快數(shù)倍。ReL