10.2卷積神經(jīng)網(wǎng)絡(luò)CONTENTS目錄神經(jīng)元模型01基本網(wǎng)絡(luò)結(jié)構(gòu)02激活函數(shù)03損失函數(shù)04CONTENTS目錄神經(jīng)元模型01基本網(wǎng)絡(luò)結(jié)構(gòu)02激活函數(shù)03損失函數(shù)041.神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。這是T．Kohonen1988年在NeuralNetworks創(chuàng)刊號(hào)上給“神經(jīng)網(wǎng)絡(luò)”的定義。這里的“簡(jiǎn)單單元”就是“神經(jīng)元”。1943年美國(guó)心理學(xué)家McCulloch和數(shù)學(xué)家Pitts提出的MP神經(jīng)元模型，如圖10-2-1所示。神經(jīng)元模型該模型是可以看到一個(gè)神經(jīng)元模型由輸入信號(hào)、權(quán)值、偏置、加法器和激活函數(shù)共同構(gòu)成，而且每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元。輸入與輸出之間的關(guān)系為：f被稱(chēng)為激活函數(shù)(ActivationFunction)或轉(zhuǎn)移函數(shù)(TransferFunction)，用以提供非線性表達(dá)能力。f的參數(shù)其實(shí)就是機(jī)器學(xué)習(xí)中的邏輯回歸。若將閾值看成是神經(jīng)元j的一個(gè)輸入X0的權(quán)重W0j，則上面的式子可以簡(jiǎn)化為：神經(jīng)元模型若用X表示輸入向量，用W表示權(quán)重向量，即：則神經(jīng)元的輸出可以表示為向量相乘的形式：CONTENTS目錄神經(jīng)元模型01基本網(wǎng)絡(luò)結(jié)構(gòu)02激活函數(shù)03損失函數(shù)04一個(gè)神經(jīng)網(wǎng)絡(luò)最簡(jiǎn)單的結(jié)構(gòu)包括輸入層、隱含層和輸出層，每一層網(wǎng)絡(luò)有多個(gè)神經(jīng)元，上一層的神經(jīng)元通過(guò)激活函數(shù)映射到下一層神經(jīng)元，每個(gè)神經(jīng)元之間有相對(duì)應(yīng)的權(quán)值，輸出即為分類(lèi)類(lèi)別。多個(gè)神經(jīng)元之間相互連接，即構(gòu)成了神經(jīng)網(wǎng)絡(luò)，常規(guī)神經(jīng)網(wǎng)絡(luò)由三部分組成：輸入層、（一個(gè)或多個(gè)）隱藏層、輸出層。如圖10-2-2所示：基本網(wǎng)絡(luò)結(jié)構(gòu)CONTENTS目錄神經(jīng)元模型01基本網(wǎng)絡(luò)結(jié)構(gòu)02激活函數(shù)03損失函數(shù)043、常用的激活函數(shù)（1）sigmoid函數(shù)在邏輯回歸中使用sigmoid函數(shù)，該函數(shù)是將取值為(?∞,+∞)的數(shù)映射到(0,1)之間。sigmoid函數(shù)的公式以及圖形如圖10-2-3所示。激活函數(shù)1)當(dāng)輸入稍微遠(yuǎn)離了坐標(biāo)原點(diǎn)，函數(shù)的梯度就變得很小了，幾乎為零。在神經(jīng)網(wǎng)絡(luò)反向傳播的過(guò)程中，我們都是通過(guò)微分的鏈?zhǔn)椒▌t來(lái)計(jì)算各個(gè)權(quán)重w的微分的。當(dāng)反向傳播經(jīng)過(guò)了sigmoid函數(shù)，這個(gè)鏈條上的微分就很小了，況且還可能經(jīng)過(guò)很多個(gè)sigmoid函數(shù)，最后會(huì)導(dǎo)致權(quán)重w對(duì)損失函數(shù)幾乎沒(méi)影響，這樣不利于權(quán)重的優(yōu)化，這個(gè)問(wèn)題叫做梯度飽和，也可以叫梯度彌散。2)函數(shù)輸出不是以0為中心的，這樣會(huì)使權(quán)重更新效率降低。對(duì)于這個(gè)缺陷，在斯坦福的課程里面有詳細(xì)的解釋。3)sigmoid函數(shù)要進(jìn)行指數(shù)運(yùn)算，這個(gè)對(duì)于計(jì)算機(jī)來(lái)說(shuō)是比較慢的。激活函數(shù)1)當(dāng)輸入稍微遠(yuǎn)離了坐標(biāo)原點(diǎn)，函數(shù)的梯度就變得很小了，幾乎為零。在神經(jīng)網(wǎng)絡(luò)反向傳播的過(guò)程中，我們都是通過(guò)微分的鏈?zhǔn)椒▌t來(lái)計(jì)算各個(gè)權(quán)重w的微分的。當(dāng)反向傳播經(jīng)過(guò)了sigmoid函數(shù)，這個(gè)鏈條上的微分就很小了，況且還可能經(jīng)過(guò)很多個(gè)sigmoid函數(shù)，最后會(huì)導(dǎo)致權(quán)重w對(duì)損失函數(shù)幾乎沒(méi)影響，這樣不利于權(quán)重的優(yōu)化，這個(gè)問(wèn)題叫做梯度飽和，也可以叫梯度彌散。2)函數(shù)輸出不是以0為中心的，這樣會(huì)使權(quán)重更新效率降低。對(duì)于這個(gè)缺陷，在斯坦福的課程里面有詳細(xì)的解釋。3)sigmoid函數(shù)要進(jìn)行指數(shù)運(yùn)算，這個(gè)對(duì)于計(jì)算機(jī)來(lái)說(shuō)是比較慢的。激活函數(shù)(2)tanh函數(shù)tanh函數(shù)相較于sigmoid函數(shù)要常見(jiàn)一些，該函數(shù)是將取值為(?∞,+∞)的數(shù)映射到(?1,1)之間，其公式與圖形如圖10-2-4所示。激活函數(shù)tanh函數(shù)在0附近很短一段區(qū)域內(nèi)可看做線性的。由于tanh函數(shù)均值為0，因此彌補(bǔ)了sigmoid函數(shù)均值為0.5的缺點(diǎn)。tanh函數(shù)的缺點(diǎn)同sigmoid函數(shù)的第一個(gè)缺點(diǎn)一樣，當(dāng)x很大或很小時(shí)，g′(x)接近于0，會(huì)導(dǎo)致梯度很小，權(quán)重更新非常緩慢，即梯度消失問(wèn)題。一般二分類(lèi)問(wèn)題中，隱藏層用tanh函數(shù)，輸出層用sigmoid函數(shù)。不過(guò)這些也都不是一成不變的，具體使用什么激活函數(shù)，還是要根據(jù)具體的問(wèn)題來(lái)具體分析，還是要靠調(diào)試的。激活函數(shù)(3)ReLU函數(shù)ReLU函數(shù)又稱(chēng)為修正線性單元（RectifiedLinearUnit），是一種分段線性函數(shù)，其彌補(bǔ)sigmoid函數(shù)以及tanh函數(shù)的梯度消失問(wèn)題。ReLU函數(shù)的公式以及圖形如圖10-2-5所示。激活函數(shù)ReLU(RectifiedLinearUnit)函數(shù)是目前比較火的一個(gè)激活函數(shù)，相比于sigmoid函數(shù)和tanh函數(shù)，它有以下幾個(gè)優(yōu)點(diǎn)：1)在輸入為正數(shù)的時(shí)候，不存在梯度飽和問(wèn)題。2)計(jì)算速度要快很多。ReLU函數(shù)只有線性關(guān)系，不管是前向傳播還是反向傳播，都比sigmoid和tanh要快很多。（sigmoid和tanh要計(jì)算指數(shù)，計(jì)算速度會(huì)比較慢）當(dāng)然，缺點(diǎn)也是有的：1)當(dāng)輸入是負(fù)數(shù)的時(shí)候，ReLU是完全不被激活的，這就表明一旦輸入到了負(fù)數(shù)，ReLU就會(huì)死掉。這樣在前向傳播過(guò)程中，還不算什么問(wèn)題，有的區(qū)域是敏感的，有的是不敏感的。但是到了反向傳播過(guò)程中，輸入負(fù)數(shù)，梯度就會(huì)完全到0，這個(gè)和sigmoid函數(shù)、tanh函數(shù)有一樣的問(wèn)題。2)我們發(fā)現(xiàn)ReLU函數(shù)的輸出要么是0，要么是正數(shù)，這也就是說(shuō)，ReLU函數(shù)也不是以0為中心的函數(shù)。激活函數(shù) 4.ELU函數(shù)激活函數(shù) ELU函數(shù)公式和曲線如圖10-2-6所示。ELU函數(shù)是針對(duì)ReLU函數(shù)的一個(gè)改進(jìn)型，相比于ReLU函數(shù)，在輸入為負(fù)數(shù)的情況下，是有一定的輸出的，而且這部分輸出還具有一定的抗干擾能力。這樣可以消除ReLU死掉的問(wèn)題，不過(guò)還是有梯度飽和和指數(shù)運(yùn)算的問(wèn)題。激活函數(shù)CONTENTS目錄神經(jīng)元模型01基本網(wǎng)絡(luò)結(jié)構(gòu)02激活函數(shù)03損失函數(shù)044.損失函數(shù)在深度學(xué)習(xí)中，損失函數(shù)扮演著至關(guān)重要的角色。通過(guò)對(duì)最小化損失函數(shù)，使模型達(dá)到收斂狀態(tài)，減少模型預(yù)測(cè)值的誤差。因此，不同的損失函數(shù)，對(duì)模型的影響是重大的。接下來(lái)，總結(jié)一下，在工作中經(jīng)常用到的下列損失函數(shù)：圖像分類(lèi)：交叉熵目標(biāo)檢測(cè)：Focalloss，L1/L2損失函數(shù)，IOULoss，GIOU，DIOU，CIOU圖像識(shí)別：TripletLoss，CenterLoss，Sphereface，Cosface，Arcface損失函數(shù)下面主要介紹交叉熵、L1，L2，smoothL1幾種損失函數(shù)。（1）交叉熵交叉熵?fù)p失函數(shù)經(jīng)常用于分類(lèi)問(wèn)題中，特別是在神經(jīng)網(wǎng)絡(luò)做分類(lèi)問(wèn)題時(shí)，也經(jīng)常使用交叉熵作為損失函數(shù)，交叉熵涉及到計(jì)算每個(gè)類(lèi)別的概率，因此交叉熵幾乎每次都和sigmoid(或softmax)函數(shù)一起出現(xiàn)。在圖像分類(lèi)中，經(jīng)常使用softmax+交叉熵作為損失函數(shù)，交叉熵?fù)p失函數(shù)定義如下:損失函數(shù)其中，p(x)表示真實(shí)概率分布，q(x)表示預(yù)測(cè)概率分布。交叉熵?fù)p失函數(shù)通過(guò)縮小兩個(gè)概率分布的差異，來(lái)使預(yù)測(cè)概率分布盡可能達(dá)到真實(shí)概率分布。(2)L1、L2、smoothL1損失函數(shù)利用L1、L2或者smoothL1損失函數(shù)，來(lái)對(duì)4個(gè)坐標(biāo)值進(jìn)行回歸。smoothL1損失函數(shù)是在FastR-CNN中提出的。L1范數(shù)損失函數(shù)，也被稱(chēng)為最小絕對(duì)值偏差（LAD），最小絕對(duì)值誤差（LAE）。它是把目標(biāo)值（Yi)與估計(jì)值（f(xi))的絕對(duì)差值的總和S)最小化，定義如下：損失函數(shù)L2范數(shù)損失函數(shù)，也被稱(chēng)為最小平方誤差（LSE）。它是把目標(biāo)值(Yi)與估計(jì)值(f(xi))的差值的平方和(S)最小化，定義如下：smoothL1損失函數(shù),smoothL1說(shuō)的是光滑之后的L1，改善L1的有折點(diǎn)，不光滑，導(dǎo)致不穩(wěn)定等缺點(diǎn)，smoothL1損失函數(shù)為，定義如下：從損失函數(shù)對(duì)x的導(dǎo)數(shù)可知：L1損失函數(shù)對(duì)x的導(dǎo)數(shù)為常數(shù)，在訓(xùn)練后期，x很小時(shí)，如果learningrate不變，