深度學習基本理論分析目錄TOC\o"1-3"\h\u9730深度學習基本理論分析 1228741.1卷積神經(jīng)網(wǎng)絡 1117641.2激活函數(shù) 4230261.3注意力機制 7142151.4梯度下降策略 8深度學習（DeepLearning，DL）是機器學習的一個新的研究領域，是人工智能發(fā)展過程中的重要工具，它通過對獲取的大規(guī)模數(shù)據(jù)進行訓練，從而學習樣本數(shù)據(jù)的深度特征進行表達。深度學習在工農(nóng)業(yè)生產(chǎn)過程中得到了廣泛的應用。隨著智能電網(wǎng)的發(fā)展，通過電力系統(tǒng)線路巡檢、無人監(jiān)測電站獲取的電力設備紅外熱像越來越多。而傳統(tǒng)的人工對比分析，需要操作人員有豐富的經(jīng)驗，對于海量的紅外熱像，依靠人工的方法進行診斷，效率低、易漏檢，增加了診斷成本，不能有效對設備進行實時的監(jiān)測和診斷。海量的電力紅外圖像為使用深度學習對電力設備進行故障診斷提供了數(shù)據(jù)基礎，本文通過使用深度學習對配電變壓器紅外圖像進行目標檢測。如下是對深度學習基礎理論的分析。1.1卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡（convolutionalneuralnetwork，CNN）是一種擁有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡，能夠?qū)斎氲臄?shù)據(jù)進行卷積計算。其產(chǎn)生源于生物神經(jīng)網(wǎng)絡的啟發(fā)，被廣泛應用在目標識別等多個方向。1998年，LeCun提出了一種新的卷積神經(jīng)網(wǎng)絡LeNet-5，它是第一個典型的CNN結(jié)構(gòu)。LeNet-5闡述了圖像中像素特征間的相關性能夠由參數(shù)共享的卷積操作所提取，同時使用卷積、下采樣（池化）和非線性映射等組合結(jié)構(gòu)，是當前大多數(shù)深度圖像識別網(wǎng)絡的基礎，各應用領域的CNN結(jié)構(gòu)略有不同，但其基本組成大致相同，典型的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖3-1所示：圖3-1卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)Fig.3-1ConvolutionalNeuralNetworkStructure輸入層：輸入層（Inputlayer）是CNN的初始輸入，其輸入通常是原始樣本數(shù)據(jù)或者經(jīng)過預處理后的得到的像素矩陣信息，在機器視覺領域中主要是三維的圖像，以圖像處理為例，輸入的圖像一般包含三個通道，是一個H×W×3的三維矩陣，其中H為圖像的長，W為圖像的寬。輸入的數(shù)據(jù)通過卷積網(wǎng)絡，在一系列的卷積、池化等操作下，對圖像中的特征信息進行提取和轉(zhuǎn)化，然后通過全連接層進行特征信息匯總和輸出。卷積層：卷積層是卷積網(wǎng)絡的重要部位，能夠?qū)斎氲臄?shù)據(jù)信息進行特征提取，CNN相比于傳統(tǒng)分類方法，其優(yōu)越性主要歸功于卷積層。卷積運算是卷積神經(jīng)網(wǎng)絡的重要環(huán)節(jié)，是對輸入的數(shù)據(jù)矩陣和卷積核進行點乘求和的數(shù)學操作。通過卷積運算將卷積核與輸入數(shù)據(jù)矩陣所重疊部分的像素進行加權求和，加偏置項，經(jīng)過激活函數(shù)，得到輸出結(jié)果： (3-1)式中：x表示的是第l層的第j個特征矩陣；f為激活函數(shù)；*表示卷積運算；M是所有特征矩陣的集合；k是卷積和；b為偏置項。卷積核大小可以根據(jù)需要人為設定，常用的卷積核尺寸為3×3×3或者5×5×3，分別表示圖像的高度、寬度以及通道數(shù)。卷積核通過將圖像中的特征矩陣映射到下一個圖像特征矩陣當中，從而提取原圖像特征卷積核在圖像特征矩陣中進行移動，獲取圖像矩陣中的特征信息。圖3-2卷積運算流程Fig.3-2Convolutionoperationflow如果需要輸出特征矩陣和輸入保持尺寸一致，則可以通過在矩陣四周進行像素填充操作，填充策略有采用零填充和有效卷積（舍棄不能完整運算的邊緣部分）等方式。局部連接和權重共享是卷積層中最重要的兩個操作，是卷積操作優(yōu)于人工神經(jīng)網(wǎng)絡的兩大優(yōu)勢[51]。局部連接是指將卷積層中的節(jié)點只與其上一層中的部分節(jié)點相互連接，從而學習數(shù)據(jù)的局部特征，大幅度減少卷積神經(jīng)網(wǎng)絡模型中參數(shù)的數(shù)量，加快學習速度，能夠在一定程度上防止過擬合情況的發(fā)生。權值共享是同一個卷積核與輸入圖像的不同位置進行卷積，來檢測其所對應的相同特征，不同卷積核根據(jù)不一樣的權值參數(shù)，根據(jù)其特性，檢測圖像中不同的特征，在局部連接的基礎上進一步減少網(wǎng)絡參數(shù)數(shù)量。池化層：池化層即降采樣層（PoolingLayer），作用是對感受野內(nèi)的特征進行篩選，提取區(qū)域內(nèi)最具代表性的特征，能夠有效減小輸出特征的尺度，進而減少模型所需要的參數(shù)量。由于圖像的靜態(tài)屬性，同一特征可能在圖像不同區(qū)域有用。因此，可以對不同位置特征進行聚類統(tǒng)計來描述一幅圖像，從而降低圖像維度。池化層可以分為最大池化（MaxPooling）、平均池化（AveragePooling）和求和池化（SumPooling），它們分別提取感受野內(nèi)最大、平均與總和的特征值作為輸出，其中最大池化最常用。最大池化即取領域內(nèi)最大特征值，方法如下，領域大小為2×2，步長為2。圖3-3最大池化Fig.3-3Maximumpooling全連接層：全連接層（FullConnectedLayer，F(xiàn)C）負責匯總卷積神經(jīng)網(wǎng)絡學習提取到的特征信息，同時能夠?qū)⒍嗑S特征輸入變?yōu)槎S的特征輸出，高維對應樣本批次，低維代表任務目標。CNN網(wǎng)絡一般在卷積層之后接若干全連接層，將卷積層操作得到的特征圖映射成為一個固定大小的特征向量，繼而進行分類等操作。1.2激活函數(shù)激活函數(shù)（ActivationFunction）是在神經(jīng)網(wǎng)絡的神經(jīng)元上進行運算的函數(shù)，在復雜的神經(jīng)網(wǎng)絡中，上層節(jié)點的輸出和下層節(jié)點的輸入之間存在一個函數(shù)關系，這個函數(shù)即是激活函數(shù)（又被稱為激勵函數(shù)）。常用的激活函數(shù)可以分為兩大類：飽和的激活函數(shù)，例如sigmoid激活函數(shù)、tanh激活函數(shù)；非飽和的激活函數(shù)，例如Relu激活函數(shù)、leakyRelu激活函數(shù)、softmax函數(shù)等。sigmoid激活函數(shù)sigmoid函數(shù)又被稱為Logistic函數(shù)，輸出在0和1之間，主要用于隱藏層的輸出。它可以用來做二分類。在特征信息相差較為復雜或是相差不大的情況下效果較好。該函數(shù)將大的負數(shù)轉(zhuǎn)換成0，將大的正數(shù)轉(zhuǎn)換為1。其定義如公式2-2所示：(3-2)sigmoid激活函數(shù)的圖像如圖3-4所示。圖3-4sigmoid激活函數(shù)圖像Fig.3-4sigmoidactivationfunctionimagesigmoid激活函數(shù)能夠把輸入的連續(xù)實值變換為（0,1）的輸出，當輸入是很小的負數(shù)時，輸出為0；很大的正數(shù)時，輸出為1。sigmoid激活函數(shù)可以使神經(jīng)網(wǎng)絡優(yōu)化過程更加穩(wěn)定。但有以下不足之處：其一，在梯度反向傳遞時容易出現(xiàn)梯度消失現(xiàn)象，小概率會發(fā)生梯度爆炸，大概率發(fā)生梯度消失；另一方面，當sigmoid激活函數(shù)的輸出為非零均值時，后一層的神經(jīng)元會將上一層輸出的非零均值的信號當作輸入，從而在反向傳播的時權值均小于0，當梯度更新時會產(chǎn)生震蕩，使得收斂速度減緩。tanh激活函數(shù)tanh激活函數(shù)定義為：(3-3)對于任意的輸入x，tanh激活函數(shù)的輸出在[-1,1]之間，相比于sigmoid函數(shù)而言，tanh關于原點對稱，是飽和問題。在原點附近的函數(shù)值變化快于遠離原點的函數(shù)值變化。tanh函數(shù)單調(diào)遞增且處處可微，零均值的輸出使得他的非線性激活效果更佳，改進梯度震蕩的問題，但是與sigmoid函數(shù)相同，在方向傳播過程中任可能出現(xiàn)梯度消失問題。其激活函數(shù)圖像如圖2-7所示。圖3-5tanh激活函數(shù)圖像Fig.3-5tanhactivationfunctionimageReLU激活函數(shù)線性整流函數(shù)[52]（RectifiedLinearUnit,

ReLU），即修正線性單元，是人工神經(jīng)網(wǎng)絡中一種常用的激活函數(shù)，通常指代以斜坡函數(shù)及其變種為代表的非線性函數(shù)。其計算公式如下：(3-4)圖3-6ReLU激活函數(shù)圖像Fig.3-6ReLUactivationfunctionimage當輸入x<0時，輸出為0，當輸入x>0時，輸出為x。相比sigmoid和tanh激活函數(shù)而言，在區(qū)間變動較大的情況下，ReLU的導數(shù)遠大于0，實現(xiàn)簡單，學習更快；在正負飽和區(qū)，飽和激活函數(shù)導數(shù)的梯度都近似于0，從而出現(xiàn)梯度彌散等問題，ReLU激活函數(shù)大于0的部分都為常數(shù)，不存在梯度彌散問題，但在負半?yún)^(qū)，梯度為0，神經(jīng)元停止訓練，存在稀疏性。神經(jīng)元能夠選擇性地對一部分輸入的信號進行響應，大多數(shù)的信號進行屏蔽，從而提高學習準確度、精度，更好、更快的提取稀疏特征。當x大于0時，ReLU函數(shù)發(fā)生硬飽和，當x小于0時，存在不飽和問題，ReLU能夠在x大于0時保持梯度不衰減，從而減緩梯度消失。LeakyRelu激活函數(shù)帶泄露修正線性單元（LeakyReLU）函數(shù)作為ReLU激活函數(shù)的變體，當輸入為負時，存在較小斜率，導數(shù)不等于0，靜默神經(jīng)元減少，通過梯度學習，從而解決ReLU激活函數(shù)進入負區(qū)間后，導致神經(jīng)元不會訓練，產(chǎn)生稀疏性等問題。函數(shù)定義如下：(3-5)softmax函數(shù)softmax函數(shù)在神經(jīng)網(wǎng)絡中可作為激活函數(shù)，將輸出值通過softmax函數(shù)映射到[0,1]區(qū)間。將神經(jīng)元輸出構(gòu)造成概率分布，用于多分類問題中，softmax激活函數(shù)映射值越大，則真實類別可能性越大，softmax函數(shù)計算公式：(2-6)1.3注意力機制注意力模型(AttentionModel,AM)現(xiàn)在已經(jīng)成為神經(jīng)網(wǎng)絡研究中的一個非常重要的研究領域，已經(jīng)被廣泛的應用到自然語言處理，語音識別和計算機視覺等相關領域。它通過模擬人類思維方式和習慣，獲取圖像中需要關注的重點信息，忽略非重要信息。利用計算機對圖像中的重點特征進行加權求和，來強調(diào)該特征的重要性，對重要特征進行學習，加強網(wǎng)絡的特征提取能力，提升模型性能。在卷積神經(jīng)網(wǎng)絡中，主要有通道注意力模塊和空間注意力模塊。通道注意力模塊，主要對通道中的特征進行區(qū)分，通過對不同的特征施加不同的權重值，對有用信息進行充分利用，同時對不重要的信息忽略，從而提高特征的提取能力，減少計算過程，加快學習速度，從而提升模型性能和目標檢測精度?？臻g注意力機制主要對特征圖的不同區(qū)域進行重點關注，對重要信息進行局部有選擇性的篩選，獲取不同的權重值。例如SENet[53]模塊、SKNet[54]、CBAM[55]。1.4梯度下降策略梯度下降算法（GradientDescent，GD）是作為最優(yōu)化算法，在深度學習中得到了廣泛的應用。卷積神經(jīng)網(wǎng)絡通常通過梯度下降算法進行多次迭代循環(huán)獲取損失函數(shù)最優(yōu)解。不同的學習率對梯度下降算法影響很大，所以選擇合適的學習率對最優(yōu)解的獲取至關重要。學習率過大過小都會阻礙算法的收斂。在模型訓練過程中，學習率需要不斷的進行更新。本文對以下幾種常用的梯度下降算法進行簡要介紹。（1）批量梯度下降算法（BatchGradientDescent，BGD）批量梯度下降算法作為機器學習中最早的梯度下降優(yōu)化算法，每一次迭代都對所有的樣本進行梯度更新。對所有樣本進行計算，通過矩陣運算實現(xiàn)并行操作，從而準確的向極值更新。但是數(shù)據(jù)樣本多時，訓練緩慢。（2）隨機梯度下降算法[56]（StochasticGradientDescent，SGD）隨機梯度下降算法不同于BGD算法，每次迭代使用一個樣本對數(shù)據(jù)進行梯度更新，訓練速度較快，更適合于數(shù)據(jù)量大的數(shù)據(jù)集。但是迭代中存在較多噪聲，從而影響迭代方向。有時無法得到全局最優(yōu)解，而在全局最優(yōu)解附近徘徊，準確性不高，即便是對于