基于卷積神經(jīng)網(wǎng)絡(luò)的算法簡介概述目錄TOC\o"1-3"\h\u20577基于卷積神經(jīng)網(wǎng)絡(luò)的算法簡介概述 1156121.1算法的基本概述 113187(1)特征提取與表示 228117(2)非線性映射 211352(3)圖像重建 248251.2算法原理分析 3312111.2.1U型網(wǎng)絡(luò)基本結(jié)構(gòu) 3130271.2.2算法實(shí)現(xiàn)步驟 417318（1）數(shù)據(jù)集預(yù)處理 43014（2）特征提取層 531704（3）跳躍連接層 627456（4）轉(zhuǎn)置卷積運(yùn)算 6基于前面對傳統(tǒng)的低照度圖像增強(qiáng)算法的分析和卷積神經(jīng)網(wǎng)絡(luò)的研究，本章研究基于U型網(wǎng)絡(luò)的低照度圖像增強(qiáng)算法。首先對這個算法做出基本概述，接著從前期處理、卷積網(wǎng)絡(luò)和后期處理三步來進(jìn)行研究與實(shí)現(xiàn)。與現(xiàn)在有的傳統(tǒng)圖像增強(qiáng)算法比較，這種算法能夠根據(jù)不同情況，自適應(yīng)地提高圖像的亮度和對比度，避免圖像的邊緣信息模糊，在實(shí)際場景中拍攝的低照度圖像，因此得到了很大增強(qiáng)效果。1.1算法的基本概述圖像攜帶信息，廣泛應(yīng)用于視覺系統(tǒng)和計(jì)算機(jī)等領(lǐng)域。在很多圖像中，因?yàn)楣庹諒?qiáng)度不夠強(qiáng)的環(huán)境導(dǎo)致產(chǎn)生了很多低照度圖像。低照度圖像因?yàn)槠涞土炼?、?xì)節(jié)信息不明確、噪聲大、色彩真實(shí)性差等缺點(diǎn)，實(shí)際的應(yīng)用價值大打折扣。而卷積神經(jīng)網(wǎng)絡(luò)只需使用少量參數(shù)數(shù)目就可以在短時間內(nèi)提取圖像特征且不需要對數(shù)據(jù)的格式做過多的處理，即可得到最優(yōu)結(jié)果。本章節(jié)需要的圖像增強(qiáng)算法的模型的重要元素分別是：特征提取與表示、非線性映射關(guān)系和圖像重建。U型網(wǎng)絡(luò)增強(qiáng)算法的結(jié)構(gòu)如圖3-1所示。增強(qiáng)流程為從低照度圖像集中取一個樣本，輸入網(wǎng)絡(luò)，首先通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像中的特征，再通過跳躍連接思想建立模型，最后通過卷積神經(jīng)網(wǎng)絡(luò)輸出高亮度、細(xì)節(jié)信息明確和高對比度的圖像。在這種網(wǎng)絡(luò)結(jié)構(gòu)中，原始輸入圖像的尺寸在卷積層不斷變小，在反卷積層不斷增大。圖3-1基于U型網(wǎng)絡(luò)的低照度圖像增強(qiáng)算法流程圖特征提取與表示在很多圖像處理的過程中，將圖像分塊然后進(jìn)行處理是一個非常使用的方式，是一個在像素上進(jìn)行處理的操作，具體內(nèi)容為選擇輸入圖像的一個像素點(diǎn)為中心，再把一個特定的圖像塊當(dāng)成該像素點(diǎn)的領(lǐng)域，對該像素點(diǎn)的整個領(lǐng)域進(jìn)行處理，每次處理后僅得到輸出圖像中對應(yīng)像素點(diǎn)的值。與上述方法類似，采用滑窗卷積法對圖像進(jìn)行特征的提取和表示處理也是非常高效便捷的，每一個參數(shù)相對應(yīng)的卷積核可以從圖像中獲取不一樣的特征。提取第一層的特征可以表示為：（3-1）其中，是濾波器空間的大小，表示濾波器，表示偏置，表示卷積運(yùn)算，濾波器數(shù)量為，是輸入圖像中的通道數(shù)。是維向量，其每個值都與濾波器有關(guān)。第一層的具體操作流程為：對輸入圖像,在圖像上應(yīng)用個卷積，每個卷積的內(nèi)核大小為，然后輸出是個特征映射得到的結(jié)果。最后對產(chǎn)生的結(jié)果進(jìn)行非線性映射。非線性映射在上一步的基礎(chǔ)上，通過非線性映射關(guān)系，將得到的結(jié)果映射到維向量，等同于應(yīng)用的濾波器。第二層的操作內(nèi)容為：（3-2）其中，表示第一層的輸出結(jié)果，的大小是，表示維度的偏置向量。為了方便列式，式（3-2）只列出了一個卷積層進(jìn)行運(yùn)算，在實(shí)際的結(jié)構(gòu)設(shè)計(jì)中，可以添加更多卷積層來增加非線性，從而獲取高維度的特征，這會增加模型的復(fù)雜性，因此需要更多訓(xùn)練時間。圖像重建在傳統(tǒng)的算法中，會對輸出圖像的重疊部分平均處理，以此產(chǎn)生最終的完整圖像，根據(jù)這個理論，可以采用卷積法實(shí)現(xiàn)圖像的重建，可以表示為：（3-3）其中，表示第二層的輸出結(jié)果，的大小是，表示三維矢量。將特征的提取與表示、非線性映射和圖像重建三個操作方法合并在一起形成了如圖3-1的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。在這個模型中，會優(yōu)化權(quán)重值和偏差值。在傳統(tǒng)的圖像增強(qiáng)算法中，需要人提前設(shè)置參數(shù)，而在卷積神經(jīng)網(wǎng)絡(luò)中，參數(shù)是通過訓(xùn)練數(shù)據(jù)集學(xué)習(xí)得到的，卷積核的參數(shù)也會按照數(shù)據(jù)的分布情況進(jìn)行調(diào)整?；赨型網(wǎng)絡(luò)的低照度圖像增強(qiáng)算法，是傳統(tǒng)的圖像增強(qiáng)算法的優(yōu)化算法。1.2算法原理分析1.2.1U型網(wǎng)絡(luò)基本結(jié)構(gòu)U型網(wǎng)絡(luò)由2個一樣的卷積核組成，并且都選擇ReLU作為激活函數(shù)，且有的最大池化操作。在每一步的下采樣中，特征通道的數(shù)量都會呈現(xiàn)出增長的狀態(tài)，該網(wǎng)絡(luò)共有23個卷積層。左側(cè)部分稱為收縮路徑，右側(cè)部分為擴(kuò)張路徑。在上采樣的過程里，從收縮路徑上得到的局部像素特征會和新的特征合并，從而進(jìn)行精確的定位，最大化的保留下采樣過程中的重要的特征信息。兩條路徑相互對稱，形如“U”。收縮路徑:在收縮路徑左側(cè)進(jìn)行卷積和最大池化的運(yùn)算后，兩個卷積層之后各有一個的最大池化層（步長為2），每個卷積層使用對原始輸入圖像的相關(guān)激活函數(shù)進(jìn)行下采樣，在每次下采樣過程之后，通道數(shù)量逐步增加。擴(kuò)張路徑:在上采樣中，每一步都有的卷積層和的卷積層，每個卷積層都選擇了ReLU當(dāng)激活函數(shù)，升采樣的每一個步驟都會添加相應(yīng)的收縮路徑的特征圖，并通過裁減來保持原狀。通過跳躍連接的核心思想，對U-Net網(wǎng)絡(luò)進(jìn)行了優(yōu)化。除了收縮和擴(kuò)張路徑，增加裁減和復(fù)制通道，以此最大化的結(jié)合圖像中的特征信息。U-Net網(wǎng)絡(luò)的最后一層是一個的卷積層，經(jīng)過這一步的卷積層運(yùn)算，可以把64通道的特征向量變成想要的分類結(jié)果的值。U-Net網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如圖3-2所示：圖3-2U-Net網(wǎng)絡(luò)結(jié)構(gòu)示意圖1.2.2算法實(shí)現(xiàn)步驟（1）數(shù)據(jù)集預(yù)處理算法的結(jié)論需要大量的訓(xùn)練數(shù)據(jù)作為支撐，為了深入研究低照度圖像的增強(qiáng)，將采用伽馬校正的算法，不斷地改變伽馬的曲線值從而獲得低照度圖像，調(diào)整方法如圖3-3所示：圖3-3伽馬校正示意圖伽馬校正的定義式：（3-4）其中，A是一個常數(shù)，輸入輸出值都是不是負(fù)數(shù)的實(shí)數(shù)。當(dāng)<1時，位于低灰度區(qū)間內(nèi)，動態(tài)區(qū)間變大，所以提高了圖像的對比度，位于高灰度區(qū)間時，動態(tài)區(qū)間變小，減弱了圖像的對比度；>1時，位于低灰度區(qū)間時，動態(tài)區(qū)間變小，減弱了圖像的對比度，位于高灰度區(qū)間時，動態(tài)區(qū)間變大，提高了圖像的對比度，圖像整體灰度值就被降低。隨機(jī)選擇數(shù)值作為伽馬校正的參數(shù)，降低圖像的亮度，從而得到低照度圖像，數(shù)據(jù)實(shí)例如圖3-4所示：正常照度圖像低照度圖像圖3-4正常照度和低照度圖像對比示意圖（2）特征提取層U型卷積神經(jīng)網(wǎng)絡(luò)的第一部分為特征提取層，可以提取在低照度條件下的底層的特征信息，可以根據(jù)不同的情況自適應(yīng)地調(diào)整處理低照度圖像的像素。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的神經(jīng)元只和深層的神經(jīng)元連接，而在同一層中，某些神經(jīng)元之間的連接具有相同的權(quán)重和偏移量，這樣大減少了需要訓(xùn)練的參數(shù)的數(shù)量。如圖3-5所示，特征提取層是一個3層的卷積層，輸入層是原始輸入圖像的數(shù)據(jù)集，圖像的大小為256*256*1,第一層有多少個特征圖，就會有相同數(shù)量的卷積核卷積得到相應(yīng)的特征圖。設(shè)卷積核的尺寸為3*3，為了解決圖像的邊緣特征，對圖像進(jìn)行padding處理，然后即可得到尺寸為256*256*1的特征圖。卷積層的作用是對圖像進(jìn)行卷積運(yùn)算，然后提取出圖像更高層級的特征，具體流程如圖3-5所示：圖3-5卷積操作示意圖用公式可以表達(dá)為如下內(nèi)容：（3-5）其中，表示第d個卷積核。池化層的目的是通過降采樣縮小圖像，減少神經(jīng)網(wǎng)絡(luò)中的參數(shù)。由于進(jìn)行池化處理之后，圖像的細(xì)節(jié)信息會有一定程度的丟失。所以使用步長為2的卷積層作為替代，從而達(dá)到降采樣的目的。（3）跳躍連接層在卷積神經(jīng)網(wǎng)絡(luò)中，每一層都可以獲得不同的特征信息，網(wǎng)絡(luò)層數(shù)越深，就會獲取到更多的特征信息。在深度學(xué)習(xí)中，遇到的最大難題就是梯度問題，傳統(tǒng)的方法在解決梯度問題的同時會帶來深度變深的問題。參照殘差網(wǎng)絡(luò)的思想，跳躍連接可以解決在卷積神經(jīng)網(wǎng)絡(luò)中，隨著層數(shù)變多之后梯度消失的難題，而且有利于梯度的方向傳播，進(jìn)而加快訓(xùn)練的速度。跳躍連接的結(jié)構(gòu)圖如圖3-6所示：圖3-6跳躍連接結(jié)構(gòu)示意圖（4）轉(zhuǎn)置卷積運(yùn)算在全卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一步都會逐漸降低噪聲，但圖像的細(xì)節(jié)會丟失。使用轉(zhuǎn)置卷積之后，卷積層可以很好的保留圖像的內(nèi)容，反卷積層可以強(qiáng)化圖像的細(xì)節(jié)信息，并且提高圖像的亮度，提升圖像的對比度，還可以輸出原始圖像的擴(kuò)大尺寸的圖像。轉(zhuǎn)置卷積也稱為反卷積。表達(dá)式為：