深度學(xué)習(xí)端到端的盲去模糊相關(guān)理論概述目錄TOC\o"1-3"\h\u16460深度學(xué)習(xí)端到端的盲去模糊相關(guān)理論概述 1117421.1卷積神經(jīng)網(wǎng)絡(luò) 1193631.1.1神經(jīng)元 179581.1.2卷積層 1158491.1.3激活層 2306181.1.4轉(zhuǎn)置卷積層 389541.2深度學(xué)習(xí)端到端的盲去模糊 317141.2.1基于尺度循環(huán)深度卷積網(wǎng)絡(luò)的方法 372761.2.2基于GAN網(wǎng)絡(luò)的方法 43271.2.3編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu) 4262531.3圖像質(zhì)量評價方法 51.1卷積神經(jīng)網(wǎng)絡(luò)1.1.1神經(jīng)元人們對于神經(jīng)元的研究從古至今都是大熱點，對于生物的神經(jīng)元來說一個神經(jīng)元通常具有多個樹突，主要用來接受傳入的信息；相對而言，軸突只有一條，軸突尾端有許多末梢，他們的作用是給其他多個神經(jīng)元傳遞信息。而對于人工智能中的神經(jīng)網(wǎng)絡(luò)來說神經(jīng)元就是基本處理單元，一般是多輸入單輸出的單元，其結(jié)構(gòu)模型如圖4所示。圖4神經(jīng)元模型類比于現(xiàn)實中的神經(jīng)元結(jié)構(gòu)，一個神經(jīng)元含有3個輸入，1個輸出，以及中間的計算功能。輸入即可以理解為樹突，所以需要多個來接受信息，輸出即是軸突，用來給其他神經(jīng)元傳遞信息，而整個神經(jīng)元可以看作一個計算與存儲單元。即神經(jīng)元在處理接收來的數(shù)據(jù)時，即可以對接收的數(shù)據(jù)進行一些計算也可以將其存儲于模塊之中，可以起到在時域上的控制。[19]1.1.2卷積層一個網(wǎng)絡(luò)里最小的模塊是神經(jīng)元，而卷積神經(jīng)網(wǎng)絡(luò)中最基本的組成單元則是卷積層。在整個網(wǎng)絡(luò)結(jié)構(gòu)功能起效的前提是擁有對輸入圖像特征的分析，而卷積層可以幫助提取出輸入圖像的特征信息，概括輸入圖像所具備的屬性，有時候在卷積層后也會接入一個池化層以減少結(jié)構(gòu)的計算量，但會損失部分信息，而多個卷積層可以更好更全面地提取圖像的特征信息，而且對于卷積層來說，卷積的在圖像的任意部位都具有同樣的提取能力，這種作用可以讓我們最終學(xué)習(xí)的結(jié)果圖像保持一致而不是，一個圖像僅僅處理左上部分，另一個僅僅處理了右下部分，單個卷積層可能提取的信息較小，而多個卷積層則可以通過不同的卷積順序來進行多角度的解釋問題。圖5卷積層模型圖以二維卷積為例，如圖5所示，輸入圖像大小為5×5，卷積核為3×3，如果我們將卷積核移動的步長設(shè)定為1，順序設(shè)為從左至右，從上至下進行卷積，那么最終的結(jié)果會是每一個卷積核對對應(yīng)位置九個像素點的對應(yīng)值進行加權(quán)平均后提取出對應(yīng)位置的特征值，而步長為1也就限定了一個卷積核在對應(yīng)橫豎范圍內(nèi)會移動三個，也就對應(yīng)最后輸出一個3×3的特征圖，而這個特征圖可以作為最后的特征分析接入下一層，而實際中我們要處理的圖像肯定不止5×5大小，所以用多個卷積層不僅能夠增加更多分析方式，而且可以將特征圖更加濃縮化，多層卷積層也意味著每一層卷積方式可以不同，意味著可以有更多角度去分析更多特征圖，比如一個圖像的畸變信息、色彩分布情況、對比度等。1.1.3激活層激活層的主要意義在于讓整個訓(xùn)練過程添加了非線性條件，如果僅是線性的訓(xùn)練那么結(jié)果不過是只能應(yīng)用于這一張圖片或這一組，而沒有從根本上解決整體意義上的去模糊，而激活層整體可以理解為信號與系統(tǒng)中的激活函數(shù)，常見的激活函數(shù)有Sigmoid型函數(shù)、Tanh型函數(shù)和ReLU型函數(shù)。由于本文主要使用的是ReLU型函數(shù)，故僅對ReLU函數(shù)進行分析。ReLU型函數(shù)是一種線性整流函數(shù)，我們對它的定義式如(3-1)，求導(dǎo)公式為(3-2)，ReLU雖然是將結(jié)果轉(zhuǎn)換為非線性輸出，但其本只有線性計算，不需要指數(shù)運算，這也就極大地降低了算法復(fù)雜度，但他本身在定義域上存在奇點，即導(dǎo)數(shù)公式在x取0的時候不連續(xù)，但由于它的公式簡潔，ReLU函數(shù)依然是神經(jīng)網(wǎng)絡(luò)中較為常用的激活函數(shù)。σ（x）=max(0,x)=σ1.1.4轉(zhuǎn)置卷積層轉(zhuǎn)置卷積層可以看做是卷積層的逆向運算，無論卷積神經(jīng)網(wǎng)絡(luò)是正向傳播還是反向傳播的方式，轉(zhuǎn)置卷積層相當于是由較小的圖像數(shù)據(jù)通過轉(zhuǎn)置卷積核轉(zhuǎn)換為較大的卷積結(jié)果，其主要作用是將輸出圖像調(diào)整為原圖像大小，而其控制調(diào)整的參數(shù)可以通過前面的卷積層得到。以二維轉(zhuǎn)置卷積為例，假定輸入圖像為2×2的矩陣，卷積核為3×3，卷積步長設(shè)為1，最終輸出的特征圖為4×4大小。具體轉(zhuǎn)置卷積過程如圖2-12所示，可以看到輸出圖像相較于輸入圖像放大了2倍，而其可能存在的問題也在于控制輸出參數(shù)的轉(zhuǎn)置卷積核是否能夠精確確認每一種輸出。圖6二維轉(zhuǎn)置卷積操作示例1.2深度學(xué)習(xí)端到端的盲去模糊對于端到端的去模糊方法是在不需要對傳統(tǒng)去模糊方法上做神經(jīng)網(wǎng)絡(luò)處理過程的替代，比如運用神經(jīng)網(wǎng)絡(luò)去估計模糊核，而后面的逆濾波過程依然是用傳統(tǒng)方法處理，而整個端到端的去模糊算法是從輸入圖像直接處理輸出圖像，而這也就意味著需要大量的數(shù)據(jù)集以及大量的迭代去學(xué)習(xí)去推算出適用于數(shù)據(jù)集集體情況的模型結(jié)構(gòu)，而且整個模型結(jié)構(gòu)需要符合輸入及輸出圖像的映射，而近代較為流行的算法有基于尺度循環(huán)深度卷積網(wǎng)絡(luò)的方法和基于GAN網(wǎng)絡(luò)的方法。1.2.1基于尺度循環(huán)深度卷積網(wǎng)絡(luò)的方法尺度循環(huán)深度卷積網(wǎng)絡(luò)方法的主要思想是從多個角度去進行實驗，而且觀察角度或者說尺度是隨尺度的更換由粗糙至精細，這種方法比較典型的代表是Nah在2017年提出的模糊數(shù)據(jù)集合成方法，他通過晃動相機錄取了一個視頻，并截取其中的幾種較為典型的模糊幀合并為一個數(shù)據(jù)集，并將其中的最為清晰的幀作為中間幀，以此他還構(gòu)建了一個廣為流傳的數(shù)據(jù)集，本文中應(yīng)用到的數(shù)據(jù)集為GOPRO數(shù)據(jù)集，使用的即為他們的數(shù)據(jù)集。而他們的主要環(huán)節(jié)還是在多尺度卷積網(wǎng)絡(luò)上，而其原理就是通過對不同尺度的模糊，清晰圖像進行由粗糙到精細過程的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。圖7基于多尺度卷積網(wǎng)絡(luò)運動去模糊的網(wǎng)絡(luò)框圖如圖7所示，他們的網(wǎng)絡(luò)結(jié)構(gòu)采用了三層相同處理步驟的網(wǎng)絡(luò)結(jié)構(gòu)，ResBlock是殘差塊，它可以起到特征提取的作用，而殘差塊也是由幾個卷積模塊構(gòu)成的計算結(jié)構(gòu)，但它增加了一個回環(huán)結(jié)構(gòu)以控制整體結(jié)構(gòu)的收斂性，而這種回環(huán)的反饋結(jié)構(gòu)也就是其殘差名稱的來源，殘差在統(tǒng)計中的意思是指預(yù)測值與觀測值之間產(chǎn)生的誤差，而殘差模塊除了提取特征可以將整個過程的結(jié)果分布概率更加平滑而不是隨機分布。整個網(wǎng)絡(luò)的輸入為一種金字塔結(jié)構(gòu)，即最低層的輸入為最高分辨率，而經(jīng)過下采樣處理將原圖像分辨率逐層半分下降，以此作為每一層的輸入圖像，而每一層的輸出結(jié)果進行各自的采樣處理后直至對應(yīng)下一層輸入圖像分辨率相同后再與之前設(shè)定好的對應(yīng)層圖像進行反向傳播后的拼接，直到輸出到最后一層，而該輸出的圖像直接作為復(fù)原后的結(jié)果。三層網(wǎng)絡(luò)在訓(xùn)練的過程中輸出的特征值相對獨立，這樣才能構(gòu)建一個沒有關(guān)聯(lián)性不同尺度的網(wǎng)絡(luò)結(jié)構(gòu)，以此達到豐富恢復(fù)圖像效果的作用1.2.2基于GAN網(wǎng)絡(luò)的方法GAN網(wǎng)絡(luò)結(jié)構(gòu)是一種生成對抗式的網(wǎng)絡(luò)結(jié)構(gòu)，其提出了一種生成器和判別器的概念，而其主要的特點是可以實現(xiàn)完全的無監(jiān)督模式，生成器的作用是進行學(xué)習(xí)，而判別器就是去判斷生成器的結(jié)果是否逼近真實數(shù)據(jù)，而其對抗過程可以看作是一種零和博弈，一方收益就意味著另一方的損失，而最后的結(jié)果是在要趨近于一種平衡的趨勢時網(wǎng)絡(luò)停止運作時獲得，而該種網(wǎng)絡(luò)結(jié)構(gòu)最后獲得的圖像數(shù)據(jù)性能直逼真實圖像，基于這個特點，Kupyn等人[20]設(shè)立了幾種限制條件以控制對抗網(wǎng)絡(luò)的有效性，將他們設(shè)計的整個端到端式對抗網(wǎng)絡(luò)命名為DeblurGAN。他們在自己制作了一種隨機軌跡的運動模糊數(shù)據(jù)集的情況下，針對目標檢測進行了特定數(shù)據(jù)集的構(gòu)建，之后進行了生成器與判別器的設(shè)置，這種網(wǎng)絡(luò)結(jié)構(gòu)最大的缺陷就是需要一個合理結(jié)構(gòu)，所以Kupyn準備了許多前置工作，以及為確保結(jié)果的準確性，提出了一種評估方法，他使用了目標檢測的檢測結(jié)果作為圖像復(fù)原質(zhì)量的評價指標。1.2.3編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)對于編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)，較為典型的問題是seq2seq問題，其主要功能在于進行機器文字翻譯，其進行的工作就是對于一組文字符號序列，將其轉(zhuǎn)換為另一組不同表達形式的序列，而編碼-解碼結(jié)構(gòu)可以非常有效地處理這類問題，但它卻又不僅局限于只處理文字問題，他可以對圖像中的某些或某組信息進行更為詳細的處理，而且可以擴展處理后的細節(jié)。而編碼-解碼結(jié)構(gòu)在圖像處理領(lǐng)域中常見的結(jié)構(gòu)是U-Net,它是采用一種U型結(jié)構(gòu)，與通常情況下的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)處理方式一致，均是先進行下采樣再進行上采樣恢復(fù)圖像維度與輸入一致，上采樣部分是卷積同時進行編碼，下采樣則是轉(zhuǎn)置卷積以及解碼，而其中網(wǎng)絡(luò)結(jié)構(gòu)不同層之間存在跳層連接方式，而其與GAN方法相反，這種處理方式是讓臨近的層級相關(guān)，但其同樣可以為解碼部分提供多層細節(jié)信息，這種網(wǎng)絡(luò)結(jié)構(gòu)提供了一種創(chuàng)造性的思路，使得圖像處理領(lǐng)域的其他一些問題也可以得到解決。U-Net網(wǎng)絡(luò)結(jié)構(gòu)具體如圖8所示。圖8U-Net網(wǎng)絡(luò)的結(jié)構(gòu)框圖[21]2018年Tao等人在Nah等人去模糊方法的基礎(chǔ)上，結(jié)合U-Net設(shè)計思想提出了SRN-DeblurNet進行運動去模糊，網(wǎng)絡(luò)由粗到精復(fù)原出清晰圖像。而其主要結(jié)構(gòu)可以看做是多尺度殘差結(jié)構(gòu)與U-Net的結(jié)合，只不過對應(yīng)多尺度模塊中的單層殘差模塊組換成了U-Net結(jié)構(gòu)，而編碼解碼模塊中的卷積層也擴展成了卷積與殘差塊的組合，本文以SRN-DeblurNet為基準網(wǎng)絡(luò)進行運動去模糊研究。1.3圖像質(zhì)量評價方法圖像質(zhì)量評價方法可以分為有參考的和無參考的評價方法。有參考是我們需要恢復(fù)的退化圖像有其對應(yīng)的對比清晰圖片，通常這種評價指標需要較多的準備條件，而車輛在自動駕駛過程中的情況遇到的情況具有突發(fā)性，所以通常不具備清晰對比圖像的條件，這時就需要我們有無參考評價指標，而無參考評價指標進行的是對清晰度的評價，它能夠與人眼的主觀感受相對應(yīng)。[22]本文針對無參考圖像質(zhì)量評價應(yīng)用，對目前幾種較為常用的、具有代表性清晰度算法進行討論分析，為實際應(yīng)用中選擇清晰度算法提供依據(jù)。[23,24](1)Brenner梯度函數(shù)Brenner梯度函數(shù)是最簡單的梯度評價函數(shù)，它得主要算法思路是計算每兩個相鄰像素點的灰度差平方，該函數(shù)定義如下：D(f)=其中：f(x,y)表示圖像f對應(yīng)像素點(x,y)的灰度值，D(f)為圖像清晰度計算結(jié)果。(2)Tenengrad

梯度函數(shù)Tenengrad梯度函數(shù)采用Sobel算子分別提取水平和垂直方向的梯度值，基與Tenengrad梯度函數(shù)的圖像清晰度定義如下：D(f)=G(x,y)的形式如下：G(x,y)=其中，T是給定的邊緣檢測閾值，Gx和Gy分別是像素點(x,y)處Sobel水平和垂直方向邊緣檢測算子的卷積。(3)Laplacian

梯度函數(shù)Laplacian梯度函數(shù)與Tenengrad梯度函數(shù)基本一致，用Laplacian算子替代Sobel算子即可，該算子定義如下：L因此基于Lap