附錄圖像超分辨率重建相關(guān)技術(shù)綜述目錄TOC\o"1-3"\h\u8927圖像超分辨率重建相關(guān)技術(shù)綜述 1151671.1插值法 1260561.2重建法 353291.3學(xué)習(xí)法 4284691.4深度學(xué)習(xí)法 439041.5評價標(biāo)準(zhǔn)指標(biāo) 131.1圖像超分辨率重建技術(shù)在人工智能領(lǐng)域計算機視覺方向，圖像超分辨率重建技術(shù)發(fā)展迅速。圖像分辨率為圖像所存儲的信息量，即每英寸圖像中包含的像素點，常用單位是像素每英寸（PPI）。對數(shù)字圖像而言，圖像分辨率越高，圖像越清晰、蘊含的信息越豐富，越有助于后續(xù)的圖像處理應(yīng)用。高分辨率圖像通常可以通過軟硬件兩種方式獲取。圖像超分辨率重建技術(shù)的本質(zhì)是使用現(xiàn)代圖形圖像處理算法對低分辨率圖像重建成高分辨率圖像。圖像超分辨率主要有單圖超分辨率重建（SISR）即基于單幅低分辨的圖像重建高分辨率圖像和多幅圖像超分辨率重建REF_Ref69572460\r\h[33]（MFSR）即基于一段相鄰時間序列內(nèi)的多幀低分辨率圖像重建高分辨率圖像。多幅圖像超分辨率重建圖像比單幅圖像超分辨率。多幅圖像超分辨率重建需要計算多幅圖像的映射關(guān)系，計算量大，需要耗費大量的計算資源，運算速度慢于單幅圖像超分辨率重建，難以普遍應(yīng)用于生活中。下面本文將系統(tǒng)的介紹單幅圖像超分辨率的相關(guān)技術(shù)。1.1插值法在圖像幾何變換中，不能直接給一些像素點賦值。如把圖像放大，圖像必然會存在一些無法與原圖像素點直接映射的點，對于這些像素點就可以通過插值法來決定它們的像素值。圖像插值算法主要分為線性插值法和非線性插值法。如下圖2-1所示：圖2-1插值法技術(shù)分類線性差值算法主要分為最近鄰插值法、雙線性插值法和雙三次插值法。線性插值算法通常使用一個固定的模板內(nèi)核來計算被插像素點的值，通過計算放大圖像所有像素點的值來實現(xiàn)圖像的重建，但是重建的圖像缺少細節(jié)信息、分辨率偏低和紋理平滑。非線性的圖像插值方法主要有基于小波系數(shù)法和基于邊緣信息法。其中基于邊緣信息法又可以分為顯式法和隱式法。隱式法中主要有四類方法：邊緣導(dǎo)向插值法（NEDI），最小均方誤差估計插值法（LMMSE），軟判決自適應(yīng)插值法（SAI）和邊緣對比度引導(dǎo)插值法（CGI）。1.線性插值法：現(xiàn)在應(yīng)用相對廣泛的線性插值方法主要有最近鄰插值算法，雙線性插值算法和雙三次插值算法。最近鄰插值算法：在一維空間中，最近鄰插值就相當(dāng)于向上取整和向下取整。在二維圖像里，像素點都是整數(shù)的，最近鄰插值法就是通過選取離目標(biāo)點歐氏距離最近的點。這會導(dǎo)致在一定程度上損失空間對稱性。具體來說，映射目標(biāo)圖像的像素點和原圖像的像素點，把最相鄰的像素點的值，賦值給該像素點。最簡單應(yīng)用最廣泛的圖像縮放插值方法是最近鄰插值法，當(dāng)該算法應(yīng)用到放大領(lǐng)域后，放大圖像會有很多馬賽克圖像模糊，并出現(xiàn)明顯的缺塊現(xiàn)象，而在圖像縮小領(lǐng)域，縮小的圖像會失真，視覺上感官很差。雙線性插值算法：雙線性插值是線性插值在二維上的推廣，在兩個方向上一共做了三次插值，形成了一個雙曲拋物線面和四個已知像素點進行擬合。具體的操作是在x方向上做兩次線性插值，在y方向上再做一次線性插值。與最近鄰插值法相比較，其計算相對復(fù)雜，計算量大，而且它會更通低頻的圖像信息，阻礙高頻的圖像信息，導(dǎo)致圖像缺乏細節(jié)輪廓模糊，但是擁有連續(xù)的灰度，重建的圖像更優(yōu)異。雙三次插值法：與雙線性差值算法對比，雙三次插值收斂性良好，并且具有穩(wěn)定性和光滑性，三次內(nèi)插值法充分的利用了周圍的16個像素點的值來求目標(biāo)點的像素值，與雙線性插值法相比，其考慮和零用了更多的像素點，插值后的圖像效果更好，但是因為考慮的像素點更多導(dǎo)致計算量也變得更大。1.非線性插值法：非線性插值法主要有兩大類：基于小波變換的插值法，基于邊緣信息的插值法?；谛〔ㄗ儞Q的插值算法：小波可以用于分析圖像的多分辨率和局部細化等，于是使用小波技術(shù)應(yīng)用于差值的方法快速發(fā)展。小波變化（DWT）實現(xiàn)獨立地分析和研究不同尺度的信號的基礎(chǔ)是把信號分解到不同尺度通道或分辨率層上。正交小波將圖像高頻信息完美地分解分離開，并且分解的各層子帶相似。小波變化分解使得圖像的大部分信息報錯在低頻信息中，高頻信息則保留邊緣信息?；谶吘壭畔⒌牟逯捣ǎ河捎谌说囊曈X感知可以快速的識別圖像或者物體的邊緣細節(jié)，于是算法研究人員根據(jù)模擬人眼視覺特性提出了基于邊緣引導(dǎo)的圖像插值法。邊緣信息插值法的具體實現(xiàn)方法是通過非邊緣像素點使用傳統(tǒng)插值法進行無方向地插值，而對于邊緣像素點則采用有方向的插值。圖像重建后的效果主要取決于原始圖像的邊緣像素點及其方向確定的精確度。1.2重建法目前使用比較廣泛的重建的圖像重建方法由有迭代反向投影法（IBP），凸集投影法（POCS）和最大后驗概率法（MAP）。迭代反向投影法：迭代反向投影法的基本思想是通過圖像退化模型來計算低分辨率圖像，并且觀察其余真實低分辨率圖像的誤差，然后通過退化模型進行多次迭代來得到高分辨率圖像。凸集投影法：凸集投影法中的凸集指的事對于集合中的每一對點，該對點連接直線上的每一個點也在集合內(nèi)。凸集投影法的核心思想就是利用先驗信息作為約束條件，然后根據(jù)先驗信息這個約束條件在凸集上求解，求得的解就是重建的高分辨率圖像。因為凸集投影法的約束條件是先驗信息，所以保證了一定程度上解的唯一性，但是會深受先驗信息的影響，會影響圖像重建的速度和重建結(jié)果圖像的穩(wěn)定性。最大后驗概率法：最大后驗概率法是通過使用概率統(tǒng)計學(xué)中的理論，核心思想就是通過先驗條件和條件概率來求解重建高分辨率圖像，所以構(gòu)建一個最符合高分辨率圖像的概率函數(shù)是構(gòu)建模型的關(guān)鍵，因為處理的內(nèi)容比較大導(dǎo)致圖像重建速度相對較慢。1.3學(xué)習(xí)法基于學(xué)習(xí)的圖像超分辨率主要思想史構(gòu)建模型，獲得先驗知識，然后充分的使用圖像中的先驗知識，與基于重建的方法相對比，當(dāng)輸入的圖像樣本數(shù)相同時，基于學(xué)習(xí)的方法可以獲取高頻的圖像細節(jié)，圖像重建的效果也更加優(yōu)異，廣泛用于文字和人臉的領(lǐng)域。本小節(jié)詳細地概述圖像超分辨率重建使用的兩種傳統(tǒng)的機器學(xué)習(xí)算法：流形學(xué)習(xí)算法和稀疏表示算法?；诹餍螌W(xué)習(xí)法：Saul等學(xué)者在提出了基于流形學(xué)習(xí)的圖像超分辨率的方法，Saul等人設(shè)定采樣數(shù)據(jù)是高維空間中的低微流行，流形學(xué)習(xí)本質(zhì)是高維空間的冗余數(shù)據(jù)映射到低維空間，即在高位空間中找到其在低維空間的準(zhǔn)確映射對其嵌入相應(yīng)映射。基于領(lǐng)域嵌入的重構(gòu)策略是其中的核心方法和思想?；谙∈璞硎痉ǎ合∈璞硎舅惴ㄊ橇餍螌W(xué)習(xí)法的基礎(chǔ)上，再構(gòu)建一個稀疏字典，然后使用稀疏表示法來重建高分辨率圖像。其重建過程主要為：第一步構(gòu)建完美的稀疏字典數(shù)學(xué)模型；第二步訓(xùn)練構(gòu)建完成的稀疏字典的數(shù)學(xué)模型；第三步將原始低分辨率的圖像通過上采樣插值放大的操作得到低頻的圖像特征圖；第四步把低分辨率圖像分劃成很多小片圖像，然后用先前構(gòu)建的低分辨率圖像稀疏字典來稀疏表示這些小片圖像；第五步使用高分辨率稀疏字典來表示構(gòu)建出高分辨率的小片圖像，然后對這些圖像片進行線性拼接來獲取圖像的高頻細節(jié)圖；第六步將低頻的圖像特征圖和高頻的圖像細節(jié)圖相加就完成了高分辨率圖像的重建。1.4深度學(xué)習(xí)法基于圖像超分辨率重建的核心思想是通過使用深度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)圖像的稀疏編碼。一般流程如圖2-2所示：圖2-2圖像超分辨率一般流程第一步：獲取原始高分辨率圖像集HR。第二步：將HR下采樣獲得低分辨率圖像集（LR）。第三步：通過卷積神經(jīng)網(wǎng)絡(luò)CNN將LR超分重建得到超分辨率圖像（SR）。第四步：通過計算HR和SR的SSIM和PSNR（評價指標(biāo)SSIM和PSNR詳見1.15），根據(jù)評價指標(biāo)調(diào)整網(wǎng)絡(luò)模型參數(shù)。第五步：反復(fù)迭代訓(xùn)練CNN，直至滿足設(shè)定的評價指標(biāo)閾值。其中，比較經(jīng)典的深度學(xué)習(xí)超分辨率重建網(wǎng)絡(luò)有SRCNN、ESPCN、SRGAN、DenseNet和RDN。如圖2-3所示：圖2-3深度學(xué)習(xí)圖像超分辨率發(fā)展進程1.SRCNN2014年，SRCNN的出現(xiàn)首次實現(xiàn)了深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率重建領(lǐng)域的應(yīng)用。如圖2-4所示，SRCNN利用雙立方插值算法將輸入的LR圖像放大到指定倍數(shù)，然后通過三層卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)非線性映射，輸出重建后的高分辨率圖像。圖2-4SRCNN網(wǎng)絡(luò)結(jié)構(gòu)圖1.ESPCNESPCN創(chuàng)新性地提出了亞像素卷積（如圖2-5所示），其主要功能是對提取的圖像特征進行放大，從而得到高分辨率圖像。與SRCNN相比，低分辨率圖像不需要進行上采樣。亞像素卷積大大地減少了SRCNN的計算量，可以滿足實時性需求。圖2-5ESPCN網(wǎng)絡(luò)結(jié)構(gòu)3.SRGANSRGAN與上述兩種方法類似，大部分基于深度學(xué)習(xí)的圖像超分辨率重建算法會使用均方誤差作為網(wǎng)絡(luò)模型訓(xùn)練過程中作為反饋的損失函數(shù)。然而均方誤差存在的缺陷會使得重建生成的圖像丟失高頻信息。不同的是，生成對抗網(wǎng)絡(luò)GAN因為有判別器的存在所以可以完美的解決這個問題，通過GAN生成的圖像相對逼真真實性高，符合人眼的審美習(xí)慣。這也是Christian等學(xué)者使用GAN來實現(xiàn)圖像的超分辨率重建的核心原因。如圖2-6所示，SRGAN網(wǎng)絡(luò)由兩部分組成，生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)。生成器網(wǎng)絡(luò)實現(xiàn)圖像的超分辨率重建，鑒別器網(wǎng)絡(luò)判定生成的圖像的真實性。這是生成器與判別器的二元博弈，在不斷的互相博弈中使得生成器網(wǎng)絡(luò)達到最佳圖像重建效果。圖2-6SRGAN網(wǎng)絡(luò)結(jié)構(gòu)4.ResNet何凱明等學(xué)者在研究深度學(xué)習(xí)時，發(fā)現(xiàn)隨著神經(jīng)網(wǎng)絡(luò)的層數(shù)增加網(wǎng)絡(luò)偶爾會退化。即神經(jīng)網(wǎng)絡(luò)的層數(shù)會使得模型在訓(xùn)練集上的loss值會趨于飽和，再增加網(wǎng)絡(luò)層數(shù)時，loss值卻變大了。何凱明等學(xué)者發(fā)現(xiàn)當(dāng)把淺層網(wǎng)絡(luò)提取的特征傳遞給深層網(wǎng)絡(luò)，那么網(wǎng)絡(luò)訓(xùn)練的效果會接近于淺層網(wǎng)絡(luò)的訓(xùn)練效果。從信息論來講，處理數(shù)據(jù)不等式會使得在特征的前向傳輸過程中，特征圖譜所包含的圖像信息會隨著網(wǎng)絡(luò)層數(shù)的增加而逐漸減少。于是何凱明等學(xué)者提出了ResNet，ResNet網(wǎng)絡(luò)加入了直接映射和殘差網(wǎng)絡(luò)，這也使得ResNet網(wǎng)絡(luò)中L+1層比L層融合了更多的圖像特征。ResNet（殘差網(wǎng)絡(luò)）是由一系列的殘差塊組成，一個殘差塊可以用公式（1.1）所示：xl+1=x殘差塊主要由直接映射和殘差組成。其中圖2-6左邊的曲線為直接映射xl；右邊的殘差部分為F圖2-7殘差塊圖2-6中的weight是一個卷積層，addition實現(xiàn)兩個特征的融合，因為上下層的卷積網(wǎng)絡(luò)的特征維度存在不一致，即xl和xl+1的特征維度不相同，addition就通過使用1*1卷積層來將兩個不同維度的特征融合到一塊，此時殘差塊可由公式（xl+1=hx其中hxl1=圖2-81*1殘差塊ResNet由前向神經(jīng)網(wǎng)絡(luò)和shortcut連接來實現(xiàn)。其中殘差映射有前向網(wǎng)絡(luò)來實現(xiàn)，直接映射由shortcut連接來實現(xiàn)。當(dāng)ResNet網(wǎng)絡(luò)達到最優(yōu)時，這時候增加網(wǎng)絡(luò)的層數(shù)，殘差映射消失，只保留直接映射，理論上新的網(wǎng)絡(luò)也處于最優(yōu)狀態(tài)，網(wǎng)絡(luò)的性能效果不會受網(wǎng)絡(luò)層數(shù)增加而降低。殘差網(wǎng)絡(luò)中更深層L，與l層的關(guān)系可以由l層和L-1層之間的關(guān)系遞歸得到，如公式（1.3）所示：xL=x其中F是殘差函數(shù)，x為任意一層的特征向量。上述公式表明第L層的特征圖譜可由之前第l層和殘差塊的特征融合表示，當(dāng)l=0時，L則為各個殘差塊特征的融合。在SRGAN中的生成器網(wǎng)絡(luò)就是由ResNet的ResBlock結(jié)構(gòu)構(gòu)成的，這類ResBlock模塊雖然解決了網(wǎng)絡(luò)層數(shù)過多導(dǎo)致網(wǎng)絡(luò)退化的問題，但是也帶來了多余的計算量和參數(shù)冗余，當(dāng)網(wǎng)絡(luò)層數(shù)越來越大時，網(wǎng)絡(luò)在訓(xùn)練中需要學(xué)習(xí)的參數(shù)也快速提升，帶來極大的計算壓力，對于模型訓(xùn)練環(huán)境的計算資源的要求更高。5.DenseNet作為CVPR2017的最佳論文，DenseNet實現(xiàn)網(wǎng)絡(luò)性能提升的方法與傳統(tǒng)的加深網(wǎng)絡(luò)層數(shù)和加寬網(wǎng)絡(luò)結(jié)構(gòu)不同，它開啟新的思路，從特征的角度出發(fā)，通過重用特征和旁路來使得模型達到更好的效果和更少的參數(shù)，網(wǎng)絡(luò)更易于訓(xùn)練具有一定的正則效果進而緩解了隨著網(wǎng)絡(luò)層數(shù)加深隨之帶來的梯度消失的問題，加強了特征在網(wǎng)絡(luò)的傳遞和重用。DenseNet網(wǎng)絡(luò)中的稠密塊結(jié)構(gòu)如圖2-9所示：圖2-9稠密塊圖2-9所示，論文中提出的稠密塊有5層網(wǎng)絡(luò)，從第一層開始每一層都會與后面的所有層連接在一起，和ResNet連接方式不同的是DenseNet采用concat方式在channel維度上對元素進行拼接，在一個L層的網(wǎng)絡(luò)中，DenseNet共有L×L?1根據(jù)圖2-8可知，第i層的輸入與0到i-1層的輸出有關(guān)，因此，可以將第l層的輸出特征可以寫作公式（1.4）：xi=H上式中[]為concatenation特征拼接，即將（0~i-1）提取的圖像特征x0,x由于DenseNet為了實現(xiàn)特征的重用廣泛的融合拼接不同層的圖像特征，這使得不同層的圖像特征要保持一致的尺度，這也一定程度上限制了網(wǎng)絡(luò)的降采樣，于是作者就將DenseNet分割成多個DenseBlock來解決這個問題，如圖2-10所示。圖2-10DenseNet網(wǎng)絡(luò)結(jié)構(gòu)圖在同一個DenseBlock中要求特征尺度保持大小一致，在不同的DenseBlock之間設(shè)置transactionLayer來實現(xiàn)降采樣，transactionLayer有BN和1*1Conv和2*2Avg-pooling組成。DenseNet主要通過密集的連接融合不同層的圖像特征，使得不同層的圖像特征得到充分的利用，使得在訓(xùn)練過程中梯度不容易消失，一定程度上使得網(wǎng)絡(luò)層數(shù)可以更深，并且能取得優(yōu)異的效果。另外應(yīng)用瓶頸層、翻譯層和較小的增長率來使得網(wǎng)絡(luò)收窄，降低網(wǎng)絡(luò)參數(shù)并抑制了網(wǎng)絡(luò)訓(xùn)練時可能發(fā)生的過擬合現(xiàn)象，一定程度上減少了網(wǎng)絡(luò)的計算量。相較于ResNet，DenseNet的優(yōu)勢十分明顯。6.RDN通過多層網(wǎng)絡(luò)的不斷卷積提取圖像特征，可以獲取多層次多尺度的圖像特征，這使得CNN在圖像超分領(lǐng)域取得了不錯的進展。但是大多數(shù)的卷積神經(jīng)網(wǎng)絡(luò)的圖像超分模型不能很好地利用好來自于低分辨率圖像LR的各層次特征，導(dǎo)致性能相對低下。CVPR2018會議上，YuLunZhang等學(xué)者研究出了全新的網(wǎng)絡(luò)——殘差密集網(wǎng)絡(luò)（RDN）來解決在圖像超分領(lǐng)域的這一個問題。RDN可以充分的利用所有卷積層的各個層次的特征信息。RDN網(wǎng)絡(luò)結(jié)構(gòu)如圖2-11所示：圖2-11RDN網(wǎng)絡(luò)結(jié)構(gòu)由圖2-10所示，RDN網(wǎng)絡(luò)包含淺層特征提取網(wǎng)絡(luò)、中間的殘差密集塊RDB還有全局的特種融合模塊和最后的圖像放大重建模塊。RDN網(wǎng)絡(luò)中的RDB模塊主要負責(zé)提取多層次的圖像特征，實現(xiàn)局部信息的富集。RDN網(wǎng)絡(luò)中的RDB可以與之后的每一個RDB網(wǎng)絡(luò)相連接，這種連接方式實現(xiàn)了網(wǎng)絡(luò)中特征的記憶。RDB是由DenseBlock和ResBlock結(jié)合而成，具體如圖2-12所示：圖2-12RDB結(jié)構(gòu)由圖2-11可知RDN網(wǎng)絡(luò)的主要組成部分由淺層特征提取網(wǎng)絡(luò)（SFENet），殘差密集塊（RDBs），密集特征融合（DFF）和圖像放大重建網(wǎng)絡(luò)（UPNet），三個模塊一起組成一個RDN網(wǎng)絡(luò)，完成圖像從LR到HR的重建過程。淺層特征提取網(wǎng)絡(luò)（SFENet）提取出淺層的圖像特征F-1和F0作為后面模塊的特征輸入。殘差密集塊（RDBs）由5層卷積層、局部融合特征模塊（LFF）和局部殘差學(xué)習(xí)（LSL），以此形成記憶機制。所謂的連續(xù)記憶機制就是可以將第d-1個RDB的輸出直接輸入到第d個RDB中的每一層去（由上圖dense模塊的紅線所示），經(jīng)過dense模塊的作用，可以將Fd-1，F(xiàn)d，F(xiàn)d,c，F(xiàn)d,C的特征利用起來形成記憶。局部特征融合（LFF）即RDB中的concat模塊，，將第d個RDB前一個RDB的輸出特征Fd-1，當(dāng)前RDB的特征Fd中每一層的狀態(tài)融合通過concat在一起形成輸出Fd,LF，然后再利用1*1的卷積對concat的特征輸出降低通道數(shù)，簡化數(shù)據(jù)。局部殘差學(xué)習(xí)（LSL），在RDB中存在多個卷積層，因此需要引入局部殘差學(xué)習(xí)來充分利用淺層的圖像特征，改善特征信息流。不同層的RDB提取多層次的局部特征，然后通過密集特征融合模塊（DFF）融合所有特征，從全局的角度來挖掘多層次特征，DFF有全局特征融合模塊（GFF）和全局殘差學(xué)習(xí)模塊（GRL）兩個模塊。全局特征融合模塊（GFF）通過把多個RDBs輸出的特征（F1，F(xiàn)2，F(xiàn)3，…，F(xiàn)D）全部concat在一起，然后經(jīng)過一個1*1的卷積層，將這一系列的特征自適應(yīng)的融合在一起，最后再通過3*3的卷積層，進一步得到FGF，作為全局殘差學(xué)習(xí)的輸入。全局殘差學(xué)習(xí)通過融合淺層特征F-1與融合了RDB提取的多層次特征FGF作element-wise的融合后輸出特征FDF。最后通過圖像放大重建網(wǎng)絡(luò)（UPNet）將最后融合的全局特征FDF進行放大重建，得到重建的高清圖像HR。相較于ResNet和DenseNet，RDN在圖像超分領(lǐng)域的優(yōu)勢相當(dāng)明顯。1.5評價標(biāo)準(zhǔn)指標(biāo)圖像超分辨率重建的客觀評價指標(biāo)有兩個：一是結(jié)構(gòu)相似性（SSIM）；二是峰值信噪比（PSNR）。（1）PSNRPSNR表示為信號的峰值信噪比。是一個數(shù)字信號相關(guān)的工程術(shù)語，其值為信號最大可能功率與影響信號精度的破壞性噪聲功