基于生成對抗網(wǎng)絡(luò)的遙感圖像融合模型分析（一）生成對抗網(wǎng)絡(luò)生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork，GAN），顧名思義需要“對抗”和競爭，即讓兩個網(wǎng)絡(luò)互相競爭，達(dá)到學(xué)習(xí)的目的。該方法由IanJ.Goodfellow等人于2014年提出REF_Ref103787464\n\h[21]。在圖像處理方面效果顯著，各種研究也逐漸深入。生成對抗網(wǎng)絡(luò)模型包含兩部分，首先是生成器模型G，其次是判別器模型D。其根本目標(biāo)是為了訓(xùn)練生成器，使生成器能夠產(chǎn)生令人滿意的結(jié)果。這一過程需要模型G和模型D共同作用。其中，模型G的目標(biāo)是要生成結(jié)果，這種結(jié)果雖與真實樣本存在差別或不同，但應(yīng)盡可能相似；而模型D的目標(biāo)則是要區(qū)分出給定的結(jié)果是真實的樣本還是由模型G生成結(jié)果。很明顯，這兩個模型的目標(biāo)完全相反，一個是為了“造假”，另一個是為了“存真”，兩個模型的不斷對抗和競爭會使二者的能力不斷提高。最終的結(jié)果是：模型D辨別真?zhèn)蔚哪芰軓?，但是卻無法分辨給定樣本是不是由模型G產(chǎn)生的。說明此時模型G的能力已經(jīng)達(dá)到爐火純青，產(chǎn)生的結(jié)果也會令人滿意。其基本原理圖如圖3.8所示。圖3.8生成對抗網(wǎng)絡(luò)基本原理REF_Ref103787243\n\h[14]在圖3.8中，黑色點的部分表示真實的數(shù)據(jù)正態(tài)分布，綠色線的部分就是生成器G不斷學(xué)習(xí)從而不斷接近真實情況的過程，而藍(lán)色的虛線部分是判別器D不斷降低其損失函數(shù)，達(dá)到最優(yōu)的過程。生成對抗網(wǎng)絡(luò)可以生成較好的圖像，所以在計算機視覺方面有比較好的優(yōu)勢。生成對抗網(wǎng)絡(luò)模型的優(yōu)化目標(biāo)為：(8)其中判別器模型D需要使上述式子最大化，而生成器模型G需要最小化。其中，表示真實的數(shù)據(jù)，服從的分布為pdata，z表示用來生成圖像的數(shù)據(jù)，G(z)表示的是生成的圖像REF_Ref103787490\n\h[39]。與下面等價：(9)其中D(x)?(0,1)表示概率，pg(x)表示的使樣本服從的分布情況。在保持G不變時，判別器模型D的最優(yōu)解為：DG?x=(10)（二）Pan-GAN——基于生成對抗網(wǎng)絡(luò)模型的遙感圖像融合模型REF_Ref103788195\n\h[22]1.網(wǎng)絡(luò)模型結(jié)構(gòu)生成對抗網(wǎng)絡(luò)模型經(jīng)過不斷改進(jìn)，有了許多衍生模型。例如深層卷積生成對抗網(wǎng)絡(luò)(DeepConvolutionalGenerativeAdversarialNetworks，DCGAN)REF_Ref103787509\n\h[23]，DCGAN模型比一般的生成對抗網(wǎng)絡(luò)模型更穩(wěn)定，得益于一套穩(wěn)定訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)的規(guī)則。Wasserstein生成對抗網(wǎng)絡(luò)(WGAN)REF_Ref103787518\n\h[24]通過修改GANs的目標(biāo)函數(shù)來放松GANs的訓(xùn)練要求，這使得模型比原始GANs收斂速度慢。最小二乘對抗網(wǎng)絡(luò)(LeastSquareGAN，LSGAN)REF_Ref103787532\n\h[25]使用最小二乘損失函數(shù),LSGAN比常規(guī)GAN有兩個優(yōu)勢。其一是其圖像質(zhì)量會更好，其二是比較穩(wěn)定。此模型即采用LSGAN作為基本模型。Pan-GAN網(wǎng)絡(luò)結(jié)構(gòu)包括生成器、光譜判別器和空間判別器。它們的架構(gòu)都是基于CNN設(shè)計的，如圖3.9所示。生成器采用上文提到的泛銳化神經(jīng)網(wǎng)絡(luò)模型PNN，PNN的體系結(jié)構(gòu)更簡單，易于訓(xùn)練。尺寸分別為9×9、5×5和5×5。使用填充將步幅設(shè)置為1，每個層中提取的特征貼圖的數(shù)量分別設(shè)置為64、32和4。各層的激活函數(shù)基本上都是ReLU，最后一層使用雙曲正切函數(shù)(tanh)作為激活函數(shù)。此外，添加了一些跳過連接REF_Ref103787332\n\h[18]。這些跳過連接可以將更多細(xì)節(jié)轉(zhuǎn)移到后面的層，以充分利用有效信息。判別器使用完全卷積神經(jīng)網(wǎng)絡(luò)，每個判別器由六層組成。前五層的尺寸為3×3，最后一層的尺寸為4×4。前五層的步幅設(shè)置為2，最后一層設(shè)置為1。不同層中提取的特征圖數(shù)量分別設(shè)置為16、32、64、128、256和1。圖3.9Pan-GAN模型結(jié)構(gòu)所有多光譜圖像都有4個光譜帶。首先進(jìn)行上采樣將多光譜圖像的尺寸放大，之后與全色圖像一起在通道上進(jìn)行疊加。接著將結(jié)果作為生成器模型G的輸入，由G輸出融合圖像Pan-GAN。然而，僅由損失函數(shù)引導(dǎo)而不使用兩個判別器的生成結(jié)果往往會出現(xiàn)嚴(yán)重的光譜失真或缺乏空間信息，這無法在光譜和空間信息之間取得平衡。所以，為了解決該問題，對原有的融合任務(wù)進(jìn)行分割，分成兩個子任務(wù)，分別是保持空間信息和光譜信息，使用兩個判別器來分別完成，其中第一個判別器D1稱為光譜判別器，其目的是強制生成圖像的光譜信息與多光譜圖像的光譜信息一致。第二判別器D2被稱為空間判別器，其目的是強制生成的圖像的空間信息與全色圖像的空間信息一致。2.處理流程模型框架使用原始源圖像作為訓(xùn)練數(shù)據(jù)，在不受地面真值監(jiān)督的情況下獲得融合圖像。將圖像融合問題描述為一個多任務(wù)問題，并利用對抗性策略解決該問題。第一步進(jìn)行插值，對生成器生成的多光譜圖像進(jìn)行，第二步將第一步的結(jié)果和生成的圖像都加入到判別器D1中，從而使生成的融合圖像的光譜分布與原始多光譜圖像的光譜分布一致。接著對生成器生成的融合圖像沿通道維度進(jìn)行平均池化，以獲得單個通道中的圖像。然后將該單通道圖像和全色圖像輸入到D2中，使生成的圖像Pan-GAN的空間分布與原始全色圖像的空間分布一致。在訓(xùn)練過程中，一旦這兩個判別器不能區(qū)分它們的輸入，我們就可以得到理想的融合圖像。生成器損失函數(shù)分為兩部分，用如下公式表示：(11)其中，LG表示總的損失，Lspectral表示光譜信息損失，即多光譜源圖像與融合后結(jié)果圖像之間光譜信息的損失。Lspatial表示空間信息損失，即全色圖像與融合后結(jié)果圖像之間空間信息的損失。雖然模型采用兩個判別器，分別判斷空間和光譜信息。但是兩者的損失可統(tǒng)一為下述式子：(12)I(n)表示要進(jìn)行擬合的目標(biāo)圖像，a和b分別為目標(biāo)圖像和結(jié)果圖像的標(biāo)簽。采用最小二乘函數(shù)作為損失函數(shù)。3.模型訓(xùn)練訓(xùn)練步數(shù)設(shè)置為100000。動量μ設(shè)置為5，學(xué)習(xí)速率α設(shè)置為0.002。初始化學(xué)習(xí)率設(shè)置為0.0001，衰減率設(shè)置為0.99，衰減步長設(shè)置為10