深度神經(jīng)網(wǎng)絡(luò)融合模型評價案例分析目錄TOC\o"1-3"\h\u17186深度神經(jīng)網(wǎng)絡(luò)融合模型評價案例分析 129930一、遙感圖像數(shù)據(jù)介紹 117012二、評價指標(biāo) 19955三、評價結(jié)果 429030四、模型優(yōu)劣評價 6一、遙感圖像數(shù)據(jù)介紹WorldView-2是全球第一顆高分辨率8波段多光譜衛(wèi)星。其衛(wèi)星圖像數(shù)據(jù)可分為以下幾類：全色圖像為收集單一波段的資料，圖像分辨率為0.5米；多光譜圖像收集四個波段數(shù)據(jù)，分別為藍色可見光、紅色可見光、綠色可見光及近紅外REF_Ref103788413\n\h[37]，圖像分辨率為2米。其詳細參數(shù)如下表：表4.1WorldView-2號衛(wèi)星參數(shù)軌道形式太陽同步衛(wèi)星軌道高度770公里全色圖像光譜波段450-800nm海岸多光譜波段400-450nm紅外光譜波段630-690nm藍色光譜波段450-510nm近紅外光譜波段705-745nm綠色光譜波段510-580nm黃色光譜波段585-625nmNear-IR1770-895nmNear-IR2860-1040nm二、評價指標(biāo)為更好地對比各個模型融合結(jié)果的好壞，設(shè)定相應(yīng)的評價指標(biāo)，分為主觀指標(biāo)和客觀指標(biāo)兩大類。（一）主觀指標(biāo)主觀評價依靠評價者個人對圖像視覺體驗進行評價。給出的結(jié)果比較直接，但是主觀傾向比較嚴(yán)重，且對評價者自身的要求較高，因此，主觀評價不能作為全部的評價標(biāo)準(zhǔn)，需要與客觀評價指標(biāo)共同作用，起到評價效果。一般從以下兩個方面進行評價：（1）光譜分辨率具體要與最初的多光譜圖像即MS圖像進行對比，主要從顏色上進行評價，通過對比原始的多光譜圖像，觀察融合圖像是否出現(xiàn)了顏色的改變、顏色的失真等。（2）空間分辨率具體要與最初的全色圖像即PAN圖像進行對比，主要從圖像的整體清晰度、具體的細節(jié)是否清楚等方面進行評價，此外，還可以對融合后圖像與原全色圖像內(nèi)各種物體的細節(jié)、紋理等進行對比，得出更為準(zhǔn)確的評價。還可以與融合前的多光譜圖像進行對比，觀察清晰度是否有明顯的提升。設(shè)計了如下評價標(biāo)準(zhǔn)：表4.2主觀評價標(biāo)準(zhǔn)融合后的圖像質(zhì)量具體尺度和標(biāo)準(zhǔn)優(yōu)秀空間細節(jié)與全色圖像幾乎一致，光譜色彩等與多光譜圖像幾乎一致良好空間細節(jié)與全色圖像幾乎一致，但是光譜色彩等方面出現(xiàn)失真中等空間細節(jié)部分模糊，光譜色彩失真差空間細節(jié)很模糊，光譜色彩等失真（二）客觀評價融合后圖像的客觀評價指標(biāo)是指通過數(shù)學(xué)的方式定量的對圖像質(zhì)量進行評價，客觀評價指標(biāo)具有較為科學(xué)的結(jié)果，能夠與主觀評價互相補充，有效地解決主觀評價中通過個人肉眼難以辨別的細微差別問題，但是客觀評價指標(biāo)對數(shù)據(jù)本身的特點關(guān)注度不夠，因此，要將上述兩種評價指標(biāo)相結(jié)合，以此來更好地對融合圖像進行評價。有關(guān)圖像的評價指標(biāo)分為有參考和無參考兩種，本文采用有參考評價。參考圖像主要通過上采樣原多光譜圖像來獲得。1.均方根誤差(RootMeanSquareError，RMSE)REF_Ref103787733\n\h[29]均方根誤差是指預(yù)測值與真實值偏差的平方與觀測次數(shù)n比值的平方根。在實際測量中，觀測次數(shù)n總是有限的，真值只能用最可信賴值來代替REF_Ref103787742\n\h[30]。其值越小越好，具體公式如下：(15)其中，F(xiàn)是融合后的結(jié)果圖像，M為融合前的參考圖像，n和m分別為圖像的寬和高，d為圖像的波段數(shù)。上式主要用于評價光譜的變化程度，其結(jié)果越小越好，最佳值為0。2.相對無量綱全局誤差(ErreurRelativeGlobalAdimensionnelleDeSynthèse，ERGAS)REF_Ref103787760\n\h[31]其定義如下：(16)其中hl是原全色圖像(PAN圖像)與原多光譜圖像(MS圖像)的像素大小之間的比值，即分辨率大小的比值，RMSE(d)和MEAN(d)為第d波段的均方根誤差和均值。該指標(biāo)考慮了濾波器規(guī)格。結(jié)果值越小，融合圖像光譜與參考圖像差異越小REF_Ref103787532\n\h[25]，其最優(yōu)值為0。3.光譜角映射（SpectralAngleMapper，SAM）REF_Ref103787787\n\h[33]光譜角映射用于確定給定參考光譜r與每個像素t處的光譜之間的光譜相似性REF_Ref103787558\n\h[26]。根據(jù)以下等式，將比較結(jié)果報告為兩個光譜之間的角差（弧度）：(17)也可以寫成如下形式：(18)其中，n是圖像中的條帶數(shù)。每一對光譜都被視為n空間中的一個向量，允許在不考慮其相對亮度值的情況下確定光譜的相似性REF_Ref103787558\n\h[26]。v表示融合后圖像的譜向量v表示參考圖像的譜向量SAM的值表示兩幅圖像之間的相似程度，值越小表示兩幅圖像之間的光譜差異越小，即說明融合后圖像的光譜失真較低，其最優(yōu)值為0。4.通用圖像質(zhì)量評價（UniversalImageQualityIndex,UIQI）REF_Ref103787830\n\h[34]定義的原始參考圖像x和待評價圖像y的公式如下：(19)其中，σxy表示x和y之間的協(xié)方差，x和y分別表示x和y的均值，σx和σy分別表示x(20)具體分別是：UIQI指標(biāo)結(jié)果越接近1，光譜信息損失越少，融合結(jié)果圖像的光譜性能就越好REF_Ref103787847\n\h[32]。5.相關(guān)系數(shù)（CorrelationCoefficient，CC）REF_Ref103787860\n\h[35]融合后圖像和原始圖像的相關(guān)系數(shù)衡量光譜特征的相似性。它被定義為(21)X表示原始參考圖像，X表示融合后圖像。相關(guān)系數(shù)接近+1意味著這兩幅圖像高度相關(guān)，融合質(zhì)量較好。三、評價結(jié)果主觀評價方面原全色圖像PAN原多光譜圖像MSPan-PNN結(jié)果Pan-DRPNN結(jié)果Pan-GAN結(jié)果Pan-GDD結(jié)果圖4.1實驗結(jié)果如圖4.1所示，從上到下，由左到右依次為原全色圖像、原多光譜圖像、通過PNN模型融合后的圖像Pan-PNN、通過DRPNN模型融合后的圖像Pan-DRPNN、通過Pan-GAN模型融合后的圖像Pan-GAN、通過自編碼器模型融合后的圖像Pan-GDD。通過仔細觀察，可以發(fā)現(xiàn)融合后圖像的質(zhì)量得到了明顯的提高，但是各個模型融合后的效果也不盡相同。Pan-PNN的色彩保留方面表現(xiàn)不佳，明顯較暗，同時清晰度提升不夠明顯。Pan-DRPNN在色彩保留方面表現(xiàn)優(yōu)于PNN模型，空間細節(jié)方面較另外兩個模型有差距，在空間清晰度方面還是比較模糊。Pan-GAN以及Pan-GDD在色彩保存方面都表現(xiàn)較好，空間細節(jié)方面Pan-GDD表現(xiàn)更為優(yōu)秀一些。綜上所述，各模型主觀評價如下：表4.3主觀評價結(jié)果模型評價PNN中等DRPNN中等Pan-GAN優(yōu)秀GDD優(yōu)秀 通過上述的客觀評價指標(biāo)對各個模型的融合圖像質(zhì)量進行評估，表4.4是本文涉及的模型評估，包括PNN，生成對抗網(wǎng)絡(luò)Pan-GAN，自編碼器，DRPNN。表4.4客觀評價指標(biāo)結(jié)果MethodsRMSESAMERGASUIQICCPNN3.91486.55874.15470.95230.9383Pan-GAN3.76532.37462.44760.94320.9262GDD2.37874.02542.68790.95650.9650DRPNN2.63475.36903.65490.91360.9789從評價的結(jié)果上來看，本文所涉及的四種模型中，PNN模型的效果最差，除了在相關(guān)系數(shù)和通用圖像質(zhì)量評價上評價較好外，在其余三個指標(biāo)上均有所不足。而DRPNN模型在在相關(guān)系數(shù)指標(biāo)上表現(xiàn)最好，且其在均方根誤差指標(biāo)上的表現(xiàn)要明顯優(yōu)于Pan-GAN模型，但在其他三項指標(biāo)上表現(xiàn)較為平庸，而自編碼器模型在均方根誤差以及通用圖像質(zhì)量評價上表現(xiàn)最好，在相對無量綱全局誤差上的表現(xiàn)僅次于Pan-GAN模型，在相關(guān)系數(shù)指標(biāo)上僅次于DRPNN模型，可見自編碼器模型在本次實驗中的表現(xiàn)較好，Pan-GAN模型的表現(xiàn)要優(yōu)于PNN模型以及DRPNN模型，在光譜角映射、相對無量綱全局誤差方面表現(xiàn)最好。綜上所述，在本次實驗中，表現(xiàn)最好的模型是GDD模型，Pan-GAN模型次之，DRPNN模型位居第三，而PNN模型位列最后。通過對比各項指標(biāo)，可以發(fā)現(xiàn)Pan-GAN網(wǎng)絡(luò)在光譜角映射、相對無量綱全局誤差上相對于PNN網(wǎng)絡(luò)有了極為明顯的提高，表明Pan-GAN網(wǎng)絡(luò)在保留光譜信息方面有很大的提高；GDD模型在均方根誤差、通用圖像質(zhì)量評價方面的提高較為明顯，表明其光譜損失較低。盡管DRPNN模型的相關(guān)系數(shù)較高，但是與其他模型的差距比較小。四、模型優(yōu)劣評價PNN模型是一個簡單的三層模型，是首次將深度神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于遙感圖像融合處理，具有開創(chuàng)性，但由于其簡單的三層結(jié)構(gòu)，提升空間還是比較巨大。通過主觀評價和客觀評價也可以看出其質(zhì)量相對其他三種模型較差。DRPNN模型利用深度殘差的知識，加深了網(wǎng)絡(luò)的深度，與PNN方法相比，其引入了網(wǎng)絡(luò)跳躍連接，訓(xùn)練更為容易，并緩解了梯度消失的問題，但是在特征提取方面選擇使用大量的卷積核進行操作，加大了網(wǎng)絡(luò)的負擔(dān)，通過上述的評價指標(biāo)也可以發(fā)現(xiàn)其性能與