DINEOF重構(gòu)遙感葉綠素a數(shù)據(jù)質(zhì)量分析

劉超洋，魏永亮，2，3，鄒斌(1.上海海洋大學(xué)海洋科學(xué)學(xué)院，上海201306；2.上海河口海洋測繪工程技術(shù)研究中心，上海201306；3.上海海洋大學(xué)國際海洋研究中心，上海201306；4.國家衛(wèi)星海洋應(yīng)用中心，北京100081；5.南方海洋科學(xué)與工程廣東省實(shí)驗(yàn)室(廣州)，廣州511458)0引言浮游植物對全球大氣二氧化碳的波動和海洋系統(tǒng)的初級生產(chǎn)力有重要影響。對于海洋，葉綠素a(chlorophylla，下稱Chl-a)濃度是浮游植物細(xì)胞內(nèi)現(xiàn)存量的一個通用指標(biāo)，因?yàn)樗毡榇嬖谟谒懈∮沃参镏?，因此評估初級生產(chǎn)力時，可以將其通過同化系數(shù)聯(lián)系起來，反映水域中浮游植物的光合作用能力[1]。Chl-a濃度分布受海洋環(huán)境因子影響，深入了解其變化有助于更好地理解海洋動力過程，如上升流、鋒面和渦流，為環(huán)境監(jiān)測、漁業(yè)資源分布、防災(zāi)減災(zāi)提供重要基礎(chǔ)資料[2-3]?；诳梢姽夂徒t外波段的海洋水色遙感技術(shù)可以實(shí)現(xiàn)全球海洋生態(tài)環(huán)境的大尺度、動態(tài)、連續(xù)監(jiān)測，因此成為觀測、反演Chl-a濃度的重要手段[4]。然而，水色遙感經(jīng)常受到云、太陽耀斑、厚氣溶膠和其他現(xiàn)象的影響，使得海洋水色遙感數(shù)據(jù)在時空維度上存在很多不足[5]。比如，中等分辨率成像光譜儀(moderateresolutionimagingspectrometer，MODIS)的測量結(jié)果顯示，在全球范圍內(nèi)，陸地上空的云占比約為55%，具有明顯的季節(jié)循環(huán)，而海洋上空的云占比更高，約為72%，且季節(jié)變化不明顯[6]，全球海洋上空無云條件下只有約50%的像素是高質(zhì)量的[7]。傳感器本身可能存在技術(shù)參數(shù)設(shè)置或故障問題，導(dǎo)致大面積數(shù)據(jù)缺失。此外，大氣和傳感器的影響也可能帶來目標(biāo)信號以外的噪聲信息，使得提取有效的遙感信息變得困難。這些缺失數(shù)據(jù)嚴(yán)重影響了水色遙感的時空連續(xù)性和利用效率，缺失的數(shù)據(jù)也可能包含研究區(qū)域的重要信息[8]。針對上述Chl-a遙感數(shù)據(jù)出現(xiàn)的問題，國內(nèi)外學(xué)者已研究和發(fā)展了一系列插值方法，如地統(tǒng)計(jì)學(xué)插值法(geostatisticalfilling)[9]、最優(yōu)插值法(optimalinterpolation，OI)[10]、奇異譜分析法(singularspectrumanalysis，SSA)[11]和數(shù)據(jù)插值經(jīng)驗(yàn)正交函數(shù)法(datainterpolatingempiricalorthogonalfunction，DINEOF)[12]。在這些方法中，DINEOF方法應(yīng)用最為廣泛，該方法是Beckers和Rixen共同提出的，基于EOF分解來重構(gòu)缺失數(shù)據(jù)，并利用經(jīng)驗(yàn)校正程序確定最佳模態(tài)數(shù)，無需參數(shù)且自適應(yīng)。Alvera-Azcarate等[13]對這一方法引入Lanczos算法，并將其正式命名為DINEOF，與最優(yōu)插值法重建結(jié)果進(jìn)行比較，兩種方法得到的結(jié)果非常相似，但DINEOF計(jì)算時間縮短了近30倍。DINEOF算法目前已廣泛應(yīng)用到衛(wèi)星遙感數(shù)據(jù)重構(gòu)，而研究重構(gòu)數(shù)據(jù)質(zhì)量的工作尚不多見。Alvera-Azcarate等選取缺失率為40%、60%和80%的數(shù)據(jù)集，采用DINEOF方法重建亞得里亞海海表溫度數(shù)據(jù)，發(fā)現(xiàn)均方根誤差(rootmeansquareerror，RMSE)隨著數(shù)據(jù)缺失率增加而增加，但增幅較小。Sirjacobs等[14]重構(gòu)中等分辨率成像光譜輻射計(jì)(mediumresolutionimagingspectrometer，MERIS)的總懸浮物和Chl-a濃度數(shù)據(jù)，通過交叉校正集的信噪比、測量相關(guān)系數(shù)以及重構(gòu)前后數(shù)據(jù)的均方根誤差對重構(gòu)結(jié)果進(jìn)行評價。王躍啟等[15]對寬視場海洋觀測傳感器(seaviewingwidefieldofviewsensor，SeaWiFS)和MODISChl-a數(shù)據(jù)分別單獨(dú)重構(gòu)和組合重構(gòu)后的數(shù)值特征進(jìn)行了比較分析，認(rèn)為兩種重構(gòu)方法精度區(qū)別不大，但是組合方法能有效地重建完全缺失時段的數(shù)據(jù)。馬翱慧等[16]對南海北部海域MODISChl-a數(shù)據(jù)進(jìn)行重構(gòu)，從時空特征、計(jì)算模型精度指標(biāo)等對重構(gòu)結(jié)果進(jìn)行評價。郭海峽等[17]對SeaWiFS和MODIS臺灣海峽Chl-a缺失數(shù)據(jù)重構(gòu)，從重構(gòu)前后數(shù)據(jù)的時空誤差和時空變化等方面評價了重構(gòu)數(shù)據(jù)的合理性。通過對重構(gòu)數(shù)據(jù)的質(zhì)量分析，馬翱慧等和郭海峽等認(rèn)為提高原始數(shù)據(jù)時空覆蓋率可以降低因算法原理的局限性而導(dǎo)致的時空平滑。以上研究表明，DINEOF方法取得了很好的重構(gòu)效果，但DINEOF重構(gòu)后，原始與重構(gòu)數(shù)據(jù)相對誤差的空間分布以及數(shù)據(jù)缺失率與相對誤差、重構(gòu)前后數(shù)據(jù)的相關(guān)性是否存在一定的關(guān)系均沒有涉及。南海位于太平洋西部海域，縱跨熱帶與亞熱帶，是一個半封閉邊緣海，每年11月到次年4月，全海域受東北季風(fēng)控制，6到8月為是西南季風(fēng)強(qiáng)盛期，屬于典型的季風(fēng)區(qū)[18-19]。此外，南海夏季和秋季云覆蓋區(qū)域較多，可達(dá)80%，導(dǎo)致遙感數(shù)據(jù)缺失率很高，無法滿足時空特征變化研究的需求[20]?；谏鲜隹紤]，本文采用DINEOF方法，對南海多傳感器融合Chl-a數(shù)據(jù)進(jìn)行重構(gòu)，并結(jié)合統(tǒng)計(jì)學(xué)方法，對缺失數(shù)據(jù)重構(gòu)的質(zhì)量進(jìn)行探討，旨在探討重構(gòu)前后數(shù)據(jù)誤差的空間分布以及提高數(shù)據(jù)時空覆蓋率是否可以降低時空平滑，并從相對誤差各階段所占比例來探討DINEOF重構(gòu)數(shù)據(jù)的質(zhì)量，為水色遙感數(shù)據(jù)長期重構(gòu)應(yīng)用及DINEOF方法的改進(jìn)提供一些參考依據(jù)。1數(shù)據(jù)、研究區(qū)域和方法1.1數(shù)據(jù)和研究區(qū)域選取南海(5°N～25°N，105°E～121°E)作為研究區(qū)域，如圖1所示。2009—2020年Chl-a月平均數(shù)據(jù)來源于GlobColor數(shù)據(jù)庫(http：//hermes.acri.fr/)，其是采用Maritorena等[21]建立的生物光學(xué)模型對SeaWiFS、MODIS、MERIS和可見光紅外成像輻射儀(visibleinfraredimagingradiometer，VIIRS)等遙感數(shù)據(jù)融合成的，其中2009—2010年數(shù)據(jù)是MERIS、MODIS、SeaWiFS3種傳感器融合產(chǎn)品，2011年1月至2012年1月數(shù)據(jù)是MERIS和MODIS融合產(chǎn)品，2012年2—4月數(shù)據(jù)是MERIS、MODIS、VIIRS3種傳感器的融合產(chǎn)品，2012年5月至2020年12月數(shù)據(jù)是MODIS、VIIRS兩種傳感器的融合產(chǎn)品，空間分辨率為4km×4km。圖1研究區(qū)域水深圖1.2方法DINEOF方法原理在前人研究中已有詳細(xì)介紹，這里不再解釋。本文用DINEOF方法重構(gòu)數(shù)據(jù)時采用兩種方式，一種是完全重構(gòu)海洋所有數(shù)據(jù)點(diǎn)，稱為整體重構(gòu)方式，另一種僅重構(gòu)海洋缺失的數(shù)據(jù)點(diǎn)，稱為缺失點(diǎn)重構(gòu)方式。由于Chl-a遙感數(shù)據(jù)具有非高斯分布特征，數(shù)值范圍廣，因此重構(gòu)前需進(jìn)行以10為底的對數(shù)變換[22]。循環(huán)重構(gòu)數(shù)據(jù)過程中，穩(wěn)定EOF最優(yōu)模態(tài)個數(shù)所允許的最大迭代次數(shù)設(shè)定為300。1E-4定義為自動停止迭代次數(shù)的閾值，當(dāng)連續(xù)缺失數(shù)據(jù)重構(gòu)的均方根誤差與現(xiàn)有數(shù)據(jù)標(biāo)準(zhǔn)偏差的比值低于1E-4，便可認(rèn)為迭代完成收斂。為了檢驗(yàn)最優(yōu)模態(tài)個數(shù)的可靠性，在最優(yōu)模態(tài)個數(shù)+3個額外模態(tài)后，將停止數(shù)據(jù)重構(gòu)。G為原始數(shù)據(jù)相對重構(gòu)數(shù)據(jù)的缺失率，其中原始數(shù)據(jù)點(diǎn)的個數(shù)為N0，重構(gòu)數(shù)據(jù)點(diǎn)的個數(shù)為N1，函數(shù)表達(dá)如式(1)所示。(1)均值偏差BIAS用于度量重構(gòu)數(shù)據(jù)與原始數(shù)據(jù)的偏離程度，偏差越高表示匹配程度越差。RMSE用來衡量重構(gòu)數(shù)據(jù)Ai與原始數(shù)據(jù)Bi之間的均方根誤差。重構(gòu)數(shù)據(jù)Ai與原始數(shù)據(jù)Bi的相關(guān)系數(shù)(correlation，CORR)表示二者相關(guān)關(guān)系密切程度。2結(jié)果與討論2.1原始數(shù)據(jù)缺失率2009—2020年144個月融合Chl-a遙感數(shù)據(jù)點(diǎn)總個數(shù)為19604160，其中缺失數(shù)據(jù)點(diǎn)總個數(shù)為1868399，整體缺失率占比9.53%。圖2顯示的是2009—2020年融合Chl-a數(shù)據(jù)缺失率統(tǒng)計(jì)情況。圖22009—2020年各月缺失率圖2是各月缺失率柱狀圖。可以發(fā)現(xiàn)，數(shù)據(jù)缺失率較低的月份集中在5—9月，即春末至秋初季節(jié)，同時2009—2011年在此期間的缺失率整體低于此后9年同期數(shù)據(jù)。Chl-a濃度通過光學(xué)傳感器觀測反演獲得，數(shù)據(jù)缺失率表明該區(qū)域上空云比較多。這說明2012年往后，南海5—9月份云量較之前3年同期均有增加，但具體原因需要深入探討。表1是2009—2020年融合Chl-a數(shù)據(jù)缺失率統(tǒng)計(jì)，缺失率區(qū)間在0～5%之間的占比最高，為33.33%，其他區(qū)間漸次降低，缺失率在20%以下的占比為88.19%，缺失率在30%以下占97.22%，基本覆蓋所有月份。同單傳感器Chl-a數(shù)據(jù)缺失率對比，多傳感器融合Chl-a數(shù)據(jù)缺失率顯著降低。表12009—2020年融合Chl-a數(shù)據(jù)缺失率統(tǒng)計(jì)2.2重構(gòu)模態(tài)數(shù)及重構(gòu)數(shù)據(jù)質(zhì)量分析采用DINEOF重構(gòu)Chl-a數(shù)據(jù)過程中發(fā)現(xiàn)，整體重構(gòu)和僅缺失點(diǎn)重構(gòu)兩種方法保留的EOF最優(yōu)模態(tài)數(shù)和各模態(tài)最優(yōu)交叉驗(yàn)證次數(shù)完全相同。兩種方法區(qū)別在于缺失點(diǎn)重構(gòu)僅對缺失的數(shù)據(jù)進(jìn)行，保留原始數(shù)據(jù)，而整體重構(gòu)對所有數(shù)據(jù)重構(gòu)，不保留原始數(shù)據(jù)。圖3是重構(gòu)模態(tài)數(shù)和各模態(tài)交叉驗(yàn)證迭代次數(shù)。圖3(a)顯示，在交叉驗(yàn)證重構(gòu)過程中RMSE隨著EOF模態(tài)數(shù)的增加整體上呈現(xiàn)不斷降低的趨勢，直到完成迭代收斂，之后RMSE隨著EOF模態(tài)數(shù)的增加整體上呈現(xiàn)不斷升高的趨勢，但變化不明顯。黑色箭頭表明在第14個EOF模態(tài)完成迭代收斂，對應(yīng)的最優(yōu)保留模態(tài)數(shù)和RMSE分別是14和0.1459mg·m-3。圖3(b)是各模態(tài)交叉驗(yàn)證迭代的次數(shù)，與最優(yōu)模態(tài)數(shù)下的RMSE相比，盡管額外3個模態(tài)的RMSE和第14模態(tài)RMSE差距很小，但交叉驗(yàn)證次數(shù)和時間急劇增加，并在第17模態(tài)達(dá)到重構(gòu)限定的最大交叉驗(yàn)證次數(shù)300，說明前14個模態(tài)是DINEOF重構(gòu)數(shù)據(jù)保留的最佳模態(tài)。圖3重構(gòu)模態(tài)數(shù)和各模態(tài)交叉驗(yàn)證迭代次數(shù)在數(shù)據(jù)缺失位置上，為驗(yàn)證整體重構(gòu)和缺失點(diǎn)重構(gòu)得到的重構(gòu)數(shù)據(jù)是否完全相同，將重構(gòu)后缺失數(shù)據(jù)點(diǎn)分別提取后，計(jì)算CORR、RMSE和BIAS等統(tǒng)計(jì)數(shù)據(jù)。結(jié)果得出CORR為1，RMSE和BIAS均為0。圖4為重構(gòu)前后數(shù)據(jù)的質(zhì)量分析。圖4(a)顯示，缺失數(shù)據(jù)匹配的數(shù)據(jù)點(diǎn)個數(shù)N為1868399，匹配數(shù)據(jù)點(diǎn)在對稱線上分布，結(jié)合統(tǒng)計(jì)數(shù)據(jù)可知兩種重構(gòu)方法在缺失位置點(diǎn)的重構(gòu)數(shù)據(jù)完全相同。由于缺失點(diǎn)重構(gòu)保留原始數(shù)據(jù)，對重構(gòu)前后的數(shù)據(jù)質(zhì)量分析沒有意義，因此僅討論整體重構(gòu)數(shù)據(jù)的質(zhì)量。圖4(b)顯示，原始數(shù)據(jù)與整體重構(gòu)數(shù)據(jù)匹配的數(shù)據(jù)點(diǎn)個數(shù)N為17735761。從整體匹配的數(shù)據(jù)分析，Chl-a數(shù)據(jù)主要集中在-lg1.3～-lg0.5mg·m-3的范圍內(nèi)，對應(yīng)原始數(shù)據(jù)0.05～0.32mg·m-3，此范圍為南海中央海盆海域的Chl-a數(shù)據(jù)。低值-lg2～-lg1mg·m-3即0.01～0.1mg·m-3的范圍內(nèi)，整體重構(gòu)的值大于原始值。高值0～lg1.5mg·m-3即1～32mg·m-3的范圍內(nèi)，為南海近岸海域的Chl-a數(shù)據(jù)，整體重構(gòu)的值小于原始值。BIAS為-lg0.0005mg·m-3，RMSE為lg0.1257mg·m-3，CORR為0.93，與其他學(xué)者在不同海域研究結(jié)果相似且量級相同[23-25]?？傮w而言，原始數(shù)據(jù)與整體重構(gòu)數(shù)據(jù)匹配的數(shù)據(jù)中除少數(shù)點(diǎn)外，均保持高度一致性，重構(gòu)數(shù)據(jù)保留大部分原始數(shù)據(jù)的信息。注：黑線是零偏置線，以10為底對數(shù)刻度的顏色條表示配對數(shù)據(jù)的密度分布。2.3原始與重構(gòu)數(shù)據(jù)時空分布特征為保證分析時空平滑現(xiàn)象時，排除Chl-a數(shù)據(jù)在相同海域不同月份變化過大造成的誤差，選取缺失率分別為37.64%、20.43%、12.84%、2.58%的2011年、2018年、2013年、2020年的1月，研究不同缺失率原始數(shù)據(jù)與重構(gòu)數(shù)據(jù)的Chl-a濃度時空分布，結(jié)果如圖5所示。圖5(a)至圖5(d)是選取年份的原始數(shù)據(jù)分布，其特征為近岸葉綠素a濃度值較高而外海較低。圖5(e)至圖5(h)是缺失點(diǎn)重構(gòu)后的Chl-a濃度分布，在缺失率較低的情況下，缺失點(diǎn)的重構(gòu)數(shù)據(jù)分布與周圍原始數(shù)據(jù)有較好的空間一致性，缺失率高的情況下，雖然在缺失點(diǎn)也有對應(yīng)空間分布，但其準(zhǔn)確性有待驗(yàn)證。圖5(i)至圖5(l)是整體重構(gòu)后的Chl-a濃度空間分布?？梢钥闯?，與相同時期的缺失點(diǎn)重構(gòu)分布圖相比，其空間分布更趨于平滑，很多細(xì)節(jié)被忽略。其原因是缺失點(diǎn)重構(gòu)保留原始數(shù)據(jù)僅對數(shù)據(jù)缺失點(diǎn)進(jìn)行重構(gòu)，在數(shù)據(jù)缺失嚴(yán)重的海域平滑更明顯，而整體重構(gòu)對所有數(shù)據(jù)點(diǎn)進(jìn)行重構(gòu)，平滑體現(xiàn)在全海域，且缺失率越高的海域平滑越突出。通過分析2009—2020年144個月的Chl-a濃度分布，發(fā)現(xiàn)近岸海域多個月份存在數(shù)據(jù)缺失的現(xiàn)象，導(dǎo)致DINEOF重構(gòu)時提取的重構(gòu)模態(tài)信息不全，造成平滑加大，此外算法本身對缺失率較大的海域重構(gòu)效果不佳，也會導(dǎo)致平滑加大。圖5原始與重構(gòu)數(shù)據(jù)時空分布2.4重構(gòu)數(shù)據(jù)誤差上文提到，缺失率高的情況下，缺失點(diǎn)上重構(gòu)的數(shù)據(jù)是否準(zhǔn)確有待驗(yàn)證。為此，通過整體重構(gòu)數(shù)據(jù)與原始數(shù)據(jù)的誤差分析來判斷重構(gòu)數(shù)據(jù)質(zhì)量，結(jié)果如圖6所示。圖62009—2020年整體重構(gòu)與原始數(shù)據(jù)相對誤差各區(qū)間所占比例二者相對誤差在5%以下范圍的占73.62%，10%以下范圍占85.35%，20%以下范圍占92.18%。在南海海域，除近岸海域外，冬季Chl-a的濃度一般在0.1～0.5mg·m-3之間，其他季節(jié)更低。此外，盆地海域Chl-a的濃度也較低，一般小于0.1mg·m-3。因此，從整體相對誤差數(shù)據(jù)分析，本文設(shè)定相對誤差范圍在20%以內(nèi)的重構(gòu)數(shù)據(jù)具備可信度。為分析重構(gòu)數(shù)據(jù)在區(qū)域上的質(zhì)量差異，仍以上述4個年份的1月份數(shù)據(jù)為例，研究不同缺失率整體重構(gòu)數(shù)據(jù)與原始數(shù)據(jù)的絕對誤差和相對誤差的空間分布，結(jié)果如圖7所示。從圖7(a)至圖7(d)可以清晰地看到絕對誤差的正負(fù)值分布區(qū)域細(xì)節(jié)特征，在南海北部以及近岸區(qū)域正負(fù)誤差較大，南海中南部誤差相對較小。具體來說，大部分廣東、北部灣、呂宋島西北、越南東部等沿岸海域絕對誤差為負(fù)值，說明在這些海域的整體重構(gòu)值比原始數(shù)值小。越南湄公河?xùn)|南海域和海南島環(huán)島沿岸海域誤絕對誤差大部分為正，說明在這些區(qū)域的重構(gòu)值比原始數(shù)值大。出現(xiàn)兩種不同結(jié)果的原因如前所述，是由近岸海域的數(shù)據(jù)缺失問題造成的。值得注意的是，圖7(d)中部(16°N)有一個絕對誤差負(fù)值條帶區(qū)，仔細(xì)比較圖5(h)和圖5(l)會發(fā)現(xiàn)，圖5(l)的整體重構(gòu)結(jié)果對已有的原始數(shù)據(jù)的平滑更加明顯，導(dǎo)致細(xì)節(jié)丟失且重構(gòu)值變小。這意味著整體重構(gòu)方式可能會導(dǎo)致原始數(shù)據(jù)質(zhì)量發(fā)生變化。圖7誤差空間分布圖考慮到原始Chl-a濃度值差異較大，絕對誤差只能判斷重構(gòu)數(shù)據(jù)與原始數(shù)據(jù)的大小關(guān)系，不能完全表示重構(gòu)數(shù)據(jù)的質(zhì)量高低。比如對于10mg·m-3和0.1mg·m-3的兩個數(shù)據(jù)而言，相同的絕對誤差0.1mg·m-3所代表的重構(gòu)數(shù)據(jù)質(zhì)量完全不同。因此，在絕對誤差的基礎(chǔ)上，采用相對誤差來進(jìn)一步研究重構(gòu)數(shù)據(jù)的質(zhì)量。圖7(e)至圖7(h)是4個年份的相對誤差分布圖，可以看出相對誤差大部分在20%以下，且相對誤差高值并沒有大面積出現(xiàn)，在南海近岸和遠(yuǎn)海都僅有零星分布，說明整體重構(gòu)的數(shù)據(jù)質(zhì)量較好。圖8中對各個區(qū)間相對誤差所占的比例統(tǒng)計(jì)，發(fā)現(xiàn)相對誤差在5%以下時所占比例整體最大，其中缺失率最低的2020年1月所占比例最高，缺失率最高的2011年1月所占比例最低。其他相對誤差范圍均有類似結(jié)論，但隨著范圍的增加，所占比例越來越低。也即各范圍所占的比例與缺失率存在一定關(guān)系，同時表明重構(gòu)數(shù)據(jù)質(zhì)量越差。圖8不同年份1月整體重構(gòu)與原始數(shù)據(jù)相對誤差各區(qū)間所占比例2.5重構(gòu)數(shù)據(jù)與缺失率相關(guān)性圖8僅針對4個年份的1月分析了不同缺失率下整體重構(gòu)數(shù)據(jù)與原始數(shù)據(jù)相對誤差的比例情況，不具有普遍性，因此研究2009—2020年144個月各區(qū)間相對誤差所占比例與數(shù)據(jù)缺失率之間的關(guān)系，可以得出較為普適的結(jié)論。圖9(a)、圖9(b)和圖9(c)分別是相對誤差在0～5%、0～10%和0～20%區(qū)間的占比與數(shù)據(jù)缺失率之間的散點(diǎn)圖。結(jié)果表明，各區(qū)間所占比例與缺失率都存在一定的負(fù)相關(guān)關(guān)系。其中：相對誤差0～5%區(qū)間，相關(guān)系數(shù)R為-0.5509(P<0.01，通過顯著性檢驗(yàn))。隨著相對誤差區(qū)間的增加，其負(fù)相關(guān)