1《遙感產(chǎn)品算法測評第2部分：指標(biāo)編制說明科學(xué)院空天信息創(chuàng)新研究院牽頭完成本規(guī)范的制定任務(wù)。該標(biāo)準(zhǔn)由中國遙感應(yīng)用協(xié)會1中國科學(xué)院空天信2中國科學(xué)院空天信與標(biāo)準(zhǔn)文本及編制說明的起草、撰23中國科學(xué)院空天信4中國科學(xué)院空天信56中國科學(xué)院空天信7中國科學(xué)院空天信8中國科學(xué)院空天信9中國科學(xué)院空天信中國科學(xué)院空天信參與標(biāo)準(zhǔn)文本及編制說明的起草、中國科學(xué)院地理科中國科學(xué)院空天信集、整理和歸納相關(guān)的意見和建議以及行業(yè)內(nèi)征求意見和標(biāo)準(zhǔn)送審；3成基礎(chǔ)內(nèi)容框架，擬重點解決的科學(xué)問題與標(biāo)準(zhǔn)化關(guān)鍵技術(shù)為遙感產(chǎn)品算法測評方法4本標(biāo)準(zhǔn)的編制以遙感產(chǎn)品算法測評的科學(xué)實踐為目標(biāo)，以規(guī)范性和可操作性為第從中凝練遙感產(chǎn)品算法測評指標(biāo)體系的概念和問題，并流程標(biāo)準(zhǔn)化和規(guī)范化遙感產(chǎn)品性，使用戶在應(yīng)用遙感產(chǎn)品算法生產(chǎn)所需的數(shù)據(jù)產(chǎn)品前可以準(zhǔn)確地了解算法的各項性5對遙感產(chǎn)品算法測評進行標(biāo)準(zhǔn)化，需要在規(guī)定測評方法與流程的基礎(chǔ)上構(gòu)建測評種遙感產(chǎn)品算法測評時有據(jù)可依，從而提高測評的質(zhì)量和效率，促進遙感產(chǎn)品算法發(fā)本文件規(guī)定了遙感產(chǎn)品算法的通用指標(biāo)體系和指標(biāo)的測算方法，適用于遙感產(chǎn)品算法的測評，包括但不限于幾何產(chǎn)品、輻射基礎(chǔ)產(chǎn)品、土地覆蓋/土地利用產(chǎn)品、能量一級指標(biāo)二級指標(biāo)說明算法精度數(shù)值精度對于數(shù)值型產(chǎn)品，基于標(biāo)準(zhǔn)輸入數(shù)據(jù)，算法輸出結(jié)果與相對真值之間的接近程度；幾何精度對于數(shù)值型產(chǎn)品，標(biāo)準(zhǔn)輸入數(shù)據(jù)中的同名點在算法輸出結(jié)果中的相應(yīng)位置與真實位置之間的幾何偏差；類別精度對于類別型產(chǎn)品，算法輸出結(jié)果與真實類別的偏差；算法適用性地表類型適用性算法在不同地表類型下生產(chǎn)出滿足要求的遙感產(chǎn)品的能力；地形特征適用性算法在不同地形特征下生產(chǎn)出滿足要求的遙感產(chǎn)品的能力；空間尺度適用性算法在不同空間分辨率下生產(chǎn)出滿足要求的遙感產(chǎn)品的能力；時間尺度適用性算法在不同時間范圍內(nèi)生產(chǎn)出滿足要求的遙感產(chǎn)品的能力；數(shù)據(jù)源類型適用性算法基于對地觀測數(shù)據(jù)產(chǎn)品大類、中類數(shù)據(jù)（按GB/T32453-2015《衛(wèi)星對地觀測數(shù)據(jù)產(chǎn)品分類分級規(guī)則》的規(guī)定）生產(chǎn)出滿足要求的遙感產(chǎn)品的能力；輔助數(shù)據(jù)依賴性算法對輔助數(shù)據(jù)或先驗知識輸入的依賴程度；6算法效率運算時間效率算法生產(chǎn)單位數(shù)據(jù)量的遙感產(chǎn)品所用的運算時間；運算空間效率算法生產(chǎn)單位數(shù)據(jù)量的遙感產(chǎn)品所占用的存儲空間資源（內(nèi)存、硬盤空間算法魯棒性算法容錯性算法基于包含一定錯誤的輸入數(shù)據(jù)仍可生產(chǎn)出滿足要求的遙感產(chǎn)品的能力；效率穩(wěn)定性算法生產(chǎn)單位數(shù)據(jù)量的遙感產(chǎn)品所用的運算時間與輸入數(shù)據(jù)量大小之間的相關(guān)性。b）平均絕對誤差meanabsol誤差絕對值的平均MAe：d)平均相對誤差meanrelat相對誤差的平均值MRe：7MRe=Σ1REie）平均絕對相對誤差meanabsoluterel n1Σ1lREi n1Σ1lREilMARe=誤差平方和的均值的平方根RMse:RMse=Σ1ei2g）相關(guān)系數(shù)correlation兩個隨機變量之間相互依賴性的度量，等于兩個變量間的協(xié)方差除以各自方差之積的平方根r(x1,x2)：Σn(x)(x)Σn(x)(x)1(x1,i)2Σ1(x2,i)2參考對象數(shù)據(jù)中的同名點進行空間抽樣，對抽樣同名點數(shù)據(jù)常用的幾何精度測評指標(biāo)值檢查、剖面分析法等方法。幾何類產(chǎn)品與精度σ=Σ=1(Zk—zk)28M=∑1(?xi2+?yi2)類別型遙感產(chǎn)品主要包括遙感分類產(chǎn)品（土地覆蓋、土地利用）和遙感識別產(chǎn)品分類精度評價的一種標(biāo)準(zhǔn)形式，是一個用于表示像元分類結(jié)果為某一類別與其真實測數(shù)據(jù)類別分類結(jié)果類別實測總和12…i…k1n11n21…ni1…nk1P+12n12n22…ni2…nk2P+2……jn1jn2j…nij…nkjP+j……kn1kn2k…nik…nkkP+k分類總和P2+…Pi+…Pk+Pk代表類別的數(shù)量，P為樣本總數(shù)，nij表示分類結(jié)果為第i類而實際類別（參考類別）為第j類的樣本數(shù)目，Pi+為分類結(jié)果為第i類的樣本數(shù)，P+j為實際類別為第j類的樣本數(shù)。9pe=∑1nii（11）測定兩結(jié)果之間的吻合度與精度的指標(biāo)，符號為K?at，公式如下：K?at=（12）p+i?niip+ipj+?njjpj+令算法基于代表某一種地表類型的標(biāo)準(zhǔn)輸入數(shù)據(jù)進行產(chǎn)品生產(chǎn)，以輸出的產(chǎn)品滿含的多種地表類型數(shù)據(jù)進行測評，可根據(jù)算法適用的地表類型數(shù)量表征算法的地表類地表類型林地草地水體…合計適用性a1a2a3aiaNNai={算法適用是指在給定的測評條件下，算法可在規(guī)定時間內(nèi)生產(chǎn)出滿足要求的遙感令算法基于代表某一種地形特征的標(biāo)準(zhǔn)輸入數(shù)據(jù)進行產(chǎn)品生產(chǎn)，以輸出的產(chǎn)品滿含的多種地形特征數(shù)據(jù)進行測評，可根據(jù)算法適用的地形特征數(shù)量表征算法的地形特At=t地形特征類型平原丘陵盆地…高原合計適用性a1a2a3a4aiaNNai={令算法基于代表某一空間尺度下的標(biāo)準(zhǔn)輸入數(shù)據(jù)進行產(chǎn)品生產(chǎn)，以輸出的產(chǎn)品滿含的多種空間尺度數(shù)據(jù)進行測評，可根據(jù)算法適用的空間尺度量級表征算法的空間尺Ascale=其中，Ascale為算法的空間尺度適用性值，值越大表明算法空間尺度適用性越強?？臻g尺度>1km250m~1km100m~250m30m~100m10m~30m2m~10m0.5m~1m<0.5m合計適用性a1a2a3a4a5a6a7a8Nai={令算法基于代表某一時間尺度的標(biāo)準(zhǔn)輸入數(shù)據(jù)進行產(chǎn)品生產(chǎn)，以輸出的產(chǎn)品滿足Atemporal=空間尺度10年1年季月16天旬7~8天3天1天1小時30分鐘1分鐘適用性a1a2a3a4a5a6a7a8a9a10a11a12空間尺度上半年下半年春季夏季秋季冬季6:00~14:0014:00~22:0022:00~次日6：00夜晚合計適用性a13a14a15a16a17a18a19a20a21a22a23Nai={令算法基于某一類型遙感數(shù)據(jù)的標(biāo)準(zhǔn)輸入數(shù)據(jù)進行產(chǎn)品生產(chǎn)，以輸出的產(chǎn)品滿足Adata=強。N為測評的數(shù)據(jù)源類型總數(shù)，ai表示算法對第i類數(shù)據(jù)源的適用性大類光學(xué)數(shù)據(jù)產(chǎn)品微波數(shù)據(jù)產(chǎn)品其他合計全色多光譜高光譜紫外熱紅外激光雷達主動微波被動微波其他適用性a1a2a3a4a5a6a7a8a9Nai={以算法輸入的輔助數(shù)據(jù)及先驗知識信息的種類和必要性表征算法的輔助數(shù)據(jù)依賴AauxiliaTY=高。N為測評的輔助數(shù)據(jù)和先驗知識信息類型總數(shù)，ai表示算法對第i輔助數(shù)據(jù)輔助數(shù)據(jù)1輔助數(shù)據(jù)2…輔助數(shù)據(jù)i必要性指標(biāo)a1a2…ai權(quán)重c2…ci先驗信息先驗信息i+1先驗信息i+2…先驗信息N必要性指標(biāo)ai+1ai+2…aN權(quán)重ci+1ci+2…cNai={包括算法的運算時間效率和運算空間效率兩項二級指標(biāo)，綜合構(gòu)成算法效率指標(biāo)算法執(zhí)行時啟動系統(tǒng)計時，運行結(jié)束后統(tǒng)計算法生產(chǎn)單位數(shù)據(jù)量的遙感產(chǎn)品所用Etime=（21）算法執(zhí)行時啟動系統(tǒng)監(jiān)控，運行結(jié)束后統(tǒng)計算法生產(chǎn)單位數(shù)據(jù)量的遙感產(chǎn)品過程Estorage=a1·CRtCDisk（22）以包含一定量噪聲的標(biāo)準(zhǔn)輸入數(shù)據(jù)作為算法輸入，以輸出的產(chǎn)品滿足遙感產(chǎn)品精標(biāo)準(zhǔn)輸入數(shù)據(jù)進行測評，可根據(jù)算法適用的輸入數(shù)據(jù)噪以添加不同方差等級的正態(tài)分布噪聲的標(biāo)準(zhǔn)輸入數(shù)據(jù)作為輸入，以輸出的產(chǎn)品滿Aerror=max{ai?mi}（23）噪聲水平1234iN=8合計噪聲標(biāo)準(zhǔn)差m1?m2?m3?m4?…mi?…mN? mi值2?32?21…2i?4…24 容錯性a1a2a3a4…ai…aNNai={次輸出單位數(shù)據(jù)量的、滿足遙感產(chǎn)品精度要求的產(chǎn)品所用時間的差異表征算法的效率在相同的運算環(huán)境下，以數(shù)據(jù)量為mi的標(biāo)準(zhǔn)輸入數(shù)據(jù)作為輸入，統(tǒng)計使用算法生產(chǎn)出滿足要求的遙感產(chǎn)品所需的時間ti，則單位數(shù)據(jù)量的處理時間為ci=ti/mi。以不ai=(ci+1?ci)/(mi+1?mi)（2輸入數(shù)據(jù)量mim1m2m3m4…mi…mN所需時間tit1t2t3t4…ti…tNci=ti/mic2c3c4…ci…cN處理速率變化量aia1a2a3a4…ai… Aefficiency=∑1ai入數(shù)據(jù)量增加，算法對單位數(shù)據(jù)量的處理效率提高；若Aefficiency=0，則表明算法對單位數(shù)據(jù)量的處理效率不變，即數(shù)據(jù)處理所需時間與數(shù)據(jù)量成正比關(guān)系；若Aefficiency>0，則表明隨著輸入數(shù)據(jù)量增加，算法對單位數(shù)據(jù)量的處理效率降低。通過文獻調(diào)研和已有的研究成果，對指標(biāo)體系中的各級指標(biāo)進行了初步的挑選與對算法在遙感產(chǎn)品生產(chǎn)過程中的表現(xiàn)，算法效率評判某種算法是否可以高效地產(chǎn)出遙率的二級指標(biāo)既要考慮算法在生產(chǎn)一定量產(chǎn)品時所需時間多少及占用運行空間的大小，也要考慮到該算法在生產(chǎn)過程中是否需要額外的輔助數(shù)據(jù)；算法魯棒性需要評價算法產(chǎn)品類別與級別序號共性產(chǎn)品精度指標(biāo)幾何產(chǎn)品1DOM平面位置中誤差、平均偏差2DSM/DEM高程中誤差輻射基礎(chǔ)產(chǎn)品3地表反射率平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r4歸一化離水輻射率均方根誤差RMSE5雷達后向散射系數(shù)平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r6地表發(fā)射率均方根誤差RMSE和平均絕對誤差MAE7云掩膜像元精度Pa和總體分類精度Pt組合、正確率、錯誤率、誤檢率和漏檢率組合8氣溶膠光學(xué)厚度絕對誤差Bias、均方根誤差RMSE和相關(guān)系數(shù)r9大氣水汽含量均方根誤差RMSE和相關(guān)系數(shù)r土地覆蓋/土地利用產(chǎn)品土地覆蓋總體精度OA、制圖精度PA、用戶精度UA和Kappa系數(shù)土地利用總體精度OA、制圖精度PA、用戶精度UA和Kappa系數(shù)能量平衡參量產(chǎn)品地表反照率平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r地表溫度均方根誤差RMSE、相關(guān)系數(shù)r、絕對誤差Bias和標(biāo)準(zhǔn)差STD海表溫度均方根誤差RMSE、相關(guān)系數(shù)r、絕對誤差Bias和標(biāo)準(zhǔn)差STD土壤熱通量均方根誤差RMSE、相關(guān)系數(shù)r和平均絕對誤差MAE光合有效輻射均方根誤差RMSE、相關(guān)系數(shù)r和平均偏差ME下行短波輻射均方根誤差RMSE、相關(guān)系數(shù)r和平均偏差ME下行長波輻射絕對誤差Bias、均方根誤差RMSE和相關(guān)系數(shù)r地表凈輻射均方根誤差RMSE、相關(guān)系數(shù)r、絕對誤差Bias和標(biāo)準(zhǔn)差STD植被參量產(chǎn)品20植被指數(shù)平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r21葉面積指數(shù)絕對誤差Bias、均方根誤差RMSE和相關(guān)系數(shù)r22植被覆蓋度均方根誤差RMSE和相關(guān)系數(shù)r23光合有效輻射吸收比例均方根誤差RMSE和相關(guān)系數(shù)r24植被凈初級生產(chǎn)力均方根誤差RMSE和相關(guān)系數(shù)r25植被物候均方根誤差RMSE、相關(guān)系數(shù)r、相對誤差RE和平均絕對誤差MAE26植被葉綠素含量均方根誤差RMSE和相關(guān)系數(shù)r27葉綠素?zé)晒饩礁`差RMSE和相關(guān)系數(shù)r28森林地上生物量均方根誤差RMSE和相關(guān)系數(shù)r29森林樹高均方根誤差RMSE、相關(guān)系數(shù)r和標(biāo)準(zhǔn)差SD水分參量產(chǎn)品土壤水分均方根誤差RMSE、相關(guān)系數(shù)r和平均絕對誤差MAE蒸散發(fā)相關(guān)系數(shù)r和平均絕對誤差MAE干旱指數(shù)相關(guān)系數(shù)r水體面積總體分類精度OA、Kappa系數(shù)、錯分誤差、漏分誤差和噪聲統(tǒng)計冰川覆蓋誤差指標(biāo)IU和IO、總體精度指標(biāo)Qc和Qa積雪覆蓋誤差指標(biāo)IU和IO、總體精度指標(biāo)Qc和Qa雪被指數(shù)相關(guān)系數(shù)r和平均絕對誤差MAE水體懸浮物濃度均方根誤差RMSE、相關(guān)系數(shù)r和相對誤差RE水體葉綠素濃度均方根誤差RMSE、相關(guān)系數(shù)r和相對誤差RE水體透明度均方根誤差RMSE、相關(guān)系數(shù)r和相對誤差RE2）幾何類產(chǎn)品精度指標(biāo)評價高程值與地表真實值得接近程度，即高程精度。②數(shù)字表面模型DSM(DigitalSurfaceModel)，是一種包含了地表建筑物、橋梁和樹木等高度的表面誤差和平面位置中誤差（DOM）等，另外還有無3）類別類產(chǎn)品精度指標(biāo)4）算法適用性指標(biāo)16820-2009）的規(guī)定；算法的空間尺度適用性是指算法對不同分辨率如大于1km、s）算法效率指標(biāo)算法效率指標(biāo)包括算法的運算時間效率和運算空間效率兩項二級指標(biāo)。評價算法效率的先決條件是算法能“生產(chǎn)出滿足要求的遙感產(chǎn)品”，即在足量但有限的時間和計‘)算法魯棒性指標(biāo)以帶有一定噪聲的數(shù)據(jù)作為輸入，算法輸出的產(chǎn)品精度不低于該遙感產(chǎn)品的達標(biāo)要求算法輸出的產(chǎn)品在某些時間或空間范圍內(nèi)缺失有效數(shù)據(jù)而導(dǎo)致結(jié)果時空不完整通常是測評指標(biāo)體系標(biāo)準(zhǔn)輸入數(shù)據(jù)集測評指標(biāo)體系標(biāo)準(zhǔn)輸入數(shù)據(jù)集算法監(jiān)控參數(shù)算法監(jiān)控參數(shù)輸出共性產(chǎn)品輸出共性產(chǎn)品算法測評指標(biāo)算法測評指標(biāo)c)制備算法測評數(shù)據(jù)集：依據(jù)算法測評的指標(biāo)體系與指標(biāo)測算方法確定需要制備d)確定算法接口規(guī)范：根據(jù)遙感產(chǎn)品算法接口規(guī)范的要求集成算法在算法執(zhí)行完成后，根據(jù)選擇的測評指標(biāo)對算法輸出結(jié)果與參考數(shù)據(jù)集進行對比觀測樣點同時段的GF-1WFV16米和MODIS500米地表反射率數(shù)據(jù)并統(tǒng)一裁切成法的輸入數(shù)據(jù)經(jīng)過統(tǒng)一的時空尺度轉(zhuǎn)換和質(zhì)量控制，輸出結(jié)果可作為相對真值進行直最大-最小值歸一化方法，測評指標(biāo)綜合直接用各項二級指標(biāo)權(quán)重與指標(biāo)歸一化結(jié)果乘待測評的聯(lián)合高空間分辨率數(shù)據(jù)與低分辨率數(shù)據(jù)的地表反照率反演算法精度評價地表類型林地草地耕地水體冰雪建筑用地未利用地合計適用性11110017地形特征類型平原丘陵盆地高原合計適用性111115空間尺度>1km250m~1km100m~250m30m~100m10m~30m2m~10m0.5m~1m<0.5m合計適用性111110008d)時間尺度適用性：AtempoTal=4/7=0.5714；時間尺度1年1月16天3天1天1小時瞬時合計適用性00011117e)數(shù)據(jù)源類型適用性：Adata=2/9=0.2222；大類光學(xué)數(shù)據(jù)產(chǎn)品微波數(shù)據(jù)產(chǎn)品其他合計全色多光譜高光譜紫外熱紅外激光雷達主動微波被動微波其他適用性0110000009f)輔助數(shù)據(jù)依賴性：Aauxiliary=根據(jù)待測評算法的描述，算法依賴的輔助數(shù)據(jù)包括高分辨率的地表覆蓋分類數(shù)據(jù)（high-resolutionclassificationmap以及相應(yīng)的各類地表覆蓋下的地表輔助數(shù)據(jù)/先驗信息輔助數(shù)據(jù)1先驗信息2類別高分辨率的地表覆蓋分類數(shù)據(jù)各類地表覆蓋下的地表二向反射先驗知識必要性指標(biāo)ai22權(quán)重ci0.40.6a)時間效率Etime=0.0112；分別輸入3景數(shù)據(jù)，得到算法輸出結(jié)果并監(jiān)控運行時間。最后根據(jù)公式(21)計算算輸出數(shù)據(jù)量coutput（GB）0.750.780.76平均效率（GB/s）處理時間T（s）67.366.571.3時間效率coutput/T（GB/s）0.01110.01170.01070.0112b)空間效率Estorage=1.2239；量的遙感產(chǎn)品過程中所占用的最大存儲空間資源（內(nèi)存、硬盤空間設(shè)定a1=0.5、輸出數(shù)據(jù)量Coutput（GB）0.750.780.76平均效率（GB/GB）內(nèi)存占用CRAM（GB）1.231.381.15硬盤占用CDisk（GB）000空間效率Estorage1.21951.13041.32171.2239a)算法容錯性Aerror=2；的平均均方根誤差在0.03~0.1之間，本次試驗中取RMse=0.05為閾值，超過該閾值認(rèn)?=δ=0.0122，假定算法的標(biāo)準(zhǔn)輸入數(shù)據(jù)為X，則測試時輸入的標(biāo)準(zhǔn)數(shù)據(jù)為X′=X+得到的輸入標(biāo)準(zhǔn)數(shù)據(jù)為X′=X+ε(0,mi2?2)，本測試中mi的取值為2?3~23，每個取值遞增2倍。根據(jù)公式(23)可計算得Aerror=2。Aerror值越大表明算法容錯性越強。算法噪聲水平1234567噪聲標(biāo)準(zhǔn)差m1?m2?m3?m4?m5?m6?m7?mi值2?32?2122223RMse0.02830.02800.03010.03150.04790.07550.5708容錯性ai1111100b)效率穩(wěn)定性Aefficiency=2.5487；Aefficiency=2.5487>0。算法的效率穩(wěn)定性測評結(jié)果如下：輸入景數(shù)(景)1246輸出數(shù)據(jù)量mi(GB)0.753.114.62所需時間ti(s)67.3142.5289.8453.2ci=ti/mi89.733393.137393.183398.0952處理速率變化量ai4.36400.02913.2530 0.24，算法效率0.1，算法魯棒性0.1?？紤]指標(biāo)屬性，可分為數(shù)值越大（算法性能）越71.39，算法適用性得分60.55，算法效率得分68.32，算法魯棒一級指標(biāo)二級指標(biāo)二級指標(biāo)測評結(jié)果二級指標(biāo)權(quán)重歸一化后加權(quán)得分算法精度(數(shù)值精度)平均誤差Me0.02320.086.144平均絕對誤差MAe0.08110.084.756相對誤差REi3.3705%0.086.518平均相對誤差MRe0.00370.085.2平均絕對相對誤差MARe0.00590.084.4均方根誤差RMse0.03150.087.4相關(guān)系數(shù)corr0.6610