1編制說(shuō)明科學(xué)院空天信息創(chuàng)新研究院牽頭完成本規(guī)范的制定任務(wù)。該標(biāo)準(zhǔn)由中國(guó)遙感應(yīng)用協(xié)會(huì)1中國(guó)科學(xué)院空天信2中國(guó)科學(xué)院空天信與標(biāo)準(zhǔn)文本及編制說(shuō)明的起草、撰集專家意見(jiàn)；根據(jù)意見(jiàn)和建議進(jìn)行23中國(guó)科學(xué)院空天信參與標(biāo)準(zhǔn)文本及編制說(shuō)明的起草、4參與標(biāo)準(zhǔn)文本及編制說(shuō)明的起草、5中國(guó)科學(xué)院空天信參與標(biāo)準(zhǔn)文本及編制說(shuō)明的起草、6中國(guó)科學(xué)院空天信7中國(guó)科學(xué)院空天信8中國(guó)科學(xué)院空天信參與標(biāo)準(zhǔn)文本及編制說(shuō)明的起草、9中國(guó)科學(xué)院空天信相關(guān)資料查閱、收集；標(biāo)準(zhǔn)文本修中國(guó)科學(xué)院空天信相關(guān)資料查閱、收集；標(biāo)準(zhǔn)文本修相關(guān)資料查閱、收集；標(biāo)準(zhǔn)文本修中國(guó)科學(xué)院地理科中國(guó)科學(xué)院空天信集、整理和歸納相關(guān)的意見(jiàn)和建議以及行業(yè)內(nèi)征求意見(jiàn)和標(biāo)準(zhǔn)送審；32.2021年2月-5月，形成基礎(chǔ)內(nèi)容框架，擬重點(diǎn)解決的科學(xué)問(wèn)題與標(biāo)準(zhǔn)化關(guān)鍵技術(shù)為遙感產(chǎn)品算法測(cè)評(píng)方收到中國(guó)遙感應(yīng)用協(xié)會(huì)標(biāo)準(zhǔn)化分會(huì)、中國(guó)科學(xué)院空天信息送交中國(guó)遙感應(yīng)用協(xié)會(huì)標(biāo)準(zhǔn)化分會(huì)，并提交《中4本標(biāo)準(zhǔn)的編制以遙感產(chǎn)品算法測(cè)評(píng)的科學(xué)實(shí)踐為目標(biāo)，以規(guī)范性和可操作性為第從中凝練遙感產(chǎn)品算法測(cè)評(píng)的概念和問(wèn)題，并流程標(biāo)準(zhǔn)化和規(guī)范化遙感產(chǎn)品算法測(cè)評(píng)5本文件規(guī)定的遙感產(chǎn)品算法測(cè)評(píng)的方法與流程提供了一種通用的算法測(cè)評(píng)技術(shù)流于遙感產(chǎn)品算法的測(cè)評(píng)，包括但不限于幾何產(chǎn)品、輻射基礎(chǔ)產(chǎn)品、土地覆蓋/土地利用6測(cè)評(píng)指標(biāo)體系標(biāo)準(zhǔn)輸入數(shù)據(jù)集測(cè)評(píng)指標(biāo)體系標(biāo)準(zhǔn)輸入數(shù)據(jù)集算法監(jiān)控參數(shù)算法監(jiān)控參數(shù)輸出共性產(chǎn)品輸出共性產(chǎn)品算法測(cè)評(píng)指標(biāo)算法測(cè)評(píng)指標(biāo)構(gòu)建算法測(cè)評(píng)的指標(biāo)體系主要包括（1）選擇測(cè)評(píng)指標(biāo)2）確定指標(biāo)權(quán)重3）通過(guò)文獻(xiàn)調(diào)研和已有的研究成果，對(duì)指標(biāo)體系中的各級(jí)指標(biāo)進(jìn)行了初步的挑選與7對(duì)算法在遙感產(chǎn)品生產(chǎn)過(guò)程中的表現(xiàn)，算法效率評(píng)判某種算法是否可以高效地產(chǎn)出遙率的二級(jí)指標(biāo)既要考慮算法在生產(chǎn)一定量產(chǎn)品時(shí)所需時(shí)間多少及占用運(yùn)行空間的大小，也要考慮到該算法在生產(chǎn)過(guò)程中是否需要額外的輔助數(shù)據(jù)；算法魯棒性需要評(píng)價(jià)算法一級(jí)指標(biāo)二級(jí)指標(biāo)說(shuō)明算法精度幾何類產(chǎn)品類別類產(chǎn)品數(shù)值類產(chǎn)品根據(jù)不同的產(chǎn)品類別選擇相對(duì)應(yīng)的精度指標(biāo)，評(píng)價(jià)算法的精度算法適用性地表類型適用性地形適用性空間尺度適用性算法是否適用于不同地表類型算法是否適用于不同地形條件算法是否適用于不同空間尺度算法效率運(yùn)算時(shí)間復(fù)雜度運(yùn)算空間復(fù)雜度算法計(jì)算的輔助數(shù)據(jù)需求算法運(yùn)行時(shí)間算法運(yùn)行占用內(nèi)存大小算法運(yùn)行所需輔助數(shù)據(jù)多少算法魯棒性算法的容錯(cuò)性算法長(zhǎng)時(shí)間穩(wěn)定性算法不同數(shù)據(jù)穩(wěn)定性算法結(jié)果時(shí)空完整性算法出現(xiàn)故障時(shí)正常運(yùn)作的能力算法長(zhǎng)時(shí)間運(yùn)行過(guò)程中的穩(wěn)定性算法引入不同數(shù)據(jù)時(shí)處理結(jié)果穩(wěn)定性算法運(yùn)行結(jié)果是否保留完整時(shí)空信息8產(chǎn)品類別與級(jí)別序號(hào)共性產(chǎn)品精度指標(biāo)幾何產(chǎn)品1DOM平面位置中誤差、平均偏差2DSM/DEM高程中誤差輻射基礎(chǔ)產(chǎn)品3地表反射率平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r4歸一化離水輻射率均方根誤差RMSE5雷達(dá)后向散射系數(shù)平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r6地表發(fā)射率均方根誤差RMSE和平均絕對(duì)誤差MAE7云掩膜像元精度Pa和總體分類精度Pt組合、正確率、錯(cuò)誤率、誤檢率和漏檢率組合8氣溶膠光學(xué)厚度絕對(duì)誤差Bias、均方根誤差RMSE和相關(guān)系數(shù)r9大氣水汽含量均方根誤差RMSE和相關(guān)系數(shù)r土地覆蓋/土地利用產(chǎn)品土地覆蓋總體精度OA、制圖精度PA、用戶精度UA和Kappa系數(shù)土地利用總體精度OA、制圖精度PA、用戶精度UA和Kappa系數(shù)能量平衡參量產(chǎn)品地表反照率平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r地表溫度均方根誤差RMSE、相關(guān)系數(shù)r、絕對(duì)誤差Bias和標(biāo)準(zhǔn)差STD海表溫度均方根誤差RMSE、相關(guān)系數(shù)r、絕對(duì)誤差Bias和標(biāo)準(zhǔn)差STD土壤熱通量均方根誤差RMSE、相關(guān)系數(shù)r和平均絕對(duì)誤差MAE光合有效輻射均方根誤差RMSE、相關(guān)系數(shù)r和平均偏差ME下行短波輻射均方根誤差RMSE、相關(guān)系數(shù)r和平均偏差ME下行長(zhǎng)波輻射絕對(duì)誤差Bias、均方根誤差RMSE和相關(guān)系數(shù)r地表凈輻射均方根誤差RMSE、相關(guān)系數(shù)r、絕對(duì)誤差Bias和標(biāo)準(zhǔn)差STD植被參量產(chǎn)品20植被指數(shù)平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r21葉面積指數(shù)絕對(duì)誤差Bias、均方根誤差RMSE和相關(guān)系數(shù)r22植被覆蓋度均方根誤差RMSE和相關(guān)系數(shù)r23光合有效輻射吸收比例均方根誤差RMSE和相關(guān)系數(shù)r24植被凈初級(jí)生產(chǎn)力均方根誤差RMSE和相關(guān)系數(shù)r25植被物候均方根誤差RMSE、相關(guān)系數(shù)r、相對(duì)誤差RE和平均絕對(duì)誤差MAE26植被葉綠素含量均方根誤差RMSE和相關(guān)系數(shù)r27葉綠素?zé)晒饩礁`差RMSE和相關(guān)系數(shù)r28森林地上生物量均方根誤差RMSE和相關(guān)系數(shù)r29森林樹(shù)高均方根誤差RMSE、相關(guān)系數(shù)r和標(biāo)準(zhǔn)差SD水分參量產(chǎn)品土壤水分均方根誤差RMSE、相關(guān)系數(shù)r和平均絕對(duì)誤差MAE蒸散發(fā)相關(guān)系數(shù)r和平均絕對(duì)誤差MAE干旱指數(shù)相關(guān)系數(shù)r水體面積總體分類精度OA、Kappa系數(shù)、錯(cuò)分誤差、漏分誤差和噪聲統(tǒng)計(jì)冰川覆蓋誤差指標(biāo)IU和IO、總體精度指標(biāo)Qc和Qa積雪覆蓋誤差指標(biāo)IU和IO、總體精度指標(biāo)Qc和Qa雪被指數(shù)相關(guān)系數(shù)r和平均絕對(duì)誤差MAE水體懸浮物濃度均方根誤差RMSE、相關(guān)系數(shù)r和相對(duì)誤差RE水體葉綠素濃度均方根誤差RMSE、相關(guān)系數(shù)r和相對(duì)誤差RE水體透明度均方根誤差RMSE、相關(guān)系數(shù)r和相對(duì)誤差RE9b）平均絕對(duì)誤差meanabsold）平均相對(duì)誤差meanrelatie）平均絕對(duì)相對(duì)誤差meanabsoluterel兩個(gè)隨機(jī)變量之間相互依賴性的度量，等于兩個(gè)變量間的協(xié)方差除以各自方差之2）幾何類產(chǎn)品精度指標(biāo)DEM)是描述地形起伏形態(tài)特征的一種要評(píng)價(jià)高程值與地表真實(shí)值得接近程度，即高程精度。②數(shù)字表面模型DSM(DigitalSurfaceModel)，是一種包含了地表建筑物、橋梁和樹(shù)木等高度的表面高程模幾何類型產(chǎn)品常用的精度指標(biāo)為高程中誤差（DEM/DSM）和平面位置中誤差（DOM另外還有無(wú)效值檢查、剖面分析法等Bd=(Hj?Hd)3）類別類產(chǎn)品精度指標(biāo)TP+TNTP+TNTP+FN+FP+TNTP+FN+FP+TNFN為分類錯(cuò)誤的正樣本N2?∑=1(xi+×x+i)kappa=N∑=1xN2?∑=1(xi+×x+i)）：漏檢率=total_cllc_as_cloud?100%）：度評(píng)價(jià)指標(biāo)應(yīng)選擇對(duì)應(yīng)的類別，同時(shí)其評(píng)分轉(zhuǎn)化基準(zhǔn)也應(yīng)根據(jù)該類型產(chǎn)品主流的精度f(wàn)(x)={(1?,≤x≤bx越接近a分?jǐn)?shù)越高）f(x)={?1bx≤bx越接近b分?jǐn)?shù)越高）fBias=fRMSE=fcoTT=0,4）算法適用性指標(biāo)運(yùn)算時(shí)間復(fù)雜度計(jì)算公式為運(yùn)行時(shí)間除以數(shù)據(jù)量,空間復(fù)雜度則通過(guò)統(tǒng)計(jì)算法運(yùn)行時(shí) 算法魯棒性指算法在各類擾動(dòng)因素作用下保持自身穩(wěn)定性的能力，其評(píng)價(jià)指標(biāo)包容錯(cuò)性指算法出現(xiàn)故障時(shí)正常運(yùn)作的能力，需要測(cè)試各類極限情況下算法是否能本數(shù)據(jù)和驗(yàn)證數(shù)據(jù)，對(duì)該條件下算法的精度進(jìn)行檢驗(yàn)，根據(jù)該結(jié)果評(píng)價(jià)該算法的容錯(cuò)算法時(shí)空穩(wěn)定性指算法長(zhǎng)時(shí)間運(yùn)行過(guò)程中的穩(wěn)定性，通過(guò)統(tǒng)計(jì)算法最大無(wú)故障運(yùn)結(jié)果時(shí)空完整性表征算法運(yùn)行結(jié)果是否保留完整的時(shí)空信息，需要對(duì)算法結(jié)果進(jìn)要是在對(duì)已有研究基礎(chǔ)充分調(diào)研的基礎(chǔ)上進(jìn)行的主觀選擇，但各評(píng)價(jià)指標(biāo)的定量計(jì)算層次結(jié)構(gòu)模型是構(gòu)建判斷矩陣的前提，判斷矩陣是反映下層影響因子對(duì)于上層影0;uij=;uij=1。根據(jù)建立的層次結(jié)構(gòu)模型進(jìn)行專家打分，采用的方法為分別對(duì)同一層次的指標(biāo)進(jìn)標(biāo)度含義1Ai和Aj同等重要3Ai比Aj重要一點(diǎn)5Ai比Aj更重要7Ai比Aj重要得多9Ai比Aj極端重要當(dāng)5個(gè)等級(jí)不夠用時(shí)可作為補(bǔ)充nj=1 ,...,/0k矩陣一致性。CR的表達(dá)式為：CR==。確定判斷矩陣一致性是否滿足的標(biāo)準(zhǔn)為：若n12345678900如上文所述，層次分析法的判斷矩陣是反映下層影響因子對(duì)于上層影響因子的相9977553311一級(jí)指標(biāo)二級(jí)指標(biāo)二級(jí)指標(biāo)權(quán)重一級(jí)指標(biāo)權(quán)重算法精度（三類選一）幾何類產(chǎn)品0.3164（對(duì)于某一類產(chǎn)品，可選擇適當(dāng)?shù)木戎笜?biāo)）面積類產(chǎn)品數(shù)值類產(chǎn)品算法適用性地表類型適用性地形適用性空間尺度適用性0.3163算法效率運(yùn)算時(shí)間復(fù)雜度運(yùn)算空間復(fù)雜度算法計(jì)算的輔助數(shù)據(jù)需求0.1153算法魯棒性算法容錯(cuò)性算法長(zhǎng)時(shí)間穩(wěn)定性算法不同數(shù)據(jù)穩(wěn)定性算法結(jié)果時(shí)空完整性0.2519不同的站點(diǎn)也可以確保算法在不同的站點(diǎn)條件下進(jìn)行檢測(cè)，以達(dá)到對(duì)算法進(jìn)行全面評(píng)(λ隨后對(duì)輻射定標(biāo)后的影像進(jìn)行正射校正，以確保衛(wèi)星配準(zhǔn)的精度滿足產(chǎn)品生產(chǎn)需求。利用高分?jǐn)?shù)據(jù)內(nèi)部鑲嵌的RPC數(shù)據(jù)，對(duì)高分?jǐn)?shù)像和地面的同名點(diǎn)，建立影像和實(shí)際位置的模型關(guān)系，對(duì)粗校正后的影像進(jìn)行手動(dòng)校當(dāng)?shù)卣鐣r(shí)刻需要根據(jù)當(dāng)?shù)氐牡乩砦恢糜?jì)算得到。選擇當(dāng)?shù)卣鐣r(shí)刻前后的上下行輻參數(shù)輸入需要由算法測(cè)評(píng)系統(tǒng)規(guī)定，基本輸入應(yīng)為該產(chǎn)品生產(chǎn)所需標(biāo)準(zhǔn)產(chǎn)品或者共性產(chǎn)品的全路徑文件名。算法測(cè)評(píng)系統(tǒng)方面應(yīng)要求算法開(kāi)發(fā)者明確描述參數(shù)輸入形文件情形，應(yīng)當(dāng)對(duì)多個(gè)文件以時(shí)間有序進(jìn)行文件名組織，文件名之間以英文逗號(hào)“,”隔“,”隔開(kāi)，不同輸入?yún)?shù)間遵循操作系統(tǒng)規(guī)定，以空格隔開(kāi)。算法的輸入?yún)?shù)應(yīng)采用統(tǒng)算法輸出參數(shù)可根據(jù)算法測(cè)評(píng)系統(tǒng)的規(guī)定提供，應(yīng)包括算法輸出結(jié)果的完整文件b）分幅命名規(guī)范。分幅命名規(guī)范一般需要包含的要素包括產(chǎn)品級(jí)別、產(chǎn)品名稱、算法所有其他輸入均由算法開(kāi)發(fā)者提供，如外來(lái)產(chǎn)品中成體系的共用產(chǎn)品一般可在明確算法輸入數(shù)據(jù)查找規(guī)則的情況下由系統(tǒng)管理。算法單獨(dú)使用的查找表、輔助數(shù)在構(gòu)建了算法測(cè)評(píng)指標(biāo)體系、針對(duì)各項(xiàng)指標(biāo)確立了評(píng)價(jià)標(biāo)準(zhǔn)并建立了算法測(cè)評(píng)數(shù)將算法測(cè)評(píng)指標(biāo)體系中所有二級(jí)指標(biāo)的集合稱為X={X1,X2,X3,?,Xn?1,Xn}，其中第i項(xiàng)二級(jí)指標(biāo)在算法測(cè)評(píng)指標(biāo)體系中的權(quán)重為pi(1≤i≤n)，根據(jù)系各二級(jí)指標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)，可以得到某一類算法產(chǎn)品第i項(xiàng)二級(jí)指標(biāo)在算法測(cè)評(píng)中的得一級(jí)指標(biāo)二級(jí)指標(biāo)一級(jí)指標(biāo)權(quán)重二級(jí)指標(biāo)權(quán)重算法精度偏差0.1055均方根誤差0.31650.1055相關(guān)系數(shù)0.1055算法適用性地表類型適用性0.1335地形適用性0.31630.0605空間尺度適用性0.1223算法效率運(yùn)算時(shí)間復(fù)雜度0.0372運(yùn)算空間復(fù)雜度0.0313算法計(jì)算的輔助0.1153數(shù)據(jù)0.0468算法魯棒性容錯(cuò)性0.0686抗噪聲穩(wěn)定性0.0626不同數(shù)據(jù)穩(wěn)定性0.25190.0514結(jié)果時(shí)空完整性0.0693其中參考數(shù)據(jù)為覆蓋中國(guó)科學(xué)院河北懷來(lái)遙感站、黑河遙感站和凈月潭站觀測(cè)的算法效率和算法適用性和三類型一級(jí)指標(biāo)進(jìn)行測(cè)試。我們?cè)跇颖緮?shù)據(jù)和參考數(shù)據(jù)計(jì)算fBias=fRMSE=fcorr=,cor..≤1使用待測(cè)評(píng)算法計(jì)算結(jié)果后按適用性的類型分別統(tǒng)計(jì)，有n類情況下產(chǎn)品精度落在針對(duì)反照率算法效率打分，采用占用的空間、時(shí)間和數(shù)據(jù)量大小進(jìn)行打分（式5-一級(jí)指標(biāo)二級(jí)指標(biāo)二級(jí)指標(biāo)評(píng)分加權(quán)分?jǐn)?shù)算法精度偏差10.55均方根誤差43.34.5682相關(guān)系數(shù)59.756.3036算法適用性地表類型適用性13.35地形適用性6.05空間尺度適用性12.23算法效率運(yùn)算時(shí)間復(fù)雜度3.72運(yùn)算空間復(fù)雜度752.3475算法計(jì)算的輔助數(shù)據(jù)3.744算法魯棒性容錯(cuò)性0抗噪聲穩(wěn)定性0不同數(shù)據(jù)穩(wěn)定性0結(jié)果時(shí)空完整性0算法測(cè)評(píng)評(píng)分62.8633(0~25.19)遙感產(chǎn)品算法測(cè)評(píng)方法與流程導(dǎo)則是遙感產(chǎn)品算法測(cè)評(píng)的指導(dǎo)性依據(jù)之一，可為的遙感產(chǎn)品算法測(cè)評(píng)方法與流程，對(duì)于遙感產(chǎn)品生產(chǎn)流程中標(biāo)準(zhǔn)算法的測(cè)試和選取具明確遙感產(chǎn)品算法測(cè)評(píng)方法與流程規(guī)范，有利于構(gòu)建標(biāo)準(zhǔn)化的遙感產(chǎn)品算法測(cè)評(píng)遙感產(chǎn)品算法測(cè)評(píng)的方法與流程標(biāo)準(zhǔn)規(guī)范目前國(guó)內(nèi)外沒(méi)有成體系的資料?，F(xiàn)有的上述兩種現(xiàn)有測(cè)評(píng)方式的不足在于缺乏算法測(cè)評(píng)方法與流程的完整體系，只適用于給定的數(shù)據(jù)集和特定的算法橫向比較，針對(duì)每一種算法或數(shù)據(jù)集都需要單獨(dú)設(shè)計(jì)一因此，國(guó)內(nèi)外現(xiàn)有的遙感產(chǎn)品算法測(cè)評(píng)方法與流程相關(guān)的工作在對(duì)特定算法的測(cè)序號(hào)12