電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合建模技術(shù)評(píng)價(jià)導(dǎo)則目 次前 言 3范圍 4規(guī)范性引用文件 4術(shù)語和定義 4總則 5電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合建模評(píng)價(jià)體系 5電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合建模評(píng)價(jià)范圍 5數(shù)據(jù)-機(jī)理融合模型精確性評(píng)價(jià)指標(biāo) 5建模精確性 5計(jì)算精確性 6數(shù)據(jù)-機(jī)理融合模型可靠性評(píng)價(jià)指標(biāo) 6收斂性 6穩(wěn)定性 6安全性 7數(shù)據(jù)-機(jī)理融合模型高效性評(píng)價(jià)指標(biāo) 7時(shí)間效率 7空間效率 8數(shù)據(jù)效率 9數(shù)據(jù)-機(jī)理融合模型互動(dòng)性評(píng)價(jià)指標(biāo) 9輸入互動(dòng)性 9輸出互動(dòng)性 10調(diào)試互動(dòng)性 10數(shù)據(jù)-機(jī)理融合模型泛化性評(píng)價(jià)指標(biāo) 11泛化精度 11泛化效率 12泛化魯棒性 122電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合建模技術(shù)評(píng)價(jià)導(dǎo)則范圍本文件規(guī)定了電力物聯(lián)網(wǎng)數(shù)據(jù)--機(jī)理融合建模精確性、可靠性、高效性、互動(dòng)性、泛化性等方面的評(píng)價(jià)指標(biāo)。本文件適用于電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合建模工作效能的綜合評(píng)價(jià)，其他應(yīng)用（物理建模、電力大數(shù)據(jù)）也可作為參考。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T33474—2016 物聯(lián)網(wǎng)參考體系結(jié)構(gòu)GB/T33745—2017 物聯(lián)網(wǎng)術(shù)語YD/T2437—2012 物聯(lián)網(wǎng)總體框架與技術(shù)要求T/CEC101.1—2016 能源互聯(lián)網(wǎng)T/CEC120170207 能源互聯(lián)網(wǎng)技術(shù)導(dǎo)則IEEE2413—2019 IEEEStandardforanArchitecturalFrameworkfortheInternetofThings(IoT)術(shù)語和定義3.13.2

下列術(shù)語和定義適用于本文件。機(jī)理驅(qū)動(dòng)建模mechanismdrivenmodeling根據(jù)建模對(duì)象的應(yīng)用場(chǎng)合和模型的使用目的進(jìn)行合理的假設(shè)后，依據(jù)其內(nèi)在機(jī)理建立數(shù)字模型的方數(shù)據(jù)驅(qū)動(dòng)建模datadrivenmodeling根據(jù)建模對(duì)象的應(yīng)用場(chǎng)合和模型的使用目的，依據(jù)可表征其狀態(tài)、特性、運(yùn)行環(huán)境等影響因素的歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)，采用統(tǒng)計(jì)、數(shù)據(jù)挖掘、數(shù)據(jù)解析、機(jī)器學(xué)習(xí)等數(shù)據(jù)分析手段建立數(shù)字模型的方法。3.3數(shù)據(jù)-機(jī)理融合建模mechanismanddatadualdrivenmodeling3.4外部特性模型externalcharacteristicmodel在建模對(duì)象外部接口參數(shù)已知基礎(chǔ)上，對(duì)若干物理參數(shù)或計(jì)算參數(shù)之間的關(guān)系進(jìn)行建模。3.5運(yùn)行控制模型operationcontrolmodel43.6行為策略模型actionstrategymodel總則電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合建模的綜合評(píng)價(jià)體系旨在從多個(gè)信息維度對(duì)數(shù)據(jù)-機(jī)理融合模型進(jìn)行科學(xué)、公正、客觀的評(píng)價(jià)。電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合建模評(píng)價(jià)體系評(píng)價(jià)體系主要針對(duì)電力生產(chǎn)、傳輸、消費(fèi)等應(yīng)用場(chǎng)景中數(shù)據(jù)-機(jī)理融合模型的精確性、可靠性、高效性、互動(dòng)性、泛化性等方面構(gòu)建綜合評(píng)價(jià)指標(biāo)體系，對(duì)電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型的工作效果進(jìn)行綜合評(píng)價(jià)。電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合建模評(píng)價(jià)范圍以下融合建模對(duì)象納入電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合建模評(píng)價(jià)范圍：數(shù)據(jù)-機(jī)理融合模型精確性評(píng)價(jià)指標(biāo)建模方法精確性模型參數(shù)精確性2建模方法精確性模型參數(shù)精確性建模精確性計(jì)算精確性模型精確性輸出結(jié)果精度計(jì)算過程精度1數(shù)據(jù)-機(jī)理融合模型的精確性評(píng)價(jià)指標(biāo)分類模型精確性輸出結(jié)果精度計(jì)算過程精度建模精確性模型參數(shù)精確性5數(shù)據(jù)-機(jī)理融合建模所設(shè)置的數(shù)據(jù)、物理參數(shù)的精確性，具體可采用判定的精確參數(shù)規(guī)模和模型參數(shù)總規(guī)模的比例來衡量。建模方法精確性數(shù)據(jù)-機(jī)理融合模型所采用的建模方法的精確性，具體可采用專家打分方法進(jìn)行評(píng)定。計(jì)算精確性計(jì)算過程精度數(shù)據(jù)-機(jī)理融合模型在計(jì)算過程中的中間計(jì)算結(jié)果的精度，是衡量計(jì)算模型計(jì)算結(jié)果精度的重要評(píng)價(jià)指標(biāo)。輸出結(jié)果精度數(shù)據(jù)-機(jī)理融合模型計(jì)算輸出結(jié)果的精度，可用正確輸出結(jié)果的規(guī)模比例、輸出結(jié)果的精度等指標(biāo)進(jìn)行判定。數(shù)據(jù)-機(jī)理融合模型可靠性評(píng)價(jià)指標(biāo)運(yùn)行無閃退模型收斂時(shí)間計(jì)算模型是否收斂3-機(jī)理融合模型的運(yùn)行穩(wěn)定性；模型安全性用來評(píng)價(jià)數(shù)據(jù)-機(jī)理融合模型的運(yùn)行安全性。運(yùn)行無閃退模型收斂時(shí)間計(jì)算模型是否收斂收斂性穩(wěn)定性安全性模型可靠性防信息泄露防網(wǎng)絡(luò)攻擊無卡頓現(xiàn)象2數(shù)據(jù)-機(jī)理融合模型的可靠性評(píng)價(jià)指標(biāo)分類模型可靠性防信息泄露防網(wǎng)絡(luò)攻擊無卡頓現(xiàn)象收斂性計(jì)算模型收斂判定數(shù)據(jù)-機(jī)理融合模型是否收斂是評(píng)判模型收斂性的重要指標(biāo)，可根據(jù)模型的建模方法和計(jì)算過程時(shí)間等多種模型參數(shù)進(jìn)行評(píng)判。模型收斂時(shí)間數(shù)據(jù)-機(jī)理融合模型收斂時(shí)間是評(píng)價(jià)模型可靠性的重要指標(biāo)，可以通過對(duì)比模型收斂時(shí)間進(jìn)行判定。穩(wěn)定性6運(yùn)行無閃退可采用運(yùn)行無閃退用來評(píng)價(jià)數(shù)據(jù)-機(jī)理融合模型的運(yùn)行穩(wěn)定性。無卡頓現(xiàn)象可采用運(yùn)行卡頓現(xiàn)象、卡頓出現(xiàn)頻繁程度衡量模型的運(yùn)行穩(wěn)定性。安全性網(wǎng)絡(luò)防攻擊對(duì)于運(yùn)行環(huán)境具有網(wǎng)絡(luò)攻擊潛在風(fēng)險(xiǎn)的數(shù)據(jù)-機(jī)理融合模型，是否具有相應(yīng)的網(wǎng)絡(luò)攻擊防護(hù)措施以及防護(hù)等級(jí)可用來評(píng)判模型的運(yùn)行安全性。防范信息泄露部分?jǐn)?shù)據(jù)-機(jī)理融合模型的運(yùn)行環(huán)境具有潛在信息泄露風(fēng)險(xiǎn)，應(yīng)關(guān)注并評(píng)估采取的信息泄露防護(hù)措施以及防護(hù)等級(jí)，從而評(píng)判模型的運(yùn)行安全性。數(shù)據(jù)-機(jī)理融合模型高效性評(píng)價(jià)指標(biāo)構(gòu)建電力物聯(lián)網(wǎng)環(huán)境下數(shù)據(jù)-機(jī)理融合模型的工作效率進(jìn)行評(píng)價(jià)。高效性評(píng)價(jià)指標(biāo)包括以下方面：圖3數(shù)據(jù)-機(jī)理融合模型高效性評(píng)價(jià)指標(biāo)分類時(shí)間效率-機(jī)理融合模型在應(yīng)用全過程各階段，所消耗的時(shí)間資源。應(yīng)包括但不限于以下評(píng)價(jià)指標(biāo)：數(shù)據(jù)預(yù)處理時(shí)間采用電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型前，將原始采集的數(shù)據(jù)，處理為融合模型接口所允許的統(tǒng)一形訓(xùn)練時(shí)間電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在數(shù)據(jù)驅(qū)動(dòng)階段，從大量數(shù)據(jù)中獲取經(jīng)驗(yàn)、規(guī)律、模式等所消耗的（s）、分鐘（min）、小時(shí)（h）等。7計(jì)算時(shí)間電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在給定條件下，完成指定計(jì)算任務(wù)所消耗的時(shí)間資源。對(duì)于外部特全過程時(shí)間電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在應(yīng)用時(shí)，從采用前到獲得計(jì)算結(jié)果，全過程所消耗的時(shí)間資源。一般來說，全過程時(shí)間通常包含：數(shù)據(jù)預(yù)處理時(shí)間、訓(xùn)練時(shí)間、計(jì)算時(shí)間等三個(gè)環(huán)節(jié)，其計(jì)算公式為：全過程時(shí)間=數(shù)據(jù)預(yù)處理時(shí)間+訓(xùn)練時(shí)間+計(jì)算時(shí)間計(jì)算時(shí)間復(fù)雜度電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在給定條件下，完成指定計(jì)算任務(wù)的執(zhí)行算法所需要的計(jì)算時(shí)間的O()nO(c)表示常數(shù)時(shí)間復(fù)雜度，O(logn)表示對(duì)數(shù)時(shí)間復(fù)雜度。7.1.3空間效率-機(jī)理融合模型在應(yīng)用全過程各階段，所占用的空間資源。應(yīng)包括但不限于以下評(píng)價(jià)指標(biāo)：訓(xùn)練數(shù)據(jù)存儲(chǔ)空間電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在數(shù)據(jù)驅(qū)動(dòng)階段訓(xùn)練開始前，存儲(chǔ)用以獲取經(jīng)驗(yàn)、規(guī)律、模式等的、千字節(jié)（kB）、兆字節(jié)（MB）、吉字節(jié)（GB）等。訓(xùn)練空間電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在數(shù)據(jù)驅(qū)動(dòng)階段，從大量數(shù)據(jù)中獲取經(jīng)驗(yàn)、規(guī)律、模式等所占用的計(jì)算空間電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在給定條件下，完成指定計(jì)算任務(wù)所占用的空間資源。對(duì)于外部特8計(jì)算空間復(fù)雜度電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在給定條件下，完成指定計(jì)算任務(wù)的執(zhí)行算法在運(yùn)行時(shí)占用存儲(chǔ)空O()nO(c)O(ogn)表示對(duì)數(shù)空間復(fù)雜度。7.2.3數(shù)據(jù)效率-機(jī)理融合模型在應(yīng)用全過程各階段，完成特定任務(wù)或達(dá)到特定目標(biāo)所需的輸入數(shù)據(jù)量的大小。應(yīng)包括但不限于以下評(píng)價(jià)指標(biāo)：維度效率電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在實(shí)際應(yīng)用時(shí)，訓(xùn)練集的數(shù)據(jù)維度與滿足給定效果的最小數(shù)據(jù)維度的比值。量綱為百分比值。維度效率反映數(shù)據(jù)驅(qū)動(dòng)環(huán)節(jié)訓(xùn)練數(shù)據(jù)的冗雜程度。訓(xùn)練集效率電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在實(shí)際應(yīng)用時(shí)，訓(xùn)練集數(shù)據(jù)條目數(shù)與滿足給定效果的最小數(shù)據(jù)條目數(shù)的比值。量綱為百分比值。訓(xùn)練集效率反映數(shù)據(jù)驅(qū)動(dòng)環(huán)節(jié)訓(xùn)練數(shù)據(jù)的冗雜程度。數(shù)據(jù)融合效率電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型中，采用數(shù)據(jù)驅(qū)動(dòng)方式對(duì)部分模型機(jī)理進(jìn)行表述，所替代的單純以-機(jī)理融合建模方式中，數(shù)據(jù)驅(qū)動(dòng)方式所替代的物理機(jī)理方式的數(shù)據(jù)規(guī)模占總體數(shù)據(jù)規(guī)模的大小，代表了數(shù)據(jù)物理兩種建模方式的耦合程度。數(shù)據(jù)-機(jī)理融合模型互動(dòng)性評(píng)價(jià)指標(biāo)模型互動(dòng)性調(diào)試互動(dòng)性輸出互動(dòng)性輸入互動(dòng)性構(gòu)建電力物聯(lián)網(wǎng)環(huán)境下數(shù)據(jù)模型互動(dòng)性調(diào)試互動(dòng)性輸出互動(dòng)性輸入互動(dòng)性圖4數(shù)據(jù)-機(jī)理融合模型互動(dòng)性評(píng)價(jià)指標(biāo)分類輸入互動(dòng)性9輸入互動(dòng)性，用以評(píng)估電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在模型輸入上對(duì)于使用者的互動(dòng)性。具體包括但不限于以下評(píng)價(jià)指標(biāo)：輸入可調(diào)率電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型的輸入數(shù)據(jù)中，可供使用者在一定范圍內(nèi)自行調(diào)節(jié)數(shù)值范圍的數(shù)據(jù)輸入可調(diào)空間電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型的各項(xiàng)輸入數(shù)據(jù)，可供使用者在一定范圍內(nèi)自行調(diào)節(jié)數(shù)值的范圍；。在一定程度上，輸入可調(diào)空間越大，可認(rèn)為使用者在使用融合模型時(shí)的自由度越高，適用范圍越廣。輸入可視化率電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型的輸入數(shù)據(jù)中，數(shù)據(jù)可視化展示的數(shù)據(jù)條目占總輸入數(shù)據(jù)條目的比例。輸入數(shù)據(jù)信息比電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型的各項(xiàng)輸入數(shù)據(jù)中，攜帶建模所需信息的數(shù)據(jù)量，與輸入數(shù)據(jù)總數(shù)-機(jī)理融合模型前，需要經(jīng)過一定的預(yù)處理并符合一定的形式規(guī)范，因此可能會(huì)在原有的攜帶信息的數(shù)輸出互動(dòng)性輸出互動(dòng)性，用以評(píng)估電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在模型輸出上對(duì)于使用者的互動(dòng)性。應(yīng)包括但不限于以下評(píng)價(jià)指標(biāo)：輸出可調(diào)性電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型的某項(xiàng)輸出數(shù)據(jù)，是否能通過改變某些輸入數(shù)據(jù)的取值范圍，來達(dá)輸出可視化率電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型的輸出數(shù)據(jù)中，數(shù)據(jù)可視化展示的數(shù)據(jù)條目占總輸出數(shù)據(jù)條目的比例。調(diào)試互動(dòng)性10調(diào)試互動(dòng)性，用以評(píng)估電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在模型調(diào)試上對(duì)于使用者的互動(dòng)性。應(yīng)包括但不限于以下評(píng)價(jià)指標(biāo)：可調(diào)試環(huán)節(jié)占比在電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型的全過程，即數(shù)據(jù)存儲(chǔ)、模型構(gòu)建、數(shù)據(jù)預(yù)處理、模型訓(xùn)練、執(zhí)中間變量數(shù)據(jù)占比在電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型的全過程，即數(shù)據(jù)存儲(chǔ)、模型構(gòu)建、數(shù)據(jù)預(yù)處理、模型訓(xùn)練、執(zhí)數(shù)據(jù)-機(jī)理融合模型泛化性評(píng)價(jià)指標(biāo)模型泛化性泛化計(jì)算時(shí)間需求泛化數(shù)據(jù)結(jié)果精度泛化計(jì)算過程精度數(shù)據(jù)-機(jī)理融合模型泛化性評(píng)價(jià)指標(biāo)主要對(duì)融合模型的泛化精度、泛化可靠性、泛化效率等方面進(jìn)行判定。模型泛化性泛化計(jì)算時(shí)間需求泛化數(shù)據(jù)結(jié)果精度泛化計(jì)算過程精度泛化精度泛化效率泛化魯棒性抗分布漂移能力泛化兼容性泛化計(jì)算空間需求圖5數(shù)據(jù)-機(jī)理融合模型泛化性評(píng)價(jià)指標(biāo)分類抗分布漂移能力泛化兼容性泛化計(jì)算空間需求泛化精度電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在不同應(yīng)用環(huán)境、不同輸入數(shù)據(jù)、不同運(yùn)行條件下模型精確性指標(biāo)的變化情況。一般來說，通常用以下幾個(gè)精確性指標(biāo)作為泛化精度的基礎(chǔ)指標(biāo)。泛化計(jì)算過程精度電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在不同應(yīng)用環(huán)境、不同輸入數(shù)據(jù)下，中間計(jì)算結(jié)果的精度，反映了中間計(jì)算結(jié)果精度對(duì)應(yīng)用環(huán)境、輸入數(shù)據(jù)的靈敏度。泛化輸出結(jié)果精度數(shù)據(jù)-機(jī)理融合模型在不同應(yīng)用環(huán)境、不同輸入數(shù)據(jù)下，計(jì)算輸出結(jié)果的精度，反映了計(jì)算結(jié)果精11度對(duì)應(yīng)用環(huán)境、輸入數(shù)據(jù)的靈敏度。泛化效率電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在不同應(yīng)用環(huán)境、不同輸入數(shù)據(jù)、不同運(yùn)行條件下模型高效性指標(biāo)的變化情況。一般來說，通常用以下幾個(gè)高效性指標(biāo)作為泛化效率的基礎(chǔ)指標(biāo)。泛化計(jì)算時(shí)間需求電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在不同應(yīng)用環(huán)境、不同輸入數(shù)據(jù)下，完成同樣的指定計(jì)算任務(wù)所消耗的時(shí)間資源的變化。泛化計(jì)算時(shí)間反映了模型在不同應(yīng)用環(huán)境、輸入數(shù)據(jù)下的時(shí)間效率的差異。泛化計(jì)算空間需求電力物聯(lián)網(wǎng)數(shù)據(jù)-機(jī)理融合模型在不同應(yīng)用環(huán)境、不同輸入數(shù)據(jù)下，完成同樣的指定計(jì)算任務(wù)所消耗的空間資源的變化。泛化計(jì)算空間反映了模型在不同應(yīng)用環(huán)境、輸入