ICS19.020

CCSK85

團體標準

T/CSEEXXXX—YYYY

代替T/XXXX

電力人工智能模型適用性與安全性檢測規(guī)

范第1部分：數(shù)據(jù)分析和圖像處理模型

SpecificationfortestingthesuitabiIityandsafetyforelectric

powerelectricpowerartificiaIinteIIigencemodeIsPart1:Data

analysisandimageprocessmodeIs

（征求意見稿）

20XX—XX—XX發(fā)布20XX—XX—XX實施

中國電機工程學(xué)會發(fā)布

T/CSEE####—2021

目次

前言IV

1范圍1

2規(guī)范性引用文件1

3術(shù)語和定義I

4符號和縮略語2

4.1縮略語2

5電力人工智能模型檢測概述2

5.1電力人工智能模型檢測定義2

5.2檢測流程2

5.3模型檢測目標3

5.4本標準適用模型范圍3

6模型使用需求確認階段4

6.1需求確認概述4

6.2模型信息公開4

6.3模型使用場景信息公開4

6.4模型使用風(fēng)險確認4

6.5模型檢測要求等級5

7模型檢測指標選擇階段6

7.1檢測指標體系6

7.2模型檢測指標選擇10

8模型檢測樣本數(shù)據(jù)確認10

8.1概述10

8.2測試數(shù)據(jù)基本描述信息公開10

83測試數(shù)據(jù)選取10

8.4測試數(shù)據(jù)完整性檢測10

9模型檢測執(zhí)行11

9.1模型檢測執(zhí)行形式11

9.2模型檢測執(zhí)行前準備11

9.3模型檢測執(zhí)行關(guān)鍵活動11

9.4模型檢測執(zhí)行結(jié)果11

T/CSEE####—2O2X

附錄A（資料性）電力人工智能模型檢測指標選取依據(jù)12

附錄B（資料性）電力人工智能模型檢測指標檢測方法與權(quán)威出處16

附錄C（資料性）電力人工智能模型適用性與安全性指標參考值28

附錄D（資料性）電力人工智能模型適用性與安全性檢測報告示例29

III

T/CSEE####—2021

yi—i—

刖5

本文件按照《中國電機工程學(xué)會標準化管理辦法》、《中國電機工程學(xué)會標準化管理辦法實施細則》

的要求，依據(jù)GB"1.1-2020《標準化工作導(dǎo)則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起

草，

本文件是T/CSEEXXXX《電力人工智能模型適用性與安全性檢測規(guī)范》的第1部分。。

請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。

本文件由中國電機工程學(xué)會提出。

本文件由中國電機工程學(xué)會人工智能標準專業(yè)委員會技術(shù)歸口和解釋。

本文件起草單位：、、、。

本文件主要起草人：、、、。

本文件首次發(fā)布。

本文件在執(zhí)行過程中的意見或建議反饋至中國電機工程學(xué)會標準執(zhí)行辦公室（地址：北京市西城區(qū)

白廣路二條1號，100761,網(wǎng)址：http：〃www..cn,郵箱：cseebz@）。

IV

T/CSEE####—202X

電力人工智能模型適用性與安全性檢測規(guī)范第1部分：數(shù)據(jù)分析

與圖像處理模型

1范圍

本文件規(guī)定了電力場景人工智能模型的適用性和安全性檢測指標、檢測流程與檢測方法。

本文件適用于指導(dǎo)電力場景中分類、回歸、目標檢測、語義分割四類人工智能模型適用性和安全性

檢測工作。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T16260.2-2006軟件工程產(chǎn)品質(zhì)量

GBf1-2/000-2006合格評定詞匯和通用原則

GB/T41867-2022信息技術(shù)人工智能術(shù)語

T/CESA1026-2018人工智能深度學(xué)習(xí)算法評估規(guī)范

T/CESA1036-2019信息技術(shù)人工智能機器學(xué)習(xí)模型及系統(tǒng)的質(zhì)量要素和測試方法

T/CESA1169-2021信息技術(shù)人工智能服務(wù)器系統(tǒng)性能測試規(guī)范

（國標放前面，標準編號由小到大）

3術(shù)語和定義

3.1人工智能術(shù)語

3.1.1

電力業(yè)務(wù)場景electricpowerscenario

包括電力系統(tǒng)發(fā)、輸、配、用等全環(huán)節(jié)傳統(tǒng)業(yè)務(wù)場景，及新興業(yè)務(wù)場景，如儲能、電碳交易等。

3.1.2

人工智能系統(tǒng)artificialintelligencesystem

針對人類定義的給定目標，產(chǎn)生諸如內(nèi)容、預(yù)測、推薦或決策等輸出的一類工程系統(tǒng)。

[來源：GB/T41867-2022,定義3.1.8]

3.1.3

人工智能模型artificialintelligencemodel

通過學(xué)習(xí)海量樣本數(shù)據(jù)中的內(nèi)在規(guī)律和表現(xiàn)層次，實現(xiàn)包括分類、聚類、目標檢測、分割等任務(wù)。

3.1.4

適用性applicability

〈人工智能模型〉滿足電力業(yè)務(wù)場景需求的程度。

3.1.5

安全性applicability

〈人工智能模型〉避免電尢業(yè)務(wù)場景中惡意的安全威脅的性質(zhì)。

3.1.6

T/CSEE####—2021

測試數(shù)據(jù)testdata

評價數(shù)據(jù)evaluationdata

用于評估最終機器學(xué)習(xí)模型性能的數(shù)據(jù)。

［來源：GB/T41867-2022,定義3.2.3］

3.1.7

對抗樣本adversarialexamples

在數(shù)據(jù)集中通過故意添加細微的干擾所形成的輸入樣本，該類樣本導(dǎo)致模型以高置信度給出錯誤

地

輸出。

3.1.8

魯棒性robustness

〈人工智能〉系統(tǒng)在任何情況下都保持其性能水平的特性。

［來源:GB/T41867-2022,定義3.4.9

3.1.9

微調(diào)fine-tuning

為提升人工智能模型的預(yù)測精確度，一種先以大型廣泛領(lǐng)域數(shù)據(jù)集訓(xùn)練，再以小型專門領(lǐng)域數(shù)據(jù)集

繼續(xù)訓(xùn)練的附加訓(xùn)練技術(shù)。

［來源:GB/T41867-2022,定義3.2.31］

3.1.10

投毒攻擊poisoningattack

通過在模型訓(xùn)練階段，加入異常訓(xùn)練數(shù)據(jù)來對模型進行干擾的方式。

4符號和縮略語

4.1縮略語

下列縮略語適用于本文件。

ROC：受試者工作特征曲線(ReceiverOperatingCharacteristicCurve)

MAE：平均絕對誤差(MeanAbsoluteDeviation)

MSE：均方誤差(Mean-SquareError)

5電力人工智能模型檢測概述

5.1電力人工智能模型檢測定義

根據(jù)GB/T27000-2006合格評定詞匯和通用原則中關(guān)于檢測的描述，電力人工智能模型檢測定義

為核照規(guī)定程序確定電力人工智能模型的一個或多個特性。

5.2檢測流程

電力人工智能數(shù)據(jù)分析與圖像處理模型的檢測流程如圖1所示。包括確認模型使用需求、選擇模型

檢則指標、確認模型檢測樣本數(shù)據(jù)、執(zhí)行模型檢測這四個活動。

2

T/CSEE####—202X

模型使用

需求確認

階段

圖1電力人工智能數(shù)據(jù)分析與圖像處理模型的檢測流程

5.3模型檢測目標

針對電力業(yè)務(wù)場景，綜合考慮人工智能模型在正確使用卻可預(yù)見的不正確使用的情況二，對人工智

能模型的適用性和安全性指標進行定量和可對比的測試，為人工智能應(yīng)用生命周期中的驗證確認階段

提供用規(guī)定單位描述或可與達成一致的參照物進行對比的檢測結(jié)果。

5.4本標準適用模型范圍

本標準包括電力場景中，分類、回歸、目標檢測、語義分割四類按照任務(wù)劃分的人工智能模型，模

型的輸入數(shù)據(jù)類型包括圖像、結(jié)構(gòu)化數(shù)據(jù)（表格、數(shù)值、短文本）兩類，綜合考慮模型任務(wù)與模型輸入

可分為數(shù)據(jù)分析和圖像處理兩類模型，具體情況如表1所示。

表1電力數(shù)據(jù)分析與圖像處理模型范圍

模型類別模型輸入數(shù)據(jù)類型模型任務(wù)電力場景中的典型應(yīng)用

分類電力設(shè)備故障分類、電力客戶行為

數(shù)據(jù)分析數(shù)據(jù)表/矩陣

畫像等

3

T/CSEE####—2021

分類電力事故原因分類、電力用戶反饋

短文本

分類等

數(shù)值回歸分布式發(fā)電功率預(yù)測、負荷預(yù)測等

分類電力設(shè)備表計讀數(shù)，電力設(shè)備類型

識別等

圖像處理圖像目標檢測絕緣子缺陷識別、導(dǎo)地線識別、金

具識別、違章作業(yè)識別等

語義分割電力線識別等

6模型使用需求確認階段

6.1需求確認概述

針對各電力業(yè)務(wù)應(yīng)用場景，綜合考慮軟件系統(tǒng)正確使用的情況與可預(yù)見的不正確使用的情況，對模

型所處的運行環(huán)境與運行模式進行描述，分析使用模型對電力業(yè)務(wù)產(chǎn)生的安全風(fēng)險，確定模型適用性和

安全性檢測要求等級，指導(dǎo)模型檢測指標的選擇。

6.2模型信息公開

模型需要公開的基礎(chǔ)信息具體應(yīng)包含如下內(nèi)容：

a）模型歸屬情況：模型負責(zé)人及所屬單位；

b）模型版本號：描述模型的版本；

c）模型任務(wù)類型，主要包括分類、回歸、目標檢測和語義分割；

d）模型開發(fā)框架：描述編寫模型時使用的代碼語言和框架扳本信息；

c）模型主要參考文獻：描述模型結(jié)構(gòu)主要參考的論文地址或代碼倉庫地址；

0模型運行需求：描述安裝模型需要的軟硬件環(huán)境及資源要求。

6.3模型使用場景信息公開

模型使用場景的相關(guān)信息應(yīng)包含以下內(nèi)容：

a）模型推理流程描述：描述進行模型推理時，模型的輸入數(shù)據(jù)類型（數(shù)據(jù)表、短義本、數(shù)值、圖

像），輸入來源（傳感設(shè)備采集，系統(tǒng)生成數(shù)據(jù)，人工上傳），輸入方式（讀取文件，通過傳輸接口），

模型輸出情況；

b）業(yè)務(wù)人員參與模型推理情況：描述模型獨立在系統(tǒng)中運行完成預(yù)期任務(wù)還是僅輔助業(yè)務(wù)人員完

成相應(yīng)任務(wù)；

c）模型使用頻率：描述調(diào)用模型進行推理的頻率；

d）場景輸入數(shù)據(jù)分布變化情況：模型使用場景的數(shù)據(jù)是否會隨時間、周圍環(huán)境等產(chǎn)生分布變化；

e）場景開放度：在該場景中使用模型的人員包括哪些，預(yù)計服務(wù)的人數(shù)為多少。

6.4模型使用風(fēng)險確認

4

T/CSEE####—2O2X

確認模型使用風(fēng)險部分包括兩個階段，首先識別模型使用風(fēng)險，之后對模型使用風(fēng)險的嚴重性進行

評估。

a）風(fēng)險分析

1）應(yīng)通過多種途徑開展有關(guān)模型使用的風(fēng)險識別；如頭腦風(fēng)暴、專家評審會、質(zhì)量歷史記錄和軟件

失效模式和影響分析等技術(shù)識別模型發(fā)生失效的危害；

2）應(yīng)識別危險的后果；如對環(huán)境或人員是否有傷害、需要完成的任務(wù)是否有影響等；

3）危險事件應(yīng)由運行場景和模型失效的相關(guān)組合確定：

4）應(yīng)以能在模型所在的軟件系統(tǒng)層面觀察到的輸山來定義結(jié)果。

b）風(fēng)險嚴重性等級評估

針對每一個模型失效，應(yīng)基于確定的理由來預(yù)估潛在危險的嚴重性等級。風(fēng)險嚴重性等級（見表2）。

表2風(fēng)險嚴重性等級

風(fēng)險性嚴重

描述

等級

災(zāi)難級模型失效導(dǎo)致系統(tǒng)任務(wù)失敗，或?qū)Π踩?、財產(chǎn)、環(huán)境和業(yè)務(wù)等造成災(zāi)難性影響。

模型失效導(dǎo)致系統(tǒng)任務(wù)的主要部分未完成，或?qū)Π踩?、財產(chǎn)、環(huán)境和業(yè)務(wù)等造成嚴重

嚴重級

影響。

模型失效導(dǎo)致系統(tǒng)完成任務(wù)有輕度影響，或?qū)Π踩?、財產(chǎn)、環(huán)境和業(yè)務(wù)等造成一般影

一般級

響。

模型失效導(dǎo)致系統(tǒng)完成任務(wù)有隙礙但能夠完成，或?qū)Π踩?、財產(chǎn)、環(huán)境和業(yè)務(wù)等造成

輕微級

輕微影響或無影響。

6.5模型檢測要求等級

根據(jù)上述對于模型使用場景和模型使用風(fēng)險的情況，依據(jù)模型適用性（表3）和安全性（表4）檢

測等級選取依據(jù)表，選取適用于該模型的檢測等級，并依據(jù)檢測等級選取該模型的檢測指標項。

表3模型適用性檢測等級選取依據(jù)表

模型場景

是否輔助進行決

模型使用場景是否存在場景應(yīng)用范圍的

策：嚴格意義決策

模型適用性檢是否涉及人擴展，例如吊車會不會由

都是由業(yè)務(wù)邏輯決模型月均活及服務(wù)對象是工

測要求等級身、電網(wǎng)、設(shè)輸電擴展到配電，或者由

定的，模型只涉及天數(shù)是否215區(qū)以上級別

備和信息系統(tǒng)單獨某個地市應(yīng)用到全省

識別，結(jié)果需要人

四類安全事故甚至全國網(wǎng)

員進行二次審查

基礎(chǔ)否是否否否

進階（符合一

項至三項推薦

選用該等級，

是處是是姑

符合四項以上

必須選用該等

級）

表4模型安全性檢測等級選取依據(jù)表

模型安全性檢模型場景依據(jù)

5

T/CSEE####—2021

測要求等級模型是模型模型優(yōu)模型使模型使用場景模型服務(wù)范圍模型月均最大

否部署（預(yù)）化、微用場景是否在室外是否為地市公調(diào)用次數(shù)是否

在互聯(lián)訓(xùn)練過調(diào)訓(xùn)練中是否（對應(yīng)模型魯司級、省級、超過？

網(wǎng)大區(qū)程中是過程中存在數(shù)棒正碇性指國網(wǎng)級（對應(yīng)

或公網(wǎng)否使用數(shù)據(jù)來據(jù)壓標）的是模型訪問

了公網(wǎng)源于系縮、等控制）

上的數(shù)統(tǒng)自動干擾的

據(jù)？采集還情況

（包括是人工（對應(yīng)

公開數(shù)采集？模型魯

據(jù)集，（投棒正確

自動爬毒，正性指

取數(shù)據(jù)確性指標）

等）標）

基礎(chǔ)否否否否否否否

進階（符合一

項至三項推薦

選用該等級，

是是是是是是是

符合四項以上

必須選用該等

級）

7模型檢測指標選擇階段

7.1檢測指標體系

基于人工智能模型檢測相關(guān)指標的重要性與必要性，結(jié)合電力業(yè)務(wù)場景，本標準給出了一套電力人

工智能模型檢測指標體系。本指標體系如圖2所示，包含2個?級指標、5個二級指標和20個三級指

標和32個四級指標。在實施檢測過程中，應(yīng)根據(jù)模型任務(wù)種類和模型檢測等級選取相應(yīng)指標。

6

T/CSEE####—202X

電

力

人

工

智

fat模

檢

■

模量竊取成功率

指保密性——模,保密性

標模型防逆向

X體

完聾性模型完整性一模型T卷

正，住酢」干癡UH棒性

■棒性一百面對抗魯棒準確率

,.一II盒查詢對抗務(wù)棒準確率

4執(zhí)攻擊妣指標|L遷移攻擊咽

-C模型訪問控制

投?攻擊成功率

圖2電力人工智能檢測指標體系

7.1.1適用性指標

7.1.1.1分類模型性能指標

用于檢測電力人工智能分類模型的實現(xiàn)的功能是否滿足要求，應(yīng)包括但不限于下列內(nèi)容：

a）正確率：指正確預(yù)測樣本在所有預(yù)測樣本中的比例，用于衡量模型的分類性能，正確率越高模型

性能越好。一般正確率在90%左右，超過95%為過擬合，模型泛化性能：

b）精確率：指預(yù)測為正例的樣本中正確的比例，用于衡量模型的分類性能。在多分類問題中，除正

確樣本外均被視為負類。精確率越高模型性能越好；

c）召回率：指預(yù)測正確的正例樣本占所有正面樣本的比例，用于衡量模型的分類性能。召回率越高

模型性能越好，但需與精確率綜合考慮；

d）Fl值：指基于精確率和召回率的調(diào)和平均，用于綜合分析模型的精確率和召回率。F1值越高模

型綜合性能越好；

e）對數(shù)損失：指通過懲罰錯誤的分類,實現(xiàn)對分類模型的準確度的量化。在計算對數(shù)損失前分:類模

型必須提供所預(yù)測出的樣本屬于每個類別的概率。對數(shù)損失越小，模型的性能越好；

7

T/CSEE####—2021

f）ROC曲線：指“真正例率”TPR和“假正例率”FPR,分別作為縱軸和橫軸作圖得到的對模型的

預(yù)測可靠性進行可視化的一種曲線圖。用于衡量模型的分類性能。ROC曲線越靠近左上角模型綜合性

能越好；

g）AUC：指ROC曲線下的面積，當兩個模型的ROC曲線發(fā)生交叉，則難以一般性地斷言兩者孰

優(yōu)孰劣，則較為合理的判斷依據(jù)是比較AUC。AUC用于衡量模型的分類性能，AUC值越大模型綜合

性能越好。

7.1.1.2回歸模型性能指標

用于檢測電力人工智能回歸模型的實現(xiàn)的功能是否滿足要求，應(yīng)包括但不限于下列內(nèi)容：

a）平均絕對誤差：指測試集中所有實例上各個預(yù)測誤差的絕對值的平均值。預(yù)測誤差指的是實例的

預(yù)測值與真實值之間的差。平均絕對誤差越小，模型的性能越好，用于衡量模型的回歸性能；

b）均方誤差：指測試集中所有實例上各個預(yù)測誤差的均方的平均值。預(yù)測誤差指的是實例的預(yù)測值

與真實值之間的差。均方誤差越小，模型的性能越好。用于衡量模型的回歸性能；

c）均方根誤差：指測試集中所有實例上各個預(yù)測誤差的均方平均值的根。預(yù)測誤差指的是實例的預(yù)

測值與真實值之間的差。均方根誤差越小，模型的性能越好。用于衡量模型的回歸性能。

7.1.1.3目標檢測模型性能指標

用于檢測電力人工智能目標檢測模型的實現(xiàn)的功能是否滿足要求，應(yīng)包括但不限于下列內(nèi)容：

a）平均精度：指P-R曲線下的面枳，用于衡量模型在單類別目標檢測樣本上的分類精度與定位性

能。平均精度越大模型性能越好；

b）平均精度均值（mAP）：指多個類別平均精度的平均值，用于衡量模型在多類別目標檢測樣本上

的分類精度與定位性能。平均精度均值越大模型性能越好；

c）平均召回率:指多個類別召回率的平均值，用于衡量模型在多類別目標檢測樣本上的檢測精確度。

平均召回率越高模型性能越好；

d）平均精確率:指多個類別精確率的平均值，用于衡量模型在多類別目標檢測樣本上的檢測精確度。

平均精確率越高模型性能越好。

7.1.1.4語義分割模型性能指標

用于檢測電力人工智能語義分割模型的實現(xiàn)的功能是否滿足要求，應(yīng)包括但不限于下列內(nèi)容；

a）平均交并比（IOU）:指圖像分割結(jié)果中各個類別分別預(yù)測區(qū)域和標準區(qū)域交并比的平均值，用于

衡量模型在目標樣本上的分割精度；

b）精確率：指預(yù)測為正例的樣本中正確的比例，用于衡量模型的語義分類性能；

c）召回率：指預(yù)測正確的正例樣本占所有正面樣本的比例，用于衡量模型的語義分類性能C

7.1.1.5跨數(shù)據(jù)域遷移性指標

用于檢測電力人工智能模型在同任務(wù)不同數(shù)據(jù)域下是否具有可遷移性，應(yīng)包括但不限于下列內(nèi)容：

a）Frozen損失率：指將在原數(shù)據(jù)域.上完成訓(xùn)練的模型遷移至相同任務(wù)的新數(shù)據(jù)域時，固定該模型所

有參數(shù)，在新測試型上測得模型性能相比原測試集上測得模型性能的損失率；

b）同任務(wù)遷移增益率：指將在原數(shù)據(jù)域上進行訓(xùn)練的模型遷移至相同任務(wù)的新數(shù)據(jù)域時，該模型在

新測試集上測得的模型性能相匕于在新數(shù)據(jù)域上訓(xùn)練參數(shù)隨機初始化模型的性能增益率：

O同任務(wù)遷移算力節(jié)約率：指在最優(yōu)的遷移設(shè)定下，模型遷移到同任務(wù)的新數(shù)據(jù)域時，遷移模型的

計算量相較于在新數(shù)據(jù)域上訓(xùn)練參數(shù)隨機初始化模型的計算量節(jié)約率。

7.1.1.6跨任務(wù)域遷移性指標

8

T/CSEE####—2O2X

用于檢測電力人工智能模型在新任務(wù)下是否具有可遷移性，應(yīng)包括但不限于下列內(nèi)容：

a）新任務(wù)遷移增益率：指將在原數(shù)據(jù)域上進行訓(xùn)練的模型遷移至新任務(wù)時，該模型在新任務(wù)測試集

上測得的模型性能相比于在新任務(wù)域上訓(xùn)練參數(shù)隨機初始化模型的性能增益率；

b）新任務(wù)遷移算力節(jié)約率：指在最優(yōu)的遷移設(shè)定下，模型遷移到新任務(wù)域時，遷移模型的計算量相

較于在新任務(wù)域上訓(xùn)練參數(shù)隨機初始化模型的計算量節(jié)約率。

7.1.2安全性指標

7.1.2.1模型保密性指標

用于檢測電力人工智能模型的保密程度，應(yīng)包括但不限于下列內(nèi)容：

a）模型竊取成功率：指對模型發(fā)動模型竊取攻擊，測試模型的參數(shù)或功能被竊取的成功率，以衡量

模型被竊取的難易程度。模型竊取攻擊是指通過對被測系統(tǒng)持續(xù)訪問，推測模型的參數(shù)或功能

的一種攻擊方式。以查詢次數(shù)為x軸，以仿制模型識別效果和被仿制模型識別效果的偏差比例

為y軸繪制曲線，曲線下面積越小，模型竊取成功率越小，說明模型的安全性越好；

b）模型防逆向：指對模型的防逆向的技術(shù)手段（如模型加密、代碼混淆等）進行檢測，用于衡量模

型被逆向出參數(shù)文件以及代碼文件的難易程度。防逆向技術(shù)手段運用越全面，模型逆向的難度

越大，說明模型安全性越好。

7.1.2.2模型完整性指標

用于檢測電力人工智能模型的完整性，指針對部署的模型與原始模型是否一致進行檢測，用于衡量

模型否一致。如一致，則安全性較好。

7.1.2.3模型魯棒正確性指標

用于檢測電力人工智能模型面對非正常數(shù)據(jù)輸入時的正常運行能力，應(yīng)包括但不限于下列內(nèi)容：

a）有損數(shù)據(jù)魯棒性：指利用壓縮、損壞等有損數(shù)據(jù)對模型進行測試，根據(jù)測試結(jié)果計算模型功能

實現(xiàn)正確性，用于衡且：模型對有損數(shù)據(jù)的魯棒性，模型正確性越高，則魯棒性越好：

b）干擾數(shù)據(jù)魯棒性：指利用加入噪聲、變換等干擾數(shù)據(jù)對模型進行測試，根據(jù)測試結(jié)果計算模型

功能實現(xiàn)正確性，用于衡量模型對干擾數(shù)據(jù)的魯棒性，模型正確性越高，則魯棒性越好。

7.1.2.4模型抗魯棒攻擊能刀指標

用于檢測電力人工智能模型面對攻擊時正常運行的能力，應(yīng)包括但不限于下列內(nèi)容：

a）白盒對抗魯棒準確率：指在白盒場景下對測試集發(fā)動對抗攻擊，測試模型的功能實現(xiàn)正確性，

用于衡量模型對白盒對抗攻擊的抵抗性。以生成對抗樣本的擾動大小、攻擊迭代輪數(shù)為x軸，

以對應(yīng)模型的功能實現(xiàn)正確性為y軸而繪制的多條由線，選取x軸中某些點，計算曲線在這些

點的取值并取平均，皿均值越高，則模型對白盒對抗攻擊的抵抗性越好；

b）黑盒杳詢對抗魯棒準確率：指在黑盒場景下對測試集發(fā)動對抗攻擊，測試模型的功能實現(xiàn)正確

性，用于衡量模型對黑盒查詢對抗攻擊的抵抗性。以生成對抗樣本的擾動大小、查詢次數(shù)為x

軸，以對應(yīng)模型的功能實現(xiàn)正確性為y軸而繪制的多條曲線，選取x軸中某些點，計算曲線在

這些點的取值并取平均，平均值越高，則模型對黑盒查詢對抗攻擊的抵抗性越好；

c）遷移攻擊對抗魯棒準確率：指在遷移性攻擊場景下對測試集發(fā)動對抗攻擊，測試模型的功能實

現(xiàn)正確性，用于衡量模型對遷移對抗攻擊的抵抗性。以生成對抗樣本的擾動為x粕，以對應(yīng)模

型的功能實現(xiàn)正確性為y軸而繪制的曲線，選取x軸中某些點，計算曲線在這％點的取值并取

平均，平均值越高，則模型對遷移對抗攻擊的抵抗性越好；

9

T/CSEE####—2021

d）模型訪問控制：指對模型是否采用了訪問控制手段（如限制模型的反饋輸出、限制模型的查詢

次數(shù)、限制賬號和IP的使用頻率等）進行檢測，用于衡量防御者度攻擊者能夠獲取的信息的限

制程度，限制程度越高，模型抵抗攻擊的能力越強：

e）投毒攻擊成功率：指對投毒攻擊后的受害模型進行擊測試，根據(jù)測試結(jié)果計算模型預(yù)測的正確

率相較于未被攻擊的原始模型的下降數(shù)值，用于衡量模型對投毒攻擊的抵抗性。投毒攻擊是指

通過篡改訓(xùn)練數(shù)據(jù)或添加惡意數(shù)據(jù)來影響模型訓(xùn)練過程，最終降低其在預(yù)測階段的準確性一種

攻擊方式。模型預(yù)測正確性下降越小，投毒攻擊成功率越低，模型對投毒攻擊的抵抗性越好。

7.2模型檢測指標選擇

參考6.5小節(jié)表3模型適用性檢測等級選取依據(jù)表和表4模型安全性檢測等級選取依據(jù)表選取模型

檢測等級，根據(jù)模型檢測等級在表A.1模型適用性指標選取依據(jù)表和表A.2模型安全性指標選取依據(jù)

表中選擇對應(yīng)的檢測指標項。

8模型檢測樣本數(shù)據(jù)確認

8.1概述

模型檢測樣本數(shù)據(jù)將直接影響模型檢測的可靠性，本環(huán)節(jié)用于描述檢測樣本數(shù)據(jù)的情況，確認檢測

數(shù)據(jù)是否符合模型檢測的基本要求。

8.2測試數(shù)據(jù)基本描述信息公開

測試數(shù)據(jù)集名稱：描述數(shù)據(jù)集的基本情況。

測試數(shù)據(jù)集種類：選擇數(shù)據(jù)輸入的種類（結(jié)構(gòu)化、圖像、文本）。

原始數(shù)據(jù)集規(guī)模：填寫原始數(shù)據(jù)集中的樣本數(shù)量。

測試數(shù)據(jù)集來源：描述數(shù)據(jù)集來源，如設(shè)備采集、網(wǎng)絡(luò)收集、系統(tǒng)運行生成，仿真實驗生成等。

測試數(shù)據(jù)集公開情況：描述測試數(shù)據(jù)集是否包含公開數(shù)據(jù)集，公開范圍，數(shù)據(jù)集權(quán)威性等.

測試數(shù)據(jù)特征情況：描述特征數(shù)據(jù)中是否含噪音，是否具有無效特征數(shù)據(jù)，是否具有大量重復(fù)特征

數(shù)據(jù)，特征信息是否完整。

測試數(shù)據(jù)標注標注情況：選擇采用標注方式（人工標注、智能標注），遵從標注規(guī)范。

8.3測試數(shù)據(jù)選取

模型檢測測試數(shù)據(jù)應(yīng)優(yōu)先選用公開發(fā)布或經(jīng)實際場景驗證的電力任務(wù)標準數(shù)據(jù)集，當該場景或任

務(wù)中暫不存在電力任務(wù)標準數(shù)據(jù)集時，可由委托方提供測試數(shù)據(jù)集，測試數(shù)據(jù)集須經(jīng)過測試數(shù)據(jù)完整性

完整性檢測方可用于模型檢測。

8.4測試數(shù)據(jù)完整性檢測

數(shù)據(jù)均衡性：使用統(tǒng)計手段檢測數(shù)據(jù)類別分布、偏度。

數(shù)據(jù)準確性:使用抽樣檢測與全部檢測結(jié)合的手段,檢驗數(shù)據(jù)是否能準確表示其所描述的實際對象。

測試數(shù)據(jù)規(guī)模：使用統(tǒng)計手段計算訓(xùn)練數(shù)據(jù)樣本量。

測試數(shù)據(jù)一致性：使用統(tǒng)計手段計算篡改后的測試數(shù)據(jù)與原始訓(xùn)練數(shù)據(jù)的比例。

數(shù)據(jù)重復(fù)度：使用統(tǒng)計手段計算測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)重復(fù)的比例。

數(shù)據(jù)任務(wù)相關(guān)性：使用統(tǒng)計手段計算測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)分布的相關(guān)程度。

數(shù)據(jù)標注準確率：使用統(tǒng)計的方法檢測正確標注的數(shù)據(jù)或全部數(shù)據(jù)之間的比例。

10

T/CSEE####—202X

9模型檢測執(zhí)行

9.1模型檢測執(zhí)行形式

電力人工智能模型檢測執(zhí)行分為自檢測和第三方檢測兩種形式，自檢測和第三方檢測互相結(jié)合、互

為補充。

自檢測是指電力人工智能模型開發(fā)者、運營者發(fā)起的對本組織等進行的自我檢測，通常自檢測由組

織內(nèi)部質(zhì)量管理部門或測試部門發(fā)起，結(jié)合電力人工智能模型開發(fā)要求進行實施。自檢測可以結(jié)合電力

人工智能模型部署的實際場景對檢測流程和檢測指標適當簡化。

第三方檢測可依據(jù)本標準的要求，實施完整的模型檢測過程。第三方檢測由獨立電力人工智能系統(tǒng)

開發(fā)者和運營者等相關(guān)方委托的專業(yè)評估機構(gòu)實施。

9.2模型檢測執(zhí)行前準備

在執(zhí)行模型檢測活動前至少應(yīng)完成以下準備工作：

a）依據(jù)本標準第6小節(jié)要求，完成模型信息、模型場景信息、模型使用風(fēng)險信息收集和確認，并

確定模型適用性和安全性檢測等級；

b）依據(jù)本標準第7小節(jié)要求，根據(jù)模型任務(wù)和模型適用性和安全性檢測等級選取模型檢測指標;

c）依據(jù)本標準第8小節(jié)要求，獲取模型檢測樣本數(shù)據(jù)；

d）具備可執(zhí)行模型檢測、可計算檢測指標的檢測系統(tǒng)（自檢測也可使用程序腳本）；

e）待測模型完成研發(fā)和訓(xùn)練（預(yù)訓(xùn)練），模型推理功能和二次訓(xùn)練功能（遷移學(xué)習(xí)、增量學(xué)習(xí)等）

可被檢測系統(tǒng)或程序腳本調(diào)用；

f）具備運行模型檢測系統(tǒng)（或程序腳本）和待測模型所需軟件環(huán)境和硬件資源。

9.3模型檢測執(zhí)行關(guān)鍵活動

開展模型檢測工作至少應(yīng)按照以下順序執(zhí)行關(guān)鍵活動：

a）記錄模型檢測執(zhí)行前準備信息：

b）將模型檢測樣本數(shù)據(jù)拷貝至可被模型檢測系統(tǒng)或檢測腳本程序調(diào)用的文件夾中；

c）啟動模型檢測程序和待測模型（如需提前啟動）；

d）保留分析過程，記錄模型適用性和安全性測試結(jié)果；

e）再次啟動模型檢測系統(tǒng)和待測模型（如需提前啟動），確認測試結(jié)果具有可匆現(xiàn)性；

f）停止模型檢測程序和待測模型，刪除模型檢測樣本數(shù)據(jù)（如有保密要求）。

9.4模型檢測執(zhí)行結(jié)果

給出模型適用性與安全性檢測報告，檢測報告中可根據(jù)各項指標的參考值給出本次檢測結(jié)果給出

指導(dǎo)性建議，參考值僅作為通常情況下模型各項指標參考，模型在不同電力場景中的準入指標要求仍需

以業(yè)務(wù)要求為準，各項指標參考值見附錄C,報告樣例見附錄D。

II

T/CSEE####—2021

附錄A

（資料性）

電力人工智能模型檢測指標選取依據(jù)

加句引導(dǎo)語

附錄A給出了電力人工智能模型檢測指標選取依據(jù)，可針對不同應(yīng)用場景的機器學(xué)習(xí)算法開展相關(guān)評估活動,該指標體系由旋礎(chǔ)指標和進階指標兩層組成,

其中屬性包括正確率，準確率，召回率,FI值，對數(shù)損失等，由各屬性對應(yīng)的評估指標組成評估指標體系，以卜給出了評估指標描述和細分項列表。

表A.1模型適用性指標選取依據(jù)表

迫陽性檢涮指標

性能

任

序檢測新

均

平均

模型任務(wù)平新任

遷

平均均方平均平均Frozen務(wù)

度

井

粕

號要求正確準確幺回對數(shù)均方平均交務(wù)燈

增

ROC移

值A(chǔ)UC絕對根誤召網(wǎng)精確損失

匕

值

率率率F1損失曲線誤差精度均I力節(jié)

益

等線誤差龍率率率率

約率

1數(shù)據(jù)分類■?????o0ooooooooooo

2短文本分類■■?■?o0oooo0o?oooo

基刊

3數(shù)位分類■■???@ooooooooooooo

4數(shù)依回歸OOOO0oo?■■ooo0o0o0oo

I'CSEE####—202X

5圖像分類■■?■??oooooooooooo

圖像目標檢

6OOoOOOoooo????ooooo

測

圖像諧義分

7@oOOOooooooo0■o0oo

割

8數(shù)據(jù)分類■■???■■oooooooooooo

9短文本分類■■?■■■■o0oooo0o■?@?@

10數(shù)位分類■■?■■■■oooooooooooo

II進階數(shù)值回歸OooO0Oo?■■ooo0ooooo

12圖像分類???■??oooooooo■????

圖像口標檢

13OooO0Ooo0o????o????

測

圖像語義分

14■■oOOOoooooooo■■

備，注：表中?友示該僉測等級要求下要求進行的檢測指標.表中◎表示該檢濡等鍛要求下推薦的檢38指標.表中。表示模型不需要檢測的指標項目.

表A.2模型安全性指標選取依據(jù)表

序號性能檢測模型任務(wù)檢測指標

13

T/CSEE####—2021

要求等她

投

毒攻

白盒對抗黑盒對抗遷移攻擊

擊功

模型13取模型防逆模型?致有損數(shù)據(jù)干擾玄據(jù)模型訪問成

件棒準確魯棒準確對抗件幃

成功率向性弊林性畬林It控制率

率率準確率

15數(shù)據(jù)分類OO?OoOOO<9

lb場文本分類OO?OoOOO?o

17數(shù)位分類OO?OoOOO◎

18荔礎(chǔ)數(shù)值回歸OO■OoOOO?

19圖像分類OO???OOOeo

20圖像目標檢越OO■@OOO?o

21圖像語義分冽OO?@?OOOo

22數(shù)據(jù)分類@@■ooOOO■?

23短文本分類?◎?oo??◎■■

進階

24數(shù)值分類■oo?OO■■

25數(shù)tflH歸<s><2>oooOO

14