ICS35.240.99CCSL60團體標準T/CES149—2022輸電線路金具與變電站設備圖像樣本標注要求Requirementsforimagesamplelabelingoftransmissionlinefittingsandsubstationequipment2022-09-26發(fā)布2022-09-28實施中國電工技術學會發(fā)布IT/CES149—2022前言 Ⅱ 12規(guī)范性引用文件 13術語和定義 14縮略語 35設備類別 36圖像視頻類樣本基本要求 36.1圖像視頻文件存儲格式要求 36.2圖像視頻文件命名要求 36.3圖像視頻類樣本標簽 36.4圖像視頻類樣本質量要求 47圖像視頻類樣本標注要求 47.1圖像樣本標注規(guī)則 47.2標注命名規(guī)則 47.3矩形框 67.4邊界框 67.5線條 67.6關鍵點 67.7旋轉矩形 68樣本標注流程 68.1總體要求 68.2樣本檢查 68.3安全管控 78.4標注工具 78.5標注任務開展 78.6樣本標注結果收集 88.7樣本標注結果檢查 8T/CES149—2022本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)本文件由四川中電啟明星信息技術有限公司提出。本文件由中國電工技術學會標準工作委員會能源智慧化工作組歸口。本文件起草單位：國網信息通信產業(yè)集團有限公司、四川中電啟明星信息技術有限公司、國網重慶市電力公司、重慶大學。本文件主要起草人：李強、宋衛(wèi)平、向哲宏、呂小紅、劉禮、崔秋實、趙峰、李炳森、厲仄平、徐小云、谷波、陳昌平、高攀、何亮、楊平、朱海萍、孫覺予。本文件為首次發(fā)布。T/CES149—20221輸電線路金具與變電站設備圖像樣本標注要求本文件規(guī)定了輸電線路金具樣本以及變電一二次設備圖像視頻樣本在人工智能平臺標注的基本要求、標注要求和標注流程。本文件適用于進行人工智能模型開發(fā)時的樣本標注和樣本入庫的統(tǒng)一管理，包括樣本的質量管控、樣本標注的技術要求和流程管控。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5075—2016電力金具名詞術語GB/T5271.28—2001信息技術詞匯第28部分：人工智能基本概念與專家系統(tǒng)GB35114—2017公共安全視頻監(jiān)控聯(lián)網信息安全技術要求GB37300—2018公共安全重點區(qū)域視頻圖像信息采集規(guī)范GB/T39272—2020公共安全視頻監(jiān)控聯(lián)網技術測試規(guī)范3術語和定義下列術語和定義適用于本文件。人工智能artificialintelligence一門交叉學科，通常視為計算機科學的分支，研究表現(xiàn)出與人類智能（如推理和學習）相關的各種功能的模型和系統(tǒng)。[來源：GB/T5271.28—2001，定義28.01.01]樣本數(shù)據(jù)sampledata其具備的特征能夠反映總體數(shù)據(jù)情況的一部分個體數(shù)據(jù)。[來源：Q/GDW12118.1—2021，定義3.5]標注tagging采用人工或計算機自動方式對樣本的屬性或特征進行描述。[來源：Q/GDW1906—2013，定義3.5]分辨率resolution衡量數(shù)字圖像內所包含數(shù)據(jù)量多少的技術參數(shù)。這里指一幀圖像在水平和垂直方向的有效像素數(shù)。[來源：Q/GDW12118.3—2021，定義3.1]T/CES149—20222視頻碼率videobitrate視頻數(shù)據(jù)傳輸時單位時間傳送的數(shù)據(jù)位數(shù)。標簽label標識數(shù)據(jù)的特征、類別和屬性等內容，可用于建立數(shù)據(jù)及深度學習訓練要求所定義的機器可讀數(shù)據(jù)編碼間的聯(lián)系。[來源：T/CESA1040—2019定義3.2]邊界框boundingboxes圖像標注的一種方法，通過在需要標注的對象的外邊緣放置多個點來繪制成線進行標注。有時候，圖像中的對象由于光照或角度等原因，其形狀、大小或方向無法被很好地適配上矩形框。使用邊界框可以進行更加精確的標注。線條標注lineannotation圖像標注的一種方法，利用線條在圖像的不同區(qū)域之間劃定邊界。關鍵點keypoint圖像標注的一種方法，在規(guī)定位置標注上若干點，例如人臉特征點、人體骨骼連接點等，常用來訓練面部識別模型以及統(tǒng)計模型。3.10標注工具annotationtool標注人員執(zhí)行標注任務生成標注結果的過程中使用的工具和軟件。標注工具按照自動化程度分手動、半自動和自動三種。[來源：T/CESA1040—2019定義3.5]3.11半自動化標注semi-automaticannotation基于少量人工標注、機器預標注來訓練標注模型，用于批量標注樣本數(shù)據(jù)的半人工智能標注方法。[來源：T/CESA1040—2019定義3.10]3.12輸電線路金具transmissionlinefittings送電線廣泛使用的鐵制或鋁制金屬附件，統(tǒng)稱為金具。大部分金具在運行中需要承受較大的拉力，有的還要同時保證電氣方面接觸良好。3.13變電一二次設備primaryandsecondaryequipmentofsubstation變壓器是變電站的主要設備，變電所（站）的一次設備還包括電壓互感器和電流互感器，開關設備，防雷設備等，對一次設備進行監(jiān)察、測量、控制、保護和調節(jié)的設備，稱為二次設備。3.14人工智能平臺artificialintelligenceplatform人工智能平臺是一款面向企業(yè)和個人的人工智能開發(fā)平臺，其功能是為了快速實現(xiàn)前端提的需求，避免重復建設，從而達到提高工作效率目的。在使用過程中可實現(xiàn)零代碼的模型搭建、訓練、優(yōu)化與模型預測服務，同時也具備向專業(yè)算法工程師提供自主、靈活的模型構建服務。T/CES149—202234縮略語下列縮略語適用于本文件。COCO：上下文中的常見對象（CommonObjectsinContext）JPEG：聯(lián)合圖像專家組（JointPhotographicExpertsGroup）Json：JS對象標記法（JavaScriptObjectNotation）VOC：視覺對象類（VisualObjectClasses）XML：可擴展標記語言（ExtensibleMarkupLanguage）5設備類別輸電線路金具的類別以及一二次設備在原生產系統(tǒng)臺賬的基礎上進行了適當修改，劃分為：瓷質絕緣子、玻璃絕緣子、復合絕緣子、U型螺絲、直角掛板、變壓器、油位計、油溫計、六氟化硫開關、接地線等設備。6圖像視頻類樣本基本要求6.1圖像視頻文件存儲格式要求圖像視頻文件存儲格式要求如下：a）圖像文件應以jpg、jpeg、png、bmp格式進行儲存；b）視頻文件應以mp4、mov格式進行存儲，視頻文件根據(jù)業(yè)務需求對其部分幀進行截取時，截取圖片應以jpg、jpeg、png、bmp格式進行儲存。6.2圖像視頻文件命名要求圖像視頻文件命名要求如下：a）圖像樣本名稱應由三個部分組成：1）巡檢的線路名稱；2）巡檢拍攝角度；3）當前圖片包含的金具類型。b）視頻樣本名稱應由兩個部分組成：1）巡檢的線路名稱；2）巡檢的起始和結束位置。c）視頻樣本根據(jù)業(yè)務需求需對其部分幀進行截取時，截取圖像名稱應由四個部分組成：1）源視頻樣本名稱；2）文件唯一性編號，從1開始計數(shù)；3）巡檢拍攝角度；4）當前圖片包含的金具類型。6.3圖像視頻類樣本標簽添加標簽的內容至少包括電壓等級、線路名稱、桿塔號碼、巡檢時間和巡檢人員，并且由巡檢人員進行批量添加標簽信息。4T/CES149—20226.4圖像視頻類樣本質量要求圖像視頻類樣本質量要求如下：a）分辨率：圖像樣本與視頻抽幀樣本分辨率宜為1920*1080像素及以上，識別主題內容不應少于15*15像素要求。識別主題內容邊緣清晰，無嚴重重影、遮擋范圍不超過主題的2/3。b）視頻碼率應滿足視頻包含業(yè)務相關內容，流暢、清晰，滿足編解碼格式需求。分辨率-碼率宜為1920*1080像素-5Mb/s，在輸電線路沿路視頻質量可為352*299像素-512kb/s。c）樣本類別的全面性：樣本集宜涵蓋目標業(yè)務的所有類別。d）樣本應從同一處金具4個不同角度進行拍攝。e）單類樣本的多樣性：單類樣本集宜涵蓋不同時間、天氣、角度等情況。f）樣本目標物體的完整性：目標區(qū)域在整個圖像樣本中的占比不應低于40%。7圖像視頻類樣本標注要求7.1圖像樣本標注規(guī)則圖像樣本標注規(guī)則如下：a）圖像中出現(xiàn)的所有滿足6.1.3分辨率要求的目標物體應全部標注；b）應采用包含全部目標的情況下使用最小標注框的方法對目標物體進行標注，在畫框的過程中，需保證所框選的圖像包含命名金具的所有部位，并且盡量保證避免在所選框內出現(xiàn)其他金具類型，如果無法進行較好的避免，則需要對誤入的其他金具添加該金具名稱的標注框圖以便于后期計算機識別時效果更好；c）目標物體前端遮擋不宜超過2/3，若目標物體存在過大比例（大于2/3）的遮擋情況，應進行目標物體輪廓標注后，對被遮擋的目標物體添加“遮擋”標簽；d）標注時應使用COCO或VOC格式存儲標注內容。7.2標注命名規(guī)則在對樣本圖片進行標注的過程中，標注框的命名應該嚴格按照：一級分類：金具類型+二級分類：金具名稱+三級分類：金具部件+四級分類：缺陷名稱的四級分類的方式來嚴格進行，其中，金具類型是指輸電線路中所有金具的類別名，包含但不限于絕緣子、聯(lián)接金具、橫膽、塔身等，金具名稱為該金具類別中的金具名稱，包含但不限于復合絕緣子、直角掛板、懸垂線夾等，金具部件則是指金具上具體的部件位置，包含但不限于銷子、螺栓、聯(lián)板、掛板等，而四級分類的缺陷名稱是指對缺陷特征的規(guī)范化描述，反映缺陷發(fā)生的具體部位和現(xiàn)象，見表1。表1標注框的命名規(guī)則5T/CES149—2022標注圖像的命名規(guī)則應嚴格參照設備分級劃分，同屬一個設備的附屬部件應在命名時以下劃線分割上級設備與下級設備，如在進行變壓器附屬部件油位計標注時應標記為：變壓器_油位計，見表2。表2變電一二次設備標注名稱示例例如：在聯(lián)接金具中直角掛板上的螺栓出現(xiàn)銹蝕的問題，標注框的名稱應為：聯(lián)接金具_直角掛板_螺栓_銹蝕，并在表格最后附上該缺陷的標準樣本圖片作為后期標注參考。見表3。表3標注框的命名規(guī)則T/CES149—202267.3矩形框使用矩形框對圖像樣本進行標注應滿足下述要求：a）目標物體應全包含在標注框內，除非目標物體有過于細長伸出的部位（伸出部分占像素比例?。籦）矩形框應將目標物體全部包括，矩形框邊緣與目標物體的距離應小于矩形框邊長3%。7.4邊界框使用邊界框對圖像樣本進行標注應滿足下述要求：a）邊界框應將目標物體全部包括，邊界框邊緣與目標物體的距離應小于邊界框邊長3%；b）對混合的像素（由于運動，透明性等）如果能確認屬于目標物體，也應進行標注；c）邊界框標注時標注點個數(shù)應大于等于4個。7.5線條使用線條對圖像樣本進行標注應滿足下述要求：a）兩個標注點間的距離應不小于35個像素；b）每個標注點都應在目標物體的邊界點。7.6關鍵點使用關鍵點對圖像樣本進行標注應滿足下述要求：a）標注信息應包含關鍵點坐標（x,y）和標簽信息，且標簽信息應采用“是否可見-標簽名”的格b）如果標注點被遮擋，則應標注圖片中距離該點最近的點，且使用二進制值“0”來表示不可見，使用二進制值“1”來表示可見。7.7旋轉矩形使用旋轉矩形框對圖像樣本進行標注應滿足下述要求：a）標注信息內容應包含矩形框中心點坐標、寬、高和沿垂直方向順時針旋轉的角度；b）旋轉角度應采用弧度制，同一批數(shù)據(jù)集標注時應采用同一種旋轉方式。對于規(guī)則的目標物體，旋轉方向宜盡量與設備軸向方向保持一致，標注方向與目標物體軸向方向的角度偏差不宜超過5%；c）標注文件命名與存儲要求；d）標注文件應與對應標注圖像命名一致，應保存為XML或Json格式。8樣本標注流程8.1總體要求樣本標注應包含樣本檢查、安全管控、標注工具選擇、標注任務開展、標注結果收集和標注結果檢查環(huán)節(jié)。8.2樣本檢查在樣本標注前應按照第6章要求對待標注樣本進行檢查，應根據(jù)業(yè)務需求和樣本的數(shù)量采用全量檢查或抽樣檢查，方式如下：T/CES149—20227a）全量檢查應對指定范圍內的所有樣本進行逐條檢查；b）抽樣檢查可采用隨機抽樣或分層抽樣，方式如下：1）隨機抽樣，即：針對不同業(yè)務類型的數(shù)據(jù)樣本采用隨機抽樣進行檢查；2）分層抽樣，即：針對同一業(yè)務類型的樣本數(shù)據(jù)，根據(jù)樣本類型不同采取分層抽樣的方式進行檢查。8.3安全管控應滿足對標注環(huán)境及標注人員的安全管控要求。具體要求包括：a）標注過程應在內網環(huán)境下的指定機器中進行，機器應開啟防火墻，安裝殺毒軟件，并禁用USB接口功能。機器中的所有數(shù)據(jù)文件需定期做好數(shù)據(jù)備份，不得擅自拷貝、傳輸，防止數(shù)據(jù)丟失或泄漏；b）標注人員應經過標注工作培訓獲得相關單位資格認證并簽署樣本標注保密協(xié)議后才可上崗操作。8.4標注工具應使用電力人工智能平臺標注工具或與其格式相兼容的標注工具進行標注。8.5標注任務開展8.5.1基本要求應根據(jù)業(yè)務需求和標注任務難易度選擇人工標注或半自動化標注。8.5.2人工標注人工標注任務應按照試標注、批量標注順序執(zhí)行，具體要求如下：b）從標注任務的待標注樣本中抽取試標注樣本。可采用隨機抽樣或分層抽樣方法抽取樣本，抽取比例不宜低于待標注樣本總量的1%；c）標注人員對抽取樣本進行標注；d）標注項目負責人對標注結果進行確認；e）標注人員重復執(zhí)行標注錯誤的標注任務，直至標注項目負責人確認無誤；f）標注人員批量執(zhí)行標注任務。8.5.3半自動化標注半自動標注任務應按照樣本構建、模型構建、模型批量標注順序執(zhí)行，具體要求如下：8.5.3.1樣本構建：a）從待標注樣本中抽取訓練樣本和測試樣本；可采用隨機抽樣或分層抽樣方法抽取樣本，訓練樣本與測試樣本占樣本總量的比例均不宜低于1%，訓練樣本與測試樣本的比例宜為7∶3，訓練樣本與測試樣本應無交集；b）