智飛科技低空全域感知數(shù)字運營服務(wù)商輸變配紅外缺陷識別的優(yōu)化匯報人：李文暉廣州智飛科技有限公司算法革新>智飛電力紅外檢測算法介紹智飛科技進入21世紀以來，隨著國民經(jīng)濟水平的提升，國家對電力能源的需求量與日俱增，這也促進了電力工業(yè)的高速發(fā)展，我國的電網(wǎng)規(guī)模也隨之不斷擴大。利用無人機巡檢電力設(shè)備已成為當前電力巡檢的主要技術(shù)手段，通過無人機搭載成像設(shè)備對輸變電上的設(shè)備進行圖像采集，獲取海量的電力巡檢圖像，現(xiàn)階段電氣設(shè)備的紅外圖像檢測主要還是依賴人工進行發(fā)熱缺陷分析，耗時費力目對分析人員掌握專業(yè)的技能要求較高，分析工作任務(wù)繁重，容易因為分析人員的主觀判斷標準的影響發(fā)生漏檢或誤檢。因此實現(xiàn)對電力設(shè)備的自動化紅外檢測變得尤為重要。電力設(shè)備紅外檢測算法融合了計算機視覺和深度學(xué)習(xí)技術(shù)，利用人工智能算法進行電力設(shè)備智能識別與分析，從而實現(xiàn)電力設(shè)備紅外缺陷檢測以及信息量化。信息傳輸圖像預(yù)處理根電力設(shè)備分割提取溫度分布結(jié)果顯示&圖像保存調(diào)用紅外接口>紅外AI算法識別流程運用Detr目標檢測算法檢測出所有待檢設(shè)備。使用實例分割檢測出三相設(shè)備區(qū)域，并定位出子設(shè)備區(qū)域，由此實現(xiàn)同相設(shè)備間的關(guān)聯(lián)，為后續(xù)三相比對分析做準備。智飛科技逐個待檢測設(shè)備進行編碼，用以指示語義分割網(wǎng)絡(luò)重點關(guān)注該設(shè)備，分割其發(fā)熱部件。從編碼的設(shè)備中分割出發(fā)熱部件，便于深入研究發(fā)熱情況。>技術(shù)實現(xiàn)難點紅外設(shè)備的發(fā)熱部件分割精度要求比較高，傳統(tǒng)標注工具難以滿足需求智飛科技紅外圖像的設(shè)備信息不夠豐富部分設(shè)備不易區(qū)分，需要使用周遭的設(shè)備輔助判斷，Yolo系列算法，全局感知能力弱，難以滿足檢測需求電壓互感器>技術(shù)實現(xiàn)難點智飛科技設(shè)備的檢測框難以實現(xiàn)同相設(shè)備的關(guān)聯(lián)，進而影響后續(xù)的三相比對當同類設(shè)備的發(fā)熱部件實例粘連在一起時，語義分割算法難以區(qū)分實例邊界在哪里。而使用實例分割則存在分割精度不足的問題>技術(shù)實現(xiàn)難點智飛科技當設(shè)備目標框與附近同類設(shè)備的發(fā)熱部件有交集時，算法難以判定哪個發(fā)熱部件屬于當前設(shè)備難以訓(xùn)練算法感知設(shè)備間的關(guān)聯(lián)關(guān)系，導(dǎo)致難以分割出該設(shè)備的接入導(dǎo)線在哪，進而影響溫度參考點的選擇>分割標注精度不足解決方案客制化定制標注工具實現(xiàn)精細分割777IIIIIIIIIII現(xiàn)開源的標注工具難以實現(xiàn)精細的輪廓標注。而紅外算法則需要的輪廓標注精細程度較高。智飛產(chǎn)品通過對標注工具進行代碼修改，以及對紅外標注流程進行優(yōu)化，實現(xiàn)紅外設(shè)備精細標注的同時也極大的縮短了標注的工作周期。原始標注效果精細標注工具效果原始標注效果精細標注工具效果>檢測精度不足解決方案智飛科技YoloYolo系列算法局限無論是Anchor-Based還是Anchor-Free,本質(zhì)均基于局部特征點(錨點或特征圖點)進行前景/背景分類與邊界框回歸；模型決策高度依賴單個錨點/特征圖點點的局部特征(如紋理、形狀),缺乏對全圖上下文信息的有效建模?！窈雎钥臻g結(jié)構(gòu)與上下文關(guān)系替代為在變電設(shè)備檢測等場景中，設(shè)備的空間排列(如變壓器、絕緣子、線纜的相對位置)隱含關(guān)鍵語義信息；錨點機制僅關(guān)注局部目標框內(nèi)的特征，難以捕捉設(shè)備間的位置依賴、布局規(guī)律等全局上下文，導(dǎo)致復(fù)雜場景下漏檢或誤檢。替代為Detr解決Yolo算法檢測精度不足的問題●全局建模設(shè)備空間排列規(guī)律通過Encoder自注意力，捕捉設(shè)備的全局布局，避免錯檢依賴上下文關(guān)系的易混淆設(shè)備?！駸o錨點設(shè)計適配復(fù)雜比例場景無需預(yù)設(shè)錨點尺寸，直接回歸目標真實坐標，解決變電設(shè)備因拍攝角度不同導(dǎo)致的尺寸多變問題(如近距離大尺寸變壓器與遠距離小尺寸傳感器的統(tǒng)一檢測)。Yolo系列目標表示依賴局部錨點/特征圖點點，逐點判斷前景/背景上下文利用僅通過局部特征(如錨點框內(nèi)特征)決策需手動設(shè)計錨點先驗(如尺寸、比例),缺乏結(jié)構(gòu)化推理目標表示全局視角直接預(yù)測N個目標，隱式建模目標間空間關(guān)系上下文利用自注意力機制建模全圖像素依賴，捕捉設(shè)備間位置關(guān)聯(lián)空間建模自動學(xué)習(xí)目標間相對位置(如“變壓器旁的絕緣子”)>檢測精度不足解決方案智飛科技Detr顛覆傳統(tǒng)錨點機制，通過Transformer架構(gòu)實現(xiàn)全圖級目標推理，核心流程：Encoder:對全圖特征進行自注意力(Self-Attention)計算，捕捉像素級長距離依賴關(guān)系，生成包含全局上下文的特征圖。Decoder:通過可學(xué)習(xí)的N個目標查詢向量(ObjectQueries),結(jié)合Encoder特征與交叉注意力(Cross-Attention),直接預(yù)測N個目標的類別與坐標，無需預(yù)設(shè)錨點。●集合預(yù)測利用匈牙利算法匹配真實目標與預(yù)測結(jié)果，避免錨點冗余匹配問題，實現(xiàn)端到端全局最優(yōu)解。setofimagefeaturessetofboxpredictionsbipartitematchinglossFig.1:DETRdirectlypre我們查閱了大量Detr論文，最終決定選擇D-FINE算法做設(shè)備目標檢測，原因如下：●關(guān)鍵組件提升定位精度包含細粒度分布細化(FDR)和全局最優(yōu)定位自蒸餾(GO-LSD)兩個關(guān)鍵組件。FDR將回歸過程轉(zhuǎn)變?yōu)榈毣怕史植?，提供細粒度中間表示，有效提高定位精度；GO-LSD作為雙向優(yōu)化策略，通過自蒸餾將定位知識從細化分布轉(zhuǎn)移到較淺層，還簡化較深層的殘差預(yù)測任務(wù)。●實現(xiàn)速度與準確性平衡在計算密集型模塊和操作中采用輕量級優(yōu)化，在速度和準確性之間實現(xiàn)了更好的平衡?！耦A(yù)訓(xùn)練表現(xiàn)出色在Objects365上進行預(yù)訓(xùn)練時，D-FINE-L的AP達到57.1%,超越了所有現(xiàn)有的實時檢測器。>檢測精度不足解決方案智飛科技·FDR邊界框生成過程解耦●初始框預(yù)測D-FINE與傳統(tǒng)DETR類似，先將查詢轉(zhuǎn)換為解碼器第一層的幾個初始邊界框，僅作初始化，無需高度準確?！窦毩６确植技毣疍-FINE解碼器不直接解碼新框，而是依據(jù)初始框生成四個概率分布，并逐層迭代細化。這些分布是檢測框的“細粒度中間表示”。結(jié)合加權(quán)函數(shù)，通過微調(diào)表示調(diào)整初始框，可對邊緣進行細微修改或顯著移動。FDR主要優(yōu)勢●簡化監(jiān)督在使用傳統(tǒng)L1損失和IOU損失優(yōu)化檢測框時，利用基本事實和預(yù)測間的“殘差”約束中間概率分布。使每個解碼層更有效關(guān)注和解決定位誤差，隨著層數(shù)增加，優(yōu)化目標變簡單，簡化整體優(yōu)化過程。●復(fù)雜場景中的穩(wěn)健性概率分布代表對每個邊緣不同“微調(diào)”的置信度，讓檢測器在各階段獨立模擬邊緣不確定性，能比直接回歸四個固定值更穩(wěn)健地處理紅外場景中常遇到的模糊、低光、Obj信息太少需依賴背景輔助判斷等。●靈活的細化機制通過加權(quán)和將概率分布轉(zhuǎn)化為最終的框偏移量。精心設(shè)計的加權(quán)函數(shù)確保在初始框準確時進行細粒度調(diào)整，并在必要時進行大幅度偏移。>檢測精度不足解決方案智飛科技·全局最優(yōu)定位全局最優(yōu)定位自蒸餾GO-LSD定框表示(狄拉克δ函數(shù))無法做到的。>同相設(shè)備關(guān)聯(lián)難題解決方案智飛科技同相設(shè)備關(guān)聯(lián)難點在通過代碼邏輯關(guān)聯(lián)三相設(shè)備時，存在視角依賴性問題——A視角下關(guān)聯(lián)正確的結(jié)果，在B視角可能出現(xiàn)關(guān)聯(lián)分視角下檢測框范圍過大，導(dǎo)致相鄰相設(shè)備與該相檢測框產(chǎn)生交集，引發(fā)誤關(guān)聯(lián)>同相設(shè)備關(guān)聯(lián)難題解決方案智飛科技三相設(shè)備實例分割解決設(shè)備關(guān)聯(lián)難題我們采用YoloV8實例分割同時定位設(shè)備目標框與掩碼位置。以本圖為例：訓(xùn)練實例分割網(wǎng)絡(luò)，獲取圖中三個三相設(shè)備的訓(xùn)練實例分割網(wǎng)絡(luò)，獲取圖中三個三相設(shè)備的目標框。同時實例分割將對不同實例目標框進行分割定位出所屬設(shè)備的語義分割掩碼。通過掩碼與設(shè)備目標檢測目標框的IOU計算，確定該設(shè)備對應(yīng)的三相實例0103>同相設(shè)備關(guān)聯(lián)難題解決方案智飛科技Yolov8實例分割Yolov8是一款優(yōu)秀的目標檢測模型，在實例分割任務(wù)中表現(xiàn)出色。如圖所示，圖像輸入后，先經(jīng)Y0L0v8特征提取與融合網(wǎng)絡(luò)處理，得到不同尺度特征圖。分割頭利用這些特征，輸出包含實例分割信息的數(shù)據(jù)。如(32,6300)+(32,120,160)。再經(jīng)過置信度閾值篩選、非極大值抑制等后處理，去除冗余預(yù)測，精準確定目標實例。最終輸出目標數(shù)量、類別及寬高、分割掩碼等信息，能高效區(qū)分圖像中不同實例。使用YOL0v8實檢測頭(84,6300)(64,60,80)檢測頭(84,6300)(64,60,80)特征提取與融合網(wǎng)絡(luò)(3,480,640)(3,480,640)分割頭(32,6300)+(32,120,160)(256,15,20)>背景干擾問題解決方案智飛科技背景干擾導(dǎo)致識別精度下降通過深度估計消除背景深度估計消除背景效果復(fù)雜的熱紅外圖像背景嚴重干擾了算法的識別，例如強烈的太陽光反射干擾問題突出，反射光線在設(shè)備表面形成高亮度區(qū)域，導(dǎo)致紅外圖像整體過亮，前景中的變電設(shè)備與背景之間的灰度差異和溫度對比顯著降低，嚴重影響了兩者的區(qū)分度，極大地增加了從圖像中精準識別和分析變電設(shè)備發(fā)熱特征的難度。通過深度估計去去除優(yōu)化背景的傳統(tǒng)算法不穩(wěn)鍵，原因在于：1、需通過代碼規(guī)則設(shè)定前景種子點區(qū)域，之后通過類似區(qū)域增長的算法區(qū)域擴散，獲得前景區(qū)域與背景區(qū)域。然則種子點及區(qū)域增長規(guī)則并未能良好覆蓋所有場景的背景消除需求。例如電流互感器背景消除時，電流互感器的殼體頂部部分可能會被誤識別為背景2、極度依賴深度估計的精度，在模糊場景，識別效果較差>背景干擾問題解決方案智飛科技—使用深度估計及特征聚類進行背景建模3、使用Al前景特征、及A背景特征指導(dǎo)區(qū)域成長算法，擬合出設(shè)備前景區(qū)域、背景區(qū)域，實現(xiàn)設(shè)備前景區(qū)域的提取。使用該方案可有效的實現(xiàn)變電場景設(shè)備前景區(qū)域的提取，消除背景干擾提升發(fā)熱區(qū)域識別的精度>基于設(shè)備目標框位置編碼的語義分割難點四當同類設(shè)備的發(fā)熱部件實例粘連在一起時，語義分割算法難以區(qū)分實例邊界在哪里感知設(shè)備間的關(guān)聯(lián)關(guān)系，分割出設(shè)備的接入導(dǎo)線難點六11111111111DDD當設(shè)備目標框與附近同類設(shè)備的發(fā)熱部件有交集時，需判定哪個發(fā)熱部件屬于當前設(shè)備智飛科技STEPSTEP我們采用類似transform位置編碼的創(chuàng)新方法，將設(shè)備目標框巧妙編碼融入語義分割網(wǎng)絡(luò)之中。通過這種方式，能夠精準地向語義分割網(wǎng)絡(luò)提示該次分割所重點關(guān)注的設(shè)備實例是哪一個在訓(xùn)練及推理過程中，為進一步優(yōu)化算法，我們采取每張圖片僅輸入一個目標框的策略。這一舉措有效簡化了算法的學(xué)習(xí)難度，避免了多目標帶來的復(fù)雜干擾，讓算法能夠集中“精力”,更專注、更深入地學(xué)習(xí)單一目標框所包含的特征，從而實現(xiàn)其只分割該設(shè)備的所屬部件、關(guān)聯(lián)導(dǎo)線。另外這方法也可通過同類設(shè)備分開分割實現(xiàn)區(qū)分粘連部件的實例邊界>基于設(shè)備目標框位置編碼的語義分割位置編碼指示分割原理●生成位置編碼torch.stack(coords)torch.stack(coords)0的?？梢詾槊總€像素生成一個表示其在圖像中位置的編碼，這里假設(shè)使用相對坐標的方式生成位置編碼?！裨O(shè)置關(guān)注區(qū)域0,30,90,40,30,90,40,50,20,30,20.40,70,10,20,90,60,70,20,3相對位置索引矩陣●將位置編碼融入特征圖將生成的位置編碼與ConvNeXt輸出的128x128特征圖進行融合。可以通過拼接或相加的方式實現(xiàn)，這里以拼接為例?！窈罄m(xù)處理融合后的特征圖可以通過后續(xù)的卷積層、上采樣層等操作來進行分割預(yù)測。智飛科技像素位置編碼方法，以2x2的小圖像為例00000像素縱坐標000000001010-101像素縱坐標000000001010-101torch.flatten(coords,1)001002x4x1準度拉直像素橫坐標分開顯示為相減-----.2x4矩陣coords_flatten:;,None]002x2x2位置矩陣0縱橫坐標合并0,00,-1-1,-10,10,-1-1,1-1,00,00,-11,10,10,0000行、列標加上M-1行、列標加上M-1使偏移從0開始434306384行列標號相加每行不同像素索引3,13,00,10,0行標乘上2M-11,10,10,0具有獨一性3,20,20,10,23.02,06,23,22,21,1相對位置索引矩陣相對位置偏置表(2M-1)x(2M-1)0.50.40.20.90.30.20.10.70.6012345678>基于設(shè)備目標框位置編碼的語義分割智飛科技如左圖，存在三個隔離開關(guān)，且其目標框重疊很大，此時很難區(qū)分哪些分割的轉(zhuǎn)頭、刀口掩碼屬于中間的目標框。使用設(shè)備目標位置編碼提示語義分割方案可很好解決這難題指示分割刀口及轉(zhuǎn)頭>基于設(shè)備目標框位置編碼的語義分割智飛科技傳統(tǒng)分割算法進行分割時不同設(shè)備實例的套管會粘連在一起，無法區(qū)分圖像目標框設(shè)備的套管邊界在哪使用設(shè)備位置編碼后，算法將重點關(guān)注指定進行分割，能有效的解決不同設(shè)備實例的套管粘連到一起的問題>基于設(shè)備目標框位置編碼的語義分割智飛科技難以獲悉設(shè)備的關(guān)聯(lián)關(guān)系，以圖中斷路器為例，圖中共有13跟導(dǎo)線，有6跟跟導(dǎo)線與該斷路器的目標框有交集，的接入導(dǎo)線。使用設(shè)備目標位置編碼提示語義分割方案可很好解決該問題，通過大量數(shù)據(jù)標注與訓(xùn)練可是的A模型識別出與該設(shè)備關(guān)聯(lián)的接入導(dǎo)線系統(tǒng)融合SYSTEMINTEGRATI0N>系統(tǒng)融合智飛科技D一個面向電力行業(yè)的智能線路缺陷分析系統(tǒng)，主要涵蓋線路管理、照片管理、缺陷管理三大模塊。支持在地圖上按照主線、支線多層級顯示線路，并統(tǒng)計、展示線路的缺陷信息，實現(xiàn)線路缺陷的一屏統(tǒng)覽；支持以巡檢任務(wù)為單位對無人機巡檢照片進行統(tǒng)一管理，支持桿塔歸集、批量命名、Al智能缺陷識別等多種照片處理功能，有效提升照片的歸檔分類和缺陷標注效率；支持對缺陷照片按線路進行查看、標注，支持自定義缺陷報告模板和導(dǎo)出報告，助力線路巡檢工作完成閉環(huán)管理。>系統(tǒng)核心價值智飛科技智飛地球數(shù)據(jù)分析軟件，作為電力行業(yè)智能線路缺陷AI模型深度賦能，從“人眼判斷”邁向“算法決策”全流程閉環(huán)管理覆蓋線路管理、照片管理、缺陷管理全生命周期兼容輸電、變電、配電場景，支持主流紅外設(shè)備接入。>智飛地球功能特色多場景智能適配分析具備卓越的多場景適配能力，能夠靈活應(yīng)對變電、輸電等多種電力場景的設(shè)備檢測需求。AI分析算法類型：斷路器模型×隔離開關(guān)模型電流互感器模型支撐絕緣子模型斷路器模型智飛科技兼容多種主流紅外熱成像測溫設(shè)備支持大疆、道通等主流無人機機型熱紅外圖像識別，支持FLIR等主流手持紅外圖像識別。>智飛地球功能特色智飛科技I能夠智能區(qū)分電流致熱型和電壓致熱型設(shè)備>智飛地球功能特色智飛科技針對不同類型設(shè)備，不同地區(qū)規(guī)范，采取相應(yīng)的檢測策略。例如隔離開關(guān)為電流致熱型，可以采用相對溫差判斷法。而避雷器等設(shè)備為電壓致熱型，則配置同類比較判斷法；編輯類型算法名稱類型變電隔離開關(guān)變電備注：該算法可識別隔離開關(guān)-刀口、隔離開關(guān)-轉(zhuǎn)頭、隔離開關(guān)-套管、隔離開關(guān)-導(dǎo)線37/200南網(wǎng)版國網(wǎng)版2023版2016版XXXX版XXXX版恢復(fù)默認+新增判斷序號設(shè)備/部位判斷方法判斷條件操作1隔離開關(guān)-刀口相對溫差判斷法“相對溫差”≥“35.0%并且“熱點溫度”<“90.編輯刪除2隔離開關(guān)-刀口相對溫差判斷法3隔離開關(guān)-刀口相對溫差判斷法“熱點溫度”>“130.0℃”或者“相對溫差”≥95.0%并且“熱點溫度”編輯刪除4“相對溫差”≥“35.0%”并且“熱點溫度”<“90.5或老“相對溫羊”≥“00%”日“執(zhí)占溫度”當前模板：國網(wǎng)版>智飛地球功能特色智飛科技IL查看T下一張支持對電力設(shè)備的三相對比識別，通過對比分析進一步降低誤檢概率，增添加對比照片照片名稱：220kV屏#264B相避雷器當前模板：南網(wǎng)版①無A分析記錄信息顯示：◎紅外參數(shù)◎測溫參數(shù)紅外參數(shù)發(fā)射率發(fā)射率距離環(huán)境溫度0.95反射溫度25.00.95空氣濕度50.022