國網(wǎng)浙江省電力有限公司杭州供電公司電等發(fā)展隊2024年11月22日賽題介紹高精度違章風險辨識，滿足智能化、精益化的運檢需求，提升電力現(xiàn)場安監(jiān)智能化管控水平。未規(guī)范著裝高空作業(yè)未正確佩戴安全帶未規(guī)范著裝梯上作業(yè)無人扶梯跨越(下穿)安全圍欄作業(yè)現(xiàn)場孔洞未遮蓋梯上作業(yè)無人扶梯跨越(下穿)安全圍欄十一張圖片同時判斷框出目標給出解釋7個典型作業(yè)場景理解：變電、輸電、基建、配電高壓、配電低壓、室內(nèi)、室外判斷圖片中高處作業(yè)人數(shù)指明違章具體內(nèi)容嘆任務背景嘆任務背景國網(wǎng)公司持續(xù)關注人工智能在安監(jiān)、設備、營銷、調(diào)度等專業(yè)領域的應用，下發(fā)《國家電網(wǎng)有限公司關于印發(fā)人工智能規(guī)?；瘧?024年專項行動方案的通知》,編制《人工智能支撐安監(jiān)業(yè)務規(guī)?；瘧玫湫驮O計方案》,組織智能應用技能比武。在安監(jiān)領域，聚焦違章督查覆蓋面有限、人員準入效率不高、安全教育針對性不強、安全裝備融合應用不足等痛點、難點，梯次推進“安監(jiān)+人工智能”典型場景落地與規(guī)?；瘧茫苿影踩芾硐驍?shù)字化、智能化轉型升級。□加快推進人工智能技術與電網(wǎng)業(yè)務深度融合，做深做實人工智能規(guī)?；瘧?，提升電網(wǎng)智能化水平*□加快推進人工智能技術與電網(wǎng)業(yè)務深度融合，做深做實人工智能規(guī)?；瘧?，提升電網(wǎng)智能化水平國家電網(wǎng)有限公司關于印發(fā)人工智能規(guī)?；瘧?024年專項行動方案的通知典型設計方案口深化推廣型場景應用，現(xiàn)場作業(yè)智能管控方面，深化深國家電網(wǎng)有限公司關于印發(fā)人工智能規(guī)?；瘧?024年專項行動方案的通知典型設計方案發(fā)展，公司締制了人工智能規(guī)?；瘧?024年專項行動方案，發(fā)展，公司締制了人工智能規(guī)模化應用2024年專項行動方案，口建立大模型與專用模型融合應用機制，針對開展大模型與專用模型串行推理，嘆任務背景嘆任務背景點關心問題。大語言模型多模態(tài)大模型國內(nèi)CERS中國能源研完會CERS中國能源研完會本次任務涉及圖像中目標、場景、人數(shù)識別，根據(jù)任務要求并結合大小模型不同能力規(guī)劃任務實現(xiàn)技技術選擇，在實際業(yè)務場景中，需要考慮場景復雜多變、算力資源等因素，并保障識別準確率高，減少對作業(yè)現(xiàn)場的影響，最終選取小模型定位+大模型研判方式，能充分結合大小模型優(yōu)勢為現(xiàn)場賦能。疊瓦式小模型+大模型路徑：多個小模型處理特征明確、簡單的識別任務，大模型處理復雜任務優(yōu)勢：可利舊傳統(tǒng)小模型算法，識別任務劣勢：需要根據(jù)任務訓練N個小模型，沒有深度融合大小模型，對模型調(diào)整靈活性不足小模型定位+大模型研判路徑：小模型進行違章定位，再由大模型推理研判，協(xié)同處理優(yōu)勢：充分利用小模型快速定位和大模型推理判斷的能力，識別準確率高，高效利用算力資源路徑：由一體化多模態(tài)大模型完成所有識別任務(包括場景識別、違章識別、人數(shù)判斷)優(yōu)勢：多模態(tài)大模型綜合能力強，可同時面向多種復雜任務1.傳統(tǒng)小模型訓練目標識別訓練成本高，所需訓練樣本大2.小模型在多樣化的電力安監(jiān)場景中范化性差3.小模型在推理中無法高效利用算力資源，推理成本高1.電力安監(jiān)場景現(xiàn)場復雜，傳統(tǒng)模型無法進行復雜推理2.傳統(tǒng)小模型只能進行格式化輸出，無法理解用戶需求3.電力場景蘊含專業(yè)知識復雜，傳統(tǒng)模型難以適配1.在實際應用中，不同規(guī)模的模型各有優(yōu)缺點，單個模型難以同決多任務需求，需要多個模型進行組合的方式各展其能，效果最大化基于視覺大模型訓練基于視覺大模型訓練少量樣本高效微調(diào)多模態(tài)大語言模型多模態(tài)大語言模型多模態(tài)思維鏈技術視覺指令細粒度理解大小模型協(xié)同任務拆分1+1>2外部工具任務小模型+行業(yè)大模型外部工具任務小模型+行業(yè)大模型電力多模態(tài)大模型知識知識標注，在模型訓練平臺選擇模型底座Qwen2-VL模型(多模態(tài)大模型),對標注完成的樣本進行測試，樣本收集樣本收集電力多模態(tài)大模型知識注入標注數(shù)據(jù)集微調(diào)模型模型應用未規(guī)范著裝電力多模態(tài)大模型知識注入標注數(shù)據(jù)集微調(diào)模型模型應用基座大模型算法CERS中國能源研完會CERS中國能源研完會根據(jù)任務內(nèi)容，收集超30000張樣本，將其分類后使用數(shù)據(jù)處理工具對樣本進行預標注，預標注準確率約70%,由人工校核，剔除無效標注內(nèi)容并補充標注，構建不同類型違章的樣本集。缺陷原因：未佩戴安全帽、小臂裸露、小腿裸露缺陷原因：無人扶梯、單手扶梯缺陷原因：跨越安全圍欄，下穿安全圍欄屬性一屬性一屬性二目標一目標二特征訓練模型選擇：使用具備多模態(tài)理解能力的視覺大模型進行算法訓練，視目標檢測能力。大模型處理流程大模型處理流程訓練方式：通過圖文對齊使模型先理解識別目標的定義后，再進行圖像檢測。優(yōu)勢：在更換識別目標或加入新目標時，相較于傳統(tǒng)小模型訓練方式使用通用圖文數(shù)據(jù)，例如生活場景照片，將圖片與文本的特征向量映射到同一(相似)空間，訓練多模態(tài)大語言模型圖文理解能力，提升模型泛化性，使多模態(tài)大模型在面對復雜場景中保持良好的推理能力。aCaCc(2)Createdatasetcassifipap一pap一Q1birdNetwork1Network1Network(3)Useforzero-shotprediT"T"111wT;wT;g.CERS中國能源研完會CERS中國能源研完會采用“視覺大模型”與“多模態(tài)大語言模型”深度結合的方式，充分利用視覺大模型一次識別多種明確特征的目標檢測能力與多模態(tài)大模型的復雜場景推理判斷和泛化分析能力，同時將業(yè)務經(jīng)驗轉化為模型判斷依據(jù)，采用低代碼的形式嵌入模型識別流程中，簡化復雜場景提升模型性能。圖片小臂裸露圖片小臂裸露單人多人未使用腰帶未使用腰帶是否跨越、下穿圍欄多模態(tài)大模型梯上作業(yè)無人扶梯無人扶梯無人扶梯預測框輔助判別使用對小尺寸目標、以及特定物品的檢測效果較好的YOLO模型，增加識別及推理邏輯，對特定的物體以及人體進行檢測，并通過邏輯判斷的方式對多模態(tài)大模型的預測結果進行增強。機柜機柜輔助框電表輔助框閾值判斷閾值判斷場景識別技術路線：對作業(yè)現(xiàn)場定頻抽幀，由多模態(tài)大模型識別場景，并及時開啟該特殊作業(yè)場景下反違章算法。違章識別技術路線：利用小模型算法“低計算資源需求”“快速識別及響應”的優(yōu)勢，對作業(yè)現(xiàn)場圖像進行初步違章定位，識別結果由多模態(tài)大模型結合專業(yè)知識和經(jīng)驗進一步智能研判。主主重60o任務拆解算法在安監(jiān)風險管控系統(tǒng)中調(diào)用智能輔助監(jiān)控模型，構建安監(jiān)作業(yè)巡查任務，對作業(yè)現(xiàn)場多類型違章、場景數(shù)據(jù)進行統(tǒng)一管理和分析，實時監(jiān)控作業(yè)情況，并聯(lián)動安監(jiān)知識庫，根據(jù)違章巡查過程中的發(fā)現(xiàn)和分析結果生成巡檢報告。知識庫知識庫CERS中國能源研完會CERS中國能源研完會對布控球進行智能交互改造，改變原有在電腦端監(jiān)督、人工審核違章圖片再電話通知現(xiàn)場的事后發(fā)現(xiàn)違章再處理方式，打造事前場景識別風險預測、事中違章識別告警提醒、事后作業(yè)管理安全分析的作業(yè)全流程監(jiān)管模式，輔助安全監(jiān)督員監(jiān)察現(xiàn)場，減少違章行為和現(xiàn)場安全隱患。原違章處置流程智能反違章處置流程模型調(diào)用作業(yè)現(xiàn)場作業(yè)負責人帥反違章識別流程告警圖像