建設中的應用中國電力科學研究院人工智能研究所2024年8月16日力系統(tǒng)的可觀、可測、可控能力受到極大挑戰(zhàn)。數(shù)字呈現(xiàn)引導優(yōu)化數(shù)字呈現(xiàn)引導優(yōu)化新型電力系統(tǒng)實時決策新型電力系統(tǒng)實時決策Lulil…12024年電力信息通信新技術大會EPICT2023年，以ChatGPT為代表的生成式人工智能技術在各界引發(fā)廣泛熱潮，以海量參數(shù)為最突出特點，其多模態(tài)學習、智能推理能力顯著提升，生成式人工智能如何與行業(yè)深度融合應用成為大家重點關心問題。國家多次強調，結合電力等國民經(jīng)濟主體行業(yè)，打造可融入行業(yè)生產系統(tǒng)的大模型典型應用。a就器0m60多輪次半監(jiān)督學習模式需在GPU集群上進行分布式訓練適用范圍一次約3個月的訓練，數(shù)天的遷移學習相近場景任務下性能接近或超越傳統(tǒng)模型技術演進-生成式人工智能技術突破帶動行業(yè)應用2024年2月16日，OpenAI發(fā)布了文生視頻大模型Sora,根據(jù)用戶的文本提示生成最長60s的高保真視頻，被比作視頻生成領域的GPT-3時刻，被視為“數(shù)據(jù)驅動的物理引擎”或可學習的模擬器。總的來說，生成式人工智能是一個廣泛的概念，涵蓋了多種能夠創(chuàng)造內容的人工智能技術。而大模型技術則是生成式人工智能中專注于某一方面能力優(yōu)化的子集，具體包括視覺大模型、語言大模型、多模態(tài)大模型以及科學計算大模型等通用基礎大模型的呈現(xiàn)形式。桔構化協(xié)作(新叫搖按等，有比較規(guī)律)桔構化協(xié)作(新叫搖按等，有比較規(guī)律)閑聊機器人(虛擬男/女友，心理奢詢等)圖像編概工具(去除水印、提高分解率、暢定站鏡等)圖像自主生成文字生成愿像(根據(jù)文字prompt生成創(chuàng)意圖像)文字生成演示視頻(拼陽圖片素材生成視頻)圖像/視模文本(視覺問答系統(tǒng)、自動配字幕/標題等)達、Meta等公司相繼構建了PaLM、LLaMa等優(yōu)秀模型，極大推進了大模型的研究進展。國內生成式大模型發(fā)展同樣速度驚人，迭代速度呈現(xiàn)指數(shù)級爆發(fā)。中照20502元器理界文本"盅盒nme都理行業(yè)產品國送速E總nm星偏手鼎M0驗悅率◆R然額開部祁養(yǎng)Oe用2齒洲三un理wDa共在理游戲P②雪課整死酒挖然血m初照附u2輛考里r*中心2024年計劃完成設備專業(yè)7類場景下64個專業(yè)模型建設工作，其中涉及大模型的共計7類場景14個模型。在數(shù)力、智力、法力三方面入手，推動基于公司行業(yè)大模型的細分場景模型(L2)建設。應用層服務應用層服務層調度存量場景細分模型電力通別知職服師設備橫型存量場景細分模型電力通別知職服師設備橫型營銷橫性調度模型通用現(xiàn)姓，請義，多模添、科學計算大柳平臺工具平臺工具層數(shù)據(jù)加工樣本庫異構網(wǎng)力的健高中網(wǎng)結畫管理IS/推理作業(yè)調度資源層成熟產品(含公資源層成熟產品(含公2024年電力信息通信新技術大會EPICT構建近干萬級規(guī)模的電力設備影像庫，包含可見光、紅外、深度視覺三類圖像，覆蓋設備(輸變配用)、基建、安監(jiān)等業(yè)務場景，支撐電力行業(yè)視覺大模型微調優(yōu)化(L2)。構建十億級字符的缺銷子是否承重識別銷釘缺銷子是否承重識別銷釘找出在桿塔上，連接在沒有銷子的銷釘2024年電力信息通信新技術大會2024年電力信息通信新技術大會EPICT12類型輸電可視缺陷(21種)1銷子脫落96.1%2桿塔傾斜3導線斷股4絕緣子污穢…類型配電可視缺陷(14種)1銷子脫落2塔頂損壞3絕緣罩缺失4法蘭銹蝕 …LuLiLuLi12024年電力信息通信新技術大會EPICT…13科研工作-無人機智能巡檢典型應用面向無人機實際應用需求，設計基于模型移位量化的存算一體芯片推理框架，平衡通用處理器算力與存算一體算力，并通過知識蒸餾與移位量化技術將大模型輕量化；研發(fā)即插即用、超低功耗、存算一體的機載邊緣智能模組，實現(xiàn)單位功耗下的算力提升58%。本地化模時主本備干向秦深騙8境塊的年模時主本備干向秦深騙8境塊的年德排的、緊法，電族長輕量極墻藥解LLL碼配陳培綠怎件輸入困像分刑理示輸入困像邊緣智能計算邊緣智能計算設備核心板低時延低功耗跨模態(tài)分析模塊語言基礎模塊視覺基礎模塊低時延低功耗跨模態(tài)分析模塊語言基礎模塊Lit12024年電力信息通信新技術大會EPICT14基于多模態(tài)大模型中的圖文融合推理技術，在云側針對電力設備運檢作業(yè)場景下的圖像、文本數(shù)據(jù)進行聯(lián)合分析，構建安全責任關聯(lián)圖譜、違章信息知識庫輔助大模型生成工作建議；在邊側考慮大模型的蒸餾量化，在算力、供電受限條件下實現(xiàn)安全距離、隱患排查推理，支撐大模型邊云協(xié)同應用。lmndcomanuthaitaarylmndcomanuthaitaary簡要描述你發(fā)現(xiàn)的安全隱患根據(jù)周圍環(huán)境，可以判斷這是電力作業(yè)現(xiàn)場，環(huán)境中有2個人。我發(fā)現(xiàn)了如下安全隱患：1.圖像中的兩個人均未佩威安根據(jù)周圍環(huán)境，可以判斷這是電力作業(yè)現(xiàn)場，環(huán)境中有2個人。我發(fā)現(xiàn)了如下安全隱患：1.圖像中的兩個人均未佩威安全帽，2.圖像中的兩個人均未正確穿戴工裝，詳細描述你發(fā)現(xiàn)的安全隱患(邏輯判斷X分析周圍環(huán)境，能夠看到存在電力桿塔、配電線路等，因此可以判斷這是一個電力作業(yè)現(xiàn)場。檢查環(huán)境中的安全隱患：1.配像中的兩個人均未佩貶安全帽.可能導致人員在工作中受傷。2.圖像上方的人未佩戴手套，圖像下方的人未穿戴藍色的工裝，可能會造成安全事故。GenerateTemperaee0.03LlinliLlinli12024年電力信息通信新技術大會EPICT15基于電力設備臺賬、圖譜以及知識庫，提出知識引導與知識嵌入的人機協(xié)同高質量指令構建方法；提出基于知識增強的大模型答案生成方法，提升模型準確性和時效性；并面向檢修復雜業(yè)務邏Q:Q:業(yè)務邏輯邊界難以學習，不利于安全性控制。A:以可靠性為目標，采用知識引導、知識嵌入等方式提升大模型可解釋性。切塊向量化切塊向量化構建context文本分片返回結果檢索匹配 Y Z語義大模型操作任務匯總結果調用子任務復雜任務解答案生成任務執(zhí)行模型選擇任務規(guī)劃Lul12024年電力信息通信新技術大會EPICT智能體調度是指基于大模型技術實現(xiàn)一種模型到應用的組織形式，通過任務拆解、任務編排、協(xié)同執(zhí)行等技術研究，結合現(xiàn)有系統(tǒng)工具、接口及存量模型，實現(xiàn)大小模型協(xié)同應用模式體系，有望與國網(wǎng)公司人工智能“兩庫一平臺”中的模型庫進行融合應用。長期記憶短期記憶記憶↓(調度中樞)(調度中樞)1大模型負責復雜任務分解、形成調用鏈、向對應小模型小模型負責響應大模型指令，提供推理服務，向大模型LulilLulil2024年電力信息通信新技術大會EPICT學17智能體中心28智能服務算法倉庫算法訓練③創(chuàng)意社區(qū)尊法管理+注冊置法+加法蝙排算法類型算法場景算法廠商工作臺智能體管理知識數(shù)據(jù)數(shù)字資產應用管理用量統(tǒng)計設備管理任務管理算法解析數(shù)據(jù)公共安全治安防控進路交遞公共安全謝安防控譚路文通公共安全公共安全公共安全治公共安全治安防控公共安全公共安全公共安全公共安壘公共安