工業(yè)大模型技術(shù)應(yīng)用與發(fā)展報告2024人工智能的幾個相關(guān)概念 大模型：即基礎(chǔ)模型，在海量數(shù)據(jù)和計算資源的基礎(chǔ)上通過預(yù)先訓(xùn)練出來的，具有大參數(shù)規(guī)模的深度學(xué)習(xí)模型大模型：即基礎(chǔ)模型，在海量數(shù)據(jù)和計算資源的基礎(chǔ)上通過預(yù)先訓(xùn)練出來的，具有大參數(shù)規(guī)模的深度學(xué)習(xí)模型CVGPT：生成式預(yù)訓(xùn)練模型，大模型的一種類型，可生成內(nèi)容GPT：生成式預(yù)訓(xùn)練模型，大模型的一種類型，可生成內(nèi)容ChatGPT是GPT人工智能 機器學(xué)習(xí) 深度學(xué)習(xí)

大規(guī)模預(yù)訓(xùn)練模型生成式AI（AIGC）

通用人工智能：AI終極發(fā)展目標(biāo)，具備認(rèn)知、理解、推理、學(xué)習(xí)、創(chuàng)造和社會協(xié)作等能力通用人工智能：AI終極發(fā)展目標(biāo)，具備認(rèn)知、理解、推理、學(xué)習(xí)、創(chuàng)造和社會協(xié)作等能力生成式AI：能夠生成文本、圖片、視頻等內(nèi)容的智能技術(shù)，大模型為其提供了新的技術(shù)手段早期GANNLP大模型/通用人工智能（AGI）1.1大模型成為通用AI新范式，引發(fā)工業(yè)應(yīng)用變革討論 產(chǎn)業(yè)應(yīng)用場景成為大模型最佳“練兵場”——科技日報AI智能制造的系統(tǒng)重構(gòu)產(chǎn)業(yè)應(yīng)用場景成為大模型最佳“練兵場”——科技日報AI智能制造的系統(tǒng)重構(gòu)——百度工業(yè)大模型將會帶來一場新的工的基礎(chǔ)設(shè)施——中工互聯(lián)制造業(yè)是AI大模型的重要戰(zhàn)場，未來10年最大的機會——阿里…熱門應(yīng)用用戶破億所需時間2年應(yīng)用程序商店干億參數(shù)基礎(chǔ)模型GPT-1:1.17億GPT-2:15億GPT-3:1750億GPT=4：1.48萬億......

AI產(chǎn)品滲透速度全球排名第2 引發(fā)產(chǎn)業(yè)領(lǐng)域應(yīng)用的熱烈討論與憧憬5天ChatGPTThreads短視頻社交E級智能超算總算力超195PFlops我國最快超算“神威·5天ChatGPTThreads短視頻社交E級智能超算總算力超195PFlops我國最快超算“神威·光”1.7倍TB級數(shù)據(jù)超3000億單詞830GB代碼數(shù)據(jù)1000個外包團隊標(biāo)注App微信2個月9個月1.2年即時通訊1.2工業(yè)大模型與專用小模型成為工AI發(fā)展的兩條協(xié)同路徑 工業(yè)大模型=工業(yè)+大模型工業(yè)大模型=工業(yè)+大模型滿足大模型技術(shù)基本特征為基礎(chǔ)框架練，以實現(xiàn)良好的通用性模型參數(shù)一般達十億以上（模型參數(shù)已達萬億級）具備在工業(yè)各環(huán)節(jié)進行應(yīng)用的能

新場景：應(yīng)CAD生成等新應(yīng)用…用層 泛化性強：單模面 應(yīng)對多任務(wù)，更合長尾落地工 低成本運維：低成程 開發(fā)+維護層面

工業(yè)專用小模型傳統(tǒng)模型結(jié)構(gòu)工業(yè)大模型Transformer結(jié)構(gòu)特定任務(wù)：工業(yè)專用小模型傳統(tǒng)模型結(jié)構(gòu)工業(yè)大模型Transformer結(jié)構(gòu)模型更新快：少，可進行快速迭代輕量化部署：所需存儲空間和算力更小當(dāng)前(可用于)工業(yè)領(lǐng)域大模型超30個1.3大模型初步形成賦能工業(yè)的核心方式與產(chǎn)品形態(tài) 當(dāng)前(可用于)工業(yè)領(lǐng)域大模型超30個3類主要賦能方式基于通用底座直接賦能行業(yè)基于通用底座進行場景化適配調(diào)優(yōu)或形成外掛插件工具面向工業(yè)或具體任務(wù)針對性開發(fā)

ChatGPTPLC編程ChatGPTPLC編程YonGPTYonGPT星火大模型星火大模型…式說大模型制造、礦山等行式說大模型業(yè)大模型EinsteinGPT業(yè)大模型EinsteinGPT3D打印GPT…3D打印GPTAlphaFold2AlphaFold2ESMFoldESMFold科學(xué)大模型Uni-Mol…科學(xué)大模型Uni-Mol

4類模型產(chǎn)品形態(tài)大模型API調(diào)用或軟件方案基于ChatGPT直接開展智能客服等應(yīng)用成熟工業(yè)產(chǎn)品疊加基礎(chǔ)模型能力XAE客戶端，實現(xiàn)基于對話輔助編程外掛插件工具Authentise推出插件，用浙大開發(fā)用于表格處理的用于私有化部署的一體機科大訊飛推出星火一體機2.1大模型賦能工業(yè)領(lǐng)域的適用邊界與核心能力 用問題：大模型并非萬金油 大場景

核心能力 工業(yè)領(lǐng)域應(yīng)用變革 工業(yè)場景具備一定通用性

語言理解

預(yù)置型對話→與設(shè)備/工業(yè)系統(tǒng)的自然交互與推理務(wù) 數(shù)據(jù)邊界對決策效果有直接影響大語料/語料/規(guī)則約束充足問題邊界清晰結(jié)果存在于封閉信息環(huán)境，不依賴語料外的信息

生成創(chuàng)作識別/模擬預(yù)測多模態(tài)

規(guī)則式生成→工業(yè)代碼/圖文內(nèi)容的”涌現(xiàn)式”生成局部建模預(yù)測→基于全局信息高效高精度預(yù)測優(yōu)化單一格式工業(yè)數(shù)據(jù)處理→多格式數(shù)據(jù)綜合轉(zhuǎn)換分析2.2應(yīng)用總體視圖：4類核心模型、15+應(yīng)用場景，目前處于初步探索階段 語言大模型

專用大模型

多模態(tài)大模型

視覺大模型應(yīng)用模式部署方式8%應(yīng)用模式部署方式8%15%2%75%工業(yè)各環(huán)節(jié)圍繞語言、專用、多模態(tài)和視覺四類大模型開展探索當(dāng)前以大語言模型為主，4類模型應(yīng)用占比：75%、15%、8%和2%通用模型的場景化適配調(diào)優(yōu)是主要部署方式，問答率先切入

最具變革潛力

率先切入

交互為主要應(yīng)用模式2.2（1）大語言模型：主要應(yīng)用于工業(yè)問答交互、內(nèi)容生成，以提升任務(wù)處理效率為主，暫未觸及工業(yè)核心環(huán)節(jié)有望形成具有認(rèn)知智能的數(shù)字員工及超級自動化鏈路，實現(xiàn)從需求理解到規(guī)劃、自動化執(zhí)行及結(jié)果交付的全鏈條能力工業(yè)相關(guān)性高 工業(yè)代碼生成：基輸入文本實現(xiàn)PLC代碼生成與輔助編程

24% 68%8%

21%

74%設(shè)備控制與維保助手：從基于對話實現(xiàn)設(shè)備指令識別與維保知識獲取低研發(fā) 生產(chǎn) 設(shè)

工業(yè)管理助手：實現(xiàn)BI數(shù)據(jù)查詢與圖表繪制工業(yè)文檔外掛與快速檢索：實現(xiàn)設(shè)備診斷、知識查詢、員工培訓(xùn)、設(shè)計合規(guī)檢查通用文檔生成：基于輸入文本實現(xiàn)設(shè)計方案、報告與郵件編寫管理內(nèi)容生成 問答交互

問答交互:應(yīng)用相對廣泛，行業(yè)與設(shè)的()開數(shù)據(jù)主要料 運維助手羅克韋爾：將數(shù)字孿生與AIGC相結(jié)合，實現(xiàn)設(shè)備狀態(tài)以及設(shè)備故障原因咨詢運維助手管理助手C3：通過自然語言對話，以文字+統(tǒng)計圖完成業(yè)務(wù)指標(biāo)的分析和洞察管理助手檢索助手中工互聯(lián)：基于智工大模型實現(xiàn)跨行業(yè)、檢索助手跨領(lǐng)域和跨崗位工業(yè)專用知識檢索內(nèi)容生成：已能實現(xiàn)通用內(nèi)容和基本控制輯代的生成 工業(yè)代碼西門子：與微軟合作，基于GPT開發(fā)代碼生成工具，可通過NLP輸入生成PLC代碼工業(yè)代碼通用內(nèi)容BACANCY：基于RPA+GPT實現(xiàn)自動郵件回復(fù)等功能通用內(nèi)容（2）向，進一步增強研發(fā)模式的創(chuàng)新能力面向工業(yè)設(shè)計、蛋白質(zhì)結(jié)構(gòu)預(yù)測及藥物研發(fā)創(chuàng)新等場景，擴展創(chuàng)新邊界、降低創(chuàng)新成本與時間工業(yè)相關(guān)性需求導(dǎo)向的輔助設(shè)計高 智能輔助設(shè)計：自動生成大量符合需求的

29%

71%

77%

藥物/材料研發(fā)突破

智能輔助設(shè)計:基于圖像或文本進行2D-CAD草圖建 化 高效研發(fā)：整合基因庫/結(jié)構(gòu)庫，加速材料發(fā)現(xiàn)、藥物分子結(jié)構(gòu)發(fā)現(xiàn)、性能預(yù)測效率低研發(fā) 設(shè)備、生產(chǎn)、管理格式轉(zhuǎn)換 知識發(fā)

DeepMind：基于圖像或文本進行2D-CAD草圖構(gòu)建，受樣本數(shù)量+生成規(guī)范的限制，僅個別企業(yè)開展驗證性探索基于470萬CAD草圖數(shù)據(jù)訓(xùn)練每個CAD草圖對應(yīng)構(gòu)建藥物材料研發(fā):聚焦蛋白質(zhì)/藥物的性質(zhì)結(jié)構(gòu)匹配力的測優(yōu)化 Meta：ESMFold模型能夠基于序列輸入，實現(xiàn)蛋白質(zhì)結(jié)構(gòu)和序列的預(yù)測，模型參數(shù)已達150億，僅2周完成包含罕見物質(zhì)的6億+蛋白結(jié)構(gòu)預(yù)測華為：盤古藥物分子大模型，能夠基于圖結(jié)構(gòu)藥物分子輸入，實現(xiàn)高效的藥物分子生成和藥物分子定向優(yōu)化，生成1億藥物分子，新穎性達99.68%2.2（3）多模態(tài)大模型與視覺大模型：在裝備智能化和視覺識別領(lǐng)域應(yīng)用獲得初步嘗試結(jié)合視頻、語義、執(zhí)行等多類型數(shù)據(jù)綜合分析，有望構(gòu)建認(rèn)知能力的裝備、系統(tǒng)方案及智能工廠工業(yè)相關(guān)性多模態(tài)大模型設(shè)備診斷：多模態(tài)大模型高+外掛知識庫，對異常圖像、故障機理等進行融合分析，提升復(fù)雜異常識別精度高多模態(tài)大模型：多模態(tài)大模型：過多類型數(shù)據(jù)處理強化綜合認(rèn)知水平

10%17%

73%

14%7%視覺大模型：在有限數(shù)據(jù)前提下增強單個AI質(zhì)檢/視覺大模型：在有限數(shù)據(jù)前提下增強單個AI質(zhì)檢/力，降低開發(fā)門檻與成本

視覺大模型擬訓(xùn)練與交互：基于視覺-語言-動作大模型識別當(dāng)前環(huán)境自動生成控制指令，增強機器人復(fù)雜任務(wù)執(zhí)行能力低

缺陷檢測/設(shè)備巡檢：基于視覺大模型替代原有小模型，實現(xiàn)單模型多視覺任務(wù)多場景賦能

國家電網(wǎng)：電力大模型每分鐘處理100張異常圖像、同時識別20類缺陷，識別效率是傳統(tǒng)AI算法的10倍研發(fā) 設(shè)

視覺大模型生產(chǎn) 管

具身智能:指令理解+感知環(huán)境信息+虛擬化方式訓(xùn)練，自動生成機器人動作規(guī)劃路徑哈工大：利用語言視覺大模型根據(jù)圖像進行工業(yè)異常檢測，并輸出具身智能:指令理解+感知環(huán)境信息+虛擬化方式訓(xùn)練，自動生成機器人動作規(guī)劃路徑質(zhì)量特征描述

斯坦福：基于視覺語言模型，驅(qū)動設(shè)備診斷:基于對話，實現(xiàn)顏色、形狀、數(shù)量等復(fù)雜異常的詳細(xì)描述機器人設(shè)備診斷:基于對話，實現(xiàn)顏色、形狀、數(shù)量等復(fù)雜異常的詳細(xì)描述谷歌：RT-2基于視覺-動作-語言大模型，利用網(wǎng)絡(luò)圖片文字?jǐn)?shù)據(jù)訓(xùn)練，通用識別

問答交互 綜合應(yīng)用

在陌生情景執(zhí)行率達到62%3技術(shù)體系：大模型是工業(yè)AI深度學(xué)習(xí)路徑的深化與拓展 4

AI應(yīng)用技術(shù)的工業(yè)領(lǐng)域遷移機器視覺、NLP、語音識別CV、語言、專用大模型...

6工業(yè)場景與應(yīng)用適配技術(shù)數(shù)據(jù)可用（小樣本）、可解釋性、工業(yè)場景與應(yīng)用適配技術(shù)數(shù)據(jù)可用（小樣本）、可解釋性、模型效率…

通過場景適配和多種形式部署調(diào)用，實現(xiàn)工業(yè)大模型落地賦能專用大模型有望成為賦能行業(yè)主力軍算 核心理論 Transformer…探索技術(shù)&類腦探索技術(shù)&類腦

大模型與知識工程等固有技術(shù)融合成為工業(yè)應(yīng)用探索方向技 數(shù)據(jù)科學(xué)術(shù)3 機器學(xué)習(xí)深度網(wǎng)絡(luò)其他學(xué)習(xí)方式

知識工程專家系統(tǒng)知識圖譜 臺

硬件、數(shù)據(jù)定義大模型能力極限，高質(zhì)基礎(chǔ) 2支撐1

工業(yè)數(shù)據(jù)/語料算力

量工業(yè)數(shù)據(jù)成為大模型從能用到好用的有效途徑通用AI (工業(yè))大模型算力：端/邊緣側(cè)推理的大模型專用計算有望成為未來趨勢大模型訓(xùn)練推理算力需求相對可控大模型每10億參數(shù)（1G模型文件）所需最低顯存需求

工業(yè)邊端側(cè)推理需滿足工業(yè)應(yīng)用及峰值等需求模型精度訓(xùn)練顯存微調(diào)顯存（LORA）推理顯存float32(全)14G5G4G模型精度訓(xùn)練顯存微調(diào)顯存（LORA）推理顯存float32(全)14G5G4GFP167G2.4G2Gint83.5G1.2G1Gint41.8G0.6G0.5G已有大模型一體機及端側(cè)優(yōu)化芯片，實現(xiàn)推理加速西工大：基于大模型的多設(shè)備協(xié)同，二次訓(xùn)練云端大算力和終端小算力的平衡使算力分配和性能達到最優(yōu)工業(yè)算力智能分配可能成為關(guān)鍵二次訓(xùn)練云端大算力和終端小算力的平衡使算力分配和性能達到最優(yōu)工業(yè)算力智能分配可能成為關(guān)鍵3

聯(lián)合華為發(fā)布星火一體機，提供2.5P算力

愛芯元智-AX650N芯片，可達361FPS3.2數(shù)據(jù)：海量高質(zhì)工業(yè)數(shù)據(jù)/語料庫將成為落地部署的關(guān)鍵要素 預(yù)訓(xùn)練（行業(yè)級）基礎(chǔ)數(shù)據(jù)十萬級

任務(wù)數(shù)據(jù)

微調(diào)（場景級）對數(shù)據(jù)配比要求較高工業(yè)數(shù)據(jù)在所有對數(shù)據(jù)配比要求較高工業(yè)數(shù)據(jù)在所有數(shù)據(jù)的占比約10-15%

應(yīng)用Prompt語料視覺大模型語言大模型

某模型A：100W+工業(yè)圖像——某模型A：40TB中文文本

某模型A：1000-10000，部分簡單場景數(shù)百張幾類核心提示語料庫工業(yè)問答檢索提示詞幾類核心提示語料庫工業(yè)問答檢索提示詞問答場景：X查詢內(nèi)容-X回復(fù)格式…工業(yè)內(nèi)容/提示詞分析規(guī)劃場景：X語言-X生成格式…控制指令提示詞設(shè)備控制場景：通過function+prompt將語言指令和action映射某模型B：2000個左右工業(yè)問答對專業(yè)任務(wù)/模態(tài)

模型效果與數(shù)據(jù)量強相關(guān)，通常需億級以上規(guī)模數(shù)據(jù)集RT-2：13個機器人在辦公室等環(huán)境中收集的17個月數(shù)據(jù)盤古科學(xué)計算大模型：17億個化合物分子的類藥化學(xué)空間Meta-ESMFold：1.25億蛋白質(zhì)分子結(jié)構(gòu)數(shù)據(jù)3.3工具鏈+模型：低門檻開發(fā)和輕量化部署成為工業(yè)大模型探索重點 各主體圍繞大模型開發(fā)到部署全流程工具鏈，多推理后端兼容、半自動微調(diào)成為重點飛槳通過標(biāo)準(zhǔn)化部署接口，實現(xiàn)不同推理后端的零成本遷移飛槳通過標(biāo)準(zhǔn)化部署接口，實現(xiàn)不同推理后端的零成本遷移兼容20邊端全場景協(xié)同

知識蒸餾成為模型層面降低工業(yè)部署應(yīng)用成本的探索途徑小模型-1知識傳遞小模型-2小模型-1知識傳遞小模型-2大模型2個主流路徑，工業(yè)領(lǐng)域以跟隨應(yīng)用為主模型微調(diào)由手動向半自動化演進

模型壓縮 模型增強企業(yè)調(diào)參方式MakerSuite工具迭代prompt自動合成數(shù)據(jù)擴充數(shù)據(jù)集基于信息抽取能力，簡化訓(xùn)練數(shù)據(jù)獲取集成AIGC能力，基于自然語言實現(xiàn)調(diào)參 手動調(diào)參 企業(yè)調(diào)參方式MakerSuite工具迭代prompt自動合成數(shù)據(jù)擴充數(shù)據(jù)集基于信息抽取能力，簡化訓(xùn)練數(shù)據(jù)獲取集成AIGC能力，基于自然語言實現(xiàn)調(diào)參

在相同的帶標(biāo)簽數(shù)據(jù)形成高效小規(guī)模網(wǎng)絡(luò)

利用其它數(shù)據(jù)資源或優(yōu)化策略(相互學(xué)習(xí)等)提高子模型性能可視化界面參數(shù)設(shè)置

模型性能觀測

對開源大模型進行蒸餾+預(yù)訓(xùn)練+指令微調(diào)，形成工業(yè)大模型AInno-15B（150億參數(shù)）對開源大模型進行蒸餾+預(yù)訓(xùn)練+指令微調(diào)，形成工業(yè)大模型AInno-15B（150億參數(shù)）實例無默認(rèn)參數(shù)人工調(diào)參 無默認(rèn)參數(shù)人工調(diào)參模型性能觀測3.4基礎(chǔ)模型：通用大模型的快速演進和專用大模型的能力升級 面向更多樣數(shù)據(jù)類型、更強綜合能力的大模型技術(shù)迭代創(chuàng)新，為工業(yè)領(lǐng)域應(yīng)用創(chuàng)造更大前景專業(yè)任務(wù)大模型的數(shù)字支撐能力提升是主要方向，在藥物創(chuàng)新發(fā)現(xiàn)與產(chǎn)品設(shè)計形成初步成果面向更多樣數(shù)據(jù)類型、更強綜合能力的大模型技術(shù)迭代創(chuàng)新，為工業(yè)領(lǐng)域應(yīng)用創(chuàng)造更大前景專業(yè)任務(wù)大模型的數(shù)字支撐能力提升是主要方向，在藥物創(chuàng)新發(fā)現(xiàn)與產(chǎn)品設(shè)計形成初步成果1、時序數(shù)據(jù)大模型有望最大化利用海量工業(yè)設(shè)備與過程數(shù)據(jù)，賦能流程優(yōu)化、設(shè)備診斷和異常識別TimeGPT

1、依托大規(guī)模結(jié)構(gòu)化專業(yè)數(shù)據(jù)嵌入表示能力，訓(xùn)練數(shù)據(jù)樣本的全面性是提升模型性能核心訓(xùn)練：超1000億個時序數(shù)據(jù)點測試：超30萬個時序數(shù)據(jù)預(yù)測評估2、多模態(tài)能力持續(xù)創(chuàng)新，加速實現(xiàn)工業(yè)圖像幾何、機理、文檔等各類數(shù)據(jù)模型的綜合感知和認(rèn)知推理GPT-4.5融合了處理3D模型和視頻的能力

2、由一維序列、二維拓?fù)鋱D轉(zhuǎn)向三維表征的先進表征技術(shù)是探索方向機構(gòu)細(xì)分方向大模型數(shù)據(jù)集大小機構(gòu)細(xì)分方向大模型數(shù)據(jù)集大小Meta蛋白質(zhì)結(jié)構(gòu)預(yù)測等ESMFoldUR50/D1.25億（1維）華為生成優(yōu)化Pangu藥物分子17億（2維）深勢科技分子性質(zhì)預(yù)測等Uni-Mol多數(shù)據(jù)集混合2.09億（3維）基于分子特性開展探索，在領(lǐng)域93%數(shù)據(jù)集中表現(xiàn)最優(yōu)深勢科技發(fā)布Uni-Mol，直接將分子三維結(jié)構(gòu)坐標(biāo)信息作為模型輸入輸出合共生是發(fā)展趨勢賦能圖譜大模型

加速圖譜構(gòu)建到應(yīng)用過程本體構(gòu)建使用大模型Prompt生成事件的本體訓(xùn)練前

作為預(yù)訓(xùn)練語料

數(shù)據(jù)增強利用GPT生成標(biāo)注數(shù)據(jù)/數(shù)據(jù)清洗，降低知識圖譜標(biāo)注端成本訓(xùn)練中

譜中的結(jié)構(gòu)化信息(三元組)融入預(yù)訓(xùn)練模型

知識抽取與應(yīng)用將知識圖譜作為大模型訓(xùn)練評估

基于GPT做信息抽取、圖譜補全訓(xùn)練后

知識圖譜注入prompt/

知識圖譜對大模型生成結(jié)果進行知識校驗，增強事實性增強大模型事實驗證能力，擴展專業(yè)知識范疇，提升可解釋性

賦能大模型3.6應(yīng)用部署：三類核心部署方式，當(dāng)前以通用模型場景化應(yīng)用為主 無參數(shù)更新-Prompt設(shè)計外掛知識庫（公/私）參數(shù)更新微調(diào)（公/私）上下文學(xué)習(xí)/知識梳理特定領(lǐng)域?qū)Ｓ媚Ｐ停ㄋ剑?通用模型應(yīng)用（公） 無參數(shù)更新-Prompt設(shè)計外掛知識庫（公/私）參數(shù)更新微調(diào)（公/私）上下文學(xué)習(xí)/知識梳理特定領(lǐng)域?qū)Ｓ媚Ｐ停ㄋ剑┕I(yè)應(yīng)用工業(yè)應(yīng)用API接口/插件Prompt設(shè)計工業(yè)應(yīng)用部署原理API接口/插件Prompt設(shè)計工業(yè)應(yīng)用

工業(yè)大模型 微調(diào)/量化/蒸餾/增強...微調(diào)/量化/蒸餾/增強...

領(lǐng)域大模型 訓(xùn)練訓(xùn)練典型場景

型 領(lǐng)域數(shù)據(jù)庫匹配/檢索Prompt設(shè)計通用場景領(lǐng)域數(shù)據(jù)庫匹配/檢索Prompt設(shè)計場景公開語料充足郵件回復(fù)…程序

通用大模型 外掛知識庫基于模式通用能力，結(jié)合外掛知識庫工業(yè)領(lǐng)域知識信息代碼生成、故障缺陷提取分析、企業(yè)培訓(xùn)…百度-文心：上傳設(shè)備故障文檔，分析故障原因SymphonyAI：外掛工業(yè)數(shù)據(jù)集，實現(xiàn)機器診斷

型 私有數(shù)據(jù)庫數(shù)據(jù)相對充足，任務(wù)私有數(shù)據(jù)庫工業(yè)語料依賴性強Salesforce-EinsteinGPT：基于ChatGPT自有數(shù)據(jù)，提高效率華為-盤古行業(yè)大模型

模型結(jié)構(gòu)設(shè)計模型結(jié)構(gòu)設(shè)計數(shù)據(jù)充足、專有性隱私性強，全部依賴領(lǐng)域語料研制…臉書-ESMFold結(jié)構(gòu)預(yù)測，150億參數(shù)人17個月數(shù)據(jù)的VLA模型4產(chǎn)業(yè)體系：不同主體布局以及技術(shù)產(chǎn)品升級主體 AI廠商體系

工業(yè)技術(shù)服務(wù)商

初創(chuàng)企業(yè)

科研機構(gòu)/科技巨頭工業(yè)大模型產(chǎn)品方案工業(yè)產(chǎn)品融合行業(yè)/型基礎(chǔ)大模型框架平臺計算設(shè)施

等場景大模型+藥物分CV等基礎(chǔ)大模型大模型全鏈路工具鏈與AI昇騰支撐

內(nèi)置大模型工業(yè)機器人

大模型PLC代碼、HMI生成

BI生成圖表、知識問答等應(yīng)用產(chǎn)品奇智孔明工業(yè)大模型

文件審查、設(shè)備監(jiān)控、操作問答工具

大模型代碼生成+檢查代碼多模態(tài)機器人模型PALM-E、RT-2、RT-X

大模型異構(gòu)智能機器人協(xié)同 能力推廣 打通“通用底座+一站式開發(fā)+行業(yè)賦能”全鏈條

打補丁 將大模型融入已有工業(yè)技術(shù)產(chǎn)品

工具創(chuàng)新 面向特定任務(wù)/領(lǐng)域的模型與輕量化工具

前沿探索 模型技術(shù)和產(chǎn)品等前沿方向創(chuàng)新的引領(lǐng)者模型輸出控制指令完成任務(wù)執(zhí)行控制指令任務(wù)信息（文字）從桌子上拿籃球輸入模型輸出控制指令完成任務(wù)執(zhí)行控制指令任務(wù)信息（文字）從桌子上拿籃球輸入原理環(huán)境信息（圖片原理

①將任務(wù)信息轉(zhuǎn)化為向量

控制向量大語言模型LLM③根據(jù)任務(wù)和環(huán)境生成指令控制向量大語言模型LLM

機器人控制指令視覺模型ViT②將桌子上信息表示為向量視覺模型ViT能力綜合視覺、語言、空間、理解、決策能力，從被動感知向主動認(rèn)知跨越能力任務(wù)執(zhí)行能力無需控制代碼預(yù)設(shè)，實現(xiàn)模型對機器人直接控制強泛化能力對于陌生場景，無需針對性訓(xùn)練或模型微調(diào)，通過多步推理和知識遷移控制機器完成任務(wù)實例實例

2023.10

、、

在開放場景、柔性協(xié)RT-1首個機器人基于輸入圖像和簡單文本指令執(zhí)行動作

PALM-E視覺模型將復(fù)雜指令任務(wù)分解后調(diào)用執(zhí)行動作

RT-2視覺-語言-動作模型VLA實現(xiàn)大模型對機器人直接控制

RT-X模型+數(shù)據(jù)集特定任務(wù)效率提升3倍

多類別機器人適配新任務(wù)/技能探索新環(huán)境/多機器人協(xié)同

同、環(huán)境惡劣的工業(yè)場景極具應(yīng)用潛力裝配分揀、物流運輸柔性生產(chǎn)…4.2大模型+自動化：探索極為初步，距離實際應(yīng)用還相對遙遠 分析需求 基于大模型實現(xiàn)簡單控代碼成，當(dāng)前言匹度和成準(zhǔn)度仍待提升分析與系統(tǒng)設(shè) ABB：通用大模型工業(yè)代碼生成能力驗證計能 ? 生成工業(yè)代碼邏輯正確64%，執(zhí)成功39%力 ? 能夠準(zhǔn)確生成計數(shù)器、時器等標(biāo)準(zhǔn)法，通控制現(xiàn) 等控制代碼，前饋、壓控制等流程碼狀 ? 基于多輪對話能夠?qū)崿F(xiàn)碼優(yōu)與錯修正程序開 面 ? 包含控制邏輯、接口需求的復(fù)Prompt設(shè)計發(fā) 臨 ? 標(biāo)準(zhǔn)化的工業(yè)控制函數(shù)構(gòu)建挑 ? 大模型接收文檔長度與態(tài)限制戰(zhàn) ? 生成代碼工業(yè)場景測試應(yīng)用

倍福、西門子：將大模型融入客戶端，實現(xiàn)輔助編程倍福：將大模型融入TwinCATXAE客戶端，實現(xiàn)基于對話輔助編程西門子：聯(lián)合微軟開發(fā)工業(yè)Copilot工具并將其集成于自身工程框架，通過語言交互實現(xiàn)自動化代碼的快速生成、優(yōu)化和調(diào)試參數(shù)調(diào)整 基于大模型的控制參數(shù)定已實驗探索調(diào)試 西門子：利用GPT-4開展非線性多因素PID控制算法整定，并完成某行業(yè)具體工況下的模擬驗證與集成4.3大模型+工業(yè)軟件：從效率精度提升到應(yīng)用開發(fā)模式重構(gòu) 人機交互、執(zhí)行處理效率提升 精度提升 查找交互效率 匹配、預(yù)測、洞察水平經(jīng)營管理軟件翻模精度 大 翻模精度 大 開發(fā)應(yīng)用模式變革 零代碼開發(fā)工業(yè)軟件需求到應(yīng)用零代碼化，開發(fā)周期由年月提升至天級端到端執(zhí)行復(fù)雜任務(wù)自動生成中間步驟，替用戶拆分并執(zhí)行復(fù)雜工作集成式賦能形成整合所有工業(yè)數(shù)據(jù)知識資源、工具、人的智能交互引擎精準(zhǔn)數(shù)據(jù)洞察、市場營銷統(tǒng)計分析、業(yè)務(wù)問答助手模型查找、設(shè)計與仿真計算效率模型融合程度研發(fā)設(shè)計軟件積累模型查找、設(shè)計與仿真計算效率模型融合程度研發(fā)設(shè)計軟件增強（增強（二維圖紙3DBIM模型二維圖紙3DBIM模型對話式交互界面代碼/圖形化界面生產(chǎn)管控軟件人機交互效率基于語言的自動排產(chǎn)生產(chǎn)管控軟件人機交互效率基于語言的自動排產(chǎn)生產(chǎn)數(shù)據(jù)分析水平質(zhì)量控制生產(chǎn)數(shù)據(jù)深度分析5當(dāng)前挑戰(zhàn) 應(yīng)用局限