3工業(yè)大模型評(píng)測(cè)指標(biāo)與方法本文件確立了工業(yè)大模型的評(píng)測(cè)指標(biāo)，描述GB/T45288.2-2025人工20252048-Z-469人工智能工20252049-Z-469人工智能工業(yè)大模4AI：人工智能（ArtificialIntelligPLC：可編程邏輯控制器（ProgrammableLogicControl5b）訓(xùn)練數(shù)據(jù)規(guī)模：在訓(xùn)練和推理階段，應(yīng)具備滿足工業(yè)場(chǎng)景時(shí)效性a)在研發(fā)設(shè)計(jì)階段，包括但不限于物理推演機(jī)理、化學(xué)反應(yīng)機(jī)理、生物合b)在生產(chǎn)制造階段，包括但不限于時(shí)序信號(hào)識(shí)別、工程原理理解、安全規(guī)c)在質(zhì)量管控階段，包括但不限于安全規(guī)則理解、視覺缺陷定位、觸覺信a)在研發(fā)設(shè)計(jì)階段，包括但不限于技術(shù)方案生成、工藝流程優(yōu)化設(shè)計(jì)等任b)在生產(chǎn)制造階段，包括但不限于PLC代碼生成、機(jī)器人路徑規(guī)劃、智能6在質(zhì)量管控階段，包括但不限于故障報(bào)告生成、c)在運(yùn)營(yíng)維護(hù)階段，包括但不限于自動(dòng)化腳本生成、操作手冊(cè)生成、故障b)在生產(chǎn)制造階段，包括但不限于協(xié)議通信、b)在生產(chǎn)制造階段，包括但不限于工藝優(yōu)化c)在質(zhì)量管控階段，包括但不限于質(zhì)e)在經(jīng)營(yíng)管理階段，包括但不限于應(yīng)滿足工業(yè)場(chǎng)景的精準(zhǔn)度指標(biāo)，確保輸出結(jié)確率下降幅度應(yīng)控制在一定范圍內(nèi)，避免因模7可適配工業(yè)實(shí)時(shí)數(shù)據(jù)協(xié)議，支持Profinet、Modbus、OPCUA等主流工業(yè)總權(quán)限管理：應(yīng)提供模型或系統(tǒng)接口的訪問控制機(jī)制8訓(xùn)練數(shù)據(jù)規(guī)模、算力需求、顯存需求等4項(xiàng)核心能力a）功能測(cè)試針對(duì)模型在特定業(yè)務(wù)環(huán)節(jié)的表現(xiàn)進(jìn)行評(píng)估，業(yè)務(wù)環(huán)節(jié)包括研發(fā)明確其模型所支持的一個(gè)或多個(gè)業(yè)務(wù)環(huán)節(jié)，并基于附錄表A.2中對(duì)應(yīng)環(huán)節(jié)的指標(biāo)b）功能測(cè)試總分由基準(zhǔn)環(huán)節(jié)得分與額外環(huán)節(jié)加成兩部分構(gòu)成，以最高分環(huán)a）性能測(cè)試指標(biāo)及權(quán)重：性能測(cè)試涵蓋準(zhǔn)確性、可解釋性、可靠性、實(shí)時(shí)b）性能測(cè)試方法：將設(shè)計(jì)好的測(cè)試用例輸入到模型中，記錄模型對(duì)每個(gè)測(cè)基礎(chǔ)能力測(cè)試得分Mb：參照大模型廠商提供的基礎(chǔ)能力驗(yàn)證文檔對(duì)該大模型的基礎(chǔ)能力進(jìn)行測(cè)評(píng)并求和，得到該大模型的基礎(chǔ)能力Mb1xia）功能測(cè)試得分Mf：基于所有被評(píng)測(cè)環(huán)節(jié)的得分，計(jì)算最終的功能測(cè)試總M單個(gè)環(huán)節(jié)=Σj4(能力指標(biāo)得分j×權(quán)重j)9Mf=Smax+Ab）性能測(cè)試得分Mp：對(duì)大模型的性能進(jìn)行測(cè)試，得總分=Mb+Mf+Mp（資料性）針對(duì)大模型得基礎(chǔ)能力審查模型基礎(chǔ)信息表等相關(guān)證明材料，本項(xiàng)滿分為20分，每項(xiàng)5分，若滿足該項(xiàng)所有測(cè)評(píng)要求得5分，否則0分。表A.1基礎(chǔ)能力測(cè)試指標(biāo)、測(cè)評(píng)要求及驗(yàn)證方式b）工廠應(yīng)用：參數(shù)量≥7B，適用于車間或工廠a）文本數(shù)據(jù)≥30GB，其中行業(yè)標(biāo)準(zhǔn)、工藝規(guī)程針對(duì)不同的生產(chǎn)場(chǎng)景和業(yè)務(wù)環(huán)節(jié)，工業(yè)大模型提供的測(cè)試任務(wù)示例如表A.2所示，各項(xiàng)能力的任務(wù)