中國電子工業(yè)標準化技術(shù)協(xié)會

一、工作簡況

根據(jù)中國電子工業(yè)標準化技術(shù)協(xié)會2022年第六批團體標準制修訂通知（中電

標通〔2022〕018號），團體標準《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》制

定工作下達立項通知，計劃號CESA-2022-040。

本標準由中國電子技術(shù)標準化研究院牽頭，華為技術(shù)有限公司、北京航空航

天大學(xué)聯(lián)合發(fā)起，主要參編單位包括上海人工智能研究院、英特爾（中國）有限

公司、商湯集團股份有限公司、上海依圖科技有限公司、深圳云天勵飛技術(shù)股份

有限公司、浪潮電子信息產(chǎn)業(yè)股份有限公司、南京沐曦科技有限公司、四川華鯤

振宇智能科技有限公司、上海天數(shù)智芯半導(dǎo)體有限公司、上海燧原科技有限公司、

上海壁仞智能科技有限公司、北京格靈深瞳信息技術(shù)股份有限公司、小視科技（江

蘇）有限公司、超聚變數(shù)字技術(shù)有限公司、深圳鯤云信息科技有限公司、北京曠

視科技有限公司、阿里云計算有限公司、百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司、

昆侖芯（北京）科技有限公司、北京第四范式智能技術(shù)股份有限公司、北京希姆

計算科技有限公司、西門子（中國）有限公司、騰訊控股有限公司等國內(nèi)外人工

智能加速器和機器學(xué)習(xí)框架企業(yè)。標準的歸口單位是中國電子工業(yè)標準化技術(shù)協(xié)

會和中國電子技術(shù)標準化研究院。

本標準主要工作過程如下：

2022年5月-7月，《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標準編制組成

立，對該標準的立項達成共識，共同收集相關(guān)資料，多次組織專家進行討論，形

成標準草案大綱。

2022年6月17日，參加中國電子工業(yè)標準化技術(shù)協(xié)會團體標準立項答辯，團

體標準通過立項評審。2022年07月11日，中國電子工業(yè)標準化技術(shù)協(xié)會下達標準

計劃任務(wù)（中電標通（2022）018號）。

中國電子工業(yè)標準化技術(shù)協(xié)會

2022年8月-10月，《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標準編制工

作組成立。召開首次標準研討會，確定標準范圍、目的、標準化對象、章節(jié)目錄，

及各章節(jié)的初步內(nèi)容范圍。

2022年11月-2023年03月，中國電子技術(shù)標準化研究院組織標準起草工作組

多次召開標準研討會，針對產(chǎn)學(xué)研單位對標準文本提出的意見建議，持續(xù)對標準

草案進行討論、迭代。

2023年3月22日-2023年3月24日，召開信標委AI分委會全會，分委會成員單

位就異構(gòu)人工智能加速器統(tǒng)一接口標準的范圍和關(guān)鍵問題，進行廣泛討論，標準

起草工作組聽取意見，并做修改。

2023年3月-4月，召開標準研討會，組內(nèi)審查標準草案，形成征求意見稿。

二、標準編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問題

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標準定義異構(gòu)人工智能加速器

的統(tǒng)一接口及其語義和使用方法，提出各加速器為實現(xiàn)此接口所需的接入方法和

試驗方法。標準適用于人工智能加速器接口的設(shè)計和實現(xiàn)，也可為人工智能加速

器應(yīng)用提供參考。

編制原則：

異構(gòu)人工智能加速器統(tǒng)一接口旨在在各人工智能加速器使能軟件之上與機

器學(xué)習(xí)框架之下，建立中間層。對上，屏蔽加速器的異構(gòu)性，對下，屏蔽機器學(xué)

習(xí)框架的多種接入方式，以達到讓加速器或機器學(xué)習(xí)框架快速對接而建立或復(fù)用

生態(tài)的目標?；诖耍緲藴视幸韵戮幹圃瓌t：

1）以各人工智能加速器使能軟件為基礎(chǔ)，研究共同性，并對使用人工智能

加速器執(zhí)行機器學(xué)習(xí)計算任務(wù)（模型訓(xùn)練、模型推理）執(zhí)行的必要過程和接口實

施分析，明確人工智能加速器統(tǒng)一接口的范圍；

2）接口解決使用各類人工智能加速器訓(xùn)練和推理的問題，標準涉及人工智

能加速器執(zhí)行控制（如運行時），模型操作（如編譯、轉(zhuǎn)化），模型構(gòu)建等。在

研制過程中，盡量兼容各類人工智能加速器公共或極其類似的接口，率先實施標

準化，跑通系統(tǒng)，并最大程度地降低人工智能加速器接入所需開發(fā)資源，加快接

入過程。

擬解決的主要問題：

中國電子工業(yè)標準化技術(shù)協(xié)會

據(jù)2020年不完全統(tǒng)計，我國人工智能加速處理器研發(fā)機構(gòu)多達2800多家。每

種加速器都有自建軟件及應(yīng)用生態(tài)的任務(wù)。這種現(xiàn)象將給人工智能計算企業(yè)和產(chǎn)

業(yè)帶來沉重負擔。其核心問題如下：

1）技術(shù)生態(tài)：人工智能計算生態(tài)的嚴重割裂，加速器的技術(shù)生態(tài)林立，小

且脆弱；

2）兼容適配：眾多加速器需與眾多計算框架（如深度學(xué)習(xí)軟件框架）一一

適配，產(chǎn)業(yè)整體適配工作量巨大；

3）用戶使用：異構(gòu)加速器整合、使用的復(fù)雜度很高。加速器之間的兩兩互

操作在如此大的規(guī)模上，較難實現(xiàn)和維護。

人工智能應(yīng)用的建立，需要實現(xiàn)各種計算框架及各類加速器相對靈活搭配，

但需盡可能少地侵入各類人工智能加速器的已有技術(shù)路線（各種加速器的已有指

令級和算子實現(xiàn)庫），不限制創(chuàng)新。

三、主要試驗[或驗證]情況分析

異構(gòu)人工智能加速器統(tǒng)一接口的定義參考了國內(nèi)主流的人工智能加速器使

能軟件的設(shè)計。在試驗方面，標準定義了接入符合性驗證方法和指標。基于團體

標準建立周期較短、靈活等特點，本標準的主要目標是跑通系統(tǒng)，完成從加速器

及其使能軟件，到統(tǒng)一接口，再到上層機器學(xué)習(xí)框架和應(yīng)用全棧跑通的目標，達

成驗證的目的。標準的參與企業(yè)幾乎包含國內(nèi)和國際所有的（有產(chǎn)品化、商用能

力的）人工智能加速器研制企業(yè)及其國內(nèi)代理。當前已有人工智能加速器企業(yè)對

接和使用此接口，已形成了一定產(chǎn)業(yè)遵從效益。

四、知識產(chǎn)權(quán)情況說明

本標準不涉及知識產(chǎn)權(quán)的產(chǎn)出或使用。

五、產(chǎn)業(yè)化情況、推廣應(yīng)用論證和預(yù)期達到的經(jīng)濟效果

本標準預(yù)計達成以下產(chǎn)業(yè)預(yù)期：

1）技術(shù)生態(tài)：為異構(gòu)人工智能加速器提供接入方案。在不要求異構(gòu)人工智

能加速器改動指令級或算子實現(xiàn)庫的情況下，幫助人工智能加速器快速建立生態(tài)

2）兼容適配：為機器學(xué)習(xí)軟件框架提供統(tǒng)一接口，為多種加速器與多種框

架的兼容適配提供方案。降低產(chǎn)業(yè)整體的適配工作量

3）用戶使用：為用戶提供統(tǒng)一接口，屏蔽異構(gòu)加速器的復(fù)雜度，降低使用、

中國電子工業(yè)標準化技術(shù)協(xié)會

維護難度。

AI新興技術(shù)領(lǐng)域，此領(lǐng)域的技術(shù)發(fā)展較快，尤其是芯片領(lǐng)域，正是國內(nèi)近

兩年大力發(fā)展的方向；另外，利用中間層屏蔽異構(gòu)性，是技術(shù)界常用的方法，但

針對廣泛AI異構(gòu)加速器統(tǒng)一接口的標準化，在國內(nèi)尚屬首次。ISO/IECTR17903

（中國代表團牽頭，在編）討論過程中，各國專家認為新中間層有利于解決產(chǎn)業(yè)

問題，認為此系未來重要的標準化方向。在ISO/IECTR17903中設(shè)置了相關(guān)章

節(jié)，擬描述概念框架和關(guān)鍵問題。國內(nèi)AI加速器研制機構(gòu)眾多，芯片產(chǎn)業(yè)發(fā)展

迅速，有大量生態(tài)發(fā)展需求。國內(nèi)深度學(xué)習(xí)框架（5+）或其它工具軟件數(shù)量較多，

有大量加速器適配工作量。國內(nèi)AI應(yīng)用逐步深化，應(yīng)用逐漸增多，需求強烈。

利用標準化的技術(shù)方案降低應(yīng)用、維護復(fù)雜度，是產(chǎn)業(yè)效能升級的必要項。

通過人工智能加速器統(tǒng)一接口的研制和產(chǎn)業(yè)應(yīng)用，有望降低產(chǎn)業(yè)中各人工智

能加速器與各機器學(xué)習(xí)框架對接及維護的整體成本。當有m個框架，n種加速器

時，兩兩對接需要m*n的總體工作量。在使用人工智能加速器統(tǒng)一接口后，m

個框架和n種加速器可分別對接本接口。一旦對接，就天然享有已對接的對側(cè)支

持（如加速器對接后，就能被已對接的框架調(diào)用。反之亦然。）使用統(tǒng)一接口，

并不阻礙特定框架對特定加速器的適配和使用。對加速器來講，對統(tǒng)一接口的接

入，即可獲得多框架的支持。對框架來講，對統(tǒng)一接口的適配，即可獲得多加速

器的運行能力。本標準提出一種非侵入式的解決方案，降低產(chǎn)業(yè)整體復(fù)雜度。

六、轉(zhuǎn)化國際標準和國外先進標準情況

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》在《國家新一代人工智能標準

體系建設(shè)指南》（國標委[2020]35號文）中，屬于C類（基礎(chǔ)軟硬件平臺）。本

標準不轉(zhuǎn)化國外標準。

標準與國外相關(guān)標準的比較如下：

標準主要內(nèi)容與本標準的關(guān)系

KhronosOpenCL跨處理器的并KhronosOpenCL3.0Specification不專門針

3.0行編程接口對AI計算，不能覆蓋深度神經(jīng)網(wǎng)絡(luò)相關(guān)操作及

Specification相關(guān)推理、訓(xùn)練控制過程。本標準專為人工智能

（鏈接）領(lǐng)域計算研制，在并行計算方面，與Khronos

OpenCL3.0保持一定兼容。國內(nèi)機構(gòu)對Khronos

OpenCL標準的參與受國際關(guān)系因素影響較大

中國電子工業(yè)標準化技術(shù)協(xié)會

InteloneAPI1.2Intel企標，定oneAPI標準主要為IntelCPU服務(wù)，定義接口

（鏈接）義了跨處理器的顆粒度和選擇，以Intel指令集和調(diào)用作為

（主要為第一參考。在并行計算方面，oneAPI與Khronos

CPU-GPU）的編OpenCL3.0保持一定程度的兼容。本標準為公

程接口共標準，且不著重針對CPU-GPU間計算任務(wù)的遷

移

ISO/IECTR17903提供機器學(xué)習(xí)ISO/IECTR17903由ISO/IECJTC1/SC42中

Overviewof計算設(shè)備的概國代表團（SAC）牽頭，不涉及接口，但在國際

machinelearning覽，包含機器學(xué)標準討論中，認為統(tǒng)一接口是技術(shù)發(fā)展的重要方

computing習(xí)設(shè)備性能相向，ISO/IECTR17903為本標準提供國際高水

devices（鏈接）關(guān)的特性及其平標準上的理論鋪墊

使用方法和指

標

IEEE2937定義了AI服務(wù)IEEE2937規(guī)定典型AI計算設(shè)備的性能測試方

Standardfor器，AI服務(wù)器集法，不涉及接口定義。但在系統(tǒng)使用統(tǒng)一接口層

performance群，AI計算中心時，性能可能稍有損失，使用IEEE2937及相關(guān)

benchmarkingfor（AIHPC設(shè)施）工具（由電子四院等單位研制）實施性能損失評

artificial性能測試方法估，為調(diào)優(yōu)提供依據(jù)

intelligence

serversystems

（鏈接）

七、與現(xiàn)行相關(guān)法律、法規(guī)、規(guī)章及相關(guān)標準的協(xié)調(diào)性

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》與現(xiàn)行法律、法規(guī)、強制性國

家標準及相關(guān)標準協(xié)調(diào)配套情況如下：

文件相關(guān)內(nèi)容分析、討論

2020.8，國務(wù)從財稅、投融資、IPO、研究因國際局勢影響，國內(nèi)芯片產(chǎn)業(yè)在2019

院:《新時期促開發(fā)、進出口、人才、知識年后，因國內(nèi)需求拉動，進入了投資、

進集成電路產(chǎn)產(chǎn)權(quán)、市場應(yīng)用、國際合作產(chǎn)業(yè)活動高增長階段。小生態(tài)林立，生

業(yè)和軟件產(chǎn)業(yè)等多角度對半導(dǎo)體產(chǎn)業(yè)的發(fā)態(tài)建設(shè)困難，投資見效慢、風險大的矛

高質(zhì)量發(fā)展的展提供政策支持，提出中國盾十分突出。

若干政策》芯片自給率要在2025年達異構(gòu)加速器統(tǒng)一接口，有利于幫助小企

到70%。業(yè)快速建立應(yīng)用生態(tài)，減少因為建立生

態(tài)或在技術(shù)路線上的誤判和盲目投入，

可能帶來的損失等問題

中國電子工業(yè)標準化技術(shù)協(xié)會

2021.12，國務(wù)搶先布局前沿技術(shù)融合創(chuàng)國內(nèi)AI加速器研制機構(gòu)，在2021年總

院：《“十四五”新，推進言學(xué)科和交叉研究[1]

數(shù)達到2800多家，異構(gòu)化明顯，小

數(shù)字經(jīng)濟發(fā)展平臺建設(shè)，重點布局下一代

規(guī)劃》移動通信技術(shù)、量子信息、生態(tài)林立，生態(tài)建設(shè)總體困難，群體性

第三代半導(dǎo)體等新興技術(shù)，矛盾突出。

推動信息、生物、材料、能異構(gòu)加速器統(tǒng)一接口，有利于解決群體

源等領(lǐng)域技術(shù)融合和群體性性問題。

突破

2021.11，工信推動芯片企業(yè)豐富產(chǎn)品體國家政策要求豐富芯片產(chǎn)品體系，是從

部：《“十四五”系，加快模組分級分類研發(fā)，芯片應(yīng)用角度，對芯片研制提出了需

信息通信行業(yè)優(yōu)化模組環(huán)境適應(yīng)性，降低求。部署在相同計算系統(tǒng)中的異構(gòu)芯片

發(fā)展規(guī)劃》功耗及成本，增強原始創(chuàng)新的協(xié)同，需要統(tǒng)一的編程模式和數(shù)據(jù)交

能力和產(chǎn)業(yè)基礎(chǔ)支撐能力換方法。

異構(gòu)加速器統(tǒng)一接口，有利于降低應(yīng)用

復(fù)雜度，也是我國AI產(chǎn)業(yè)解決自身問

題原始創(chuàng)造力的體現(xiàn)。降本增效，對產(chǎn)

業(yè)發(fā)展起到支撐作用。

[1]魏少軍.實干推動設(shè)計業(yè)不斷進步.中國半導(dǎo)體行業(yè)協(xié)會集成電路設(shè)計業(yè)分會年會

的報告.2021.（鏈接）

標準與國內(nèi)相關(guān)標準的比較如下：

標準主要內(nèi)容與本標準的關(guān)系

GB/T42018－2022定義了各類人工智能GB/T42018－2022標準在內(nèi)容上與本

《信息技術(shù)人工智能物理計算資源的形標準無覆蓋關(guān)系，但提出的人工智能

平臺資源供給》態(tài)、組成、基礎(chǔ)技術(shù)計算設(shè)備可使用各類人工智能加速處

參數(shù)，虛擬計算資源理器。本標準旨在促進異構(gòu)加速器應(yīng)

的基本特征，并針對用的簡化，使其更好地服務(wù)于各類人

各類計算設(shè)備形態(tài)，工智能計算設(shè)備

提出了測試方法

20203869-T-469《人工定義了機器學(xué)習(xí)系統(tǒng)20203869-T-469標準在內(nèi)容上與本標

智能面向機器學(xué)習(xí)的的基礎(chǔ)架構(gòu)準無覆蓋關(guān)系，但提出的機器學(xué)習(xí)系

系統(tǒng)規(guī)范》統(tǒng)的參考架構(gòu)，為本標準所定義的統(tǒng)

一接口，明確上下層部件、組件及運

行時關(guān)系

GB/T42382.1－2023定義了離線模型的表GB/T42382.1－2023標準定義的離線

《信息技術(shù)神經(jīng)網(wǎng)絡(luò)示和壓縮方法模型表示方法針對離線模型，即訓(xùn)練

表示與模型壓縮第1好的模型。用于不同格式離線模型的

部分：卷積神經(jīng)網(wǎng)絡(luò)》互轉(zhuǎn)。本標準定義異構(gòu)人工智能加速

器統(tǒng)一接口，與已有標準不存在沖突

中國電子工業(yè)標準化技術(shù)協(xié)會

T/CESA1228.1－2022定義了典型（CPU，T/CESA1228.1－2022標準僅定義典

《信息技術(shù)人工智能GPU，NPU，F(xiàn)PGA）人型人工智能加速處理器的虛擬化方法

計算設(shè)備調(diào)度與協(xié)同工智能加速處理器的和基礎(chǔ)調(diào)度模式，在過程和功能層面，

第1部分：虛擬化與調(diào)虛擬化方法和基礎(chǔ)調(diào)而非接口層面。本標準完成統(tǒng)一接口，

度》度模式可相互配套使用。AI系統(tǒng)的建設(shè)，可

使用本標準，而不必實施虛擬化過程，

也可實施虛擬化，形成更精細的算力

切分和調(diào)度

CESA-2021-3-018《信定義了深度學(xué)習(xí)框架CESA-2021-3-018不定義異構(gòu)加速器

息技術(shù)人工智能深與各種人工智能加速統(tǒng)一接口。本標準定義的統(tǒng)一接口，

度學(xué)習(xí)框架多硬件平器直接適配的技術(shù)要可作為一種“抽象”的加速器接入使

臺適配技術(shù)要求與評求和指標用。

價指標》

八、重大分歧意見的處理經(jīng)過和依據(jù)

無。

九、貫徹標準的要求和措施建議

本文件可作為推薦性標準，標準發(fā)布后實施。

標準發(fā)布后，將盡快推出、實施人工智能加速器統(tǒng)一接口接入符合性測試，

將對接的技術(shù)細節(jié)和流程普及到產(chǎn)業(yè)，豐富人工智能加速器應(yīng)用生態(tài)，加速國內(nèi)

各人工智能加速器技術(shù)生態(tài)的建立，降低產(chǎn)業(yè)整體成本。

十、替代或廢止現(xiàn)行相關(guān)標準的建議

無。

十一、其它應(yīng)予說明的事項

無。

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》

團體標準編制起草組

2023-5-8

中國電子工業(yè)標準化技術(shù)協(xié)會

一、工作簡況

根據(jù)中國電子工業(yè)標準化技術(shù)協(xié)會2022年第六批團體標準制修訂通知（中電

標通〔2022〕018號），團體標準《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》制

定工作下達立項通知，計劃號CESA-2022-040。

本標準由中國電子技術(shù)標準化研究院牽頭，華為技術(shù)有限公司、北京航空航

天大學(xué)聯(lián)合發(fā)起，主要參編單位包括上海人工智能研究院、英特爾（中國）有限

公司、商湯集團股份有限公司、上海依圖科技有限公司、深圳云天勵飛技術(shù)股份

有限公司、浪潮電子信息產(chǎn)業(yè)股份有限公司、南京沐曦科技有限公司、四川華鯤

振宇智能科技有限公司、上海天數(shù)智芯半導(dǎo)體有限公司、上海燧原科技有限公司、

上海壁仞智能科技有限公司、北京格靈深瞳信息技術(shù)股份有限公司、小視科技（江

蘇）有限公司、超聚變數(shù)字技術(shù)有限公司、深圳鯤云信息科技有限公司、北京曠

視科技有限公司、阿里云計算有限公司、百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司、

昆侖芯（北京）科技有限公司、北京第四范式智能技術(shù)股份有限公司、北京希姆

計算科技有限公司、西門子（中國）有限公司、騰訊控股有限公司等國內(nèi)外人工

智能加速器和機器學(xué)習(xí)框架企業(yè)。標準的歸口單位是中國電子工業(yè)標準化技術(shù)協(xié)

會和中國電子技術(shù)標準化研究院。

本標準主要工作過程如下：

2022年5月-7月，《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標準編制組成

立，對該標準的立項達成共識，共同收集相關(guān)資料，多次組織專家進行討論，形

成標準草案大綱。

2022年6月17日，參加中國電子工業(yè)標準化技術(shù)協(xié)會團體標準立項答辯，團

體標準通過立項評審。2022年07月11日，中國電子工業(yè)標準化技術(shù)協(xié)會下達標準

計劃任務(wù)（中電標通（2022）018號）。

中國電子工業(yè)標準化技術(shù)協(xié)會

2022年8月-10月，《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標準編制工

作組成立。召開首次標準研討會，確定標準范圍、目的、標準化對象、章節(jié)目錄，

及各章節(jié)的初步內(nèi)容范圍。

2022年11月-2023年03月，中國電子技術(shù)標準化研究院組織標準起草工作組

多次召開標準研討會，針對產(chǎn)學(xué)研單位對標準文本提出的意見建議，持續(xù)對標準

草案進行討論、迭代。

2023年3月22日-2023年3月24日，召開信標委AI分委會全會，分委會成員單

位就異構(gòu)人工智能加速器統(tǒng)一接口標準的范圍和關(guān)鍵問題，進行廣泛討論，標準

起草工作組聽取意見，并做修改。

2023年3月-4月，召開標準研討會，組內(nèi)審查標準草案，形成征求意見稿。

二、標準編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問題

《人工智能異構(gòu)人工智能加速器統(tǒng)一接口》標準定義異構(gòu)人工智能加速器

的統(tǒng)一接口及其語義和使用方法，提出各加速器為實現(xiàn)此接口所需的接入方法和

試驗方法。標準適用于人工智能加速器接口的設(shè)計和實現(xiàn)，也可為人工智能加速

器應(yīng)用提供參考。

編制原則：

異構(gòu)人工智能加速器統(tǒng)一接口旨在在各人工智能加速器使能軟件之上與機

器學(xué)習(xí)框架之下，建立中間層。對上，屏蔽加速器的異構(gòu)性，對下，屏蔽機器學(xué)

習(xí)框架的多種接入方式，以達到讓加速器或機器學(xué)習(xí)框架快速對接而建立或復(fù)用

生態(tài)的目標?；诖?，本標準有以下編制原則：

1）以各人工智能加速器使能軟件為基礎(chǔ)，研究共同性，并對使用人工智能

加速器執(zhí)行機器學(xué)習(xí)計算任務(wù)（模型訓(xùn)練、模型推理）執(zhí)行的必要過程和接口實

施分析，明確人工智能加速器統(tǒng)一接口的范圍；

2）接口解決使用各類人工智能加速器訓(xùn)練和推理的問題，標準涉及人工智

能加速器執(zhí)行控制（如運行時），模型操作（如編譯、轉(zhuǎn)化），模型構(gòu)建等。在

研制過程中，盡量兼容各類人工智能加速器公共或極其類似的接口，率先實施標

準化，跑通系統(tǒng)，并最大程度地降低人工智能加速器接入所需開發(fā)資源，加快接

入過程。

擬解決的主要問題：

中國電子工業(yè)標準化技術(shù)協(xié)會

據(jù)2020年不完全統(tǒng)計，我國人工智能加速處理器研發(fā)機構(gòu)多達2800多家。每

種加速器都有自建軟件及應(yīng)用生態(tài)的任務(wù)。這種現(xiàn)象將給人工智能計算企業(yè)和產(chǎn)

業(yè)帶來沉重負擔。其核心問題如下：

1）技術(shù)生態(tài)：人工智能計算生態(tài)的嚴重割裂，加速器的技術(shù)生態(tài)林立，小

且脆弱；

2）兼容適配：眾多加速器需與眾多計算框架（如深度學(xué)習(xí)軟件框架）一一

適配，產(chǎn)業(yè)整體適配工作量巨大；

3）用戶使用：異構(gòu)加速器整合、使用的復(fù)雜度很高。加速器之間的兩兩互

操作在如此大的規(guī)模上，較難實現(xiàn)和維護。

人工智能應(yīng)用的建立，需要實現(xiàn)各種計算框架及各類加速器相對靈活搭配，

但需盡可能少地侵入各類人工智能加速器的已有技術(shù)路線（各種加速器的已有指

令級和算子實現(xiàn)庫），不限制創(chuàng)新。

三、主要試驗[或驗證]情況分析

異構(gòu)人工智能加速器統(tǒng)一接口的定義參考了國內(nèi)主流的人工智能加速器使

能軟件的設(shè)計。在試驗方面，標準定義了接入符合性驗證方法和指標。基于團體

標準建立周期較短、靈活等特點，本標準的主要目標是跑通系統(tǒng)，完成從加速器

及其使能軟件，到統(tǒng)一接口，再到上層機器學(xué)習(xí)框架和應(yīng)用全棧跑通的目標，達

成驗證的目的。標準的參與企業(yè)幾乎包含國內(nèi)和國際所有的（有產(chǎn)品化、商用能

力的）人工智能加速器研制企業(yè)及其國內(nèi)代理。當前已有人工智能加速器企業(yè)對

接和使用此接口，已形成了一定產(chǎn)業(yè)遵從效益。

四、知識產(chǎn)權(quán)情況說明

本標準不涉及知識產(chǎn)權(quán)的產(chǎn)出或使用。

五、產(chǎn)業(yè)化情況、推廣應(yīng)用論證和預(yù)期達到的經(jīng)濟效果

本標準預(yù)計達成以下產(chǎn)業(yè)預(yù)期：

1）技術(shù)生態(tài)：為異構(gòu)人工智能加速器提供接入方案。在不要求異構(gòu)人工智

能加速器改動指令級或算子實現(xiàn)庫的情況下，幫助人工智能加速器快速建立生態(tài)

2）兼容適配：為機器學(xué)習(xí)軟件框架提供統(tǒng)一接口，為多種加速器與多種框

架的兼容適配提供方案。降低產(chǎn)業(yè)整體的適配工作量

3）用戶使用：為用戶提供統(tǒng)一接口，屏蔽異構(gòu)加速器的復(fù)雜度，降低使用、

中國電子工業(yè)標準化技術(shù)協(xié)會

維護難度。

AI新興技術(shù)