信息技術(shù)人工智能平臺(tái)計(jì)算資源規(guī)范2022-10-12發(fā)布I前言 12規(guī)范性引用文件 13術(shù)語和定義 14縮略語 35概述 46技術(shù)要求 56.1物理計(jì)算資源 56.2虛擬計(jì)算資源 87測(cè)試方法 97.1通用特性 97.2物理計(jì)算資源 97.3虛擬計(jì)算資源 附錄A(資料性)人工智能平臺(tái)物理計(jì)算資源測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系 附錄B(資料性)物理計(jì)算資源測(cè)試系統(tǒng)的配置 附錄C(規(guī)范性)訓(xùn)練和推理測(cè)試模型 參考文獻(xiàn) Ⅲ本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC28)提出并歸口。本文件起草單位：中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、華為技術(shù)有限公司、上海依圖網(wǎng)絡(luò)科技有限公司、杭州?？低晹?shù)字技術(shù)股份有限公司、西北工業(yè)大學(xué)、浪潮軟件科技有限公司、國(guó)防科技大學(xué)、上海商湯阡誓科技有限公司、北京智芯微電子科技有限公司、北京電信規(guī)劃設(shè)計(jì)院有限公司、三菱電機(jī)(中國(guó))有限公司、青島海爾洗衣機(jī)有限公司、英特爾(中國(guó))有限公司、飛騰信息技術(shù)有限公司、中車沈陽機(jī)車車輛有限公司、杭州中奧科技有限公司、平安科技(深圳)有限公司、北京清能互聯(lián)科技有限公司。人工智能平臺(tái)是為人工智能應(yīng)用提供各類資源的軟硬件系統(tǒng)，是各類人工智能應(yīng)用(如計(jì)算機(jī)視覺、自然語言處理、聲音處理等)實(shí)現(xiàn)的基礎(chǔ)。組成人工智能平臺(tái)時(shí)，需使用人工智能物理計(jì)算資源和虛擬計(jì)算資源。物理計(jì)算資源是指計(jì)算設(shè)備實(shí)體，包含人工智能服務(wù)器、人工智能加速卡、人工智能加速模組等。虛擬計(jì)算資源則是基于實(shí)體計(jì)算資源，經(jīng)過抽象并在一定程度上屏蔽異構(gòu)性后，形成的邏輯計(jì)算資源。本文件旨在為人工智能平臺(tái)的建設(shè)提供標(biāo)準(zhǔn)依據(jù)，對(duì)可供組成人工智能平臺(tái)常見的物理計(jì)算資源和虛擬計(jì)算資源提出相關(guān)技術(shù)參數(shù)的基礎(chǔ)共性要求，對(duì)物理計(jì)算資源提出測(cè)試方法。1信息技術(shù)人工智能平臺(tái)計(jì)算資源規(guī)范1范圍本文件規(guī)定了面向機(jī)器學(xué)習(xí)的人工智能平臺(tái)物理計(jì)算資源(包含人工智能服務(wù)器、人工智能加速卡、人工智能加速模組)和虛擬計(jì)算資源的技術(shù)要求，描述了物理計(jì)算資源的測(cè)試方法。本文件不對(duì)資源管理和調(diào)度提出要求。本文件適用于面向機(jī)器學(xué)習(xí)的人工智能平臺(tái)的設(shè)計(jì)和測(cè)試。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T9813.3—2017計(jì)算機(jī)通用規(guī)范第3部分：服務(wù)器GB/T17235.1—1998信息技術(shù)連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮及編碼第1部分：要求和指南GB/T20090.2—2013信息技術(shù)先進(jìn)音視頻編碼第2部分：視頻GB/T41867—2022信息技術(shù)人工智能術(shù)語ISO/IEC15948:2004信息技術(shù)計(jì)算機(jī)圖形和圖像處理便攜式網(wǎng)絡(luò)圖形：功能規(guī)范[Informa-tiontechnology—Computergraphicsandimageprocessing—PortableNetworkGraphics(PNG):Functionalspecification]ITU-TH.264—2021通用視聽服務(wù)高級(jí)視頻編碼(AdvancedvideocodingforgenericaudiovisualITU-TH.265—2021高效視頻編碼(Highefficiencyvideocoding)3術(shù)語和定義GB/T41867—2022界定的以及下列術(shù)語和定義適用于本文件。人工智能平臺(tái)artificialintelligenceplatform為人工智能應(yīng)用提供各類資源的軟硬件系統(tǒng)。在人工智能平臺(tái)中，用于處理人工智能計(jì)算任務(wù)的硬件和軟件。注：人工智能平臺(tái)計(jì)算資源包含物理計(jì)算資源和虛擬計(jì)算資源。2物理計(jì)算資源physicalcomputingresource為人工智能應(yīng)用提供信息處理能力(如存儲(chǔ)、計(jì)算等)的實(shí)體設(shè)備。示例：人工智能服務(wù)器、人工智能加速卡和人工智能加速模組等。虛擬計(jì)算資源virtualcomputingresource為人工智能應(yīng)用提供信息處理能力(如存儲(chǔ)、計(jì)算等)的邏輯設(shè)備。注：邏輯設(shè)備是物理設(shè)備的虛擬化形態(tài)，它與物理設(shè)備間存在映射關(guān)系。人工智能服務(wù)器artificialintell信息系統(tǒng)中能夠?yàn)槿斯ぶ悄軕?yīng)用提供高效能計(jì)算處理能力的服務(wù)器。注1:以通用服務(wù)器為基礎(chǔ)，配備人工智能加速卡后，為人工智能應(yīng)用提供專用計(jì)算加速能力的服務(wù)器，稱人工智能兼容服務(wù)器。注2:專為人工智能加速計(jì)算設(shè)計(jì)，提供人工智能專用計(jì)算能力的服務(wù)器，稱人工智能一體機(jī)服務(wù)器。注3:本文件中，在不引起誤解的語境中，將人工智能服務(wù)器簡(jiǎn)稱為服務(wù)器。專為人工智能計(jì)算設(shè)計(jì)、符合人工智能服務(wù)器硬件接口的擴(kuò)展加速設(shè)備。注：本文件中，在不引起誤解的語境中，將人工智能加速卡簡(jiǎn)稱為加速卡。專為固定領(lǐng)域人工智能計(jì)算設(shè)計(jì)，部署在邊緣計(jì)算場(chǎng)景中的擴(kuò)展加速部件。注1:人工智能加速模組一般用于執(zhí)行智能攝像機(jī)、機(jī)器人、無人機(jī)等設(shè)備的人工智能計(jì)算任務(wù)。注2:本文件中，在不引起誤解的語境中，將人工智能加速模組簡(jiǎn)稱為加速模組。人工智能加速處理器artificialintelligenceacceleratingprocessor具備適配人工智能算法的運(yùn)算微架構(gòu)，能夠完成人工智能應(yīng)用加速運(yùn)算處理的集成電路元件。大部分功能都集成在一個(gè)電路上的至少包括處理器、隨機(jī)存取存儲(chǔ)器和只讀存儲(chǔ)器的嵌入式系統(tǒng)。用來加速人工智能運(yùn)算的電路。注：本文件中，在不引起誤解的語境中，將人工智能加速電路簡(jiǎn)稱為加速電路。利用數(shù)據(jù)，基于機(jī)器學(xué)習(xí)算法，建立或改進(jìn)機(jī)器學(xué)習(xí)模型參數(shù)的過程。3注：人工智能領(lǐng)域的推理包括邏輯推理、機(jī)器學(xué)習(xí)推理等。4縮略語下列縮略語適用于本文件。ARM:高級(jí)精簡(jiǎn)指令集處理機(jī)(AdvancedReducedInstructionSetComputerMachines)API:應(yīng)用編程接口(ApplicationProgrammingInterface)BMC:基板管理控制器(BaseboardManagementController)BTB:板對(duì)板(BoardToBoard)CPU:中央處理單元(CentralProcessingUnit)DDR3:雙數(shù)據(jù)率3(Double-Data-RateThree)DDR4:雙數(shù)據(jù)率4(Double-Data-RateFour)ECC:錯(cuò)誤糾正碼(ErrorCorrectingCode)FHD:全高清(FullHighDefinition)FP16:16位半精度浮點(diǎn)數(shù)(16bitshalf-precisionFloatingPoint)FP32:32位單精度浮點(diǎn)數(shù)(32bitssingle-precisionFloatingPoint)FPS:幀每秒(FramesPerSecond)GPU:圖形處理單元(GraphicProcessingUnit)HBM:高帶寬內(nèi)存(HighBandwidthMemory)I2C:集成電路互聯(lián)總線(Inter-IntegratedCircuit)INT4:4位八分之一精度整型(4bitsone-eighth-precisionINTeter)INT8:8位四分之一精度整型(8bitsquarter-precisionINTeger)LPDDR4:低功率雙數(shù)據(jù)率(LowPowerDoubleDataRate4)LPDDR4X:低功率雙數(shù)據(jù)率4擴(kuò)展(LowPowerDoubleDataRate4eXtended)NPU:神經(jīng)網(wǎng)絡(luò)處理單元(Neural-networkProcessingUnit)NVMe:非易失性內(nèi)存高速通道(Non-VolatileMemoryExpress)PCle:外設(shè)部件互聯(lián)高速通道(PeripheralComponentInterconnectExpress)RAID:獨(dú)立磁盤冗余陣列(RedundantArrayofIndependentDisks)SATA:串行高級(jí)連接技術(shù)(SerialAdvancedTechnologyAttachment)SPI:串行外設(shè)接口(SerialPeripheralInterface)SSD:固態(tài)盤(SolidStateDisk)TFLOPS:每秒一萬億次浮點(diǎn)運(yùn)算(TeraFLoatingpointOperationsPerSecond)TOPS:每秒一萬億次運(yùn)算(TeraOperationsPerSecond)4UART:通用異步收發(fā)傳輸器(UniversalAsynchronousReceiverTransmitter)USB:通用串行總線(UniversalSerialBus)5概述本文件描述的人工智能平臺(tái)計(jì)算資源包括物理計(jì)算資源和虛擬計(jì)算資源，物理計(jì)算資源是指計(jì)算設(shè)備實(shí)體，包含人工智能服務(wù)器、人工智能加速卡、人工智能加速模組等。人工智能平臺(tái)參考架構(gòu)見圖1。在提供人工智能服務(wù)時(shí)，通常需要管理及調(diào)度這些資源，對(duì)資源管理和調(diào)度的要求不在本文件規(guī)定的范圍內(nèi)。數(shù)據(jù)管理組件人工智能服務(wù)計(jì)算資源調(diào)度組件任務(wù)調(diào)度資源調(diào)度虛擬計(jì)算資源人工智能服務(wù)器物理計(jì)算資源人工智能加速卡人工智能訓(xùn)練服務(wù)器人工智能推理服務(wù)器人工智能人工智能推理加速卡人工智能加速模組注：圖中實(shí)線框起的部分(整圖外框除外)對(duì)應(yīng)本文件規(guī)定的范疇，虛線框起的部分僅為表明人工智能平臺(tái)的參考架構(gòu)，不屬于本文件規(guī)定的范疇。圖1人工智能平臺(tái)參考架構(gòu)人工智能服務(wù)器，因其應(yīng)用目標(biāo)和構(gòu)成的差異，分為人工智能訓(xùn)練服務(wù)器和人工智能推理服務(wù)器。相應(yīng)的技術(shù)要求和測(cè)試方法見6.1.1.1和7.2.1,及6.1.1.2和7.2.2。對(duì)同時(shí)具備訓(xùn)練和推理功能的人工智能服務(wù)器，在考察訓(xùn)練或推理相關(guān)要求時(shí)，分別適用人工智能訓(xùn)練服務(wù)器或人工智能推理服務(wù)器要求和測(cè)試方法。人工智能加速卡包含訓(xùn)練加速卡和推理加速卡，相關(guān)技術(shù)要求和測(cè)試方法見6.1.2.1和7.2.3,及6.1.2.2和7.2.4。常見的人工智能加速模組用于推理場(chǎng)景，本文件僅對(duì)人工智能加速模組提出面向推理的技術(shù)要求和測(cè)試方法，見6.1.3和7.2.5。本文件提出的技術(shù)要求和測(cè)試方法對(duì)應(yīng)關(guān)系見附錄A。虛擬計(jì)算資源是基于實(shí)體計(jì)算資源，經(jīng)過抽象并在一定程度上屏蔽異構(gòu)性后，形成的邏輯計(jì)算資5源。相關(guān)基礎(chǔ)技術(shù)要求見6.2。虛擬計(jì)算資源的測(cè)試方法由其他標(biāo)準(zhǔn)給出，本文件不做規(guī)定。虛擬計(jì)算資源不是人工智能系統(tǒng)實(shí)現(xiàn)的必要部分，計(jì)算資源的調(diào)度、人工智能服務(wù)等，可直接由物理計(jì)算資源提供。圖1是人工智能平臺(tái)參考架構(gòu)，實(shí)際實(shí)現(xiàn)時(shí)，可按需選取搭配組件。6技術(shù)要求6.1物理計(jì)算資源6.1.1人工智能服務(wù)器6.1.1.1人工智能訓(xùn)練服務(wù)器對(duì)用作人工智能平臺(tái)訓(xùn)練資源的人工智能服務(wù)器的要求如下。a)應(yīng)符合GB/T9813.3—2017中4.4～4.11的規(guī)定。b)應(yīng)能提供人工智能計(jì)算加速，方式包含但不限于：1)通過擴(kuò)展設(shè)備，如人工智能加速卡等；2)通過CPU加速或配套的擴(kuò)展加速模組，如人工智能加速電路等；3)通過集成人工智能加速處理器的方式，如SOC等。c)應(yīng)配備CPU處理核心。d)宜配備32位或64位多核x86或ARMCPU。e)宜能收集CPU運(yùn)行狀態(tài)。f)配備加速器片上內(nèi)存時(shí)，總位寬宜不低于1024bit。g)應(yīng)支持內(nèi)存擴(kuò)展(DDR3或以上版本)。h)一級(jí)指令緩存宜不小于64KB,一級(jí)數(shù)據(jù)緩存宜不小于64KB,二級(jí)緩存宜不小于512KB,三級(jí)緩存宜不小于8MB。i)宜支持DDR4及以上版本的內(nèi)存，DDR控制器宜不少于4個(gè)。j)宜滿足以下外部存儲(chǔ)的使用要求：1)支持SSD、SATA或NVMe外部存儲(chǔ)協(xié)議；2)支持RAID0或以上級(jí)別的可靠存儲(chǔ)協(xié)議。k)宜支持PCIe4.0協(xié)議，宜配備至少2個(gè)PCle控制器。1)宜支持USB3.0通信，配備接口。m)宜能連接及使用100GE、25GE、10GE、GE接口。n)宜能完成ECC1bit糾錯(cuò)，ECC2bit報(bào)錯(cuò)。o)物理網(wǎng)口數(shù)量宜不少于4個(gè)。p)宜具備圖像、視頻預(yù)處理模塊。q)宜能通過自帶固件，如通過BMC等，或其他外接部件監(jiān)控系統(tǒng)參數(shù)。r)應(yīng)能執(zhí)行以下至少一種場(chǎng)景模型的訓(xùn)練，包含但不限于：1)計(jì)算機(jī)視覺；2)自然語言處理；3)聲音處理。s)宜支持r)1)、r)2)和r)3)場(chǎng)景模型的訓(xùn)練。t)應(yīng)能以下列至少1種精度實(shí)施的訓(xùn)練：6u)通過集成人工智能加速處理器的方式提供人工智能計(jì)算加速時(shí)：1)宜提供不小于16TFLOPS(或16TOPS)計(jì)算能力；2)宜支持人工智能加速器直出參數(shù)面網(wǎng)口或芯片間互聯(lián)。6.1.1.2人工智能推理服務(wù)器對(duì)用作人工智能平臺(tái)推理資源的人工智能服務(wù)器的要求如下。a)應(yīng)符合6.1.1.1中a)、b)、c)的規(guī)定。b)宜配備32位或64位多核x86或ARMCPU。c)宜配備三級(jí)緩存，容量不宜低于16MB。d)宜支持DDR4及以上版本的內(nèi)存。e)宜兼容PCIe4.0及更低版本的PCle協(xié)議。f)宜能連接并使用25GE、10GE、GE等接口。g)宜能通過自帶固件，如通過BMC等，或其他外接部件監(jiān)控系統(tǒng)參數(shù)。h)宜具備圖像、視頻預(yù)處理模塊。i)應(yīng)能執(zhí)行以下至少一種場(chǎng)景模型的推理，包含但不限于：1)計(jì)算機(jī)視覺；2)自然語言處理；3)聲音處理。j)宜支持i)1)、i)2)和i)3)場(chǎng)景模型的推理。k)應(yīng)支持下列一種或多種精度實(shí)施推理：6.1.2人工智能加速卡6.1.2.1人工智能訓(xùn)練加速卡對(duì)用作人工智能平臺(tái)訓(xùn)練資源的訓(xùn)練加速卡的要求如下。a)當(dāng)具備卡上內(nèi)存時(shí)，卡上內(nèi)存帶寬應(yīng)不低于100GB/s。b)應(yīng)至少支持乘加運(yùn)算加速。c)配備片上內(nèi)存(如HBM)時(shí)，內(nèi)存總?cè)萘繎?yīng)不小于16GB,宜不小于32GB,總帶寬應(yīng)不小于512GB/s,宜不小于1024GB/s。d)應(yīng)兼容PCIe3.0協(xié)議(PCIex16、PClex8或PClex4)。e)宜兼容PCIe4.0協(xié)議。f)宜支持DDR4內(nèi)存或LPDDR4及以上版本內(nèi)存，容量宜不小于16GB。g)宜支持(如基于ECC的)內(nèi)存錯(cuò)誤修復(fù)。h)宜能解碼16路4K(或64路FHD)60FPS的視頻(視頻格式符合ITU-TH.264—2021、ITU-7TH.265—2021或GB/T20090.2—2013的規(guī)定)。i)宜具備對(duì)GB/T17235.1—1998規(guī)定格式的圖像(FHD2048FPS或等效)的解碼能力。j)宜具備對(duì)ISO/IEC15948:2004規(guī)定格式的圖像的解碼能力。k)宜具備對(duì)GB/T17235.1—1998規(guī)定格式的圖像(FHD256FPS或等效)的編碼能力。1)應(yīng)能與至少一種深度學(xué)習(xí)或機(jī)器學(xué)習(xí)框架配套運(yùn)行。m)應(yīng)能執(zhí)行以下至少一種場(chǎng)景模型的訓(xùn)練，包含但不限于：1)計(jì)算機(jī)視覺；2)自然語言處理；3)聲音處理。n)宜支持m)1)、m)2)和m)3)場(chǎng)景模型的訓(xùn)練。對(duì)用作人工智能平臺(tái)推理資源的推理加速卡的要求如下。a)當(dāng)具備卡上內(nèi)存時(shí)，卡上內(nèi)存帶寬應(yīng)不低于32GB/s。c)宜支持DDR4或LPDDR4及以上版本內(nèi)存，容量宜不小于16GB;單內(nèi)存位寬不宜低于128bit,總帶寬宜不小于204GB/s。d)宜支持(如基于ECC的)內(nèi)存錯(cuò)誤修復(fù)。e)宜支持視頻編解碼(視頻格式符合ITU-TH.264—2021、ITU-TH.265—2021或GB/T20090.2—f)宜支持至少一種圖像的解碼，如GB/T17235.1—1998或ISO/IEC15948:2004規(guī)定的圖像等。g)宜支持至少64路1080P(即分辨率為1920×1080,逐行掃描)視頻解碼(30FPS)或8路4K視頻解碼(60FPS),視頻格式應(yīng)符合ITU-TH.264—2021、ITU-TH.265—2021或GB/T20090.2-h)宜能支持4路ISO/IEC15948:2004規(guī)定格式的圖像[1080P(256FPS)]的解碼。i)宜能支持4路ISO/IEC15948:2004規(guī)定格式的圖像[1080P(64FPS)]的編碼。j)宜能支持4路ISO/IEC15948:2004規(guī)定格式的圖像[1080P(24FPS)]的解碼。k)應(yīng)能執(zhí)行以下至少一種場(chǎng)景模型的推理，包含但不限于：1)計(jì)算機(jī)視覺；2)自然語言處理；3)聲音處理。1)宜支持k)1)、k)2)和k)3)中全部類型場(chǎng)景模型的推理。6.1.3人工智能加速模組加速模組作為人工智能平臺(tái)推理資源，符合以下要求。a)應(yīng)含有至少1個(gè)人工智能加速處理器，支持乘加運(yùn)算加速。b)應(yīng)支持至少一種計(jì)算精度，如FP16、INT8等。c)應(yīng)配備連接器或接口，如USB、BTB連接器等。d)宜能以FP16或INT8精度執(zhí)行計(jì)算任務(wù)。e)宜兼容LPDDR4X協(xié)議，位寬不宜小于64bit,容量不宜小于4GB。8f)宜支持(如基于ECC的)內(nèi)存錯(cuò)誤修復(fù)。g)宜兼容至少一種高速接口(PCle3.0或以上規(guī)格接口，RGMIⅡ或USB2.0等)。h)宜兼容至少一種串行總線接口(UART接口、I2C接口或SPI接口等)。i)在高清視頻解析和處理場(chǎng)景下，宜支持視頻編解碼，視頻格式符合ITU-TH.264—2021、ITU-TH.265—2021或GB/T20090.2—2013的規(guī)定：1)20路1080P,25FPS解碼或16路1080P,30FPS解碼；2)2路4K(即分辨率為3840×2160),30FPS解碼；3)1路1080P,30FPS編碼。j)在高清視頻解析和處理場(chǎng)景下，宜支持下列圖像的編解碼：1)對(duì)符合GB/T17235.1—1998規(guī)定格式的圖像：1080P,256FPS解碼，1080P,64FPS2)對(duì)符合ISO/IEC15948:2004規(guī)定格式的圖像：1080P,24FPS解碼。k)無源供電時(shí)，平均功耗宜不超過5W。1)應(yīng)能執(zhí)行以下至少一種場(chǎng)景模型的推理，包含但不限于：1)計(jì)算機(jī)視覺；2)自然語言處理；3)聲音處理。m)宜支持1)1)、1)2)和1)3)中全部類型場(chǎng)景模型的推理。6.2虛擬計(jì)算資源虛擬計(jì)算資源要求如下。a)應(yīng)具備虛擬化的CPU。b)應(yīng)具備一種以上虛擬化的人工智能加速處理器，如NPU、GPU等。c)應(yīng)能實(shí)時(shí)監(jiān)控資源狀態(tài)。d)宜能以基于容器的方式，管理異構(gòu)資源。e)宜支持資源池內(nèi)CPU和人工智能加速處理器間的不同配比。f)宜支持基于角色的權(quán)限訪問控制。g)宜能自動(dòng)發(fā)現(xiàn)和維護(hù)計(jì)算資源。h)宜支持服務(wù)器系統(tǒng)與其運(yùn)行應(yīng)用的綁定。i)宜提供資源故障告警、檢測(cè)和還原的功能。j)宜能使用硬件節(jié)能功能，包括資源回收、關(guān)閉和休眠。k)宜支持資源注冊(cè)、使用、配額管理和操作審計(jì)。1)宜支持虛擬CPU和虛擬人工智能加速處理器的互操作。m)應(yīng)支持至少一種深度學(xué)習(xí)或機(jī)器學(xué)習(xí)框架。n)應(yīng)能執(zhí)行以下至少一種場(chǎng)景模型的推理和訓(xùn)練，包含但不限于：1)計(jì)算機(jī)視覺；2)自然語言處理；3)聲音處理。o)宜能訓(xùn)練和推理n)1)、n)2)和n)3)中全部類型場(chǎng)景的模型。97測(cè)試方法7.1通用特性對(duì)GB/T9813.3—2017中4.4～4.11的測(cè)試，按GB/T9813.3—2017中5.4～5.11的規(guī)定實(shí)施。對(duì)本文件第6章中的要求，測(cè)試環(huán)境應(yīng)符合GB/T9813.3—2017中5.1的要求。7.2物理計(jì)算資源7.2.1人工智能訓(xùn)練服務(wù)器人工智能訓(xùn)練服務(wù)器的測(cè)試中測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見附錄A,按以下操作實(shí)施。測(cè)試系統(tǒng)配置見附錄B。a)在人工智能服務(wù)器上安裝操作系統(tǒng)和機(jī)器學(xué)習(xí)軟件框架。b)利用框架提供的API,編制腳本，完成張量初始化、張量乘加操作，輸出結(jié)果。c)執(zhí)行操作系統(tǒng)命令，查詢輸出CPU體系架構(gòu)，輸出CPU狀態(tài)數(shù)據(jù)。d)執(zhí)行操作系統(tǒng)命令，查詢輸出各級(jí)緩存的容量。e)執(zhí)行操作系統(tǒng)命令，查詢輸出內(nèi)存協(xié)議(如DDR3,DDR4)、容量及帶寬(在執(zhí)行測(cè)試前，應(yīng)安置f)執(zhí)行操作系統(tǒng)命令，查詢輸出SSD、SATA及NVMe協(xié)議的支持情況(在執(zhí)行測(cè)試前，應(yīng)安置備與人工智能訓(xùn)練服務(wù)器連接，配置形成RAID0(至少包含兩塊存儲(chǔ)媒體),命令訓(xùn)練服務(wù)器讀取其存儲(chǔ)媒體上的特定數(shù)據(jù)(測(cè)試前預(yù)先存放),寫入RAID0陣列，用時(shí)為TL1。完成后，僅時(shí)為TL2。比較TL1與TL2的大小，TL1應(yīng)不大于TL2。g)執(zhí)行操作系統(tǒng)命令，輸出系統(tǒng)使用的PCIe協(xié)議版本。h)外接USB3.0閃存盤，復(fù)制閃存盤內(nèi)預(yù)先制備的文件(不小于1GB)到被測(cè)系統(tǒng)的存儲(chǔ)媒體上，獲得平均速率(測(cè)試時(shí)，應(yīng)使用USB3.0配套的連接線纜)。i)使用6.1.1.1m)規(guī)定協(xié)議配套的路由器或交換機(jī)，連接被測(cè)系統(tǒng)及測(cè)試輔助通用服務(wù)器，從通用服務(wù)器使用TCP協(xié)議發(fā)送文件(不小于10GB)到被測(cè)系統(tǒng)，獲得鏈路層平均傳輸速率(測(cè)試時(shí)，應(yīng)使用相應(yīng)的連接線纜)。j)在a)的基礎(chǔ)上，調(diào)用圖像、視頻預(yù)處理命令，輸出結(jié)果。k)在a)的基礎(chǔ)上，應(yīng)符合附錄C的規(guī)定，為每個(gè)模型編制訓(xùn)練腳本(控制訓(xùn)練過程精度為INT4、1)在k)完成后，由實(shí)驗(yàn)過程控制組件，對(duì)每個(gè)模型，發(fā)送訓(xùn)練開始指令，并計(jì)時(shí)，直到被測(cè)人工智能訓(xùn)練服務(wù)器輸出訓(xùn)練結(jié)果模型時(shí)，結(jié)束計(jì)時(shí)，完成一次訓(xùn)練，訓(xùn)練時(shí)間為兩次計(jì)時(shí)的差，記為T?。對(duì)于不使用CPU加速訓(xùn)練過程的人工智能服務(wù)器，關(guān)閉人工智能訓(xùn)練加速部件(或使用計(jì)算能力等同的通用服務(wù)器),完成一次訓(xùn)練，并計(jì)時(shí)，訓(xùn)練時(shí)間為T?。m)在1)執(zhí)行中，調(diào)用被測(cè)人工智能服務(wù)器提供的監(jiān)控命令，獲取CPU運(yùn)行狀態(tài)，如每個(gè)CPU的n)檢查設(shè)備外觀及構(gòu)造，確認(rèn)網(wǎng)口存在，執(zhí)行操作系統(tǒng)命令，查詢輸出物理網(wǎng)口信息，使用網(wǎng)口接入本地交換機(jī)，針對(duì)附錄C中的任一負(fù)載，完成分布式訓(xùn)練。o)在服務(wù)器固件中設(shè)置ECC為開啟狀態(tài)，檢查ECC是否工作正常，或檢查服務(wù)器生產(chǎn)者提供的測(cè)試過程記錄。p)在1)執(zhí)行中，調(diào)用系統(tǒng)監(jiān)控功能(通過操作界面或命令行),顯示、記錄或打印系統(tǒng)運(yùn)行狀態(tài)(包q)檢查設(shè)備標(biāo)稱計(jì)算能力。7.2.2人工智能推理服務(wù)器人工智能推理服務(wù)器的測(cè)試中測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見附錄A,按以下操作實(shí)施。測(cè)試系統(tǒng)配置見附錄B。a)在人工智能推理服務(wù)器上安裝操作系統(tǒng)。b)在推理服務(wù)器需配合機(jī)器學(xué)習(xí)框架完成推理時(shí)，在服務(wù)器上安裝機(jī)器學(xué)習(xí)軟件框架。c)執(zhí)行7.2.1c)規(guī)定的操作。d)執(zhí)行7.2.1d)規(guī)定的操作。e)執(zhí)行7.2.1e)規(guī)定的操作。f)執(zhí)行7.2.1g)規(guī)定的操作。g)使用6.1.1.2f)規(guī)定接口配套的路由器或交換機(jī)，執(zhí)行7.2.1i)規(guī)定的操作。i)在a)的基礎(chǔ)上，應(yīng)符合附錄C的規(guī)定，為每個(gè)模型，配置測(cè)試數(shù)據(jù)集，編譯并安置推理模型(控制推理過程精度為INT4、INT8、INT16、FP16或FP32)。j)在i)完成后，由實(shí)驗(yàn)過程控制組件，對(duì)每個(gè)模型，發(fā)送開始指令，并計(jì)時(shí)，直到被測(cè)人工智能推理服務(wù)器輸出全部推理結(jié)果時(shí)，結(jié)束計(jì)時(shí)，完成一輪推，推理總時(shí)間記為T?。對(duì)于不使用CPU加速推理過程的人工智能服務(wù)器，關(guān)閉人工智能加速部件(或使用計(jì)算能力等同的通用服務(wù)器),完成一輪推理，記錄用時(shí)為T?。k)在j)執(zhí)行中，調(diào)用被測(cè)人工智能服務(wù)器提供的監(jiān)控命令，應(yīng)能獲取系統(tǒng)運(yùn)行狀態(tài)，包含但不限7.2.3人工智能訓(xùn)練加速卡人工智能訓(xùn)練加速卡的測(cè)試中測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見附錄A,按以下操作實(shí)施。測(cè)試系統(tǒng)配置見附錄B。a)在裝配了人工智能加速卡的人工智能服務(wù)器上，安裝操作系統(tǒng)和機(jī)器學(xué)習(xí)軟件框架。b)當(dāng)具備卡上內(nèi)存時(shí)，調(diào)用加速卡附帶命令，查詢加速卡內(nèi)存情況，計(jì)算總帶寬。c)利用框架提供的API或加速卡命令，編制腳本，完成張量初始化、張量乘加操作。d)執(zhí)行7.2.1e)規(guī)定的操作。e)執(zhí)行7.2.1g)規(guī)定的操作。f)在a)的基礎(chǔ)上，應(yīng)符合附錄C的規(guī)定，為每個(gè)模型，配置測(cè)試數(shù)據(jù)集，編譯并安置模型。g)在f)完成后，由實(shí)驗(yàn)過程控制組件，對(duì)每個(gè)模型，發(fā)送開始指令，并計(jì)時(shí)，直到被測(cè)人工智能訓(xùn)練服務(wù)器輸出訓(xùn)練結(jié)果模型時(shí)，結(jié)束計(jì)時(shí)，完成一次訓(xùn)練，訓(xùn)練時(shí)間為兩次計(jì)時(shí)的差，記為Ts。對(duì)不使用CPU加速訓(xùn)練的人工智能服務(wù)器，關(guān)閉人工智能訓(xùn)練加速卡功能(或使用計(jì)算能力等同的通用服務(wù)器),完成一次訓(xùn)練，并計(jì)時(shí)，訓(xùn)練時(shí)間為Ts。h)使用路由器、交換機(jī)連接若干臺(tái)通用服務(wù)器，用于向被測(cè)系統(tǒng)發(fā)送視頻碼流(視頻格式符合ITU-TH.264—2021、ITU-TH.265—2021或GB/T20090.2—2013的規(guī)定)。在不具備輔助服務(wù)器時(shí)，宜使用本地文件，模擬視頻流。被測(cè)服務(wù)器完成解碼，并將解碼后的文件保存在被測(cè)系統(tǒng)本地，并向測(cè)試過程控制組件發(fā)送結(jié)果：1)選用16路4K視頻時(shí)，使用4臺(tái)服務(wù)器，每臺(tái)發(fā)送4路；2)選用64路FHD視頻時(shí)，使用8臺(tái)服務(wù)器，每臺(tái)發(fā)送8路。i)使用路由器、交換機(jī)連接16臺(tái)服務(wù)器，向被測(cè)系統(tǒng)發(fā)送FHD圖像數(shù)據(jù)(圖像格式符合GB/T17235.1—1998的規(guī)定),每臺(tái)發(fā)送幀率不小于120FPS。被測(cè)服務(wù)器完成解碼，并將解碼后的文件發(fā)送至實(shí)驗(yàn)過程控制組件。j)使用路由器、交換機(jī)連接8臺(tái)服務(wù)器，向被測(cè)系統(tǒng)發(fā)送FHD圖像數(shù)據(jù)(圖像格式符合ISO/IEC15948:2004的規(guī)定),每臺(tái)發(fā)送幀率不小于25FPS。被測(cè)服務(wù)器完成解碼，并將解碼后的文件發(fā)送至實(shí)驗(yàn)過程控制組件。k)使用路由器、交換機(jī)連接8臺(tái)服務(wù)器，向被測(cè)系統(tǒng)發(fā)送FHD圖像數(shù)據(jù)(圖像格式符合GB/T17235.1—1998的規(guī)定),每臺(tái)發(fā)送幀率不小于30FPS,被測(cè)服務(wù)器完成編碼，并將編碼后的文件發(fā)送至實(shí)驗(yàn)過程控制組件。1)設(shè)置ECC為開啟狀態(tài)，檢查ECC是否工作正常，或檢查生產(chǎn)者提供的測(cè)試過程記錄。7.2.4人工智能推理加速卡人工智能推理加速卡的測(cè)試中測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見附錄A,按以下操作實(shí)施。測(cè)試系統(tǒng)配置見附錄B。a)當(dāng)具備卡上內(nèi)存時(shí)，調(diào)用加速卡附帶命令，查詢加速卡內(nèi)存情況，計(jì)算總帶寬。b)利用加速卡命令，編制腳本，完成張量初始化、張量乘加操作。c)執(zhí)行7.2.1e)規(guī)定的操作。d)執(zhí)行7.2.1g)規(guī)定的操作。e)在a)的基礎(chǔ)上，應(yīng)符合附錄C的規(guī)定，為每個(gè)模型，配置測(cè)試數(shù)據(jù)集，編譯并安置推理模型。f)在e)完成后，由實(shí)驗(yàn)過程控制組件，對(duì)每個(gè)模型，發(fā)送開始指令，并計(jì)時(shí)，直到被測(cè)系統(tǒng)輸出全部推理結(jié)果時(shí)，結(jié)束計(jì)時(shí)，完成一輪推理，總時(shí)間記為T?。對(duì)于不使用CPU加速人工智能推理的人工智能服務(wù)器，關(guān)閉人工智能推理加速卡功能(或使用計(jì)算能力等同的通用服務(wù)器),完成一輪推理，并記錄用時(shí)為Tg。g)使用路由器、交換機(jī)連接若干臺(tái)通用服務(wù)器，用于向被測(cè)系統(tǒng)發(fā)送視頻數(shù)據(jù)(視頻格式符合ITU-TH.264—2021、ITU-TH.265—2021或GB/T20090.2—2013的規(guī)定)。被測(cè)服務(wù)器完成解碼，并將解碼后的文件發(fā)送至測(cè)試過程控制組件：1)選用64路1080P視頻時(shí)，使用16臺(tái)服務(wù)器，每臺(tái)發(fā)送4路；2)選用8路4K視頻時(shí)，使用8臺(tái)服務(wù)器，每臺(tái)發(fā)送1路。h)使用路由器、交換機(jī)連接8臺(tái)服務(wù)器，向被測(cè)系統(tǒng)發(fā)送1080P圖像數(shù)據(jù)(圖像格式符合GB/T17235.1—1998的規(guī)定),每臺(tái)發(fā)送幀率為32FPS。被測(cè)服務(wù)器完成解碼，并將解碼后的文件發(fā)送至實(shí)驗(yàn)過程控制組件。i)使用路由器、交換機(jī)連接2臺(tái)服務(wù)器，向被測(cè)系統(tǒng)發(fā)送1080P圖像數(shù)據(jù)(圖像格式符合GB/T17235.1—1998的規(guī)定),每臺(tái)發(fā)送幀率為32FPS。被測(cè)服務(wù)器完成編碼，并將編碼后的文件發(fā)送至實(shí)驗(yàn)過程控制組件。j)使用路由器、交換機(jī)連接4臺(tái)服務(wù)器，向被測(cè)系統(tǒng)發(fā)送1080P圖像數(shù)據(jù)(圖像格式符合ISO/IEC15948:2004的規(guī)定),每臺(tái)發(fā)送幀率為32FPS,被測(cè)服務(wù)器完成解碼，并將解碼后的文件發(fā)送至實(shí)驗(yàn)過程控制組件。k)設(shè)置ECC為開啟狀態(tài)，檢查ECC是否工作正常，或檢查生產(chǎn)者提供的測(cè)試過程記錄。1)使用加速卡配套工具調(diào)用或命令，解碼服務(wù)器上預(yù)置的GB/T17235.1—1998或ISO/IEC15948:2004規(guī)定的圖像。7.2.5人工智能加速模組人工智能加速模組的測(cè)試中測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見附錄A,按以下操作實(shí)施。測(cè)試系統(tǒng)配置見附錄B。a)利用加速模組命令，編制腳本，完成張量初始化、張量加乘操作(或加速模組支持的其他加速操作),精度為FP16或INT8。b)執(zhí)行7.2.1e)規(guī)定的操作。c)執(zhí)行7.2.1g)規(guī)定的操作。d)外接UART-USB,I2C-USB或SPI-USB轉(zhuǎn)接器，傳輸預(yù)先制備的文件(不小于1GB)到加速模組，計(jì)算平均速率。e)直接連接USB2.0閃存盤，復(fù)制閃存盤內(nèi)預(yù)先制備的文件(不小于1GB)到加速模組，計(jì)算平均速率。f)應(yīng)符合附錄C的規(guī)定，為每個(gè)模型，配置測(cè)試數(shù)據(jù)集，編譯并安置推理模型。g)在f)完成后，由測(cè)試過程控制組件，對(duì)每個(gè)模型發(fā)送測(cè)試數(shù)據(jù)到加速模組，直到被測(cè)系統(tǒng)輸出全部推理結(jié)果時(shí)，完成一輪推理，計(jì)算附錄C要求的推理準(zhǔn)確率指標(biāo)。h)使用路由器、交換機(jī)連接若干臺(tái)通用服務(wù)器，用于向被測(cè)系統(tǒng)發(fā)送視頻碼流。被測(cè)系統(tǒng)完成編碼或解碼，并將結(jié)果文件保存在被測(cè)系統(tǒng)本地，并向測(cè)試過程控制組件發(fā)送結(jié)果：1)選用20路1080P,25FPS待解碼視頻時(shí)，使用4臺(tái)服務(wù)器，每臺(tái)發(fā)送5路；2)選用16路1080P,30FPS待解碼視頻時(shí)，使用4臺(tái)服務(wù)器，每臺(tái)發(fā)送4路；3)選用2路4K,30FPS待解碼視頻時(shí)，使用2臺(tái)服務(wù)器，每臺(tái)發(fā)送1路；4)選用1路1080P,30FPS待編碼視頻時(shí)，使用1臺(tái)服務(wù)器，發(fā)送1路。i)使用路由器、交換機(jī)連接8臺(tái)服務(wù)器，向被測(cè)系統(tǒng)發(fā)送1080P圖像數(shù)據(jù)(圖像格式符合GB/T17235.1—1998的規(guī)定),每臺(tái)發(fā)送幀率為32FPS。被測(cè)系統(tǒng)完成解碼，并將解碼后的文件發(fā)送至實(shí)驗(yàn)過程控制組件。j)使用路由器、交換機(jī)連接2臺(tái)服務(wù)器，向被測(cè)系統(tǒng)發(fā)送1080P圖像數(shù)據(jù)(圖像格式符合GB/T17235.1—1998的規(guī)定),每臺(tái)發(fā)送幀率為32FPS。被測(cè)系統(tǒng)完成編碼，并將編碼后的文件發(fā)送至實(shí)驗(yàn)過程控制組件。k)使用路由器、交換機(jī)連接3臺(tái)服務(wù)器，向被測(cè)系統(tǒng)發(fā)送1080P圖像數(shù)據(jù)(圖像格式符合ISO/IEC15948:2004的規(guī)定),每臺(tái)發(fā)送幀率為8FPS。被測(cè)系統(tǒng)完成解碼，并將解碼后的文件發(fā)送至實(shí)驗(yàn)過程控制組件。1)測(cè)試主機(jī)向被測(cè)樣機(jī)輸入測(cè)試集數(shù)據(jù)，同步啟動(dòng)功率計(jì)對(duì)被測(cè)樣機(jī)在執(zhí)行測(cè)試期間的功耗進(jìn)行測(cè)量和記錄，測(cè)試主機(jī)讀取功率計(jì)記錄的總功耗值，并計(jì)算得到該被測(cè)樣機(jī)的功率，重復(fù)多次求平均，獲得平均功率。n)設(shè)置ECC為開啟狀態(tài)，檢查ECC是否工作正常，或檢查生產(chǎn)者提供的測(cè)試過程記錄。7.3虛擬計(jì)算資源虛擬計(jì)算資源測(cè)試方法由產(chǎn)品標(biāo)準(zhǔn)給出。(資料性)人工智能平臺(tái)物理計(jì)算資源測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系人工智能訓(xùn)練服務(wù)器的測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見表A.1,人工智能推理服務(wù)器的測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見表A.2,人工智能訓(xùn)練加速卡的測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見表A.3,人工智能推理加速卡的測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見表A.4,人工智能加速模組的測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系見表A.5。表A.1人工智能訓(xùn)練服務(wù)器測(cè)試方法與技術(shù)要求對(duì)應(yīng)關(guān)系測(cè)試對(duì)象技術(shù)要求測(cè)試方法通用特性6.1.1.1a)中央處理器6.1.1.1c)6.1.1.1d)6.1.1.1h)人工智能加速部件6.1.1.1b)6.1.1.1t)6.1.1.1u)1)內(nèi)存6.1.1.1f)或6.1.1.1g)或6.1.1.1n)PCle6.1.1.1k)7.2.11)存儲(chǔ)媒體6.1.1.1j)互聯(lián)6.1.1.11)6.1.1.1m)6.1.1.1o)6.1.1.1u)2)數(shù)據(jù)預(yù)處理6.1.1.1p)訓(xùn)練6.1.1.1r)或6.1.1.1s)運(yùn)行監(jiān)控6.1.1.1e)7.2.1m)6.1.1.1q)表A.2人工智能推理服務(wù)器測(cè)試方法與技術(shù)要求對(duì)應(yīng)關(guān)系測(cè)試對(duì)象技術(shù)要求測(cè)試方法通用特性6.1.1.1a)中央處理器6.1.1.1c)6.1.1.2b)6.1.1.2c)人工智能加速部件6.1.1.1b)6.1.1.2k)內(nèi)存6.1.1.2d)PCle6.1.1.2e)互聯(lián)6.1.1.2f)數(shù)據(jù)預(yù)處理6.1.1.2h)推理6.1.1.2i)或6.1.1.2j)7.2.2j)運(yùn)行監(jiān)控6.1.1.2g)表A.3人工智能訓(xùn)練加速卡測(cè)試方法與技術(shù)要求對(duì)應(yīng)關(guān)系測(cè)試對(duì)象技術(shù)要求測(cè)試方法軟件框架6.1.2.1b)內(nèi)存6.1.2.16.1.2.16.1.2.16.1.2.1g)PCle6.1.2.1d)6.1.2.1e)編解碼6.1.2.1h)6.1.2.1j)6.1.2.1k)訓(xùn)練6.1.2.1m)或6.1.2.1n)測(cè)試對(duì)象技術(shù)要求測(cè)試方法加速計(jì)算6.1.2.1b)內(nèi)存6.1.2.2c)6.1.2.2a)6.1.2.2d)PCIe6.1.2.1d)編解碼6.1.2.2e)或6.1.2.2g)6.1.2.2h)6.1.2.2j)6.1.2.2f)推理6.1.2.2k)或6.1.2.21)測(cè)試對(duì)象技術(shù)要求測(cè)試方法加速器及加速運(yùn)算精度支持6.1.3b)或連接器內(nèi)存6.1.3g)的PCle或以上規(guī)格接口6.1.3g)的RGMIⅡ接口6.1.3g)的USB2.0接口串行總線接口編解碼表A.5人工智能加速模組測(cè)試方法對(duì)應(yīng)關(guān)系(續(xù))測(cè)試對(duì)象技術(shù)要求測(cè)試方法推理6.1