ICS35.240

CCSL70

團(tuán)體標(biāo)準(zhǔn)

T/STSI43—2023

人工智能算力資源池技術(shù)規(guī)范

Technicalspecificationforartificialintelligencecomputingpowerresourcepool

學(xué)兔兔標(biāo)準(zhǔn)下載

2023-11-04發(fā)布2023-11-06實(shí)施

中關(guān)村新興科技服務(wù)業(yè)產(chǎn)業(yè)聯(lián)盟??發(fā)布

T/STSI43—2023

人工智能算力資源池技術(shù)規(guī)范

1范圍

本文件規(guī)定了人工智能算力資源池的總體架構(gòu)、總體要求、功能要求、通信網(wǎng)絡(luò)、資源池部署與集

成、兼容性要求、可靠性要求和安全要求，給出了驗(yàn)證方法和過(guò)程。

本文件適用于人工智能算力資源池的設(shè)計(jì)、建設(shè)、運(yùn)維和驗(yàn)證。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T31168信息安全技術(shù)云計(jì)算服務(wù)安全能力要求

GB/T35279信息安全技術(shù)云計(jì)算安全參考架構(gòu)

GB/T41867信息技術(shù)人工智能術(shù)語(yǔ)

GB/T42018信息技術(shù)人工智能平臺(tái)計(jì)算資源規(guī)范

YD/T3954云服務(wù)用戶數(shù)據(jù)保護(hù)能力參考框架

3術(shù)語(yǔ)、定義和縮略語(yǔ)

3.1術(shù)語(yǔ)和定義

GB/T41867、GB/T42018界定的以及下列術(shù)語(yǔ)和定義適用于本文件。

3.1.1

人工智能artificialintelligence

<學(xué)科>人工智能系統(tǒng)相關(guān)機(jī)制和應(yīng)用的研究和開發(fā)。

[來(lái)源：GB/T41867—2022，3.1.2]

3.1.2

人工智能加速卡artificialintelligenceacceleratingcard

專為人工智能計(jì)算設(shè)計(jì)、符合人工智能服務(wù)器硬件接口的擴(kuò)展加速設(shè)備。

[來(lái)源：GB/T42018—2022，3.6]

3.1.3

物理計(jì)算資源physicalcomputingresource

為人工智能應(yīng)用提供信息處理能力（如存儲(chǔ)、計(jì)算等）的實(shí)體設(shè)備。

學(xué)兔兔示例：人工智能服務(wù)器、人工智能加速卡和人工智能加速模組等。標(biāo)準(zhǔn)下載

[來(lái)源：GB/T42018—2022，3.3]

3.1.4

虛擬計(jì)算資源virtualcomputingresource

為人工智能應(yīng)用提供信息處理能力（如存儲(chǔ)、計(jì)算等）的邏輯設(shè)備。

示例：邏輯設(shè)備是物理設(shè)備的虛擬化形態(tài)，它與物理設(shè)備間存在映射關(guān)系。

1

T/STSI43—2023

[來(lái)源：GB/T42018—2022，3.4]

3.2縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

AI：人工智能（ArtificialIntelligence）

API：應(yīng)用程序編程接口（ApplicationProgrammingInterface）

ASIC：專用集成電路（ApplicationSpecificIntegratedCircuit）

CPU：中央處理器（CentralProcessingUnit）

FPGA：現(xiàn)場(chǎng)可編程邏輯門陣列（FieldProgrammableGateArray）

GPU：圖形處理單元（GraphicsProcessingUnit）

KVM：基于內(nèi)核的虛擬機(jī)（Kernel-basedVirtualMachine）

TCP/IP：傳輸控制協(xié)議/網(wǎng)際協(xié)議（TransmissionControlProtocol/InternetProtocol）

4總體架構(gòu)

人工智能算力資源池化指的是無(wú)需關(guān)注實(shí)際物理計(jì)算資源的大小、數(shù)量、型號(hào)以及安插的物理位置，

對(duì)物理計(jì)算資源進(jìn)行抽象，軟件化后形成一個(gè)統(tǒng)一的資源池，按需對(duì)計(jì)算資源進(jìn)行有效調(diào)用的過(guò)程。人

工智能算力資源池總體架構(gòu)見(jiàn)圖1。

學(xué)兔兔圖1總體架構(gòu)標(biāo)準(zhǔn)下載

其中：

——人工智能應(yīng)用：基于自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等技術(shù)實(shí)現(xiàn)的業(yè)務(wù)應(yīng)用；

——異構(gòu)算力資源池：通過(guò)軟件定義的方式將多種異構(gòu)算力變成可動(dòng)態(tài)管理的資源池；

——運(yùn)行時(shí)：一套兼容各類計(jì)算資源的API編程環(huán)境的運(yùn)行環(huán)境，模擬API編程的運(yùn)行時(shí)接口，

實(shí)現(xiàn)與上層AI框架的對(duì)接和管理；

2

學(xué)兔兔標(biāo)準(zhǔn)下載

T/STSI43—2023

——調(diào)度控制服務(wù)：資源池的核心管理、調(diào)度模塊，實(shí)現(xiàn)對(duì)節(jié)點(diǎn)IP地址、物理計(jì)算資源信息、虛

擬計(jì)算資源信息以及應(yīng)用任務(wù)信息等的匯總管理；

——AI算力池化服務(wù)：發(fā)現(xiàn)并管理節(jié)點(diǎn)上的物理計(jì)算資源，將物理計(jì)算資源池化，將計(jì)算能力提

供給集群中各個(gè)物理節(jié)點(diǎn)，以及各個(gè)物理節(jié)點(diǎn)上的虛擬機(jī)、容器；

——異構(gòu)算力資源：GPU、FPGA、ASIC等多種計(jì)算資源；

——運(yùn)維管理：提供圖形用戶界面，實(shí)現(xiàn)資源池全方位管理與監(jiān)控。

5總體要求

5.1資源池應(yīng)采用分布式架構(gòu)、模塊化設(shè)計(jì)，在架構(gòu)及功能方面應(yīng)具備良好的系統(tǒng)可擴(kuò)展能力，使得

系統(tǒng)在為用戶提供服務(wù)的過(guò)程中能實(shí)現(xiàn)平滑擴(kuò)展，持續(xù)運(yùn)行。

5.2資源池應(yīng)支持各類異構(gòu)AI算力資源。

注：AI算力資源包括GPU、FPGA、ASIC等人工智能加速卡設(shè)備資源。

5.3資源池采用的軟硬件應(yīng)便于安裝、升級(jí)，并具有友好的管理界面。

5.4資源池應(yīng)具備人工智能應(yīng)用和計(jì)算資源的解耦能力，在同一集群的任意節(jié)點(diǎn)上運(yùn)行人工智能應(yīng)用

均可調(diào)用人工智能算力資源池內(nèi)的資源。

5.5資源池應(yīng)具備提供細(xì)粒度算力資源的能力。

5.6資源池應(yīng)對(duì)能耗進(jìn)行有效的監(jiān)控和管理，通過(guò)遠(yuǎn)程管理提高運(yùn)維管理效率。

5.7資源池應(yīng)支持業(yè)務(wù)不停機(jī)的灰度升級(jí)部署。

5.8資源池在運(yùn)維管理方面應(yīng)具備計(jì)算資源全局監(jiān)控、告警、日志、數(shù)據(jù)統(tǒng)計(jì)、報(bào)表等能力。

6功能要求

6.1池化管理

6.1.1應(yīng)支持AI應(yīng)用與物理計(jì)算資源解耦合，AI應(yīng)用向資源池軟件調(diào)取虛擬計(jì)算資源，資源池軟件

再匹配物理計(jì)算資源。

6.1.2應(yīng)支持多臺(tái)物理計(jì)算資源節(jié)點(diǎn)跨機(jī)資源聚合，為單一容器或虛擬機(jī)提供多卡虛擬計(jì)算資源。

6.1.3應(yīng)支持運(yùn)行在普通CPU節(jié)點(diǎn)的人工智能業(yè)務(wù)通過(guò)網(wǎng)絡(luò)遠(yuǎn)程調(diào)用物理GPU計(jì)算資源節(jié)點(diǎn)上的虛擬

計(jì)算資源。

6.1.4應(yīng)支持虛擬計(jì)算資源動(dòng)態(tài)調(diào)整，不應(yīng)重新加載、重置、重啟容器或虛擬機(jī)等運(yùn)行環(huán)境。

6.2池化調(diào)度

6.2.1應(yīng)支持配置多種算力資源池任意調(diào)度策略,包括本地調(diào)度、本地優(yōu)先、節(jié)點(diǎn)均衡/緊湊、設(shè)備均

衡/緊湊等調(diào)度策略。

6.2.2應(yīng)支持為不同的AI任務(wù)提供個(gè)性化的計(jì)算資源調(diào)度策略。

6.2.3應(yīng)支持AI任務(wù)調(diào)度計(jì)算資源時(shí)，可指定物理計(jì)算資源節(jié)點(diǎn)、人工智能加速卡芯片型號(hào)。

學(xué)兔兔6.3提供任意規(guī)格算力資源標(biāo)準(zhǔn)下載

6.3.1應(yīng)支持為上層業(yè)務(wù)提供聚合多臺(tái)計(jì)算資源節(jié)點(diǎn)上的物理計(jì)算資源的能力。

6.3.2應(yīng)支持為上層業(yè)務(wù)提供的虛擬計(jì)算資源按照算力1%和顯存1MB兩個(gè)維度進(jìn)行任意切分，提供

小算力資源。

6.4虛擬算力資源隔離

3

T/STSI43—2023

應(yīng)支持同一張人工智能加速卡上多任務(wù)虛擬計(jì)算資源并發(fā)運(yùn)行，虛擬計(jì)算資源多任務(wù)隔離保護(hù)，異

常虛擬計(jì)算資源任務(wù)不影響其他正常任務(wù)。

6.5業(yè)務(wù)熱遷移

業(yè)務(wù)遷移不應(yīng)中斷AI業(yè)務(wù)，遷移過(guò)程中不影響AI業(yè)務(wù)對(duì)計(jì)算資源的遠(yuǎn)程調(diào)用，能夠有效保證業(yè)務(wù)連

續(xù)性，減少上層業(yè)務(wù)宕機(jī)時(shí)間，提升用戶使用體驗(yàn)。

6.6橫向擴(kuò)展

應(yīng)支持資源池平滑擴(kuò)容、縮容，支持添加和刪除計(jì)算資源節(jié)點(diǎn)或者人工智能加速卡。

7通信網(wǎng)絡(luò)

7.1管理網(wǎng)絡(luò)

資源池使用基于TCP/IP的管理網(wǎng)絡(luò)來(lái)承載整個(gè)系統(tǒng)的管理工作，用于資源池的管理及調(diào)度服務(wù)。通

過(guò)管理網(wǎng)絡(luò)，分布在各個(gè)節(jié)點(diǎn)的功能組件都保持與資源池控制模塊同步。管理網(wǎng)絡(luò)邏輯結(jié)構(gòu)見(jiàn)圖2。

圖2管理網(wǎng)絡(luò)邏輯結(jié)構(gòu)

通過(guò)私有的同步協(xié)議，分布式部署的各個(gè)功能組件應(yīng)滿足如下要求：

——資源池控制模塊支持多副本、高可用的部署模式；

——各個(gè)功能組件啟動(dòng)的次序無(wú)要求；

——當(dāng)某一個(gè)功能組件從錯(cuò)誤中恢復(fù)之后，可以自動(dòng)同步到正確狀態(tài)。

7.2數(shù)據(jù)網(wǎng)絡(luò)

資源池使用TCP/IP以太網(wǎng)絡(luò)、RoCERDMA、InfinibandRDMA、SharedMemory等多種后端數(shù)據(jù)網(wǎng)絡(luò)

實(shí)現(xiàn)AI應(yīng)用所在環(huán)境與計(jì)算資源物理節(jié)點(diǎn)之間的數(shù)據(jù)傳輸，用于資源池業(yè)務(wù)運(yùn)算數(shù)據(jù)的交互。數(shù)據(jù)網(wǎng)絡(luò)

學(xué)兔兔邏輯結(jié)構(gòu)見(jiàn)圖3。標(biāo)準(zhǔn)下載

4

學(xué)兔兔標(biāo)準(zhǔn)下載

T/STSI43—2023

圖3數(shù)據(jù)網(wǎng)絡(luò)邏輯結(jié)構(gòu)

數(shù)據(jù)網(wǎng)絡(luò)應(yīng)滿足如下要求：

——高帶寬、低延遲；

——同時(shí)支持TCP/IP以太網(wǎng)絡(luò)等多種傳輸協(xié)議，優(yōu)先使用高性能的傳輸方式；

——支持虛擬機(jī)、容器和宿主機(jī)之間的TCP/IP網(wǎng)絡(luò)隔離。

8資源池部署與集成

8.1資源池部署

資源池的各個(gè)服務(wù)組件，應(yīng)支持集中式單機(jī)部署或者分布式多機(jī)部署，部署形式包括：

——安裝操作系統(tǒng)后，直接以二進(jìn)制（Binary）形式部署；

——以容器鏡像方式部署。

8.2資源池集成

資源池應(yīng)具備適配多種Linux操作系統(tǒng)和云平臺(tái)的能力，同時(shí)支持基于KVM的虛擬機(jī)云平臺(tái)和基于

Docker的容器云平臺(tái)。應(yīng)支持原生容器，提供完善的虛擬GPU資源調(diào)度插件，以實(shí)現(xiàn)和Kubernetes的平

滑對(duì)接。

學(xué)兔兔9兼容性要求標(biāo)準(zhǔn)下載

9.1網(wǎng)絡(luò)兼容性

資源池應(yīng)支持?jǐn)?shù)據(jù)中心級(jí)各類網(wǎng)絡(luò)協(xié)議類型。

示例：TCP/IP以太網(wǎng)絡(luò)、RDMA網(wǎng)絡(luò)（InfiniBand和RoCE）等。

9.2GPU設(shè)備兼容性

5

T/STSI43—2023

資源池應(yīng)支持主流人工智能芯片廠家生產(chǎn)的、多種GPU型號(hào)設(shè)備。

示例：NVIDIAGPU、寒武紀(jì)MLU、中科海光DCU等。

9.3API版本兼容性

資源池應(yīng)支持主流人工智能芯片API。

示例：NVIDIACUDA、寒武紀(jì)Neuware、中科海光DTK等。

9.4操作系統(tǒng)兼容性

資源池應(yīng)支持人工智能應(yīng)用主流操作系統(tǒng)基座。

示例：64位CentOS6/7、64位Ubuntu16/18/20等。

9.5基礎(chǔ)架構(gòu)平臺(tái)兼容性

資源池應(yīng)支持多種類型的基礎(chǔ)架構(gòu)平臺(tái)。

示例：容器環(huán)境、kubernetes環(huán)境、KVM環(huán)境。

9.6深度學(xué)習(xí)框架兼容性

資源池應(yīng)支持各類主流深度學(xué)習(xí)框架。

示例：TensorFlow、Pytorch、PaddlePaddle、MXNet、XGBoost、DeepSpeech、NVCaffe、TensorRT、ONNX等。

10可靠性要求

10.1資源池應(yīng)支持組件分布式部署方式，控制臺(tái)組件多副本部署，具備控制組件高可用等級(jí)。

10.2資源池應(yīng)具備任務(wù)熱遷移能力，保障服務(wù)不中斷。

10.3資源池關(guān)鍵信息應(yīng)具備自動(dòng)或手動(dòng)備份恢復(fù)能力。

11安全要求

資源池的安全應(yīng)符合GB/T35279、GB/T31168、YD/T3954等要求。

12驗(yàn)證

12.1驗(yàn)證方法

驗(yàn)證方法包括：

a)審查法：對(duì)人工智能算力資源池相關(guān)技術(shù)資料進(jìn)行可視化檢查，以確定有關(guān)功能或特性是否

達(dá)到規(guī)定的要求；

b)演示法：對(duì)人工智能算力資源池進(jìn)行操作，查看其實(shí)際運(yùn)行情況，以驗(yàn)證有關(guān)功能或特性是

學(xué)兔兔否達(dá)到規(guī)定的要求；標(biāo)準(zhǔn)下載

c)實(shí)際運(yùn)行法：將人工智能算力資源池投入實(shí)際運(yùn)行，在一定周期內(nèi)檢查運(yùn)行情況，以確定有

關(guān)功能或特性是否達(dá)到規(guī)定的要求。

12.2驗(yàn)證過(guò)程

12.2.1功能

6

學(xué)兔兔標(biāo)準(zhǔn)下載

T/STSI43—2023

按照以下步驟對(duì)功能進(jìn)行驗(yàn)證，判斷驗(yàn)證結(jié)果是否符合第6章的要求：

a)對(duì)人工智能算力資源池相關(guān)技術(shù)資料，采用審查法檢查池化管理功能內(nèi)容、池化調(diào)度功能內(nèi)

容、提供任意規(guī)格算力資源功能內(nèi)容、虛擬算力資源隔離功能內(nèi)容、業(yè)務(wù)熱遷移功能內(nèi)容和

橫向擴(kuò)展功能內(nèi)容；

b)采用演示法，進(jìn)行人工智能算力資源池相關(guān)操作，驗(yàn)證池化管理功能、池化調(diào)度功能、提供

任意規(guī)格算力資源功能、虛擬算力資源隔離功能、業(yè)務(wù)熱遷移功能和橫向擴(kuò)展功能。

12.2.2通信網(wǎng)絡(luò)

對(duì)人工智能算力資源池相關(guān)技術(shù)資料，采用審查法檢查是否滿足第7章規(guī)定的管理網(wǎng)絡(luò)要求和數(shù)據(jù)

網(wǎng)絡(luò)要求。

12.2.3部署與集成

對(duì)人工智能算力資源池相關(guān)技術(shù)資料，采用審查法檢查是否滿足第8章規(guī)定的資源池部署要求和資

源池集成要求。

12.2.4兼容性

對(duì)人工智能算力資源池相關(guān)技術(shù)資料，采用審查法檢查是否滿足第9章規(guī)定的網(wǎng)絡(luò)、GPU設(shè)備、API

版