ICS35.240.40CCSA11北京金融科技產(chǎn)業(yè)聯(lián)盟發(fā)布IT/BFIA035—2024前言 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4縮略語(yǔ) 5金融AI服務(wù)器產(chǎn)品總體要求 6金融AI服務(wù)器關(guān)鍵組件要求 7金融AI服務(wù)器兼容性要求 8金融AI服務(wù)器可靠性要求 9算子模型遷移能力要求 10金融AI服務(wù)器供應(yīng)鏈安全要求 附錄A（資料性）訓(xùn)練AI服務(wù)器性能測(cè)試方案 10附錄B（資料性）推理AI服務(wù)器性能測(cè)試方案 15附錄C（資料性）AI服務(wù)器安全可控特性說明 參考文獻(xiàn) T/BFIA035—2024本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由北京金融科技產(chǎn)業(yè)聯(lián)盟歸口。本文件起草單位：中國(guó)金融電子化集團(tuán)有限公司、北京金安信息技術(shù)有限責(zé)任公司、中國(guó)建設(shè)銀行股份有限公司、中國(guó)工商銀行股份有限公司、中國(guó)民生銀行股份有限公司、中國(guó)農(nóng)業(yè)銀行股份有限公司、中信銀行股份有限公司、中國(guó)銀行股份有限公司、上海浦東發(fā)展銀行股份有限公司、平安銀行股份有限公司、國(guó)家開發(fā)銀行、招商銀行股份有限公司、華為技術(shù)有限公司、中興通訊股份有限公司、浪潮電子信息產(chǎn)業(yè)股份有限公司、中國(guó)長(zhǎng)城科技集團(tuán)股份有限公司、曙光信息產(chǎn)業(yè)股份有限公司、新華三技術(shù)有限公司、上海兆芯集成電路股份有限公司、飛騰信息技術(shù)有限公司、深圳市江波龍電子股份有限公司、四川華鯤振宇智能科技有限責(zé)任公司、第四范式（北京）技術(shù)有限公司。本文件主要起草人：姜云兵、班廷倫、馬國(guó)照、韓竺吾、常璐、劉東東、裴凱洋、畢偉光、龔郅凡、刁翔宇、林晨、朱昊志、甘政兵、高金鵬、蔡佳、宋辰、夏夢(mèng)婷、孫朝斌、劉雪濤、錢學(xué)成、吳酋珉、白陽(yáng)、王君、邸賀亮、顏培源、胡世珺、高云超、楊帆、薛石磊、張毅、楊景瑞、曹洵峰、劉東、劉勝龍、廣文博、王桐桐、詹謙、顧偉。T/BFIA035—2024在信息技術(shù)的全面應(yīng)用創(chuàng)新趨勢(shì)下，確保金融基礎(chǔ)設(shè)施的安全穩(wěn)定，是金融機(jī)構(gòu)行穩(wěn)致遠(yuǎn)關(guān)鍵之一。金融行業(yè)應(yīng)用人工智能技術(shù)，是從數(shù)字化走向智能化的核心力量，更是金融機(jī)構(gòu)智慧再造的關(guān)鍵載體。人工智能技術(shù)可自動(dòng)化金融業(yè)務(wù)流程，提高效率和準(zhǔn)確性。人工智能可幫助金融機(jī)構(gòu)更好地識(shí)別和管理風(fēng)險(xiǎn)，并確保合規(guī)性。人工智能可通過分析大量數(shù)據(jù)，提供個(gè)性化的金融產(chǎn)品和服務(wù)。“算力、數(shù)據(jù)、算法、開放平臺(tái)”是人工智能技術(shù)的核心內(nèi)容，其中算力包括：人工智能芯片、人工智能設(shè)備等產(chǎn)品，提供金融機(jī)構(gòu)使用高性能、低成本、綠色的人工智能算力是應(yīng)用的關(guān)鍵目標(biāo)。金融業(yè)人工智能服務(wù)器種類繁多，主要有人工智能訓(xùn)練服務(wù)器、人工智能推理服務(wù)器、人工智能邊緣服務(wù)器、人工智能服務(wù)器集群等，通過梳理金融業(yè)人工智能設(shè)備應(yīng)用要求，有助于金融機(jī)構(gòu)依據(jù)自身業(yè)務(wù)特點(diǎn)，針對(duì)性選購(gòu)人工智能服務(wù)器，并采取適當(dāng)、合理的管理措施和安全防護(hù)措施。為了加快金融服務(wù)智慧應(yīng)用，特制定本文件。1T/BFIA035—2024金融業(yè)人工智能服務(wù)器應(yīng)用技術(shù)要求本文件規(guī)定了人工智能服務(wù)器產(chǎn)品總體要求以及關(guān)鍵組件、兼容性、可靠性、遷移能力、供應(yīng)鏈安全的要求，給出了性能測(cè)試方案和安全可控特性的說明。本文件適用于人工智能服務(wù)器產(chǎn)品的設(shè)計(jì)、開發(fā)、生產(chǎn)、服務(wù)保障等環(huán)節(jié)，該文件可作為各金融行業(yè)等相關(guān)單位進(jìn)行信息系統(tǒng)人工智能改造升級(jí)時(shí)參考。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1服務(wù)器server信息系統(tǒng)的重要組成部分，是信息系統(tǒng)中為客戶端計(jì)算機(jī)提供特定應(yīng)用服務(wù)的計(jì)算機(jī)系統(tǒng)，由硬件系統(tǒng)（處理器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)連接設(shè)備等）和軟件系統(tǒng)（操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)、應(yīng)用系統(tǒng)）組[來源：GB/T9813.3—2017，3.1]3.2人工智能加速卡artificialintelligenceacceleratingcard專為人工智能計(jì)算設(shè)計(jì)、符合人工智能服務(wù)器硬件接口的擴(kuò)展加速設(shè)備。注：本文件中，在不引起誤解的語(yǔ)境中，將人工智[來源：GB/T42018—2022，3.6]3.3人工智能服務(wù)器artificialintelligenceserver信息系統(tǒng)中能夠?yàn)槿斯ぶ悄軕?yīng)用提供高效能計(jì)算處理能力的服務(wù)器。注3：本文件中，在不引起誤解的語(yǔ)境中，將人工智能[來源：GB/T42018—2022，3.5]3.42T/BFIA035—2024人工智能加速處理器artificialintelligenceacceleratingprocessor具備適配人工智能算法的運(yùn)算微架構(gòu)，能夠完成人工智能應(yīng)用加速運(yùn)算處理的集成電路元件。注：本文件中，在不引起誤解的語(yǔ)境中，將人工智能加速處理器[來源：GB/T42018—2022，3.8，有修改]3.5訓(xùn)練training利用訓(xùn)練數(shù)據(jù)，基于機(jī)器學(xué)習(xí)算法，建立或改進(jìn)機(jī)器學(xué)習(xí)模型參數(shù)的過程。[來源：ISO/IEC22989:2021，3.2.15]3.6推理inference計(jì)算機(jī)根據(jù)已知信息進(jìn)行分析、分類或診斷，做出假設(shè)，解決問題或者給出推斷的過程。[來源：GB/T42018—2022，3.12]3.7安全可控controllabilityforsecurity信息技術(shù)產(chǎn)品具備的保證其應(yīng)用方數(shù)據(jù)支配權(quán)、產(chǎn)品可控權(quán)、產(chǎn)品選擇權(quán)等不受損害的屬性。[來源：GB/T36630.1—2018，3.2]3.8深度學(xué)習(xí)deeplearning一種試圖使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)成的多個(gè)處理層對(duì)數(shù)據(jù)進(jìn)行高層抽象的算法。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。AI：人工智能（ArtificialIntelligence）BMC：基板管理控制器（BaseboardManagementController）CPU：中央處理器（CentralProcessingUnit）DDR：雙倍速率（DoubleDataRate）ECC：錯(cuò)誤檢測(cè)和糾正（ErrorCorrectingCode）FLOPS，每秒浮點(diǎn)運(yùn)算次數(shù)（Floating-pointOperationsPerSecond）GE：千兆以太網(wǎng)（GigabitEthernet）GPU：圖形處理器（GraphicsProcessingUnit）HBM：高帶寬內(nèi)存（HighBandwidthMemory）HDD：硬盤有機(jī)械硬盤（HardDiskDrive）NPU：嵌入式神經(jīng)網(wǎng)絡(luò)處理器（Neural-networkProcessingUnits）NVMe：非易失性內(nèi)存協(xié)議（NonVolatileMemoryExpress）PCIE：一種高速串行計(jì)算機(jī)擴(kuò)展總線標(biāo)準(zhǔn)（PeripheralComponentInterconnectExpress）RAID：磁盤陣列（RedundantArraysofIndependentDisks）3T/BFIA035—2024RDIMM：帶寄存器的雙線內(nèi)存模塊（RegisteredDualIn-lineMemoryModule）RoCE：基于融合以太網(wǎng)的RDMA（RDMAoverConvergedEthernet）SSD：固態(tài)硬盤（SolidStateDisk或SolidStateDrive）TOPS：每秒運(yùn)算處理Tera次（TeraOperationsPerSecond）5金融AI服務(wù)器產(chǎn)品總體要求5.1概述按照AI服務(wù)器的使用類型和部署方式分為AI訓(xùn)練服務(wù)器、AI推理服務(wù)器、AI機(jī)柜式服務(wù)器等。5.2AI訓(xùn)練服務(wù)器5.2.1通用要求AI訓(xùn)練服務(wù)器滿足以下要求：a）應(yīng)支持提供的人工智能計(jì)算加速方式如下：——通過擴(kuò)展設(shè)備，如人工智能加速卡等；——通過加速或配套的擴(kuò)展加速模組，如人工智能加速電路等；——通過集成人工智能處理器的方式，如SOC等。b）外部存儲(chǔ)應(yīng)支持SATASSD或NVMeSSD；c）應(yīng)支持連接以太網(wǎng)（包括RoCE網(wǎng)絡(luò)）接口；d）整機(jī)應(yīng)至少配置2個(gè)人工智能處理器，每個(gè)人工智能處理器的顯存應(yīng)不低于48GB；每個(gè)人工智能處理器的FP16算力應(yīng)不小于70TFLOPS。5.2.2推薦性功能AI訓(xùn)練服務(wù)器推薦性功能如下：a）CPU每個(gè)核心L1I-cache宜不小于32KB，L1D-cache宜不小于32KB，L2cache宜不小于512KB；b）L3cache容量宜不小于48MB；c）宜支持DDR4及以上版本的內(nèi)存，DDR通道宜不少于8個(gè)；d）外部存儲(chǔ)宜支持SATA硬盤設(shè)置RAID0/1/10/5/50/6/60；e）宜支持連接以太網(wǎng)（如RoCE網(wǎng)絡(luò)）接口或Infiniband網(wǎng)絡(luò)等接口；f）CPU宜支持機(jī)密計(jì)算，支持國(guó)密技術(shù)，能夠擴(kuò)展支持GPU/NPU的機(jī)密計(jì)算方案；g）宜支持ECC1bit糾錯(cuò)，ECC2bit報(bào)錯(cuò)；h）訓(xùn)練服務(wù)器浮點(diǎn)算力：整機(jī)宜至少配置8個(gè)人工智能處理器。每個(gè)人工智能處理器的FP32算力宜不小于80TFLOPS，F(xiàn)P16算力宜不小于300TFLOPS，BF16算力宜不小于300TFLOPS，INT8算力宜不小于600TOPS；每個(gè)人工智能處理器顯存宜不低于64GB；帶寬不低于1600GB/S；i）整機(jī)服務(wù)器內(nèi)人工智能處理器雙向通信帶寬宜不小于380GB/s；宜支持多臺(tái)服務(wù)器間互聯(lián)，不小于8*200GEROCE。訓(xùn)練AI服務(wù)器性能測(cè)試方案見附錄A。5.3AI推理服務(wù)器5.3.1通用要求AI推理服務(wù)器的要求如下：4T/BFIA035—2024a）應(yīng)配備三級(jí)緩存，容量不應(yīng)低于16MB；b）應(yīng)支持DDR4或LPDDR4及以上版本的內(nèi)存；c）應(yīng)兼容PCIe4.0及更低版本的PCIe協(xié)議；d）應(yīng)能連接并使用25GE、10GE或GE等接口；e）中心推理服務(wù)器，所安裝推理卡，每卡要求如下：——INT8算力應(yīng)不小于140TOPS，F(xiàn)P16應(yīng)不小于70TFLOPS；——顯存應(yīng)不低于24GB。f）邊緣推理服務(wù)器，所安裝推理卡，每卡要求如下：——INT8算力應(yīng)不小于100TOPS，F(xiàn)P16應(yīng)不小于50TFLOPS；——應(yīng)支持不小于80路（1080P30幀/秒）視頻解碼（視頻格式如H.264/H.265——應(yīng)支持不小于24路（1080P30幀/秒）視頻編碼（視頻格式如H.264/H.265）。5.3.2推薦性功能AI推理服務(wù)器推薦性功能如下：a）宜能通過自帶固件，如通過BMC等，或其他外接部件監(jiān)控系統(tǒng)參數(shù)；b）宜支持INT8運(yùn)算；c）中心推理服務(wù)器所安裝的推理卡，每卡規(guī)定如下：——INT8算力宜不小于560TOPS，F(xiàn)P16算力宜不小于280TFLOPS；每卡顯存宜不低于64GB，帶寬宜不低于1600GB/S；d）邊緣推理服務(wù)器所安裝的推理卡，每卡規(guī)定如下：——INT8算力宜不小于140TOPS，F(xiàn)P16宜不小于70TFLOPS；——宜支持不小于128路（1080P30幀/秒）視頻解碼（視頻格式如H.264/H.265）；——宜支持不小于24路（1080P30幀/秒視頻編碼（視頻格式如H.264/H.265）。AI推理服務(wù)器的性能測(cè)試方案見附錄B。5.4AI機(jī)柜式服務(wù)器5.4.1通用要求對(duì)AI機(jī)柜式服務(wù)器的要求如下：a）應(yīng)支持通過安全可靠測(cè)評(píng)的CPU處理器，宜集成了DDR4或DDR5、PCIe3.0以上、100GE、25GE、10GE、GE等接口，提供完整的SOC功能；——應(yīng)支持不低于48核，單核主頻率應(yīng)2.6GHz以上；——應(yīng)兼容安全可控的CPU架構(gòu)；——應(yīng)支持收集CPU狀態(tài)；b）應(yīng)支持面向深度學(xué)習(xí)訓(xùn)練的高性能多核GPU/NPU等處理器；c）單臺(tái)計(jì)算節(jié)點(diǎn)應(yīng)支持不小于8個(gè)AI處理器，能夠最大限度地提高多線程應(yīng)用的并發(fā)執(zhí)行能力；d）應(yīng)最小支持不少于24條DDR4/5ECC內(nèi)存，內(nèi)存支持RDIMM，支持最小提供1024GB內(nèi)存容量；e）應(yīng)支持多種靈活的硬盤配置方案，提供了彈性的、可擴(kuò)展的存儲(chǔ)容量空間，滿足不同存儲(chǔ)容量的需求和升級(jí)要求。5.4.2推薦性功能單柜宜支持放置最多8個(gè)計(jì)算節(jié)點(diǎn)，單個(gè)計(jì)算節(jié)點(diǎn)宜提供不低于3000TFLOPS的FP16算力，或不低于750TFLOPS的FP32算力。5T/BFIA035—20246金融AI服務(wù)器關(guān)鍵組件要求6.1硬件要求6.1.1通用計(jì)算芯片6.1.1.1通用要求對(duì)通用計(jì)算芯片的要求如下：a）應(yīng)支持安全可控的處理器；b）應(yīng)支持多個(gè)內(nèi)存通道。6.1.1.2推薦性功能宜支持芯片級(jí)的機(jī)密計(jì)算和安全加速等安全功能。6.1.2AI加速芯片AI加速芯片通用要求如下：應(yīng)配置安全可控的AI加速芯片。AI芯片、AI加速卡、AI服務(wù)器的安全可控特征見附錄C。6.1.3AI加速卡6.1.3.1通用要求對(duì)AI加速卡的要求如下：a）應(yīng)支持程序配置、使用、管理AI加速卡；b）應(yīng)支持加速卡擴(kuò)展，接口類型應(yīng)具備通用性。6.1.3.2推薦性功能AI加速卡的推薦性功能如下：a）單卡INT8算力峰值宜不小于280TOPS；b）單卡FP16算力峰值宜不小于140TFLOPS算力；c）宜支持視頻硬件編解碼功能；d）宜支持AI加速卡的管理功能，如設(shè)備型號(hào)識(shí)別、設(shè)備溫度獲取等。6.1.4供電單元對(duì)供電單元的通用要求如下：a）應(yīng)支持雙路及以上電源冗余輸入；b）應(yīng)支持通信接口，具備故障報(bào)警，提供電源運(yùn)行狀態(tài)監(jiān)控；c）應(yīng)支持安全可控供電單元；d）應(yīng)支持高壓直流功能。6.1.5散熱單元6.1.5.1通用要求對(duì)散熱單元的要求如下：a）應(yīng)支持系統(tǒng)冗余散熱，如通過風(fēng)冷、液冷等散熱方式實(shí)現(xiàn)系統(tǒng)散熱；6T/BFIA035—2024b）應(yīng)支持風(fēng)扇調(diào)速，根據(jù)調(diào)速策略自動(dòng)調(diào)整風(fēng)扇轉(zhuǎn)速。6.1.5.2推薦性功能宜支持模塊化設(shè)計(jì)，支持風(fēng)扇模塊熱更換。6.2軟件要求6.2.1操作系統(tǒng)6.2.1.1通用要求應(yīng)具備來自版權(quán)所有方合法的最終用戶使用授權(quán)且功能正常。6.2.1.2推薦性功能宜支持安全可控的操作系統(tǒng)。6.2.2AI基礎(chǔ)軟件6.2.2.1AI芯片使能軟件1）對(duì)AI芯片使能軟件的通用要求以下：a）AI芯片使能軟件應(yīng)具備人工智能軟件加速庫(kù)（算子）的集合，提供對(duì)于深度學(xué)習(xí)的計(jì)算優(yōu)化功b）應(yīng)通過提供多層次的編程接口，支持用戶快速構(gòu)建AI應(yīng)用和業(yè)務(wù)；c）應(yīng)提供基于C/C++等語(yǔ)言的算子開發(fā)接口，使用戶具有自定義算子開發(fā)的能力；d）AI產(chǎn)品應(yīng)使用k8s等進(jìn)行算力資源的運(yùn)維管理，并提供AI產(chǎn)品主要指標(biāo)的監(jiān)測(cè)能力。6.2.2.2AI開發(fā)框架6.2.2.2.1通用要求對(duì)AI開發(fā)框架的要求如下：a）提供AI軟件適配能力，應(yīng)支持國(guó)內(nèi)外深度學(xué)習(xí)框架；b）應(yīng)至少支持1種深度學(xué)習(xí)或分布式框架，包括但不限于MindSpore、TensorFlow、PyTorch、PaddlePaddle等。6.2.2.2.2推薦性功能AI開發(fā)框架的推薦性功能如下：a）宜支持常見的視覺分析、NLP和語(yǔ)音識(shí)別功能；b）視覺分析宜支持resnet50、yoloV5等神經(jīng)網(wǎng)絡(luò)；c）NLP宜支持bert、Transformer等神經(jīng)網(wǎng)絡(luò)；d）語(yǔ)音識(shí)別宜支持tacotron2、waveRNN、flyspeech等神經(jīng)網(wǎng)絡(luò)。7金融AI服務(wù)器兼容性要求7.1通用要求7T/BFIA035—2024對(duì)AI服務(wù)器系統(tǒng)兼容性的要求如下：a）服務(wù)器的兼容性主要包括部件兼容性和操作系統(tǒng)兼容性。部件兼容性應(yīng)保障服務(wù)器中各部件的有效運(yùn)行，包括CPU、內(nèi)存、網(wǎng)卡、HDD硬盤、SSD盤/卡等；操作系統(tǒng)兼容性主要保障服務(wù)器硬件與操作系統(tǒng)的有效配合；b）固件升級(jí)前后應(yīng)兼容官方版本。7.2推薦性功能AI服務(wù)器系統(tǒng)兼容性的推薦性功能如下：a）宜支持通用的AI開發(fā)框架；b）宜支持AI芯片使能軟件；c）宜支持模型轉(zhuǎn)換、模型可解釋、功能調(diào)試、性能調(diào)優(yōu)等。8金融AI服務(wù)器可靠性要求8.1通用要求對(duì)整機(jī)及部件可靠性的要求如下：a）應(yīng)支持服務(wù)器關(guān)鍵部件冗余設(shè)計(jì)，包括HDD/SSD、電源、風(fēng)扇等部件；b）應(yīng)支持服務(wù)器關(guān)鍵部件異常報(bào)警功能，包括CPU、HDD/SSD、內(nèi)存等部件；c）應(yīng)支持服務(wù)器關(guān)鍵部件故障定位機(jī)制，包括CPU、HDD/SSD、內(nèi)存等部件；d）應(yīng)支持服務(wù)器HDD/SSD、電源、風(fēng)扇等部件熱插拔功能；e）應(yīng)支持內(nèi)存可靠性技術(shù)，如內(nèi)存查錯(cuò)、糾錯(cuò)等；f）應(yīng)支持CPU、內(nèi)存條、GPU、網(wǎng)卡等的現(xiàn)場(chǎng)擴(kuò)容替換以及故障件替換。8.2推薦性功能對(duì)整機(jī)及部件可靠性的推薦性功能如下：a）宜支持內(nèi)存可靠性技術(shù)，如內(nèi)存冗余備份等；b）宜支持服務(wù)器關(guān)鍵部件故障隔離機(jī)制，包括CPU、HDD/SSD、內(nèi)存等部件；c）宜支持I/O模塊在線隔離或更換；d）宜支持CPU、內(nèi)存條、GPU、網(wǎng)卡等的現(xiàn)場(chǎng)擴(kuò)容替換以及故障件替換；e）宜支持部件的故障自動(dòng)修復(fù)功能。9算子模型遷移能力要求9.1算子遷移開發(fā)能力要求9.1.1通用要求應(yīng)提供三方算子遷移工具，支持異常自動(dòng)檢測(cè)，支持內(nèi)存檢測(cè)和線程檢測(cè)。9.1.2推薦性功能對(duì)算子遷移開發(fā)能力的推薦性功能如下：a）宜提供完備的功能調(diào)試功能，支持孿生調(diào)試和上線調(diào)試；b）宜提供極限性能分析評(píng)估能力，宜支持核函數(shù)和熱點(diǎn)函數(shù)等性能分析；8T/BFIA035—2024c）宜支持容錯(cuò)能力，如斷點(diǎn)續(xù)訓(xùn)能力。9.2加速庫(kù)兼容要求9.2.1通用要求對(duì)加速庫(kù)兼容的要求如下：a）應(yīng)支持三方社區(qū)及加速卡兼容，支持機(jī)器視覺領(lǐng)域算子庫(kù)和套件、圖像分類、圖像檢測(cè)套件、語(yǔ)義分割等；b）應(yīng)支持分布式并行加速庫(kù)（deepspeed、MegatronLM、Triton等）；c）應(yīng)支持多領(lǐng)域開放套件，包括但不限于自然語(yǔ)言處理類模型套件（huggingface）；機(jī)器視覺類套件（OpenMMLab等）；d）AI算力處理卡應(yīng)支持圖像、視頻、文字、語(yǔ)音等多種數(shù)據(jù)分析與推理計(jì)算，支持金融場(chǎng)景；e）應(yīng)支持離線推理模型對(duì)接，如ONNX。9.2.2推薦性功能加速庫(kù)兼容的推薦性功能如下：a）宜支持增量/遷移學(xué)習(xí)；b）宜支持跨節(jié)點(diǎn)預(yù)訓(xùn)練等。9.3大模型遷移能力要求9.3.1通用要求對(duì)大模型遷移能力的要求如下：a）應(yīng)支持分布式環(huán)境下模型的保存和重加載，支持多維混合并行；b）應(yīng)提供腳本遷移能力，提供分鐘級(jí)完成度評(píng)估能力；c）應(yīng)支持行代碼級(jí)轉(zhuǎn)換能力，提供腳本轉(zhuǎn)換；d）應(yīng)提供低代碼自動(dòng)并行，支持以單卡開發(fā)視角實(shí)現(xiàn)千億參數(shù)模型自動(dòng)并行；e）應(yīng)提供大模型加速庫(kù)，支持面向transformer結(jié)構(gòu)的軟硬件協(xié)同優(yōu)化；f）應(yīng)提供模型壓縮組件，支持面向大模型的自動(dòng)壓縮加速。9.3.2推薦性功能對(duì)大模型遷移能力的推薦性功能如下：a）宜提供在確保安全隱私的前提下，支持大模型跨域協(xié)同訓(xùn)練能力，如跨區(qū)域、跨資源池；b）宜提供模型微調(diào)流程模板，集成低參微調(diào)算法，支持部分參數(shù)微調(diào)，降低存儲(chǔ)資源占用，提升微調(diào)效率；c）宜支持模型精度調(diào)優(yōu)，提供數(shù)據(jù)Dump2溢出檢測(cè)，精度比對(duì)能力；d）宜提供數(shù)據(jù)采集解析可視化對(duì)比工具，支持計(jì)算性能調(diào)優(yōu)，計(jì)算通信比和算子耗時(shí)分析；e）宜提供基于時(shí)間線和統(tǒng)計(jì)圖的可視化分析，提升計(jì)算瓶頸識(shí)別定位效率；f）宜提供面向典型大模型結(jié)構(gòu)負(fù)載的性能Benchmark。10金融AI服務(wù)器供應(yīng)鏈安全要求9T/BFIA035—202410.1針對(duì)產(chǎn)品要求對(duì)AI服務(wù)器供應(yīng)鏈中的產(chǎn)品通用要求如下：a）設(shè)計(jì)、開發(fā)、生產(chǎn)等關(guān)鍵環(huán)節(jié)，應(yīng)實(shí)施必要的安全防護(hù)措施；b）應(yīng)不存在未聲明功能和已知的安全風(fēng)險(xiǎn)；c）應(yīng)具備供應(yīng)鏈安全性和持續(xù)穩(wěn)定性說明。10.2針對(duì)AI服務(wù)器供應(yīng)方的要求對(duì)AI服務(wù)器供應(yīng)鏈的供應(yīng)方通用要求如下：a）AI服務(wù)器供應(yīng)方應(yīng)具備產(chǎn)品研發(fā)設(shè)計(jì)、生產(chǎn)制造、供應(yīng)保障、售后維護(hù)相匹配的人員和工作環(huán)境；b）AI服務(wù)器供應(yīng)方應(yīng)具備產(chǎn)品定制開發(fā)能力，能夠基于自身產(chǎn)品構(gòu)建產(chǎn)業(yè)生態(tài)，保持生態(tài)開放性、透明性、滿足各種應(yīng)用場(chǎng)景需求；c）AI服務(wù)器供應(yīng)方應(yīng)具備漏洞響應(yīng)等能力和管理機(jī)制；d）AI服務(wù)器供應(yīng)方應(yīng)具備及時(shí)有效的售后服務(wù)能力與管理機(jī)制；e）AI服務(wù)器供應(yīng)方應(yīng)滿足安全可控要求；f）服務(wù)器供應(yīng)方應(yīng)在官方網(wǎng)站提供服務(wù)器部件兼容性查詢功能；g）服務(wù)器供應(yīng)方應(yīng)在官方網(wǎng)站提供服務(wù)器操作系統(tǒng)兼容性列表；h）AI服務(wù)器供應(yīng)方不應(yīng)無(wú)故停止已約定產(chǎn)品供應(yīng)或停止已約定服務(wù)。T/BFIA035—2024（資料性）訓(xùn)練AI服務(wù)器性能測(cè)試方案A.1圖像檢測(cè)場(chǎng)景對(duì)圖像檢測(cè)場(chǎng)景，基于PyTorch框架YoloV5m-6.0模型的測(cè)試方法見表A.1。表A.1PyTorch框架下YoloV5m-6.0模型訓(xùn)練性能測(cè)試3.設(shè)備為穩(wěn)定的商用BIOS版本及BMC版本1.遠(yuǎn)程通過命令行登錄被測(cè)試服務(wù)器，執(zhí)），—），A.2圖像分類場(chǎng)景對(duì)圖像分類場(chǎng)景，基于pytorch框架Resnet50模型的測(cè)試方法見表A.2。表A.2PyTorch框架下Resnet50模型訓(xùn)練性能測(cè)試T/BFIA035—2024表A.2PyTorch框架下Resnet50模型訓(xùn)練性能測(cè)試（續(xù)）3.設(shè)備為穩(wěn)定的商用BIOS版本及BMC版本1.遠(yuǎn)程通過命令行登錄被測(cè)試服務(wù)器，執(zhí)），A.3OCR場(chǎng)景對(duì)OCR場(chǎng)景，基于MindSpore框架下DBNet模型的測(cè)試方法見表A.3。表A.3MindSpore框架下DBNet模型訓(xùn)練性能測(cè)試測(cè)試被測(cè)設(shè)備在MindSpore框架下，基于ICDAR2015數(shù)據(jù)集使用DBNet模型進(jìn)行訓(xùn)練3.設(shè)備為穩(wěn)定的商用BIOS版本及BMC版本1.遠(yuǎn)程通過命令行登錄被測(cè)試服務(wù)器，執(zhí)），A.4NLP場(chǎng)景T/BFIA035—2024對(duì)NLP場(chǎng)景，基于PyTorch框架下BertBase模型的測(cè)試方法見表A.4。表A.4PyTorch框架下BertBase模型訓(xùn)練性能測(cè)試測(cè)試被測(cè)設(shè)備在PyTorch框架下，基于人民日?qǐng)?bào)數(shù)據(jù)集，使用BertBase模型進(jìn)行訓(xùn)練的性能3.設(shè)備為穩(wěn)定的商用BIOS版本及BMC版本1.遠(yuǎn)程通過命令行登錄被測(cè)試服務(wù)器，執(zhí)），A.5語(yǔ)音場(chǎng)景對(duì)語(yǔ)音場(chǎng)景，基于Pytorch框架下espnet-conformer模型的測(cè)試方法見表A.5。表A.5PyTorch框架下espnet-conformer模型訓(xùn)練性能測(cè)試3.設(shè)備為穩(wěn)定的商用BIOS版本及BMC版本1.遠(yuǎn)程通過命令行登錄被測(cè)試服務(wù)器，執(zhí)），T/BFIA035—2024表A.5PyTorch框架下espnet-conformer模型訓(xùn)練性能測(cè)試（續(xù)）—A.6大模型訓(xùn)練場(chǎng)景對(duì)大模型訓(xùn)練場(chǎng)景，基于Pytorch框架下ChatGLM-6B模型的測(cè)試方法見表A.6.1。表A.6.1Pytorch框架下ChatGLM-6B模型訓(xùn)練性能測(cè)試1.遠(yuǎn)程通過命令行登錄被測(cè)試服務(wù)器，執(zhí)），T/BFIA035—2024表A.6.1Pytorch框架下ChatGLM-6B模型訓(xùn)練性能測(cè)試（續(xù)）），—對(duì)大模型訓(xùn)練場(chǎng)景，基于Pytorch框架下LLaMA-13B模型的測(cè)試方法見表A.6.2。表A.6.2Pytorch框架下LLaMA-13B模型訓(xùn)練性能測(cè)試1Gradient_accumulation_10Warmupratio21.遠(yuǎn)程通過命令行登錄被測(cè)試服務(wù)器，執(zhí)），），—T/BFIA035—2024（資料性）推理AI服務(wù)器性能測(cè)試方案B.1視頻編解碼測(cè)試B.1.1視頻解碼性能測(cè)試對(duì)視頻解碼場(chǎng)景，推理AI服務(wù)器性能測(cè)試方法見表B.1.1。表B.1.1視頻解碼性能測(cè)試 B.1.2視頻編碼性能測(cè)試對(duì)視頻編碼場(chǎng)景，推理AI服務(wù)器性能測(cè)試方法見表B.1.2。表B.1.2視頻編碼性能測(cè)試T/BFIA035—2024表B.1.2視頻編碼性能測(cè)試（續(xù)）—B.2推理應(yīng)用性能測(cè)試B.2.1圖像檢測(cè)場(chǎng)景對(duì)圖片檢測(cè)場(chǎng)景，基于YoloV5s模型推理精度，推理AI服務(wù)器性能測(cè)試方法見表B.2.1。表B.2.1圖像檢測(cè)推理性能測(cè)試3.設(shè)備為穩(wěn)定的商用BIOS版本T/BFIA035—2024表B.2.1圖像檢測(cè)推理性能測(cè)試（續(xù)）——B.2.2圖像分類場(chǎng)景對(duì)圖片分類場(chǎng)景，基于YResNet50模型推理精度，推理AI服務(wù)器性能測(cè)試方法見表B.2.2。表B.2.2圖片分類推理性能測(cè)試3.設(shè)備為穩(wěn)定的商用BIOS版本；7.使用Pytorchtorchvisi3.執(zhí)行下列命令進(jìn)行圖片推理：./resnet50_benc）；— B.2.3自然語(yǔ)言處理場(chǎng)景對(duì)自然語(yǔ)言處理場(chǎng)景，基于BertBase模型推理精度，推理AI服務(wù)器性能測(cè)試方法見表B.2.3。表B.2.3自然語(yǔ)言處理推理性能測(cè)試3.設(shè)備為穩(wěn)定的商用BIOS版本；T/BFIA035—2024表B.2.3自然語(yǔ)言處理推理性能測(cè)試（續(xù)）3.執(zhí)行下列命令進(jìn)行樣本推理：./bert_benc）；4.記錄日志并獲取平均每秒處理樣本的性能數(shù)據(jù)（樣本處理速度samples/ —B.2.4大模型場(chǎng)景對(duì)大模型場(chǎng)景，基于StableDiffusion模型，推理AI服務(wù)器性能測(cè)試方法見表B.2.4。表B.2.4大模型推理性能測(cè)試3.設(shè)備為穩(wěn)定的商用BIOS版本；），模型參數(shù)使用默認(rèn)參數(shù)，運(yùn)行測(cè)試腳本，計(jì)算），T/BFIA035—2024表B.2.4大模型推理性能測(cè)試（續(xù)）3.如本模型無(wú)法正常運(yùn)行或無(wú)法執(zhí)行所有測(cè)試組合用例或精度未達(dá)T/BFIA035—2024（資料性）