T/HBSEA016—2025AdaptationtestingspecificationsforcomputingpowerandmodelsofAIenddevicesT/HBSEA016—2025 1 2AI端側(cè)設(shè)備算力模型適配測(cè)試規(guī)范 3 32規(guī)范性引用文件 33術(shù)語、定義和縮略語 33.1術(shù)語和定義 33.2縮略語 54測(cè)試項(xiàng)目概述 55測(cè)試通用要求 65.1測(cè)試框架 65.2測(cè)試原則 65.3AI端側(cè)設(shè)備基礎(chǔ)參數(shù) 75.4測(cè)試場(chǎng)景 75.5測(cè)試環(huán)境部署 95.6分級(jí)分模型測(cè)試說明 6測(cè)試步驟 6.1基礎(chǔ)能力測(cè)試 6.2算力測(cè)試 1T/HBSEA016—2025本標(biāo)準(zhǔn)按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本標(biāo)準(zhǔn)由湖北省軟件企業(yè)協(xié)會(huì)提出并歸口。本標(biāo)準(zhǔn)起草單位：武漢國創(chuàng)超算科技有限公司、華中科技大學(xué)、天翼云科技有限公司湖北分公司、上海兆芯集成電路股份有限公司、武漢金美創(chuàng)新科技有限公司、上海云源創(chuàng)信息技術(shù)有限公司、深圳市鴻普森科技股份有限公司、上海智眾聯(lián)電子銷售有限公司、緣邊智聯(lián)(南京)智能科技有限公司、湖北公眾信息產(chǎn)業(yè)有限責(zé)任公司、天翼電信終端有限公司湖北分公司、湖北省公安科學(xué)技術(shù)研究所、湖北省高級(jí)人民法院、湖北省軟件企業(yè)協(xié)會(huì)。本標(biāo)準(zhǔn)主要起草人：趙德亞、胡曉婭、李建坤、齊子時(shí)、文筠、陳晶、駱吉波、左三化、黃河、張發(fā)勝、胡可、王崇魯、熊偉、劉曉、田野、駱斌、李琪、溫暉、朱麗、趙秋迪、高鶴鳴、徐楊。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本標(biāo)準(zhǔn)于2025年2月首次發(fā)布。T/HBSEA016—20252為全面客觀衡量AI端側(cè)設(shè)備算力與模型的適配性，構(gòu)建一套科學(xué)的、系統(tǒng)的、有效的評(píng)估模型和方法，特制定本標(biāo)準(zhǔn)。本標(biāo)準(zhǔn)為企業(yè)開展AI端側(cè)設(shè)備算力模型適配測(cè)試提供了測(cè)試指標(biāo)體系和測(cè)試方法，可用于發(fā)現(xiàn)企業(yè)在推進(jìn)AI端側(cè)設(shè)備算力模型適配工作中存在的優(yōu)勢(shì)和不足，明確進(jìn)一步改進(jìn)的方向，為AI端側(cè)設(shè)備部署相關(guān)人工智能應(yīng)用提供決策參考。同時(shí)，也可以用于第二方或第三方在測(cè)試、采購選型中對(duì)AI端側(cè)設(shè)備算力模型適配性進(jìn)行評(píng)估。T/HBSEA016—20253AI端側(cè)設(shè)備算力模型適配測(cè)試規(guī)范本文件規(guī)定了AI端側(cè)設(shè)備的算力與其可承載的AI模型的適配性測(cè)試方法。本文件適用于AI端側(cè)設(shè)備算力模型適配性評(píng)估。下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，標(biāo)注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.1-2000信息技術(shù)詞匯第1部分:基本術(shù)語GB/T11457-2006信息技術(shù)軟件工程術(shù)語YD/T3944-2021人工智能芯片基準(zhǔn)測(cè)試評(píng)估方法T/CESA1121-2020人工智能芯片面向端側(cè)的深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法T/CESA1169-2021信息技術(shù)人工智能服務(wù)器系統(tǒng)性能測(cè)試規(guī)范端側(cè)場(chǎng)景sceneofterminalside以數(shù)據(jù)獲取及本地處理為主要特征的場(chǎng)景。端側(cè)設(shè)備deviceofterminalsideT/HBSEA016—20254布置在端側(cè)場(chǎng)景以數(shù)據(jù)獲取及本地處理為主要功能的設(shè)備，如攝像頭、移動(dòng)通信終端、機(jī)器人、無人機(jī)、可穿戴設(shè)備等。人工智能ArtificialIntelligence表現(xiàn)出人類智能(如推理和學(xué)習(xí))相關(guān)的各種功能的功能單元和能力。[來源:GB/T5271.28-2001，28.01.02]深度學(xué)習(xí)DeepLearning機(jī)器學(xué)習(xí)中一種對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法。通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。[來源:ISO/ECTR29119-11:2020(en)，3.1.26]基準(zhǔn)測(cè)試Benchmark通過設(shè)計(jì)科學(xué)的測(cè)試方法、測(cè)試工具和測(cè)試系統(tǒng)，實(shí)現(xiàn)對(duì)一類測(cè)試對(duì)象的某項(xiàng)性能指標(biāo)進(jìn)行定量的和可對(duì)比的測(cè)試。推理inference在機(jī)器學(xué)習(xí)中，推理通常指將訓(xùn)練過的模型應(yīng)用于無標(biāo)簽樣本，進(jìn)而來做出預(yù)測(cè)的過程。批次batch模型訓(xùn)練的一次迭代(即一次梯度更新)中使用的樣本集。批次大小batchsize一個(gè)批次中的樣本數(shù)。批次大小在訓(xùn)練和推理期間通常是固定的。T/HBSEA016—20255樣本sample數(shù)據(jù)集中用于訓(xùn)練或推理運(yùn)算的單個(gè)對(duì)象，可以是一副圖片或一句語句。作業(yè)workload一組被一同送入訓(xùn)練或推理系統(tǒng)的N個(gè)樣本，N為正整數(shù)。注:例如，單次作業(yè)包含了8張圖片。下列縮略語適用于本文件：ArtificialIntelligeBilingualEvaluationUnderfloatingpointofoperationsNMSReceiveroperatingcharacteri測(cè)試項(xiàng)組成及依賴關(guān)系總體要求如下：——測(cè)試項(xiàng)分為2大類共5個(gè)子項(xiàng)，包含AI端側(cè)設(shè)備的基礎(chǔ)能力測(cè)試、性——2大類測(cè)試項(xiàng)是逐層遞進(jìn)關(guān)系，如果前面的測(cè)試項(xiàng)沒有通過，后面的測(cè)試項(xiàng)無法繼續(xù)進(jìn)行。測(cè)試項(xiàng)列表如表1所示，具體測(cè)試步驟及預(yù)期結(jié)果詳見本標(biāo)準(zhǔn)第6章。6T/HBSEA016—2025表1測(cè)試項(xiàng)列表12AI端側(cè)設(shè)備算力模型適配測(cè)試框架如圖1所示：圖1算力模型適配測(cè)試框架圖測(cè)試方法的設(shè)計(jì)應(yīng)能夠產(chǎn)生積極效果，對(duì)實(shí)際應(yīng)用具有指導(dǎo)意義。基準(zhǔn)測(cè)試方法必須依據(jù)明確的規(guī)則和指標(biāo)，以確保不同對(duì)象之間的比較是公7T/HBSEA016—2025在進(jìn)行測(cè)試時(shí)，應(yīng)始終堅(jiān)持以客觀的科學(xué)數(shù)據(jù)為依據(jù)，確保評(píng)測(cè)的公正性。測(cè)試應(yīng)保證在不同測(cè)試環(huán)境下對(duì)同一對(duì)象進(jìn)行測(cè)試時(shí)，能夠得到一致的測(cè)量5.3AI端側(cè)設(shè)備基礎(chǔ)參數(shù)AI端側(cè)設(shè)備基本信息評(píng)估階段主要通過材料審查的方式來驗(yàn)證參評(píng)設(shè)備基本信息的真實(shí)性和完整性。在此過程中，將重點(diǎn)關(guān)注設(shè)備的基本信息，包括設(shè)備名稱、基本描述、功能說明等關(guān)鍵參數(shù)。評(píng)估準(zhǔn)則如下：必選項(xiàng)目：企業(yè)必須提交規(guī)定的材料以供審查，這些材料通常包括但不限于設(shè)備的技術(shù)規(guī)格書、功能說明書以及其他證明設(shè)備性能和特性的官方文件?？蛇x項(xiàng)目：企業(yè)可以根據(jù)自身情況選擇性提交相關(guān)材料進(jìn)行審查，這些材料可能包括額外的性能測(cè)試報(bào)告、用戶手冊(cè)、案例研究等，旨在提供更全面的設(shè)備性能和應(yīng)用場(chǎng)景說明。表2AI端側(cè)設(shè)備測(cè)試材料檢查表項(xiàng)目是否必選提交材料AI端側(cè)設(shè)備基本信息AI端側(cè)設(shè)備名稱、版本號(hào)必選信息介紹AI端側(cè)設(shè)備功能說明必選AI端側(cè)設(shè)備外形及尺寸必選AI端側(cè)設(shè)備功耗情況必選支持的操作系統(tǒng)及版本必選支持的深度學(xué)習(xí)框架必選知識(shí)產(chǎn)權(quán)狀況說明可選行業(yè)實(shí)施案例可選介紹相關(guān)應(yīng)用情況在設(shè)計(jì)適用于AI端側(cè)設(shè)備算力模型適配的測(cè)試用例時(shí)，必須考慮到不同參數(shù)量和計(jì)算量對(duì)處理器在計(jì)算、存儲(chǔ)和通信方面的影響。因此，選擇具有代表性T/HBSEA016—20258的網(wǎng)絡(luò)模型進(jìn)行測(cè)試是至關(guān)重要的。下述的評(píng)估場(chǎng)景和網(wǎng)絡(luò)模型作為測(cè)試的參考。鑒于技術(shù)不斷進(jìn)步和被測(cè)設(shè)備之間的差異，測(cè)試場(chǎng)景的選擇應(yīng)靈活，以適應(yīng)具體的測(cè)試環(huán)境和需求。這意味著測(cè)試方案需要根據(jù)實(shí)際情況進(jìn)行定制化調(diào)整，以確保測(cè)試的準(zhǔn)確性和有效性。這種靈活性允許測(cè)試團(tuán)隊(duì)針對(duì)不同的技術(shù)迭代和設(shè)備特性，優(yōu)化測(cè)試流程，從而更準(zhǔn)確地評(píng)估神經(jīng)網(wǎng)絡(luò)處理器的性能。任務(wù)描述:識(shí)別圖像中的物體類別。代表模型：MobileNetvl，MobileNetv2，ResNet50等。數(shù)據(jù)集：ImageNet。參考評(píng)價(jià)標(biāo)準(zhǔn):計(jì)算指定精度下的分類任務(wù)的Accuracy。任務(wù)描述：在給定的圖像中精確定位物體并標(biāo)注其類別。代表模型：FasterR-CNN、Yolov11、MobileNet+SSD、MaskR-CNN、SSD。數(shù)據(jù)集：VOC2012或COCO2017。參考評(píng)價(jià)標(biāo)準(zhǔn)：通過計(jì)算mAP、IoU、NMS來評(píng)估目標(biāo)檢測(cè)任務(wù)的精度。任務(wù)描述：恢復(fù)給定縮小版（如4倍縮?。┑脑颊掌?。代表模型：VDSR。數(shù)據(jù)集：VOC2012。參考評(píng)價(jià)標(biāo)準(zhǔn)：使用PSNR和SSIM作為性能評(píng)價(jià)指標(biāo)。任務(wù)描述：根據(jù)圖像中語義含義的不同，對(duì)像素進(jìn)行分組或分割。代表模型：Deeplabv3+。數(shù)據(jù)集：VOC2012或Cityscapes。參考評(píng)價(jià)標(biāo)準(zhǔn)：使用IoU作為性能評(píng)價(jià)指標(biāo)。任務(wù)描述：將一種自然語言轉(zhuǎn)換為另一種自然語言。代表模型：Seq2Seq、BERT、Transformer等。T/HBSEA016—20259數(shù)據(jù)集：Wikipedia或WMTEnglish-Ge參考評(píng)價(jià)標(biāo)準(zhǔn)：使用BLEU作為翻譯任務(wù)的評(píng)估指標(biāo)。任務(wù)描述：對(duì)人類語言的理解和生成，進(jìn)行情感分析、文本摘要、問答系統(tǒng)代表模型：BERT、GPT、Transformer-XL等。數(shù)據(jù)集：GLUE、SQuAD、Wikipedia等。參考評(píng)價(jià)標(biāo)準(zhǔn)：準(zhǔn)確率（Accuracy）、精確度（Precision）、召回率（Recall）、F1分?jǐn)?shù)（F1Score）等。任務(wù)描述：處理和理解來自多種模態(tài)（如文本、圖像、聲音等）的信息，以實(shí)現(xiàn)跨模態(tài)的交互和理解。數(shù)據(jù)集：MSCOCO、Flickr30k、ConceptualCaptions等。參考評(píng)價(jià)標(biāo)準(zhǔn)：準(zhǔn)確率（Accuracy）、平均精度均值（mAP）、BLEU分?jǐn)?shù)5.5測(cè)試環(huán)境部署測(cè)試環(huán)境部署如圖2所示：圖2測(cè)試環(huán)境示意圖將電腦通過接口與端側(cè)設(shè)備相連，同時(shí)示波器的正負(fù)極也與端側(cè)設(shè)備相連接。1T/HBSEA016—2025利用基準(zhǔn)測(cè)試工具，對(duì)端側(cè)設(shè)備時(shí)間性能和評(píng)估指標(biāo)進(jìn)行了測(cè)試。此外，功耗分析軟件工具被用來分析示波器反饋的電流和電壓結(jié)果，從而對(duì)端側(cè)設(shè)備的功耗進(jìn)AI框架是支持人工智能技術(shù)實(shí)現(xiàn)的軟件架構(gòu)，它們包括但不限于深度學(xué)習(xí)平臺(tái)，如TensorFlow和PyTorch，以及專為移動(dòng)設(shè)備或推理任務(wù)設(shè)計(jì)的框架，例如TensorFlowLite和TensorRT。這些框架為構(gòu)建和部署深度學(xué)習(xí)模型提供了必要的工具和庫。需結(jié)合具體端側(cè)設(shè)備部署支持框架。硬件調(diào)度具備雙重功能：一方面，它能夠兼容上層的人工智能框架；另一方面，它能夠管理和分配包括中央處理器（CPU）、圖形處理器（GPU）、數(shù)字信號(hào)處理器（DSP）以及神經(jīng)網(wǎng)絡(luò)處理器（NPU）在內(nèi)的硬件資源，以滿足人工智能計(jì)算的需求。5.6分級(jí)分模型測(cè)試說明鑒于各類AI端側(cè)設(shè)備在芯片架構(gòu)和性能上存在顯著差異，這些差異直接影響了設(shè)備能夠支持的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)規(guī)模。不同架構(gòu)的神經(jīng)網(wǎng)絡(luò)模型在性能表現(xiàn)上也呈現(xiàn)出顯著的異質(zhì)性。分級(jí)分模型測(cè)試用于系統(tǒng)性地評(píng)估和對(duì)比不同參數(shù)量級(jí)以及不同架構(gòu)的神經(jīng)網(wǎng)絡(luò)模型的性能表現(xiàn)。這種方法的核心在于兩個(gè)維度：參數(shù)量分級(jí)和架構(gòu)模塊分模型。(1)參數(shù)量級(jí)劃分：根據(jù)模型的參數(shù)規(guī)模，即模型中可訓(xùn)練參數(shù)的總數(shù)，將模型劃分為不同的量級(jí)。這一指標(biāo)是衡量模型復(fù)雜度和學(xué)習(xí)能力的關(guān)鍵因素，對(duì)于確定模型在特定硬件上的可行性和效率至關(guān)重要。(2)架構(gòu)與模塊分析：首先按照模型的整體架構(gòu)進(jìn)行分類，例如區(qū)分卷積神經(jīng)網(wǎng)絡(luò)（CNN）、Transformer等主流架構(gòu)。繼而在每種架構(gòu)內(nèi)部，根據(jù)模型的主要模塊或組件進(jìn)行進(jìn)一步的細(xì)分，以深入探究不同架構(gòu)組件對(duì)模型性能的具體影具體分級(jí)可參照附表3，4所示。6.1基礎(chǔ)能力測(cè)試6.1.1設(shè)備基礎(chǔ)參數(shù)測(cè)試測(cè)試編號(hào)1-1測(cè)試項(xiàng)目AI端側(cè)設(shè)備基礎(chǔ)參數(shù)檢驗(yàn)1T/HBSEA016—2025測(cè)試編號(hào)1-1獲取設(shè)備相關(guān)參數(shù)，對(duì)設(shè)備進(jìn)行基礎(chǔ)分級(jí)測(cè)試方式材料審查前置條件相關(guān)硬件參數(shù)可查，已提供設(shè)備說明書測(cè)試步驟1)閱讀相關(guān)說明書獲取，獲取相關(guān)硬件參數(shù)信息；2)在系統(tǒng)中進(jìn)行查看、調(diào)用，檢查是否與說明書描述一致預(yù)期結(jié)果正確獲取AI端側(cè)設(shè)備的處理器規(guī)格、RAM、存儲(chǔ)容量、電池容量等參數(shù)6.1.2設(shè)備應(yīng)用場(chǎng)景測(cè)試測(cè)試編號(hào)1-2測(cè)試項(xiàng)目AI端側(cè)設(shè)備場(chǎng)景應(yīng)用測(cè)試檢驗(yàn)驗(yàn)證AI端側(cè)設(shè)備在特定應(yīng)用場(chǎng)景下的性能和功能是否滿足預(yù)定的規(guī)范和標(biāo)準(zhǔn)測(cè)試方式人工審查前置條件已提供AI端側(cè)設(shè)備相關(guān)應(yīng)用場(chǎng)景測(cè)試步驟1)確認(rèn)AI端側(cè)設(shè)備說明書、技術(shù)文件、應(yīng)用案例；2)與測(cè)試場(chǎng)景實(shí)際數(shù)據(jù)進(jìn)行對(duì)比，評(píng)估設(shè)備是否適用該場(chǎng)景預(yù)期結(jié)果AI端側(cè)設(shè)備能夠基本滿足該測(cè)試場(chǎng)景中的應(yīng)用6.1.3AI端側(cè)設(shè)備基礎(chǔ)功能測(cè)試測(cè)試編號(hào)1-3測(cè)試項(xiàng)目AI端側(cè)設(shè)備基本功能測(cè)試測(cè)試AI端側(cè)設(shè)備的存儲(chǔ)能力、網(wǎng)絡(luò)能力等基礎(chǔ)能力測(cè)試方式人工審查前置條件AI端側(cè)設(shè)備已通電并處于正常工作狀態(tài)，測(cè)試工具和環(huán)境已準(zhǔn)備就緒1T/HBSEA016—2025測(cè)試步驟1)測(cè)試AI端側(cè)設(shè)備的通信速率、讀寫速度、帶寬、吞吐量等參數(shù)；預(yù)期結(jié)果獲取AI端側(cè)設(shè)備的基本功能的相關(guān)參數(shù)數(shù)據(jù)測(cè)試編號(hào)2-1測(cè)試項(xiàng)目AI端側(cè)設(shè)備模型訓(xùn)練測(cè)試驗(yàn)證AI端側(cè)設(shè)備在執(zhí)行AI模型訓(xùn)練任務(wù)時(shí)的性能測(cè)試方式遍歷測(cè)試前置條件AI端側(cè)設(shè)備已通電并處于正常工作狀態(tài)，必要的訓(xùn)練數(shù)據(jù)已加載測(cè)試步驟1)被測(cè)者按測(cè)試內(nèi)容，編寫并運(yùn)行必要的訓(xùn)練代碼（包含數(shù)據(jù)預(yù)處理、數(shù)據(jù)讀入、訓(xùn)練、結(jié)果模型格式轉(zhuǎn)化與持久化），得到結(jié)果2)訓(xùn)練期間，記錄過程數(shù)據(jù)、按規(guī)定測(cè)量、計(jì)算指標(biāo)值、記錄日志、生成結(jié)果數(shù)據(jù)；3)測(cè)試者檢查結(jié)果合規(guī)性；預(yù)期結(jié)果AI端側(cè)設(shè)備在AI模型訓(xùn)練任務(wù)中表現(xiàn)出預(yù)期的性能測(cè)試編號(hào)2-2測(cè)試項(xiàng)目AI端側(cè)設(shè)備模型推理測(cè)試驗(yàn)證AI端側(cè)設(shè)備在執(zhí)行AI模型推理任務(wù)時(shí)的性能測(cè)試方式遍歷測(cè)試前置條件AI端側(cè)設(shè)備已通電并處于正常工作狀態(tài)，必要的推理數(shù)據(jù)已加載測(cè)試步驟1)測(cè)試AI端側(cè)設(shè)備在不同批次大小下的推理性能；2)記錄過程數(shù)據(jù)，按規(guī)定測(cè)量、計(jì)算指標(biāo)值、記錄日志、生成結(jié)果數(shù)據(jù)；3)測(cè)試者檢驗(yàn)結(jié)果合規(guī)性預(yù)期結(jié)果AI端側(cè)設(shè)備在AI模型推理任務(wù)中表現(xiàn)出預(yù)期的性能T/HBSEA016—2025表3模型參數(shù)量分級(jí)表等級(jí)參數(shù)量范圍特點(diǎn)適用場(chǎng)景第一級(jí)小規(guī)模模型模型結(jié)構(gòu)簡(jiǎn)單，計(jì)算量和存儲(chǔ)需求最低。適合嵌入式設(shè)備和實(shí)時(shí)應(yīng)用。移動(dòng)設(shè)備、智能攝像頭、實(shí)時(shí)監(jiān)控系統(tǒng)第二級(jí)中小規(guī)模模型在資源消耗和性能之間取得較好平衡。適用于大多數(shù)邊側(cè)AI應(yīng)用。移動(dòng)端應(yīng)用、智能家居設(shè)備、便攜式設(shè)備第三級(jí)中等規(guī)模模型提供更強(qiáng)的特征提取能力和更高的準(zhǔn)確率。適用于對(duì)性能有較高要求