ICS33.050

CCSM37

YD

中華人民共和國(guó)通信行業(yè)標(biāo)準(zhǔn)

YD/TXXXX—XXXX

移動(dòng)智能終端智能化性能基準(zhǔn)測(cè)評(píng)方法

Benchmarktestmethodsforintelligenceperformanceofmobilesmart

terminal

(報(bào)批稿)

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中華人民共和國(guó)工業(yè)和信息化部發(fā)布

YD/TXXXXX—XXXX

前??言

本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定

起草。

請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。

本文件由中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)提出并歸口。

本文件起草單位：中國(guó)信息通信研究院、中國(guó)電信集團(tuán)有限公司、OPPO廣東移動(dòng)通信有限公司、

高通無(wú)線通信技術(shù)(中國(guó))有限公司、北京小米移動(dòng)軟件有限公司、中國(guó)—東盟信息港股份有限公司、

華為技術(shù)有限公司，北京三星通信技術(shù)研究有限公司，北京奇虎科技有限公司，維沃移動(dòng)通信有限

公司，北京百度網(wǎng)訊科技有限公司。

本文件主要起草人：解謙、張睿、龐濤、賈利敏、杜志敏，劉欣、李小娟、盧炳全、高立發(fā)、

馬艷軍、洪明、朱亞軍、朱政、雷震、吳春雨、姚一楠

III

YD/TXXXXX—XXXX

移動(dòng)智能終端智能化性能基準(zhǔn)測(cè)評(píng)方法

1范圍

本文件規(guī)定了通過(guò)使用神經(jīng)網(wǎng)絡(luò)模型在移動(dòng)智能終端側(cè)進(jìn)行推理計(jì)算的基準(zhǔn)測(cè)試的方法，對(duì)終端基

于神經(jīng)網(wǎng)絡(luò)模型的計(jì)算性能進(jìn)行評(píng)估。評(píng)測(cè)場(chǎng)景包括圖像處理、視頻處理等不同場(chǎng)景，針對(duì)不同場(chǎng)景測(cè)

試集，測(cè)試方法和評(píng)測(cè)指標(biāo)提出要求。

本文件適用于具備智能操作系統(tǒng)的移動(dòng)智能終端，包括數(shù)字移動(dòng)電話機(jī)，平板電腦以及其他數(shù)字移

動(dòng)通信終端設(shè)備。

2規(guī)范性引用文件

本文件沒(méi)有規(guī)范性引用文件

3術(shù)語(yǔ)、定義和縮略語(yǔ)

3.1術(shù)語(yǔ)和定義

本文件沒(méi)有需要界定的術(shù)語(yǔ)和定義。

3.2縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

AI人工智能ArtificialIntelligence

CPU中央處理器CentralProcessingUnit

DSP數(shù)字信號(hào)處理DigitalSignalProcessing

FAR錯(cuò)誤接受率FalseAcceptanceRate

FN錯(cuò)誤的負(fù)樣本FalseNegative

GPU圖形處理器GraphicsProcessingUnit

IoU交并比IntersectionoverUnion

mAP平均準(zhǔn)度均值meanAveragePrecision

NPU神經(jīng)網(wǎng)絡(luò)處理器NeuralNetworkProcessingUnit

PR正確通過(guò)率PassRate

TP真正的正樣本TruePositive

TP90尾部延遲90分位Taillatencyat90thpercentiles

4測(cè)試概述

4.1移動(dòng)智能終端智能化測(cè)試構(gòu)架

1

YD/TXXXXX—XXXX

人工智能終端的基準(zhǔn)測(cè)試指通過(guò)運(yùn)行一段（一組）程序或者操作，來(lái)評(píng)測(cè)終端相關(guān)性能的活動(dòng)。

移動(dòng)智能終端人工智能性能基準(zhǔn)測(cè)試包括圖像處理、視頻處理測(cè)試。在移動(dòng)智能終端上通過(guò)神經(jīng)網(wǎng)絡(luò)模

型對(duì)基準(zhǔn)推理集進(jìn)行推理測(cè)試，評(píng)測(cè)移動(dòng)智能終端整機(jī)的人工智能處理性能。具體測(cè)試框架如下，見(jiàn)圖

1：

圖1移動(dòng)智能終端智能化測(cè)試構(gòu)架

4.1.1神經(jīng)網(wǎng)絡(luò)模型

用于人工智能計(jì)算，神經(jīng)網(wǎng)絡(luò)模型應(yīng)為經(jīng)過(guò)訓(xùn)練且達(dá)到一定準(zhǔn)確率的模型，包括模型結(jié)構(gòu)和變量參

數(shù)。

4.1.2推理集

作為人工智能推理計(jì)算的輸入數(shù)據(jù)集，可以為圖片，視頻等格式的數(shù)據(jù)或文件。

4.1.3移動(dòng)終端人工智能推理框架

4.1.3.1總體要求

移動(dòng)終端人工智能推理框架部署在移動(dòng)智能終端上，通常由模型轉(zhuǎn)換工具和推理框架編譯器組成。

移動(dòng)終端人工智能推理框架可以分為通用框架和專用框架，通用框架指能跨平臺(tái)運(yùn)行，能在多種芯片平

臺(tái)上運(yùn)行的人工智能計(jì)算平臺(tái)，如TensorFlowLite，PaddleLite等。專用框架指僅能在指定的部分芯

片平臺(tái)上運(yùn)行的人工智能計(jì)算平臺(tái)，如SNPE，HiAI等。在測(cè)試過(guò)程中需要指明使用的移動(dòng)終端人工智能

推理框架。

4.1.3.2轉(zhuǎn)換工具

轉(zhuǎn)換工具能將輸入的推理算法，根據(jù)移動(dòng)終端特點(diǎn)進(jìn)行剪裁壓縮和優(yōu)化，具有減小模型體積、優(yōu)化

算法操作和參數(shù)精度等功能。

4.1.3.3基準(zhǔn)測(cè)試?yán)?/p>

2

YD/TXXXXX—XXXX

基準(zhǔn)測(cè)試?yán)秊橹付y(cè)試場(chǎng)景下，使用神經(jīng)網(wǎng)絡(luò)模型推理算法對(duì)推理測(cè)試集進(jìn)行推理測(cè)試的測(cè)試?yán)?/p>

4.1.3.4移動(dòng)終端人工智能推理框架編譯器

推理框架編譯器主要通過(guò)加載神經(jīng)網(wǎng)絡(luò)模型并執(zhí)行推斷計(jì)算，向上能支持轉(zhuǎn)換工具優(yōu)化過(guò)的神經(jīng)網(wǎng)

絡(luò)模型，向下能提供調(diào)度和使用包括CPU、GPU、DSP、NPU等人工智能計(jì)算所需的硬件資源。

4.1.4終端硬件層

參與人工智能處理的硬件，包括CPU、GPU、AI硬件加速單元,內(nèi)存、電池等。

4.2通用測(cè)試方法

通用測(cè)試方法如下：

a)移動(dòng)智能終端初始化，包括屏蔽測(cè)試無(wú)關(guān)的其他應(yīng)用、后臺(tái)功能、調(diào)整屏幕亮度、記錄初始電

量等,使得每次測(cè)試前終端的運(yùn)行狀態(tài)保持一致；

b)使用模型優(yōu)化工具將預(yù)訓(xùn)練的模型文件離線轉(zhuǎn)換為移動(dòng)智能終端上可以直接運(yùn)行的模型文件，

并進(jìn)行優(yōu)化；

c)將測(cè)試?yán)评砑膱D像或視頻資源進(jìn)行縮放、通道轉(zhuǎn)換等預(yù)處理工作；

d)將預(yù)處理的測(cè)試圖像或視頻資源輸入優(yōu)化后的模型進(jìn)行推理測(cè)試；

e)測(cè)試過(guò)程中通過(guò)軟件方式或其他方式記錄處理結(jié)果，處理時(shí)間和硬件性能指標(biāo)；

f)計(jì)算最終評(píng)測(cè)結(jié)果。

4.3性能指標(biāo)監(jiān)測(cè)

性能指標(biāo)包括檢測(cè)人工智能推斷計(jì)算性能的模型性能指標(biāo)和硬件性能指標(biāo)。

模型性能指標(biāo)參見(jiàn)第5章內(nèi)容。

硬件性能指標(biāo)為通用測(cè)試指標(biāo)包括功耗，內(nèi)存等，具體為：

a)功耗測(cè)試應(yīng)計(jì)算每毫焦耳能量消耗下最大能處理的圖片張數(shù)（幀數(shù)）；

b)內(nèi)存測(cè)試為測(cè)試過(guò)程中占用的內(nèi)存的平均值；

5圖像處理測(cè)試方法

5.1圖像分類

5.1.1推理測(cè)試

根據(jù)各自在圖像信息中所反映的不同特征，把不同類別的目標(biāo)區(qū)分開(kāi)來(lái)的圖像處理方法。

5.1.2推理集要求

推理集應(yīng)由公開(kāi)渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構(gòu)成，可選的公開(kāi)數(shù)據(jù)集包括如下圖片集：

a)CIFAR-100；

b)Caltech_256；

c)ImageNet。

進(jìn)行基準(zhǔn)測(cè)試時(shí)，應(yīng)從公開(kāi)數(shù)據(jù)集的測(cè)試集中隨機(jī)抽取10000張圖片。

3

YD/TXXXXX—XXXX

5.1.3評(píng)測(cè)模型

評(píng)測(cè)模型可包括下表所列一個(gè)或多個(gè)深度學(xué)習(xí)模型：

a)Inceptionv3；

b)ResNet50；

c)MobileNetV2。

5.1.4測(cè)試方法

圖像分類測(cè)試方法如下：

a)加載數(shù)據(jù)集中的圖片到終端內(nèi)存，并完成圖像縮放、通道轉(zhuǎn)換等預(yù)處理工作；

b)評(píng)測(cè)軟件記錄本次圖片推理前的時(shí)間戳；

c)將內(nèi)存中預(yù)處理后的數(shù)據(jù)輸入推理模型；

d)記錄模型輸出結(jié)果和該時(shí)刻的時(shí)間戳；

e)重復(fù)步驟a)-d，直到數(shù)據(jù)集所有圖片完成測(cè)試，輸出記錄，計(jì)算指標(biāo)；

f)測(cè)試需要使用浮點(diǎn)型精度或整型精度的模型分別進(jìn)行測(cè)試。

5.1.5測(cè)試指標(biāo)

圖像分類測(cè)試指標(biāo)如下：

a)TOP1準(zhǔn)確率（VTop1，單位：%）：在一次推理結(jié)果分類排序中，只有當(dāng)概率最高的結(jié)果為正

確分類，本次推理結(jié)果才能判定為正確，統(tǒng)計(jì)所有圖片的推理結(jié)果，用正確推理圖片數(shù)量除以

圖片總數(shù)，得到TOP1準(zhǔn)確率。

TP1

VTop1=×100%（1）

TP1+FN1

式中：

TP1——推理結(jié)果中，Top1分類正確的圖片數(shù)量；

FN1——推理結(jié)果中，Top1分類不正確的圖片數(shù)量。

b)TOP5準(zhǔn)確率（VTop5，單位：%）,在一次推理結(jié)果分類排序中，概率排名前五的結(jié)果中包含

正確的分類，本次推理結(jié)果判定為正確，統(tǒng)計(jì)所有圖片的推理結(jié)果，用正確推理圖片數(shù)量除以

圖片總數(shù)，得到TOP5準(zhǔn)確率。

VTop5=TP5×100%（2）

TP5+FN5

式中：

TP5——推理結(jié)果中，Top5分類正確的圖片數(shù)量；

FN5——推理結(jié)果中，Top5分類不正確的圖片數(shù)量。

c)單張圖片推理時(shí)間（InferenceTime，單位：毫秒）：記錄一組圖片推理總耗時(shí)，計(jì)算出單張

圖片平均推理時(shí)間：

TN

InferenceTime=（3）

N

式中：

TN——一組圖片推理總耗時(shí)；

N——該組圖片數(shù)量。

4

YD/TXXXXX—XXXX

d)可選測(cè)試尾部延遲90分位耗時(shí)（TP90,Taillatencyat90thpercentiles，單位：毫秒）：

記錄一組圖片（即數(shù)據(jù)集隨機(jī)抽取的10000張圖片）每次推理的耗時(shí)，按照耗時(shí)從小到大排序，

取第90%處的耗時(shí)作為尾部延遲90分位耗時(shí)。

1)將N次采集的延遲數(shù)據(jù)按照升序排序，得到如下序列：T1,T2,T3,…TN

2)計(jì)算P=90分位在序列中的前、后位置m和m+1，其中m的計(jì)算如下：

=