移動人工智能性能基準測試方法II目 次標動能端工能能基測方法 1范圍 1規(guī)性用件 1文清的列序： 1術和義 1經(jīng)絡型 1理集 1側工能理架 1型換具 2度習譯器 2準試例 2端件 2測概述 2試架 2用試法 3能標測 3圖處測方法 3像類試法 3臉別試法 4標義割試法 5片分率試法 6標測試法 7視處測方法 8頻標測試 8附 錄 A（范附）準訂史 9附 錄 B圖語分測試別 9附 錄 C圖超辨測試斷集 10附 錄 D目檢類別 10參考獻 13PAGEPAGE11移動人工智能性能基準測試方法范圍本標準規(guī)定了通過使用端側人工智能推理框架在移動側進行推理計算的基準測試的方法，可以對終端基于神經(jīng)網(wǎng)絡模型的計算性能進行評估。評測場景包括圖像處理、視頻處理等不同場景，針對不同場景測試集，測試方法和評測指標提出要求。本標準適用于具備智能操作系統(tǒng)的移動，包括數(shù)字移動電話機，平板電腦以及其他數(shù)字移動通信終端設備。下列文件對于本標準的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本標準。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本標準。a）e）國際標準（含ITU標準、ISO/IEC標準等）；f）ISO或IEC有關文件；g）其他國際標準以及其他國際有關文件。推理集作為人工智能推理計算的輸入數(shù)據(jù)集，可以為圖片，視頻等格式的數(shù)據(jù)或文件。端側人工智能推理框架部署在移動上，通常由模型轉換工具和深度學習編譯器組成。端側人工智TensorFlowLite，PaddleLiteSNPE，HiAI基準測試例為指定測試場景下，使用神經(jīng)網(wǎng)絡模型推理算法對推理測試集進行推理測試的測試例。參與人工智能處理的硬件，包括CPU、GPU、AI硬件加速單元,內存、電池等。（AI1：端側人工智能推理框架端側人工智能推理框架終端硬件深度學習編譯器推斷集神經(jīng)網(wǎng)絡模型基準測試例模型轉換工具電池內存DSPNPUGPUCPU性能指標監(jiān)測圖1移動人工智能性能基準測試構架性能指標包括檢測人工智能推斷計算性能的模型性能指標和硬件性能指標。模型性能指標參見第5章內容。硬件性能指標為通用測試指標包括功耗，內存，CPU等，具體為：CPU（）；CPU）；）。測試編號1測試名稱圖像分類測試測試描述根據(jù)各自在圖像信息中所反映的不同特征，把不同類別的目標區(qū)分開來的圖像處理方法。推理集要求推理集應由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構成，可選的公開數(shù)據(jù)集包括如下圖片集：CIFAR-100；Caltech_256；ImageNet。進行基準測試時，應從公開數(shù)據(jù)集的測試集中隨機抽取10000張圖片，分類類型不少于100類。模型要求評測模型可以選擇下表所列深度學習模型：nv；lNt1。測試步驟1) a)-dfloatint測試指標TOP1準確率（在一次推理結果分類排序中，只有當概率最TOP1TP1：推理結果中，Top1分類正確的圖片數(shù)量；FN1：推理結果中，Top1分類不正確的圖片數(shù)量。TOP5確（單在一推結分排中概排前的TOP5TP5：推理結果中，Top5分類正確的圖片數(shù)量；FN5：推理結果中，Top5分類不正確的圖片數(shù)量。單張片理（單毫秒錄組圖理總時，TN：一組圖片推理總耗時；N：該組圖片數(shù)量。測試編號2測試名稱人臉識別測試測試描述針對人臉照片進行特征提取和比對，并根據(jù)終端的平均處理時長，量化移動終端的性能。推理集要求推理集應由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構成，可選的公開數(shù)據(jù)集包括如下圖片集：LabeledFacesintheHome(LFW)MegaFacePubFig:PublicFiguresFaceDatabaseColorferet進行基準測試時，應從公開數(shù)據(jù)集的測試集中隨機抽取10000組，選取對象按照不同年齡段和不同性別兩個維度選取，至少包括男性兒童，女性兒童，男性成人，女性成人，男性老人，女性老人。模型要求評測模型可以選擇下表所列深度學習模型：1. facenet測試步驟從推理算法程序讀取文件列表時開始計時，記錄200floatint測試指標正確通過率(PassRate，PR，單位：%)在真實的驗證過程中（正確指紋）同一個人的樣本被判斷為同一個人的比對次數(shù)占總比對次數(shù)的比例：TP：同一個人的樣本對被判斷為同一個人的比對次數(shù)；FN：同一個人的樣本對被判為不同人的比對次數(shù)。錯誤接受率(FalseAcceptanceRate，F(xiàn)AR，單位：%)在冒充攻擊嘗試（錯誤指紋）中被錯誤接受的比例：FP：不同人的樣本對被判為同一個人的比對次數(shù)；TN：不同人的樣本對被判為不同人的比對次數(shù)。單張片理（單位毫秒記錄200圖理總時，TN：一組圖片推理總耗時；N：該組圖片數(shù)量。測試編號3測試名稱圖像語義分割測試測試描述圖像語義分割（ImageSemanticSegmentation）融合了傳統(tǒng)的圖像分割和目標別，最終得到一幅具有逐像素語義標注的圖像。推理集要求推理集應由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構成，可選的公開數(shù)據(jù)集包括如下圖片集：1.PASCALVOC2012進行基準測試時，應從公開數(shù)據(jù)集的測試集中隨機抽取1000張，至少包括附錄B的分類。模型要求評測模型可以選擇表所列深度學習模型：unet；deeplabv3。測試步驟使用訓練好的神經(jīng)網(wǎng)絡算法對推理集圖片進行語義分割：）；IoUIoU；IoU；floatint測試指標分割類別測試集的平均mIoU：IoU:IntersectionoverUnion，用于評價單一目標上檢測的準確度。IoU為推理結果區(qū)域與實際目標區(qū)域的交集比并集。單張片理單毫秒錄組圖推理耗，TN：一組圖片推理總耗時N：該組圖片數(shù)量測試編號4測試名稱圖片超分辨率測試測試描述指由一幅低分辨率圖像或圖像序列恢復出高分辨率圖像。推理集要求推理集應由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構成，可選的公開數(shù)據(jù)集見附錄C。進行基準測試時，應從公開數(shù)據(jù)集的測試集中隨機抽取10000張圖片。模型要求評測模型可以選擇下表所列深度學習模型：SRCNNvdsr測試步驟）；floatint測試指標PSNR（峰值信噪比）值NMSE1(x(i)y(i))2Ni1L2PSNR10*log10(MSE)x(iy(ix,yL:像素值的動態(tài)范圍，一般取255;Nx,y（x,y。SSIM（結構相似度）值(2)(2+C)(x,y) xy 1 xy 2(2+2+C)(2+2+C)x y 1 x y 2xyx,y2,2x,yx yxyx,yckL)2ckL)2L1 1 2 2圍，一般取255，k10.01,k20.03。單張片理單毫秒錄組圖推理耗，TN：一組圖片推理總耗時N：該組圖片數(shù)量測試編號5測試名稱目標檢測測試測試描述目標檢測，也稱為目標提取，是一種基于目標幾何和統(tǒng)計特征的圖像分割技術。其綜合了圖像分割和識別，能夠提取圖片中的對象類別以及具體位置信息。推理集要求推理集應由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構成，可選的公開數(shù)據(jù)集包括如下圖片集：1.COCO進行基準測試時，應從公開數(shù)據(jù)集的測試集中隨機抽取10000張圖片，分類類型見附錄D，每類隨機選取20張樣本圖片。模型要求評測模型可以選擇下表所列深度學習模型：lNV2SD,ReSD.測試步驟a)-dfloatint測試指標\h準確度mAP0.5：在IoU閾值為0.5的前提下，在所有類別上的mAP值。mAP:MeanAveragePrecision，用于評價在全部測試樣本上的準確度。與IoU設置緊密相關。IoU:IntersectionoverUnion，用于評價單一目標上檢測的準確度。IoU為推理結果區(qū)域與實際目標區(qū)域的交集比并集。單張圖片推理時間（單位：毫秒）：記錄一組圖片推理總耗TN：一組圖片推理總耗時；N：該組圖片數(shù)量。測試編號7測試名稱對視頻中的內容進行目標檢測處理測試描述根據(jù)各自在圖像信息中所反映的不同特征，把不同類別的目標區(qū)分開來的圖像處理方法。推理集要求拍攝一段有代表性的3分鐘街景視頻，確保內容明確、目標豐富。將視頻幀進行模型要求見6.5測試步驟5.6。測試指標速度FPS：FramePerSecond，每秒鐘最大能處理的圖片張數(shù)。\h準確度mAP0.5：在IoU閾值為0.5的前提下，在所有類別上的mAP值。mAP:MeanAveragePrecision，用于評價在全部測試樣本上的準確度。與IoU設置緊密相關。IoU:IntersectionoverUnion，用于評價單一目標上檢測的準確度。IoU為推理結果區(qū)域與實際目標區(qū)域的交集比并集。附 錄 A（規(guī)范性附錄）標準修訂歷史修訂時間修訂后版本號修訂內容附 錄 B圖像語義分割測試類別序號父類子類1人（Person）人（person）2動物(Animal)鳥（bird）3動物(Animal)貓（cat）4動物(Animal)牛（cow）5動物(Animal)狗（dog）6動物(Animal)馬（horse）7動物(Animal)羊（Sheep）8交通工具(Vehicle)飛機（aeroplane）9交通工具(Vehicle)自行車（bicycle）10交通工具(Vehicle)船（boat）11交通工具(Vehicle)巴士（bus）12交通工具(Vehicle)車（car）13交通工具(Vehicle)摩托車（motorbike）14交通工具(Vehicle)火車（train）15Indoor(室內家具)瓶子（bottle）16Indoor(室內家具)椅子（chair）17Indoor(室內家具)餐桌（diningtable）18Indoor(室內家具)盆栽（pottedplant）19Indoor(室內家具)沙發(fā)（sofa）20Indoor(室內家具)電視/監(jiān)視器（tv/monitor）附 錄 C圖像超分辨率測試推斷集序號數(shù)據(jù)集名稱數(shù)量分辨率格式種類1BSDS300300（435,367）JPG動物，建筑，食物，風景，人物，植物等2BSD500500(432,370)JPG動物，建筑，食物，風景，人物，植物等3DIV2K1000(1972,1437)PNG環(huán)境，植物，動物，手工制品，人物，風景等4General-100100(435,381)BMP動物，日用品，食物，人物，植物，地質等5L2020(3843,2870)PNG動物，建筑，風景，人物，植物等6Manga109109(826,1169)PNG漫畫7OutdoorScene10624(553,440)PNG動物，建筑，草，山，植物，天空，水8PIRM200(617,482)PNG環(huán)境，植物，自然風景，人物等9Set55(313,336)PNG小孩，鳥，蝴蝶，頭，女人10Set1414(492,446)PNG人類，動物，昆蟲，花，蔬菜，漫畫等11T9191(264,204)PNG車，花，水果，人臉等12Urban100100(984,797)PNG建筑，城市，結構等附 錄 D目標測序號COCO類別編號目標類別父類11人person人Person22自行車bicycle交通工具Vehicle33汽車car交通工具Vehicle45飛機airplane交通工具vehicle57火車train交通工具vehicle69船boat交通工具vehicle710交通信號燈trafficlight室外outdoor811消防栓firehydrant室外outdoor912路標streetsign室外outdoor1013停止標識stopsign室外outdoor1116鳥bird動物animal1217貓cat動物animal1318狗dog動物animal1419馬horse動物animal1520羊sheep動物animal1626帽子hat動物accessory1727登山包backpack配件accessory1828雨傘umbrella配件accessory1929鞋子shoe配件accessory2030眼鏡eyeglasses配件accessory2131手包handbag配件accessory2235滑雪skis運動sports2337運動球sportsball運動sports2438風箏kite運動sports2544瓶子bottle廚房kitchen2645盤子plate廚房kitchen2747杯子cup廚房kitchen2850勺子spoon廚房kitchen2951碗bowl廚房kitchen3052香蕉banana食物food3153蘋果apple食物food3259披薩pizza食物food3361蛋糕cake食物food3462椅子chair家具furniture3563長椅couch家具furniture3664盆栽pottedplant家具furniture3765床bed家具furniture3866鏡子mirror家具furniture3968窗戶window家具f