ICS03.220.20CCSR8045IDB45/T2715—2023前言 12規(guī)范性引用文件 13術(shù)語和定義 14測試目的、 5測試流程 2 6測試方法 6 77評分方法 8 參考文獻(xiàn) DB45/T2715—2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由廣西壯族自治區(qū)交通運(yùn)輸廳提出并宣貫。本文件由廣西交通運(yùn)輸標(biāo)準(zhǔn)化技術(shù)委員會歸口。本文件起草單位：廣西交科集團(tuán)有限公司。本文件主要起草人：陳靜、馬高琳、陸璐、劉彬、梁杏、龍思穎、唐文娟、王玲容、蘭良、陳鷙翱、梁莫柱、韋科宇、李秀瓊、陳海軍。DB45/T2715—20231公路車輛影像分析測試與評分技術(shù)規(guī)程本文件界定了公路車輛影像分析測試與評分技術(shù)的術(shù)語和定義，規(guī)定了公路車輛影像分析測試項目、測試對象、測試原則、測試流程、測試方法和評分方法。本文件適用于廣西壯族自治區(qū)行政區(qū)域內(nèi)公路機(jī)動車輛影像分析測試與評分工作。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1視頻圖像分析系統(tǒng)videoandimageanalysissystem對視頻和圖像進(jìn)行分析及處理，識別視頻和圖像的內(nèi)容，提升視頻和圖像質(zhì)量，快速發(fā)現(xiàn)和定位關(guān)注信息的系統(tǒng)。[來源：GA/T1399.1—2017，3.1.1]3.2車輛檢測vehicledetection對視頻圖像中的機(jī)動車輛及其位置進(jìn)行辨識。[來源：GA/T1399.1—2017，3.1.16，有修改]3.3車輛基本特征識別basiccharacteristicofvehiclerecognition對視頻圖像中機(jī)動車輛的車牌號碼、顏色、車輛類型等進(jìn)行辨識。[來源：GA/T1399.1—2017，3.1.17，有修改]3.4正檢truepositive視頻或圖像中出現(xiàn)應(yīng)該被正確檢測或分類的目標(biāo)或事件，且視頻圖像分析系統(tǒng)輸出正確的檢測結(jié)果。[來源：GB/T30147—2013，3.1.19]3.5誤檢falsepositive視頻或圖像中未出現(xiàn)相應(yīng)的目標(biāo)或事件，但視頻圖像分析系統(tǒng)輸出了檢測結(jié)果。[來源：GB/T30147—2013，3.1.20]DB45/T2715—202323.6漏檢falsenegative視頻或圖像中出現(xiàn)應(yīng)該被檢測的目標(biāo)或事件，但視頻圖像分析系統(tǒng)未輸出檢測結(jié)果。[來源：GB/T30147—2013，3.1.21]4測試目的、對象和原則4.1測試目的確保測試結(jié)果對公路機(jī)動車輛影像分析系統(tǒng)、平臺或算法給出客觀定量的評價。4.2測試對象測試對象應(yīng)包括具備公路機(jī)動車輛影像分析功能的系統(tǒng)、平臺或算法。4.3測試原則4.3.1實(shí)用性車輛影像分析測試方法應(yīng)能夠產(chǎn)生積極效果。4.3.2公平性車輛影像分析測試方法應(yīng)通過指定規(guī)則和指標(biāo)進(jìn)行比較。4.3.3公正性在測試過程中，應(yīng)以客觀的科學(xué)的測試數(shù)據(jù)為依據(jù)。4.3.4一致性在不同的測試環(huán)境對同一被測對象進(jìn)行測試時，其測試結(jié)果應(yīng)保持一致。5測試流程5.1測試項目5.1.1功能測試項目功能測試應(yīng)至少支持以下項目中的一種或幾種：a)車輛檢測：對圖像或視頻中的車輛的位置用檢測框標(biāo)出，且能對視頻中車輛位置進(jìn)行跟蹤；b)車輛基本特征識別：對圖像或視頻中的車輛進(jìn)行識別，包含車牌號碼、車輛顏色、車輛類型，車輛類型按附錄A表A.4；c)車輛數(shù)量分析：對圖像或視頻中的道路車流量、車輛類型分布統(tǒng)計；d)車輛行為分析：對視頻中車輛行為的分析，包含車輛交通事件中的停車、逆行、變線、倒車、超速、拋灑物、碰撞、隧道火災(zāi)、隧道水災(zāi)，分類按附錄A表A.1；e)車輛行駛環(huán)境分析：對圖像或視頻中的車輛行駛環(huán)境識別，包含道路路面情況及天氣情況，分類按附錄A表A.2和表A.3。DB45/T2715—202335.1.2性能測試項目性能測試應(yīng)支持以下項目中的幾種：a)負(fù)載測試：評估被測對象在預(yù)期變化負(fù)載下的性能表現(xiàn)，具體見6.3.2.1；b)壓力測試：評估被測對象在指定容量負(fù)載下的性能表現(xiàn)，具體見6.3.2.2；c)并發(fā)測試：評估被測對象在指定性能指標(biāo)下的最大處理能力，具體見6.3.2.3。5.2整體流程5.2.1流程圖測試流程如圖1所示。圖1測試流程圖DB45/T2715—202345.2.2測試申請測試前，由測試需求方向測試機(jī)構(gòu)提交測試申請。5.2.3選取測試項目由測試需求方選取測試項目。功能測試項目共5種，性能測試項目共3種，應(yīng)符合5.1的一項或幾項。5.2.4申請審核測試機(jī)構(gòu)對測試需求方提交的測試申請進(jìn)行審核。5.2.5測試大綱測試機(jī)構(gòu)根據(jù)測試需求方所選取的測試項目，編寫測試大綱。5.2.6測試準(zhǔn)備5.2.6.1提供測試對象由測試需求方向測試機(jī)構(gòu)提供測試對象。5.2.6.2數(shù)據(jù)源準(zhǔn)備5.2.6.2.1測試機(jī)構(gòu)應(yīng)根據(jù)測試項目匹配數(shù)據(jù)源，具體格式要求如下：a)圖像格式包括但不限于：1)CIF（352×288）、4CIF（704×576）、D1（720×576）、720P（1280×720）、1080P（1920×1080）等分辨率；2)JPEG、JPEG2000、BMP、PNG等格式；b)視頻格式包括但不限于：1)CIF（352×288）、4CIF（704×576）、D1（720×576）、720P（1280×720）、1080P（19202)PS、MP4、AVI、FLV等視頻封裝格式；3)SVAC、H.264、H.265、MPEG-4等視頻編碼格式。5.2.6.2.2數(shù)據(jù)源符合以下要求：a)視頻或圖像應(yīng)能識別出目標(biāo)檢測標(biāo)的物；b)視頻或圖像應(yīng)包含不同光照及氣象條件下的拍照條件，如白天、黑夜、雨雪霧天氣條件下的視頻或圖像；c)視頻應(yīng)包含車輛的整個運(yùn)動流程；d)車輛行駛環(huán)境應(yīng)包含周邊道路的視頻圖像信息；e)數(shù)據(jù)規(guī)模應(yīng)不少于5000張。5.2.6.2.3測試機(jī)構(gòu)應(yīng)對數(shù)據(jù)源進(jìn)行標(biāo)注，標(biāo)注內(nèi)容如表1所示。DB45/T2715—20235表1數(shù)據(jù)源標(biāo)注內(nèi)容123455.2.6.3測試環(huán)境測試機(jī)構(gòu)應(yīng)提供相適應(yīng)的軟硬件環(huán)境，測試環(huán)境如圖2所示，測試環(huán)境的相關(guān)配置按附錄B表B.1的要求。圖2測試環(huán)境示意圖5.2.7測試測試工作包括功能測試和性能測試，功能測試的測試方法按6.2，性能測試的測試方法按6.3。5.2.8測試報告測試機(jī)構(gòu)對測試結(jié)果進(jìn)行評分。功能測試的評分方法按7.2，性能測試的評分方法按7.3。完成評分工作后，測試機(jī)構(gòu)應(yīng)輸出測試報告，功能測試報告的模板按附錄B表B.2，性能測試報告的模板按附錄B表B.3。DB45/T2715—202366測試方法6.1測試內(nèi)容各測試項目對應(yīng)的測試內(nèi)容見表2。表2測試內(nèi)容1234無56786.2功能測試方法6.2.1測試條件根據(jù)5.2.6準(zhǔn)備相應(yīng)測試條件。6.2.2測試步驟DB45/T2715—20237測試步驟如下：a)任務(wù)啟動；b)通過流媒體服務(wù)器將數(shù)據(jù)流實(shí)時輸出至測試服務(wù)器；c)測試對象在測試服務(wù)器內(nèi)進(jìn)行測試；d)測試服務(wù)器輸出結(jié)果至分析服務(wù)器，分析服務(wù)器輸出評分指標(biāo)結(jié)果。6.2.3返回結(jié)果輸出測試報告，報告模板按附錄B表B.2。6.2.4評分根據(jù)評分標(biāo)準(zhǔn)進(jìn)行評分，指標(biāo)參照表3。6.3性能測試方法6.3.1測試條件根據(jù)5.2.6準(zhǔn)備相應(yīng)測試條件。6.3.2測試步驟6.3.2.1負(fù)載測試測試步驟如下：a)任務(wù)啟動；b)流媒體服務(wù)器模擬真實(shí)場景將實(shí)時數(shù)據(jù)流輸出至測試服務(wù)器；c)測試對象在測試服務(wù)器進(jìn)行測試；d)記錄處理時間、CPU占有率、內(nèi)存占有率等相關(guān)指標(biāo)；e)分析服務(wù)器輸出評分指標(biāo)結(jié)果。6.3.2.2壓力測試分別測試CPU占用率在50％、60％、70％、80觀測測試對象是否正常運(yùn)行并評分。6.3.2.3并發(fā)測試在滿足1萬個測試數(shù)據(jù)體量以及CPU占用率在不超過70％的前提下，并發(fā)執(zhí)行負(fù)載測試，觀測測試對象的檢測效率并評分。6.3.3返回結(jié)果輸出測試報告，報告模板按附錄B表B.3。6.3.4評分根據(jù)評分標(biāo)準(zhǔn)進(jìn)行評分，指標(biāo)參照表4。DB45/T2715—202387評分方法7.1評分指標(biāo)7.1.1準(zhǔn)確率（Precision）視頻或圖像檢測系統(tǒng)輸出目標(biāo)或事件后，按照式（1）進(jìn)行計算。precision=x100%…(1)TP——正檢數(shù),即被系統(tǒng)正檢的目標(biāo)或事件的數(shù)目；FP——誤檢數(shù),即被系統(tǒng)誤檢的目標(biāo)或事件的數(shù)目。7.1.2召回率（Recall）視頻或圖像檢測系統(tǒng)輸出目標(biāo)或事件后，按照式（2）進(jìn)行計算。Recall=?×100%…(2)TP——正檢數(shù)，即被系統(tǒng)正檢的目標(biāo)或事件的數(shù)目；FN——漏檢數(shù)，即被系統(tǒng)漏檢的目標(biāo)或事件的數(shù)目。7.1.3交并比（IoU）視頻或圖像檢測系統(tǒng)輸出目標(biāo)后，按照式（3）進(jìn)行計算。B1∩B2——檢測框B1與標(biāo)注框B2的交集面積；B1∪B2——檢測框B1與標(biāo)注框B2的并集面積。7.1.4平均準(zhǔn)確率（AP）視頻或圖像檢測系統(tǒng)輸出目標(biāo)后，按照式（4）進(jìn)行計算。AP=?p(r)dr·················(4)P(r)——不同召回率r下對應(yīng)的準(zhǔn)確率。7.1.5平均準(zhǔn)確率均值（mAP）視頻或圖像檢測系統(tǒng)輸出目標(biāo)后，按照式（5）進(jìn)行計算。DB45/T2715—20239k——數(shù)據(jù)源中包含的所有類別的總數(shù)；APi——第i個類別對應(yīng)的平均準(zhǔn)確率。7.1.6R2分?jǐn)?shù)（R2-score）視頻或圖像檢測系統(tǒng)輸出數(shù)量后，按照式（6）進(jìn)行計算。R2——R2分?jǐn)?shù)；ni——第i個樣本中檢測出的目標(biāo)數(shù)量值；i——第i個樣本中的真實(shí)目標(biāo)數(shù)量值；n-——所有樣本的真實(shí)目標(biāo)數(shù)量值的平均值；m——樣本個數(shù)。7.1.7每秒幀率（FPS）單位時間內(nèi)處理的圖像數(shù)量或視頻幀數(shù)。7.2功能測試評分方法根據(jù)6.2功能測試方法，輸出測試報告，報告根據(jù)測試項目按照表3輸出評分指標(biāo)及評分結(jié)果。表3功能測試評分方法測試項目值值車輛檢測001122334455車輛基本特征識別00min(Precision,Recall,mAP)∈112min(Precision,Recall,mAP)∈2min(Precision,Recall,mAP)∈33min(Precision,Recall,mAP)∈4min(Precision,Recall,mAP)∈455DB45/T2715—20233功能測試評分方法（續(xù)）測試項目值值車輛數(shù)量分析001122334455車輛行為分析00112min(Precision,Recall,mAP)2334min(Precision,Recall,mAP)455車輛行駛環(huán)境分析00112min(Precision,Recall,mAP)2334min(Precision,Recall,mAP)4557.3性能測試評分方法在滿足功能測試運(yùn)行正常的前提下，根據(jù)6.3性能測試方法，輸出測試報告，報告根據(jù)測試項目按照表4輸出評分指標(biāo)及評分結(jié)果。表4提供了使用單卡具有12TFLOPS算力的4卡GPU服務(wù)器作為測試服務(wù)器下的性能指標(biāo)。DB45/T2715—2023表4性能測試評分方法檢測幀速率（FPS）01234580％前提下，記錄012345檢測幀速率（FPS）012345注：FPSi為數(shù)據(jù)源視頻的原始幀率。DB45/T2715—2023車輛影像分類附表A.1交通事件分類表A.1規(guī)定了交通事件的分類。表A.1交通事件分類123456789A.2道路天氣情況的分類表A.2規(guī)定了道路天氣情況的分類。表A.2道路天氣情況分類1晴2陰3雨4雪DB45/T2715—2023表A.2道路天氣情況分類（續(xù)）5霧6A.3路面狀態(tài)的分類表A.3規(guī)定了路面狀態(tài)的分類。表A.3路面狀態(tài)分類12345678A.4車輛分