ICS03.220.20

CCSR80

45

廣西壯族自治區(qū)地方標(biāo)準(zhǔn)

DB45/TXXXX—XXXX

車輛影像分析測(cè)試與評(píng)分技術(shù)標(biāo)準(zhǔn)

Technicalcodeofpracticeforvehicleimageanalysistestingandscoring

（征求意見稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

廣西壯族自治區(qū)市場監(jiān)督管理局發(fā)布

DB45/TXXXX—XXXX

車輛影像分析測(cè)試與評(píng)分技術(shù)標(biāo)準(zhǔn)

1范圍

本文件界定了車輛影像分析測(cè)試與評(píng)分技術(shù)所涉及的術(shù)語和定義，規(guī)定了車輛影像分析測(cè)試流程、

測(cè)試場景、測(cè)試方法及評(píng)分方法等方面的要求。

本文件適用于廣西壯族自治區(qū)行政區(qū)域內(nèi)的公路車輛影像分析系統(tǒng)、平臺(tái)或算法的測(cè)試工作。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T29100—2012道路交通信息服務(wù)交通事件分類與編碼

GA802道路交通管理機(jī)動(dòng)車類型

3術(shù)語、定義

下列術(shù)語和定義適用于本文件。

視頻圖像分析系統(tǒng)videoandimageanalysissystem

對(duì)視頻和圖像進(jìn)行分析及處理，識(shí)別視頻和圖像的內(nèi)容，提升視頻和圖像質(zhì)量，快速發(fā)現(xiàn)和定位關(guān)

注信息的系統(tǒng)。

[來源：GA/T1399.1—2017，3.1.1]

車輛檢測(cè)vehicledetection

對(duì)視頻圖像中的車輛及其位置和大小進(jìn)行辨識(shí)。

[來源：GA/T1399.1—2017，3.1.16]

車輛基本特征識(shí)別basiccharacteristicofvehiclerecognition

對(duì)視頻圖像中機(jī)動(dòng)車輛的車牌號(hào)碼、顏色、車類等進(jìn)行辨識(shí)。

[來源：GA/T1399.1—2017，3.1.17，有修改]

正檢truepositive

視頻或圖像中出現(xiàn)應(yīng)該被正確檢測(cè)或分類的目標(biāo)或事件，且視頻圖像分析系統(tǒng)輸出正確的檢測(cè)結(jié)

果。

[來源：GB/T30147—2013，3.1.19]

誤檢falsepositive

視頻或圖像中未出現(xiàn)相應(yīng)的目標(biāo)或事件，但視頻圖像分析系統(tǒng)輸出了檢測(cè)結(jié)果。

1

DB45/TXXXX—XXXX

[來源：GB/T30147—2013，3.1.20]

漏檢falsenegative

視頻或圖像中出現(xiàn)應(yīng)該被檢測(cè)的目標(biāo)或事件，但視頻圖像分析系統(tǒng)未輸出檢測(cè)結(jié)果。

[來源：GB/T30147—2013，3.1.21]

基準(zhǔn)目標(biāo)referenceobject

視頻圖像中標(biāo)注好的目標(biāo)。

[來源：GB/T30147—2013，3.1.24]

推理inference

通過模型計(jì)算輸出值的過程。

4測(cè)試流程

測(cè)試目的

測(cè)試完成后對(duì)公路車輛影像分析系統(tǒng)、平臺(tái)或算法給出一個(gè)客觀定量的評(píng)價(jià)。

測(cè)試原則

4.2.1實(shí)用性

應(yīng)能產(chǎn)生積極效果。

4.2.2公平性

應(yīng)通過指定規(guī)則和指標(biāo)來進(jìn)行公平的比較。

4.2.3公正性

在測(cè)試過程中，始終以客觀的科學(xué)的測(cè)試結(jié)果數(shù)據(jù)為依據(jù)。

4.2.4可復(fù)測(cè)性

在不同的測(cè)試環(huán)境對(duì)同一測(cè)試對(duì)象進(jìn)行測(cè)試時(shí)，測(cè)試結(jié)果具有一致性。

測(cè)試對(duì)象

包括具備車輛影像分析功能的各種算法或軟硬件系統(tǒng)。

各階段測(cè)試流程

4.4.1車輛影像分析測(cè)試流程圖

如圖1所示。

2

DB45/TXXXX—XXXX

圖1車輛影像分析測(cè)試流程圖

4.4.2測(cè)試申請(qǐng)

測(cè)試開始時(shí)，由測(cè)試需求方向測(cè)試機(jī)構(gòu)提交測(cè)試申請(qǐng)，并選取測(cè)試場景。車輛影像分析的測(cè)試場景

共有5種：車輛檢測(cè)（見5.1）、車輛基本特征識(shí)別（見5.2）、車輛數(shù)量分析（見5.3）、車輛行為分析

（見5.4）、車輛行駛環(huán)境分析（見5.5）。實(shí)際測(cè)試過程中支持但不限于以下車輛視頻圖像分析內(nèi)容功

能中的一種或幾種。

4.4.3申請(qǐng)審核

測(cè)試機(jī)構(gòu)對(duì)測(cè)試需求方提交的測(cè)試申請(qǐng)進(jìn)行審核。

3

DB45/TXXXX—XXXX

4.4.4編寫測(cè)試大綱

測(cè)試機(jī)構(gòu)根據(jù)測(cè)試需求方所選取的測(cè)試場景及具體要求，編寫測(cè)試方案。

4.4.5測(cè)試準(zhǔn)備

4.4.5.1提供測(cè)試對(duì)象

由測(cè)試需求方向測(cè)試機(jī)構(gòu)提供測(cè)試對(duì)象，并給出測(cè)試對(duì)象的功能和性能測(cè)試目標(biāo)值。

4.4.5.2數(shù)據(jù)源準(zhǔn)備

4.4.5.2.1測(cè)試機(jī)構(gòu)應(yīng)按照測(cè)試場景準(zhǔn)備好相適配的測(cè)試數(shù)據(jù)集。測(cè)試數(shù)據(jù)源分為圖像和視頻兩種類

型，其具體格式要求如下：

a)圖像格式：

1)包括但不限于CIF（352×288）、4CIF（704×576）、D1（720×576）、720P（1280×720）、

1080P（1920×1080）等分辨率；

2)包括但不限于JPEG、JPEG2000、BMP、PNG等格式。

b)視頻格式：

1)包括但不限于CIF（352×288）、4CIF（704×576）、D1（720×576）、720P（1280×720）、

1080P（1920×1080）等分辨率的視頻；

2)包括但不限于PS、MP4、AVI、FLV等視頻封裝格式；

3)包括但不限于SVAC、H.264、H.265、MPEG-4等視頻編碼格式。

4.4.5.2.2測(cè)試機(jī)構(gòu)應(yīng)標(biāo)注出數(shù)據(jù)源的基準(zhǔn)目標(biāo)。數(shù)據(jù)源對(duì)應(yīng)的測(cè)試場景標(biāo)注需求如表1所示。

表1數(shù)據(jù)源采集及標(biāo)注要求

序號(hào)測(cè)試場景數(shù)據(jù)類型標(biāo)注內(nèi)容（基準(zhǔn)目標(biāo)）數(shù)據(jù)采集要求

1車輛檢測(cè)圖像/視頻車輛位置框1.采集的視頻圖像應(yīng)滿足4.4.5.2.1所示數(shù)據(jù)

格式要求

車輛位置框、車輛顏色類

2車輛基本特征識(shí)別圖像/視頻2.采集的視頻圖像應(yīng)能識(shí)別出目標(biāo)檢測(cè)標(biāo)的物

別、車輛車型類別

3.采集的視頻圖像應(yīng)包含不同光照及氣象條件

車輛位置框、車輛數(shù)量值

3車輛數(shù)量分析圖像/視頻下的拍照條件，如白天、黑夜、雨雪霧天氣條

（單位時(shí)間內(nèi)）

件下的視頻圖像采集

車輛位置框、車輛行為類4.視頻應(yīng)包含車輛的整個(gè)運(yùn)動(dòng)流程

4車輛行為分析視頻

別5.車輛行駛環(huán)境應(yīng)包含周邊道路的視頻圖像信

息

6.數(shù)據(jù)集規(guī)模應(yīng)不少于5000張

5車輛行駛環(huán)境分析圖像/視頻環(huán)境類別

7.數(shù)據(jù)集應(yīng)100％做好標(biāo)注

4.4.5.3測(cè)試環(huán)境準(zhǔn)備

4.4.5.3.1測(cè)試機(jī)構(gòu)提供測(cè)試軟硬件環(huán)境，其具體要求如下：

4

DB45/TXXXX—XXXX

a)一臺(tái)流媒體服務(wù)器，用于提供車輛影像數(shù)據(jù)集，具備高并發(fā)實(shí)時(shí)流式分發(fā)的能力，能隨機(jī)分發(fā)

圖像或視頻；

b)一臺(tái)測(cè)試服務(wù)器，用于對(duì)測(cè)試對(duì)象進(jìn)行測(cè)試，具備功能和性能測(cè)試工具；

c)一臺(tái)影像分析服務(wù)器，用于匯總計(jì)算測(cè)試服務(wù)器輸出的結(jié)果，具備評(píng)分指標(biāo)計(jì)算能力。

4.4.5.3.2測(cè)試環(huán)境如圖2所示。測(cè)試環(huán)境的相關(guān)配置要求見附錄表B.1。

圖2測(cè)試環(huán)境示意圖

4.4.6進(jìn)行測(cè)試

完成前期各項(xiàng)準(zhǔn)備工作后，測(cè)試機(jī)構(gòu)進(jìn)行測(cè)試工作，記錄過程日志。測(cè)試工作包括功能測(cè)試和性能

測(cè)試，功能測(cè)試方法見6.2，性能測(cè)試方法見6.3。

4.4.7輸出測(cè)試報(bào)告

測(cè)試工作完成后，測(cè)試機(jī)構(gòu)對(duì)測(cè)試結(jié)果進(jìn)行評(píng)分。功能測(cè)試的評(píng)分方法見7.2，性能測(cè)試的評(píng)分方

法見7.3。完成評(píng)分工作后，測(cè)試機(jī)構(gòu)輸出測(cè)試報(bào)告，功能測(cè)試報(bào)告的模板見附錄表B.2，性能測(cè)試報(bào)告

的模板見附錄表B.3。

5測(cè)試場景

車輛檢測(cè)

對(duì)視頻圖像中的車輛位置用檢測(cè)框標(biāo)出，且能對(duì)視頻中車輛位置進(jìn)行跟蹤。

車輛基本特征識(shí)別

對(duì)視頻圖像中的車輛進(jìn)行識(shí)別，包含車牌號(hào)碼、車輛顏色、車類，分類見附錄表A.4。

車輛數(shù)量分析

對(duì)視頻圖像中的道路車流量、車類分布統(tǒng)計(jì)。

車輛行為分析

5

DB45/TXXXX—XXXX

對(duì)視頻中車輛行為的分析，包含車輛交通事件中的停車、逆行、變線、倒車、超速、拋灑物、碰撞、

隧道火災(zāi)、隧道水災(zāi)，分類見附錄表A.1。

車輛行駛環(huán)境分析

對(duì)視頻圖像中的車輛行駛環(huán)境識(shí)別，包含道路路面情況及天氣情況，分類見附錄表A.2和附錄表A.3。

6測(cè)試方法

測(cè)試內(nèi)容

各測(cè)試場景測(cè)試內(nèi)容見表2。

表2場景測(cè)試內(nèi)容

性能測(cè)試功能測(cè)試要求

序號(hào)測(cè)試場景功能測(cè)試內(nèi)容

內(nèi)容圖像視頻

1車輛檢測(cè)目標(biāo)檢測(cè)能用檢測(cè)框標(biāo)出能用檢測(cè)框標(biāo)出并跟蹤位置

車牌號(hào)碼識(shí)別能識(shí)別能識(shí)別

2車輛基本特征識(shí)別車輛顏色識(shí)別能識(shí)別能識(shí)別

車類識(shí)別能識(shí)別，類型見附錄A.4能識(shí)別，類型見附錄A.4

負(fù)載測(cè)試

壓力測(cè)試車流量統(tǒng)計(jì)能統(tǒng)計(jì)能統(tǒng)計(jì)

3車輛數(shù)量分析并發(fā)測(cè)試

車類分布統(tǒng)計(jì)能統(tǒng)計(jì)，類型見附錄A.4能統(tǒng)計(jì)，類型見附錄A.4

4車輛行為分析道路交通事件識(shí)別無能識(shí)別，類型見附錄A.1

道路天氣情況分類能識(shí)別，類型見附錄A.2能識(shí)別，類型見附錄A.2

5車輛行駛環(huán)境分析

路面狀態(tài)分類能識(shí)別，類型見附錄A.3能識(shí)別，類型見附錄A.3

功能測(cè)試方法

6.2.1運(yùn)行條件

根據(jù)4.4.5準(zhǔn)備相應(yīng)測(cè)試條件。

6.2.2測(cè)試步驟

測(cè)試步驟如下：

a)任務(wù)啟動(dòng)；

b)流媒體服務(wù)器實(shí)時(shí)輸入數(shù)據(jù)流至測(cè)試服務(wù)器；

c)測(cè)試對(duì)象在測(cè)試服務(wù)器內(nèi)執(zhí)行：

1)數(shù)據(jù)集預(yù)處理；

2)推理；

3)后處理。

6

DB45/TXXXX—XXXX

d)測(cè)試服務(wù)器輸出結(jié)果至分析服務(wù)器，分析服務(wù)器輸出評(píng)分指標(biāo)。

6.2.3預(yù)期返回結(jié)果

根據(jù)測(cè)試場景返回功能測(cè)試報(bào)告，報(bào)告模板見附錄表B.2。

6.2.4評(píng)分標(biāo)準(zhǔn)

輸出測(cè)試場景的評(píng)分指標(biāo)，以及與指標(biāo)目標(biāo)值的差異，指標(biāo)見表3。

性能測(cè)試方法

6.3.1運(yùn)行條件

根據(jù)4.4.5準(zhǔn)備相應(yīng)測(cè)試條件。

6.3.2測(cè)試步驟

6.3.2.1負(fù)載測(cè)試：

a)任務(wù)啟動(dòng)；

b)執(zhí)行分析過程，過程計(jì)時(shí)；

1)流媒體服務(wù)器將實(shí)時(shí)數(shù)據(jù)流輸入測(cè)試服務(wù)器；

2)測(cè)試對(duì)象在測(cè)試服務(wù)器中執(zhí)行：

（1）數(shù)據(jù)處理計(jì)時(shí)開始；

（2）數(shù)據(jù)預(yù)處理；

（3）推理；

（4）后處理；

（5）數(shù)據(jù)處理計(jì)時(shí)結(jié)束。

c)分析服務(wù)器輸出評(píng)分指標(biāo)。

6.3.2.2壓力測(cè)試：分別測(cè)試CPU占用率在50％、60％、70％、80％，觀測(cè)測(cè)試對(duì)象是否正常運(yùn)行。

6.3.2.3并發(fā)測(cè)試：在CPU占用率不超過70％的條件下，并發(fā)執(zhí)行10000個(gè)測(cè)試數(shù)據(jù)樣本測(cè)試的運(yùn)

行效率。

6.3.3預(yù)期返回結(jié)果

返回功能測(cè)試報(bào)告，報(bào)告模板見附錄表B.3。

6.3.4評(píng)分標(biāo)準(zhǔn)

輸出評(píng)分指標(biāo)，以及與指標(biāo)目標(biāo)值的差異，指標(biāo)見表4。

7評(píng)分方法

評(píng)分指標(biāo)

7.1.1精確率

7

DB45/TXXXX—XXXX

見式（1）。

??

?=×100%·····································································(1)

??+??

式中：

P——視頻圖像分析算法精確率；

TP——正檢數(shù)；

FP——誤檢數(shù)。

7.1.2召回率

見式（2）。

??

?=×100%····································································(2)

??+??

式中：

R——視頻圖像分析算法召回率；

TP——正檢數(shù)；

FN——漏檢數(shù)。

7.1.3交并比

見式（3）。

|?∩?|

???=··········································································(3)

|?∪?|

式中：

IoU——視頻圖像分析算法交并比；

A——檢測(cè)框的面積；

B——標(biāo)注框的面積。

7.1.4平均精度（AP）

在不同的召回率下，對(duì)應(yīng)的精確率的平均值。平均精度的值也等于精確率和召回率組成的二維曲線

下的面積大小。

7.1.5平均精度均值（mAP）

數(shù)據(jù)集中各個(gè)類別對(duì)應(yīng)的平均精度的平均值。

7.1.6平均絕對(duì)誤差

見公式（4）。

1

???=∑?|????|·································································(4)

??=1??

式中：

MAE——視頻圖像分析算法平均絕對(duì)誤差；

m——觀測(cè)次數(shù)；

8

DB45/TXXXX—XXXX

??——第?次實(shí)際數(shù)量值；

???——第?次計(jì)算值。

7.1.7每秒幀率FPS

單位時(shí)間內(nèi)處理的圖像數(shù)量或視頻幀數(shù)。

7.1.8功耗

從數(shù)據(jù)輸入到預(yù)測(cè)識(shí)別結(jié)束過程的設(shè)備功耗。

功能測(cè)試評(píng)分方法

執(zhí)行6.2.2所示測(cè)試步驟后，輸出過程日志以及測(cè)試報(bào)告，報(bào)告根據(jù)測(cè)試場景判定測(cè)試是否達(dá)到相

應(yīng)評(píng)分標(biāo)準(zhǔn)，并輸出與功能測(cè)試目標(biāo)值的差異。評(píng)分方法見表3。

表3功能測(cè)試評(píng)分方法

測(cè)試項(xiàng)評(píng)分方法測(cè)試場景評(píng)分指標(biāo)評(píng)分標(biāo)準(zhǔn)

IoU≥0.5

車輛檢測(cè)mAP和IoU

mAP≥0.6

單類識(shí)別精確率≥0.5

車輛基本特征識(shí)別精確率、召回率、mAP單類識(shí)別召回率≥0.5

mAP≥0.6

執(zhí)行6.2.2所車輛數(shù)量分析MAEMAE≤5

功能測(cè)試

示測(cè)試步驟

單類識(shí)別精確率≥0.5

車輛行為分析精確率、召回率、mAP單類識(shí)別召回率≥0.5

mAP≥0.6

單類識(shí)別精確率≥0.5

車輛行駛環(huán)境分析精確率、召回率、mAP單類識(shí)別召回率≥0.5

mAP≥0.6

性能測(cè)試評(píng)分方法

7.3.1性能測(cè)試不區(qū)分測(cè)試場景，執(zhí)行6.3.2所示測(cè)試步驟，實(shí)際測(cè)試內(nèi)容包含負(fù)載測(cè)試、壓力測(cè)試

及并發(fā)測(cè)試，輸出過程日志以及測(cè)試報(bào)告，判定測(cè)試是否達(dá)到相應(yīng)評(píng)分標(biāo)準(zhǔn)，并輸出與性能測(cè)試目標(biāo)值

的差異。

7.3.2評(píng)分方法見表4，提供4塊TeslaP40作為測(cè)試服務(wù)器的性能評(píng)分標(biāo)準(zhǔn)。

9

DB45/TXXXX—XXXX

表4性能測(cè)試評(píng)分方法

評(píng)分標(biāo)準(zhǔn)

測(cè)試項(xiàng)評(píng)分方法測(cè)試內(nèi)容評(píng)分指標(biāo)

(以4塊TeslaP40為例)

滿足功能評(píng)分標(biāo)準(zhǔn)

CPU占用率

CPU占用率≤40％

內(nèi)存占用率

負(fù)載測(cè)試內(nèi)存占用率≤60％

FPS

FPS≥25

功耗

功耗滿足生產(chǎn)要求

執(zhí)行6.3.2所示測(cè)

性能測(cè)試

試步驟CPU占用率在50％，

滿足功能評(píng)分標(biāo)準(zhǔn)

壓力測(cè)試60％，70％，80％情況

FPS≥25

下，是否正常運(yùn)行

滿足功能評(píng)分標(biāo)準(zhǔn)

并發(fā)測(cè)試FPS

FPS≥25

10

DB45/TXXXX—XXXX

A

A

附錄A

（規(guī)范性）

車輛影像分類附表

見表A.1～表A.5。

表A.1交通事件分類

車輛行為事件ID分類圖片或視頻

1車輛停車視頻

2車輛逆行視頻

3車輛變線視頻

4車輛倒車視頻

5車輛擁堵視頻

6車輛超速視頻

7車輛低速視頻

8車輛拋灑物視頻

9車輛間碰撞視頻

10車輛與固定物碰撞視頻

11車輛火災(zāi)視頻

12隧道火災(zāi)視頻

13隧道水災(zāi)視頻

注：來源：GB/T29100—2012，8.2，有修改。

11

DB45/TXXXX—XXXX

表A.2道路天氣情況分類

道路環(huán)境ID分類圖片或視頻

1晴圖片

2陰圖片

3雨圖片

4雪圖片

5霧圖片

6冰雹圖片

注：來源：GB/T29100—2012，8.3，有修改。

表A.3路面狀態(tài)分類

路面狀態(tài)ID分類圖片或視頻

1冰雪圖片

2坑槽圖片

3塌陷圖片

4路障圖片

5其他圖片

注：來源：GB/T29100—2012，8.4，有修改。

表A.4車輛分類測(cè)試項(xiàng)

車類序號(hào)分類備注

1箱式貨車無

2罐式貨車無

3倉柵式貨車無

4自卸貨車無

5起重舉升車無

12

DB45/TXXXX—XXXX

表A.4車輛分類測(cè)試項(xiàng)（續(xù)）

車類序號(hào)分類備注

6半掛車無

7轎車無

8越野汽車無

9小型客車車身長度≤6m

10中型客車6m＜車身長度≤9m

11大型客車車身長度＞9m

注：來源：GA/T802—2019，有修改。

13

DB45/TXXXX—XXXX

B

B

附錄B

（規(guī)范性）

測(cè)試模板附表

見表B.1～表B.3。

表B.1測(cè)試環(huán)境

序號(hào)用途硬件環(huán)境軟件環(huán)境

CPU：4核心2.6GHz及以上

操作系統(tǒng)：支持但不限于CentOS7

1流媒體服務(wù)器內(nèi)存：16G以上

流媒體服務(wù)：支持但不限于Helix12

硬盤：1T以上

CPU：4核心2.6GHz及以上操作系統(tǒng)：支持但不限于CentOS7

2測(cè)試服務(wù)器內(nèi)存：16G以上運(yùn)行時(shí)庫：支持但不限于Java1.8

硬盤：500G以上數(shù)據(jù)庫：支持但不限于MySQL5.7

CPU：4核心2.6GHz及以上

GPU：如4塊TeslaP40操作系統(tǒng)：支持但不限于CentOS7

3影像分析服務(wù)器

內(nèi)存：16G以上運(yùn)行時(shí)庫：支持但不限于python3.9

硬盤：500G以上

帶寬：100Mbps以上

4網(wǎng)絡(luò)要求

5推理框架框架：支持但不限于TensorFlow2.0

表B.2功能測(cè)試報(bào)告

測(cè)試需求方測(cè)試機(jī)構(gòu)

測(cè)試對(duì)象版本Vx.x.x

場景名稱功能名稱類型功能測(cè)試

測(cè)試用例ID測(cè)試用例名稱

測(cè)試內(nèi)容

輸入

14

DB45/TXXXX—XXXX

表B.2功能測(cè)試報(bào)告（續(xù)）

測(cè)試步驟