ICS35.240.01

CCSL78

34

安徽省地方標(biāo)準(zhǔn)

DB34/T4101—2022

智能駕駛激光雷達(dá)與攝像頭的感知數(shù)據(jù)

融合接口規(guī)范

Intelligentdriving—Specificationoflidarandcameraperceptiondatafusioninterface

2022-03-29發(fā)布2022-04-29實施

安徽省市場監(jiān)督管理局發(fā)布

DB34/T4101—2022

前言

本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定

起草。

請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。

本文件由中國科學(xué)技術(shù)大學(xué)提出。

本文件由安徽省經(jīng)濟和信息化廳歸口。

本文件起草單位：中國科學(xué)技術(shù)大學(xué)、安徽工匠質(zhì)量標(biāo)準(zhǔn)研究院有限公司、江淮汽車集團(tuán)股份有限

公司、合肥綜合性國家科學(xué)中心人工智能研究院。

本文件主要起草人：張昱、龔磊、張燕詠、吉建民、王順洪、李星辰、任浩杰、祝含頎、丁昌東、

吳瓊、丁釗。

I

DB34/T4101—2022

智能駕駛激光雷達(dá)與攝像頭的感知數(shù)據(jù)

融合接口規(guī)范

1范圍

本文件規(guī)定了智能駕駛激光雷達(dá)與攝像頭的感知數(shù)據(jù)融合接口的融合系統(tǒng)架構(gòu)、數(shù)據(jù)融合接口及數(shù)

據(jù)格式。

本文件適用于激光雷達(dá)與攝像頭的傳感器數(shù)據(jù)融合和圖像與點云的目標(biāo)檢測結(jié)果融合。

2規(guī)范性引用文件

本文件沒有規(guī)范性引用文件。

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

包圍框boundingbox

主要用于對檢測的對象進(jìn)行描述的三維或二維矩形外殼。

[來源：ISO23150-2021，7.2.2]

3.2

攝像頭坐標(biāo)系cameracoordinatesystem

攝像頭坐標(biāo)系是以鏡頭主光軸為中心的三維笛卡爾坐標(biāo)系。

注：單位為米。

3.3

激光雷達(dá)坐標(biāo)系lidarcoordinatesystem

激光雷達(dá)坐標(biāo)系是以激光發(fā)射中心作為坐標(biāo)系原點的三維笛卡爾坐標(biāo)系。

注：單位為米。

3.4

圖像坐標(biāo)系imagecoordinatesystem

以圖像左上角為原點的二維坐標(biāo)系。

注：單位為像素。

3.5

時空統(tǒng)一timeandspaceunification

將輸入的各局部時間和空間坐標(biāo)的信息變換到統(tǒng)一的系統(tǒng)基準(zhǔn)時間和空間坐標(biāo)系下。

[來源：GB/T37686-2019，3.3]

3.6

標(biāo)定calibration

接受激光雷達(dá)與攝像頭的原始數(shù)據(jù)作為輸入進(jìn)行時空統(tǒng)一的操作。

1

DB34/T4101—2022

3.7

傳感器數(shù)據(jù)融合sensordatafusion

接受感知之前的數(shù)據(jù)作為輸入進(jìn)行數(shù)據(jù)融合的操作。

3.8

目標(biāo)檢測結(jié)果融合detectionfusion

接受圖像目標(biāo)檢測二維包圍框和點云目標(biāo)檢測三維包圍框作為輸入進(jìn)行數(shù)據(jù)融合的操作。

3.9

數(shù)據(jù)融合接口datafusioninterface

接收傳感器數(shù)據(jù)并輸出融合數(shù)據(jù)以及接收目標(biāo)檢測結(jié)果并輸出融合后目標(biāo)檢測結(jié)果的接口。

4融合系統(tǒng)的架構(gòu)

4.1激光雷達(dá)與攝像頭的傳感器數(shù)據(jù)融合架構(gòu)

激光雷達(dá)與攝像頭的傳感器數(shù)據(jù)融合架構(gòu)如圖1所示，分別從激光雷達(dá)和攝像頭接收激光點云數(shù)據(jù)

和圖像數(shù)據(jù)，從標(biāo)定數(shù)據(jù)獲取標(biāo)定信息，按配置數(shù)據(jù)中給出的傳感器數(shù)據(jù)融合模式進(jìn)行融合，輸出融合

數(shù)據(jù)。

圖1激光雷達(dá)與攝像頭的傳感器數(shù)據(jù)融合架構(gòu)

4.2圖像與點云的目標(biāo)檢測結(jié)果融合架構(gòu)

圖像與點云的目標(biāo)檢測結(jié)果融合架構(gòu)如圖2所示，分別獲取圖像目標(biāo)檢測二維包圍框和點云目標(biāo)檢

測三維包圍框，從標(biāo)定數(shù)據(jù)獲取標(biāo)定信息，按配置數(shù)據(jù)中給出的目標(biāo)檢測結(jié)果融合模式進(jìn)行融合，輸出

融合后的目標(biāo)檢測結(jié)果。

圖2圖像與點云的目標(biāo)檢測結(jié)果融合架構(gòu)

5數(shù)據(jù)融合接口

2

DB34/T4101—2022

5.1基本數(shù)據(jù)類型

基本數(shù)據(jù)類型見表1。

表1基本數(shù)值類型

數(shù)值類型描述

bool布爾型

int88位整型

uint8無符號8位整型

int3232位整型

uint32無符號32位整型

float單精度浮點（32bit）

double雙精度浮點（64-bit）

string字符串類型

enum枚舉類型

5.2配置數(shù)據(jù)

配置接口的配置數(shù)據(jù)見表2。

表2配置接口的配置數(shù)據(jù)

屬性名稱描述數(shù)據(jù)類型單位/備注示例

/0：傳感器數(shù)據(jù)融合；

fusion_type融合類型bool0

1：目標(biāo)檢測結(jié)果融合

手征：右手坐標(biāo)系或者左/0：右手坐標(biāo)系；

chiralitybool0

手坐標(biāo)系1：左手坐標(biāo)系

/數(shù)字0,1,2分別表示x,y,z軸，負(fù)數(shù)

記錄車輛前進(jìn)方向、右側(cè)表示負(fù)方向。

camera_coordinate方向、豎直方向?qū)?yīng)攝像頭（int8,int8,int8）如(2,0,-1)，表示前進(jìn)方向為z軸，（2,0,-1）

坐標(biāo)系的軸右側(cè)方向為x軸，豎直方向為y軸反方

向

/數(shù)字0,1,2分別表示x,y,z軸，負(fù)

記錄車輛前進(jìn)方向、右側(cè)數(shù)表示負(fù)方向。

lidar_coordinate方向、豎直方向?qū)?yīng)激光雷（int8,int8,int8）如(0,-1,2)，表示前進(jìn)方向為x軸，（0,-1,2）

達(dá)坐標(biāo)系的軸右側(cè)方向為y軸反方向，豎直方向為

z軸

camera_frequency攝像頭獲取數(shù)據(jù)頻率uint32HZ/10

lidar_frequency激光雷達(dá)獲取數(shù)據(jù)頻率uint32HZ/10

fusion_algorithm融合所用算法string/“MV3d”

5.3添加配置屬性

5.3.1融合系統(tǒng)提供添加配置屬性接口，添加配置屬性，包括屬性名稱、屬性描述、屬性值的類型等。

3

DB34/T4101—2022

5.3.2接口輸入?yún)?shù)：

——屬性名稱；

——屬性描述；

——屬性值的類型。

5.3.3接口返回值：屬性添加成功與否的狀態(tài)，1—添加成功、0—添加失敗。

示例：輸入為：（frequency,“thecapturefrequencyofsensor”,uint32）表示添加類型為uint32的frequency

屬性。

5.4設(shè)置配置屬性值

5.4.1融合系統(tǒng)提供設(shè)置配置屬性值接口，設(shè)置指定屬性名的屬性值。

5.4.2接口輸入?yún)?shù)：

——指定屬性名；

——屬性值。

5.4.3接口返回值：屬性值設(shè)置成功與否的狀態(tài)，1—設(shè)置成功、0—設(shè)置失敗。

示例：輸入?yún)?shù)（camera_frequency,20）表示設(shè)置攝像頭采集圖像頻率為20Hz。

5.5獲取配置屬性值

5.5.1融合系統(tǒng)提供獲取配置屬性值接口，獲取指定屬性名的屬性值。

5.5.2接口輸入?yún)?shù)：指定屬性名。

5.5.3接口返回值：屬性值。

示例：輸入?yún)?shù)（camera_frequency）表示獲取系統(tǒng)中當(dāng)前的攝像頭采集圖像頻率。

5.6數(shù)據(jù)接收接口

5.6.1數(shù)據(jù)發(fā)送端通過數(shù)據(jù)接收接口向融合系統(tǒng)提供待融合的數(shù)據(jù),可以是原始數(shù)據(jù)（6.2）、圖像數(shù)

據(jù)（6.3）、點云數(shù)據(jù)（6.4）、點云目標(biāo)檢測三維包圍框信息（6.5）、圖像目標(biāo)檢測二維包圍框信息

（6.6）之一。

5.6.2接口輸入?yún)?shù)：數(shù)據(jù)，規(guī)范中定義的數(shù)據(jù)類型的數(shù)據(jù)。

5.6.3接口返回值：設(shè)置/發(fā)送成功與否的狀態(tài)，1—設(shè)置/發(fā)送成功、0—設(shè)置/發(fā)送失敗。

5.7數(shù)據(jù)獲取接口

5.7.1融合系統(tǒng)通過數(shù)據(jù)獲取接口獲取融合后數(shù)據(jù)，可以是傳感器數(shù)據(jù)融合后數(shù)據(jù)（6.7）、目標(biāo)檢測

結(jié)果融合后目標(biāo)檢測結(jié)果數(shù)據(jù)（6.8）。

5.7.2接口輸入?yún)?shù)：融合類型，指定融合的類型。

5.7.3接口返回值：融合后的數(shù)據(jù)。

6數(shù)據(jù)格式

6.1標(biāo)定數(shù)據(jù)類型描述

應(yīng)符合表3的規(guī)定。

4

DB34/T4101—2022

表3標(biāo)定數(shù)據(jù)類型描述

屬性名描述數(shù)值類型單位/備注示例

image_size圖像大小uint32[2]/1×2向量[640,480]

畸變參數(shù)向量

/1×5向量，該畸變參數(shù)適用

distortion_coeffs缺省所有形變系數(shù)double[5][-0.3995,0.1803,0,0,0.0429]

于針孔相機模型

都設(shè)為0

/3×3矩陣，包含攝像頭的光

[468.3708,0.,339.7596,

學(xué)中心和焦距信息，表示攝像

intrinsic_matrix內(nèi)參矩陣double[9]0.,470.2517,235.6143,

頭坐標(biāo)系到圖像坐標(biāo)系的映0.,0.,1.]

射關(guān)系

/外參矩陣參考坐標(biāo)系，

reference_frame參考坐標(biāo)系bool0:攝像頭坐標(biāo)系0

1:激光雷達(dá)坐標(biāo)系

/4×4矩陣，包括旋轉(zhuǎn)與平移[0.0070,1e-06,0.9999,0,

-0.9999,-0.0016,0.0070,0,

extrinsic_matrix外參矩陣double[16]信息，表示參考坐標(biāo)系之間的0.0016,-0.9999,-1e-06,0,

空間轉(zhuǎn)換關(guān)系-0.0062,0.0756,0.0337,1]

6.2原始數(shù)據(jù)描述

應(yīng)符合表4的規(guī)定。

表4原始數(shù)據(jù)描述

屬性名描述數(shù)值類型單位/備注示例

sensor_id產(chǎn)生原始數(shù)據(jù)的傳感器iduint8/1

uint32.s.ns/1595682678.

timestamp數(shù)據(jù)生成的時間戳

uint32秒.納秒715705367

seq數(shù)據(jù)的序列uint321

length原始數(shù)據(jù)字節(jié)數(shù)uint321

data原始數(shù)據(jù)字節(jié)流int8[]

6.3圖像數(shù)據(jù)描述

應(yīng)符合表5的規(guī)定。

表5圖像數(shù)據(jù)描述

屬性名描述數(shù)值類型單位/備注示例

sensor_id產(chǎn)生圖像數(shù)據(jù)的攝像頭傳感器iduint8/1

uint32.s.ns/1595682678.

timestamp圖片生成的時間戳

uint32秒.納秒715705367

seq圖像的序列uint321

height圖像高度，即像素行數(shù)uint32/480

width圖像寬度，即像素列數(shù)uint32/360

encoding圖像編碼string/rgb8

5

DB34/T4101—2022

屬性名描述數(shù)值類型單位/備注示例

channel圖像的通道數(shù)uint8/3

data圖像數(shù)據(jù)，width*height*channel個uint8數(shù)據(jù)uint8[]/

6.4點云數(shù)據(jù)描述

應(yīng)符合表6的規(guī)定。

表6點云數(shù)據(jù)描述

屬性名描述數(shù)據(jù)類型單位/備注示例

sensor_id產(chǎn)生點云數(shù)據(jù)的激光雷達(dá)iduint8/0

uint32.s.ns/1595682678.

timestamp點云的時間戳

uint32秒.納秒715705367

seq連續(xù)遞增的序列唯一標(biāo)識uint32/1

number點云中的點的個數(shù)uint32/1000

/一個點云數(shù)據(jù)包括必須的

[x,y,z，

fields點云中一個點所包含的數(shù)據(jù)類別string[]x,y,z三維坐標(biāo)信息，以及可選

reflectivity]

的reflectivity反射率信息等

/如fields為[x,y,z],則

fields_number一個點包含的數(shù)據(jù)類別數(shù)uint83

fileds_number為3

點云數(shù)據(jù),number*fields_number個/每fields_number個浮點數(shù)表示

datafloat[]

float數(shù)點云中的一個點

機械式激光雷達(dá)/0為機械式激光雷達(dá)

sensor_typebool0

/固態(tài)激光雷達(dá)1為固態(tài)激光雷達(dá)

beam（option）機械式激光雷達(dá)線束uint32/當(dāng)sensor_type為0時可選32

ring（option）點云點所屬于的機械式激光雷達(dá)線束uint32/當(dāng)sensor_type為0時可選0

6.5點云目標(biāo)檢測三維包圍框信息描述

應(yīng)符合表7的規(guī)定。

表7點云目標(biāo)檢測三維包圍框信息描述

屬性名描述數(shù)值類型單位/備注示例

id包圍框的idint32/1

class目標(biāo)類別enum/Car

points_seq點云序列uint32/對應(yīng)的點云序列號2

/[0,1]范圍內(nèi)的小數(shù)，

confidence目標(biāo)存在的概率float0.8

表示目標(biāo)存在的概率

uint32.s.ns/1595682678.

timestamp該三維包圍框?qū)?yīng)的時間戳

uint32秒.納秒715705367

X包圍框的中心點在激光雷達(dá)坐標(biāo)系中的x坐標(biāo)float/1.0

Y包圍框的中心點在激光雷達(dá)坐標(biāo)系中的y坐標(biāo)float/1.0

Z包圍框的中心點在激光雷達(dá)坐標(biāo)系中的z坐標(biāo)float/1.0

6

DB34/T4101—2022

屬性名描述數(shù)值類型單位/備注示例

length包圍框的長度floatm/米1.0

width包圍框的寬度floatm/米1.0

height包圍框的高度floatm/米1.0

direction三維包圍框的在激光雷達(dá)坐標(biāo)系下的朝向向量float[3]/[2.0,3.0,0.]

velocity三維包圍框速度floatm/s/米/秒1

6.6圖像目標(biāo)檢測二維包圍框信息描述

應(yīng)符合表8的規(guī)定。

表8圖像目標(biāo)檢測二維包圍框信息描述

屬性名描述數(shù)值類型單位/備注示例

id二維包圍框的idint32/1

class目標(biāo)類別enum/Car

image_seq對應(yīng)的圖像的序列uint321

/[0,1]范圍內(nèi)的小數(shù)，

confidence目標(biāo)存在的概率float0.8

表示目標(biāo)存在的概率

uint32.s.ns/1595682678.

timestamp該二維包圍框?qū)?yīng)的時間戳

uint32秒.納秒715705367

x1圖像坐標(biāo)系中的包圍框左上角橫坐標(biāo)uint32/像素的在圖像坐標(biāo)系中的位置103

y1圖像坐標(biāo)系中的包圍框左上角縱坐標(biāo)uint32/像素的在圖像坐標(biāo)系中的位置103

x2圖像坐標(biāo)系中的包圍框右下角橫坐標(biāo)uint32/像素的在圖像坐標(biāo)系中的位置204

y2圖像坐標(biāo)系中的包圍框右下角縱坐標(biāo)uint32/像素的在圖像坐標(biāo)系中的位置204

6.7傳感器數(shù)據(jù)融合后數(shù)據(jù)描述

應(yīng)符合表9的規(guī)定。

表9傳感器數(shù)據(jù)融合后數(shù)據(jù)描述

屬性名描述數(shù)值類型單位/備注示例

uint32.s.ns/1595682678.

timestamp時間戳

uint32秒.納秒715705367

class目標(biāo)類別enum/Car

image_seq融合所用圖像數(shù)據(jù)序列號uint32/1

points_seq融合所用的點云數(shù)據(jù)序列號uint32/1

camera_id生成圖像的傳感器iduint8/1

lidar_id生成點云的激光雷達(dá)iduint8/1

height圖像高度，即像素行數(shù)uint32/480

width圖像寬度，即像素列數(shù)uint32/360

encoding圖像編碼string/rgb8

image_channel圖像的通道數(shù)uint8/3

7

DB34/T4101—2022

屬性名描述數(shù)值類型單位/備注示例

image_data圖像數(shù)據(jù)，數(shù)組長度為width*height*image_channeluint8[]/

融合后得到的像素值為攝像頭到場景中各點的距離（深度）

image_depthfloat[]/

的深度圖像，數(shù)組長度為width*height

point_num點云中點的數(shù)量uint32/10000

point_fields融合后點云中一個點所包含的數(shù)據(jù)類別string[]/[x,y,z]

fields_number融合后點云中一個點包含的數(shù)據(jù)類別數(shù)uint8/3

point_data點云數(shù)據(jù)float[]/

6.8目標(biāo)檢測結(jié)果融合后數(shù)據(jù)描述

應(yīng)符合表10的規(guī)定。

表10目標(biāo)檢測結(jié)果融合后數(shù)據(jù)描述

屬性名描述數(shù)值類型單位/備注示例

ididint32/1

/[0,1]范圍內(nèi)的小數(shù)，

confidence目標(biāo)存在的概率float0.8

表示目標(biāo)存在的概率

uint32.s.ns/1595682678.

timestamp時間戳

uint32秒.納秒715705367

class目標(biāo)類別enum/Car

融合后目標(biāo)包圍框的中心點

Xfloat/1.0

在激光雷達(dá)坐標(biāo)系中的x坐標(biāo)

融合后目標(biāo)包圍框的中心點

Yfloat/1.0

在激光雷達(dá)坐標(biāo)系中的y坐標(biāo)

融合后目標(biāo)包圍框的中心點

Zfloat/1.0

在激光雷達(dá)坐標(biāo)系中的z坐標(biāo)

[0.2,0.01,0.01；

/33矩陣，

center_cov融合后中心點協(xié)方差float[9]0.01,0.2,0.01；

表示目標(biāo)位置的不確定度

0.01,0.01,0.2]

length融合后目標(biāo)包圍框的長度floatm/米1.0

width融合后目標(biāo)包圍框的寬度flo