1、 ICS 35.240.01 CCS L 78 34 安徽省地方标准 DB34/T 41012022 智能驾驶 激光雷达与摄像头的感知数据融合接口规范 Intelligent drivingSpecification of lidar and camera perception data fusion interface 2022-03-29 发布 2022-04-29 实施安徽省市场监督管理局 发布DB34/T 41012022 I 前言 本文件按照 GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不
2、承担识别专利的责任。本文件由中国科学技术大学提出。本文件由安徽省经济和信息化厅归口。本文件起草单位：中国科学技术大学、安徽工匠质量标准研究院有限公司、江淮汽车集团股份有限公司、合肥综合性国家科学中心人工智能研究院。本文件主要起草人：张昱、龚磊、张燕咏、吉建民、王顺洪、李星辰、任浩杰、祝含颀、丁昌东、吴琼、丁钊。DB34/T 41012022 1 智能驾驶 激光雷达与摄像头的感知数据 融合接口规范 1 范围 本文件规定了智能驾驶激光雷达与摄像头的感知数据融合接口的融合系统架构、数据融合接口及数据格式。本文件适用于激光雷达与摄像头的传感器数据融合和图像与点云的目标检测结果融合。2 规范性引用文件
3、本文件没有规范性引用文件。3 术语和定义 下列术语和定义适用于本文件。3.1 包围框 bounding box 主要用于对检测的对象进行描述的三维或二维矩形外壳。来源：ISO 23150-2021，7.2.2 3.2 摄像头坐标系 camera coordinate system 摄像头坐标系是以镜头主光轴为中心的三维笛卡尔坐标系。注：单位为米。3.3 激光雷达坐标系 lidar coordinate system 激光雷达坐标系是以激光发射中心作为坐标系原点的三维笛卡尔坐标系。注：单位为米。3.4 图像坐标系 image coordinate system 以图像左上角为原点的二维坐标系。注
4、：单位为像素。3.5 时空统一 time and space unification 将输入的各局部时间和空间坐标的信息变换到统一的系统基准时间和空间坐标系下。来源：GB/T 37686-2019，3.3 3.6 标定 calibration 接受激光雷达与摄像头的原始数据作为输入进行时空统一的操作。DB34/T 41012022 2 3.7 传感器数据融合 sensor data fusion 接受感知之前的数据作为输入进行数据融合的操作。3.8 目标检测结果融合 detection fusion 接受图像目标检测二维包围框和点云目标检测三维包围框作为输入进行数据融合的操作。3.9 数据融合
5、接口 data fusion interface 接收传感器数据并输出融合数据以及接收目标检测结果并输出融合后目标检测结果的接口。4 融合系统的架构 4.1 激光雷达与摄像头的传感器数据融合架构 激光雷达与摄像头的传感器数据融合架构如图1 所示，分别从激光雷达和摄像头接收激光点云数据和图像数据，从标定数据获取标定信息，按配置数据中给出的传感器数据融合模式进行融合，输出融合数据。图1 激光雷达与摄像头的传感器数据融合架构 4.2 图像与点云的目标检测结果融合架构 图像与点云的目标检测结果融合架构如图2 所示，分别获取图像目标检测二维包围框和点云目标检测三维包围框，从标定数据获取标定信息，按配置数
6、据中给出的目标检测结果融合模式进行融合，输出融合后的目标检测结果。图2 图像与点云的目标检测结果融合架构 5 数据融合接口 DB34/T 41012022 3 5.1 基本数据类型 基本数据类型见表1。表1 基本数值类型 数值类型 描述 bool 布尔型 int8 8位整型 uint8 无符号8位整型 int32 32位整型 uint32 无符号32位整型 float 单精度浮点（32bit）double 双精度浮点（64-bit）string 字符串类型 enum 枚举类型 5.2 配置数据 配置接口的配置数据见表2。表2 配置接口的配置数据 属性名称 描述 数据类型 单位/备注 示例 fu
7、sion_type 融合类型 bool/0：传感器数据融合；1：目标检测结果融合 0 chirality 手征：右手坐标系或者左手坐标系 bool/0：右手坐标系；1：左手坐标系 0 camera_coordinate 记录车辆前进方向、右侧方向、竖直方向对应摄像头坐标系的轴（int8,int8,int8）/数字0,1,2分别表示x,y,z轴，负数表示负方向。如(2,0,-1)，表示前进方向为z轴，右侧方向为x轴，竖直方向为y轴反方向（2,0,-1）lidar_coordinate 记录车辆前进方向、右侧方向、竖直方向对应激光雷达坐标系的轴（int8,int8,int8）/数字0,1,2分别表
8、示x,y,z 轴，负数表示负方向。如(0,-1,2)，表示前进方向为x轴，右侧方向为y 轴反方向，竖直方向为z轴（0,-1,2）camera_frequency 摄像头获取数据频率 uint32 HZ/10 lidar_frequency 激光雷达获取数据频率 uint32 HZ/10 fusion_algorithm 融合所用算法 string/“MV3d”5.3 添加配置属性 5.3.1 融合系统提供添加配置属性接口，添加配置属性，包括属性名称、属性描述、属性值的类型等。DB34/T 41012022 4 5.3.2 接口输入参数：属性名称；属性描述；属性值的类型。5.3.3 接口返回值：
9、属性添加成功与否的状态，1添加成功、0添加失败。示例：输入为：（frequency,“the capture frequency of sensor”,uint32）表示添加类型为uint32 的frequency属性。5.4 设置配置属性值 5.4.1 融合系统提供设置配置属性值接口，设置指定属性名的属性值。5.4.2 接口输入参数：指定属性名；属性值。5.4.3 接口返回值：属性值设置成功与否的状态，1设置成功、0设置失败。示例：输入参数（camera_frequency,20）表示设置摄像头采集图像频率为20Hz。5.5 获取配置属性值 5.5.1 融合系统提供获取配置属性值接口，获取指
10、定属性名的属性值。5.5.2 接口输入参数：指定属性名。5.5.3 接口返回值：属性值。示例：输入参数（camera_frequency）表示获取系统中当前的摄像头采集图像频率。5.6 数据接收接口 5.6.1 数据发送端通过数据接收接口向融合系统提供待融合的数据,可以是原始数据（6.2）、图像数据（6.3）、点云数据（6.4）、点云目标检测三维包围框信息（6.5）、图像目标检测二维包围框信息（6.6）之一。5.6.2 接口输入参数：数据，规范中定义的数据类型的数据。5.6.3 接口返回值：设置/发送成功与否的状态，1设置/发送成功、0设置/发送失败。5.7 数据获取接口 5.7.1 融合系统
11、通过数据获取接口获取融合后数据，可以是传感器数据融合后数据（6.7）、目标检测结果融合后目标检测结果数据（6.8）。5.7.2 接口输入参数：融合类型，指定融合的类型。5.7.3 接口返回值：融合后的数据。6 数据格式 6.1 标定数据类型描述 应符合表3的规定。DB34/T 41012022 5 表3 标定数据类型描述 属性名 描述 数值类型 单位/备注 示例 image_size 图像大小 uint322/12向量 640,480 distortion_coeffs 畸变参数向量 缺省所有形变系数都设为0 double5/15向量，该畸变参数适用于针孔相机模型-0.3995,0.1803,
12、0,0,0.0429intrinsic_matrix 内参矩阵 double9/33矩阵，包含摄像头的光学中心和焦距信息，表示摄像头坐标系到图像坐标系的映射关系 468.3708,0.,339.7596,0.,470.2517,235.6143,0.,0.,1.reference_frame 参考坐标系 bool/外参矩阵参考坐标系，0:摄像头坐标系 1:激光雷达坐标系 0 extrinsic_matrix 外参矩阵 double16/44矩阵，包括旋转与平移信息，表示参考坐标系之间的空间转换关系 0.0070,1e-06,0.9999,0,-0.9999,-0.0016,0.0070,0,0
13、.0016,-0.9999,-1e-06,0,-0.0062,0.0756,0.0337,1 6.2 原始数据描述 应符合表4的规定。表4 原始数据描述 属性名 描述 数值类型 单位/备注 示例 sensor_id 产生原始数据的传感器id uint8/1 timestamp 数据生成的时间戳 uint32.uint32 s.ns/秒.纳秒 1595682678.715705367 seq 数据的序列 uint32 1 length 原始数据字节数 uint32 1 data 原始数据字节流 int8 6.3 图像数据描述 应符合表5的规定。表5 图像数据描述 属性名 描述 数值类型 单位/备
14、注 示例 sensor_id 产生图像数据的摄像头传感器id uint8/1 timestamp 图片生成的时间戳 uint32.uint32s.ns/秒.纳秒 1595682678.715705367 seq 图像的序列 uint32 1 height 图像高度，即像素行数 uint32/480 width 图像宽度，即像素列数 uint32/360 encoding 图像编码 string/rgb8 DB34/T 41012022 6 属性名 描述 数值类型 单位/备注 示例 channel 图像的通道数 uint8/3 data 图像数据，width*height*channel个uin
15、t8数据 uint8/6.4 点云数据描述 应符合表6的规定。表6 点云数据描述 属性名 描述 数据类型 单位/备注 示例 sensor_id 产生点云数据的激光雷达id uint8/0 timestamp 点云的时间戳 uint32.uint32 s.ns/秒.纳秒 1595682678.715705367 seq 连续递增的序列唯一标识 uint32/1 number 点云中的点的个数 uint32/1000 fields 点云中一个点所包含的数据类别 string/一个点云数据包括必须的 x,y,z 三维坐标信息，以及可选的reflectivity反射率信息等 x,y,z，reflect
16、ivityfields_number 一个点包含的数据类别数 uint8/如fields为x,y,z,则fileds_number为3 3 data 点云数据,number*fields_number个float数 float/每fields_number个浮点数表示点云中的一个点 sensor_type 机械式激光雷达/固态激光雷达 bool/0为机械式激光雷达 1为固态激光雷达 0 beam（option）机械式激光雷达线束 uint32/当sensor_type 为0时可选 32 ring（option）点云点所属于的机械式激光雷达线束 uint32/当sensor_type 为0时可选
17、 0 6.5 点云目标检测三维包围框信息描述 应符合表7的规定。表7 点云目标检测三维包围框信息描述 属性名 描述 数值类型 单位/备注 示例 id 包围框的 id int32/1 class 目标类别 enum/Car points_seq 点云序列 uint32/对应的点云序列号 2 confidence 目标存在的概率 float/0,1范围内的小数，表示目标存在的概率 0.8 timestamp 该三维包围框对应的时间戳 uint32.uint32s.ns/秒.纳秒 1595682678.715705367 X 包围框的中心点在激光雷达坐标系中的x坐标 float/1.0 Y 包围框的
18、中心点在激光雷达坐标系中的y坐标 float/1.0 Z 包围框的中心点在激光雷达坐标系中的z坐标 float/1.0 DB34/T 41012022 7 属性名 描述 数值类型 单位/备注 示例 length 包围框的长度 float m/米 1.0 width 包围框的宽度 float m/米 1.0 height 包围框的高度 float m/米 1.0 direction 三维包围框的在激光雷达坐标系下的朝向向量 float3/2.0,3.0,0.velocity 三维包围框速度 float m/s/米/秒 1 6.6 图像目标检测二维包围框信息描述 应符合表8的规定。表8 图像目标检
19、测二维包围框信息描述 属性名 描述 数值类型 单位/备注 示例 id 二维包围框的id int32/1 class 目标类别 enum/Car image_seq 对应的图像的序列 uint32 1 confidence 目标存在的概率 float/0,1范围内的小数，表示目标存在的概率 0.8 timestamp 该二维包围框对应的时间戳 uint32.uint32 s.ns/秒.纳秒 1595682678.715705367 x1 图像坐标系中的包围框左上角横坐标 uint32/像素的在图像坐标系中的位置 103 y1 图像坐标系中的包围框左上角纵坐标 uint32/像素的在图像坐标系中的
20、位置 103 x2 图像坐标系中的包围框右下角横坐标 uint32/像素的在图像坐标系中的位置 204 y2 图像坐标系中的包围框右下角纵坐标 uint32/像素的在图像坐标系中的位置 204 6.7 传感器数据融合后数据描述 应符合表9的规定。表9 传感器数据融合后数据描述 属性名 描述 数值类型 单位/备注 示例 timestamp 时间戳 uint32.uint32 s.ns/秒.纳秒 1595682678.715705367class 目标类别 enum/Car image_seq 融合所用图像数据序列号 uint32/1 points_seq 融合所用的点云数据序列号 uint32/
21、1 camera_id 生成图像的传感器id uint8/1 lidar_id 生成点云的激光雷达id uint8/1 height 图像高度，即像素行数 uint32/480 width 图像宽度，即像素列数 uint32/360 encoding 图像编码 string/rgb8 image_channel 图像的通道数 uint8/3 DB34/T 41012022 8 属性名 描述 数值类型 单位/备注 示例 image_data 图像数据，数组长度为width*height*image_channel uint8/image_depth 融合后得到的像素值为摄像头到场景中各点的距离（
22、深度）的深度图像，数组长度为 width*height float/point_num 点云中点的数量 uint32/10000 point_fields 融合后点云中一个点所包含的数据类别 string/x,y,z fields_number 融合后点云中一个点包含的数据类别数 uint8/3 point_data 点云数据 float/6.8 目标检测结果融合后数据描述 应符合表10的规定。表10 目标检测结果融合后数据描述 属性名 描述 数值类型 单位/备注 示例 id id int32/1 confidence 目标存在的概率 float/0,1范围内的小数，表示目标存在的概率 0.8
23、 timestamp 时间戳 uint32.uint32 s.ns/秒.纳秒 1595682678.715705367 class 目标类别 enum/Car X 融合后目标包围框的中心点在激光雷达坐标系中的x坐标 float/1.0 Y 融合后目标包围框的中心点在激光雷达坐标系中的y坐标 float/1.0 Z 融合后目标包围框的中心点在激光雷达坐标系中的z坐标 float/1.0 center_cov 融合后中心点协方差 float9/3 3 矩阵，表示目标位置的不确定度 0.2,0.01,0.01；0.01,0.2,0.01；0.01,0.01,0.2 length 融合后目标包围框的长
24、度 float m/米 1.0 width 融合后目标包围框的宽度 float 米 1.0 height 融合后目标包围框的高度 float 米 1.0 size_cov 融合后的尺寸协方差 float9/3 3 矩阵，表示尺寸的不确定度 0.2,0.01,0.01；0.01,0.2,0.01；0.01,0.01,0.2 direction 融合后包围框的在激光雷达坐标系下的朝向向量 float3/2.0,3.0,0.velocity 融合后目标速度 float m/s/米/秒 1 x1 融合后图像坐标系中的包围框左上角横坐标 uint32/像素的在图像坐标系中的位置 103 DB34/T 4
25、1012022 9 属性名 描述 数值类型 单位/备注 示例 y1 融合后图像坐标系中的包围框左上角纵坐标 uint32/像素的在图像坐标系中的位置 103 x2 融合后图像坐标系中的包围框右下角横坐标 uint32/像素的在图像坐标系中的位置 204 y2 融合后图像坐标系中的包围框右下角纵坐标 uint32/像素的在图像坐标系中的位置 204 注：该融合结果为单帧检测融合结果，该结果可用于多帧目标物体追踪。DB34/T 41012022 10 参考文献 1 GB/T 37686-2019 物联网 感知对象信息融合模型 2 ISO 23150-2021 Road vehiclesData communication between sensors and data fusion unit for automated driving functionsLogical interface
