一种自动驾驶汽车车路云融合感知方法技术

本发明专利技术提出一种自动驾驶汽车车路云融合感知方法，适用于车路云一体化场景下的多源感知信息的融合

【技术实现步骤摘要】
一种自动驾驶汽车车路云融合感知方法


[0001]本专利技术涉及一种自动驾驶汽车车路云融合感知方法，属于汽车自动驾驶及辅助驾驶

。

技术介绍

[0002]准确而快速地获取驾驶环境信息是自动驾驶系统能够安全
、
高效运行的前提
。
基于视觉传感器的感知可以提供颜色
、
纹理等信息，但因对天气变化
、
光照等影响比较敏感，无法在低光照
、
高动态的环境下对目标准确识别；激光雷达传感器可以提供环境的实时三维点云数据，具有很好的鲁棒性，但无法获取动静态目标的外观细节
。
这种依靠单模态信息的感知技术很难满足自动驾驶可靠感知的需求
。
[0003]车路云协同感知的目的是为自动驾驶汽车提供全局感知信息，使得自动驾驶汽车感知范围摆脱自身传感器范围的限制，获取更加全面
、
准确的感知环境，为后续全局路径规划及避障提供重要的依据
。
[0004]在车端感知单元，目前主要采用多种传感器相结合的环境感知方案；在路端感知单元，使用固定位置的多种传感器获取环境信息，可以消除车端感知盲区；利用云端信息指导车路多源传感器特征加权融合可以有效的克服天气变化
、
光照等影响，进一步的提升感知融合结果准确性和可靠性
。
因此，面对复杂的交通环境，车路云多源融合感知是进一步提高自动驾驶汽车感知精度和抗干扰能力的关键
。

技术实现思路

[0005]本专利技术的目的是提供一种自动驾驶汽车车路云融合感知方法，用以解决如何进一步提高自动驾驶汽车感知精度和抗干扰能力的问题
。
[0006]为实现上述目的，本专利技术的方案包括：
[0007]本专利技术的一种自动驾驶汽车车路云融合感知方法的技术方案，包括如下步骤：
[0008]1)
车辆通过相机和激光雷达获取车辆前方的图像和点云信息，所述车辆所在路段的路端设备通过相机和激光雷达获取路端图像和点云信息；并分别完成对应的基于图像的目标检测和基于点云的目标检测；
[0009]2)
基于多传感器融合分别实现车辆前方和路端各自的图像目标和点云目标的融合，得到车端融合特征和路端融合特征；
[0010]3)
将路端融合特征发送到车辆，车辆将车端融合特征和路端融合特征进行时间和空间上的对齐实现同步；
[0011]4)
对于车端和路端都能感知到的物体，融合车路两端的感知结果；对于车端视野盲区，以路端检测结果作为补充；
[0012]5)
进一步还可以在步骤
5)
中根据云端提供的全局交通信息
、
高精地图及天气信息，与车路融合特征进行后融合，利用云端信息指导车路多源传感器特征加权融合，克服天气变化
、
光照等影响，提升感知融合结果准确性和可靠性
。
[0013]本专利技术采用单目相机和
LIDAR
作为车端传感器，分别采集
RGB
图像和激光点云，将二者的感知信息融合后得到车端感知结果，路端同样采用相机和
LIDAR
作为路端传感器，分别采集
RGB
图像和激光点云，将二者的感知信息融合后得到路端感知结果，路侧感知单元将获取的感知结果通过无线网络传输到车端，与车端自身获取的环境信息进行融合，得到当前所在区域内全面的感知信息
。
[0014]进一步地，所述步骤
1)
中，基于图像的目标检测：采用深度学习的方法，选择
SSD
目标检测算法对障碍物目标进行检测与识别，得到识别出障碍物目标的图像
。
[0015]本专利技术基于相机的目标检测采用深度学习的方法，选择
SSD
目标检测算法对障碍物进行检测与识别，检测目标的类别并输出二维
bounding_box
目标检测框
。
[0016]进一步地，所述步骤
1)
中，基于点云的目标检测：首先基于改进的
DBSCAN
聚类算法，得到可自适应确定聚类参数的
KANN
‑
DBSCAN
算法，利用该算法对激光雷达采集到的三维点云聚类分析，得到障碍物目标点云
。
[0017]本专利技术基于激光雷达的目标检测，首先基于改进的
DBSCAN
聚类算法，得到一种可自适应确定聚类参数的
KANN
‑
DBSCAN
算法，利用该算法对激光雷达采集到的三维点云聚类分析，得到障碍物点云，输出三维
bounding_box
检测框，同时输出检测框中心至激光雷达的距离信息
。
[0018]进一步地，所述步骤
2)
中，所述多传感器融合包括对相机和激光雷达进行传感器的联合标定，利用标定结果将激光雷达检测到的障碍物目标点云投影到识别出障碍物目标的图像上
。
[0019]本专利技术的车端和路端多传感器融合感知，主要涉及的传感器有单目摄像头和
LIDAR。
由于激光点云的稀疏性，其所能提供的物体类别信息比较有限，但可以提供较为准确的坐标信息
。
而单目摄像头可以较好地完成目标检测的功能
。
[0020]综上所述，本专利技术将单目相机采集的
RGB
图像和
LIDAR
采集的激光点云进行关联，从而互相弥补两种传感器各自的短处，完成目标检测的同时，获得目标的坐标信息
。
在激光雷达和相机进行传感器融合前，需要对这两个传感器进行时间和空间上的联合标定，获得两者坐标系的转换参数矩阵，并基于该矩阵将聚类得到的障碍物点云投影到二维图像中，实现三维激光点云与二维图像的融合
。
[0021]进一步地，所述步骤
3)
中，对于时间上的对齐：以车辆车载单元信息采集时间戳为基准，接收所述路端融合特征，同时设置定时器，对车端融合特征和路端融合特征中对应障碍物目标的感知结果进行时效性检查；当满足时效性时，将对应的感知结果进行融合
。
[0022]由于感知数据信息的感知单元来源不同，因此其感知的频率不同
、
感知到的数据信息在融合前其位置信息表示所处的坐标系也是不同的，因此在对车载感知单元与路侧感知单元的感知数据信息进行融合前，需要将来自各感知单元的信息进行时间同步与空间同步
。
[0023]进一步地，所述时效性检查包括：由车载单元与路侧单元发送感知结果的频率决定定时器
tf
的取值，将经过定时器调用的来自车载单元发送的消息集
ssmt
的时间戳
tv、
路侧单元发送的消息集
rsmt
的时间戳
tr
分别与当前时间戳
tn...

【技术保护点】

【技术特征摘要】
1.
一种自动驾驶汽车车路云融合感知方法，其特征在于，包括如下步骤：
1)
车辆通过相机和激光雷达获取车辆前方的图像和点云信息，所述车辆所在路段的路端设备通过相机和激光雷达获取路端图像和点云信息；并分别完成对应的基于图像的目标检测和基于点云的目标检测；
2)
基于多传感器融合分别实现车辆前方和路端各自的图像目标和点云目标的融合，得到车端融合特征和路端融合特征；
3)
将路端融合特征发送到车辆，车辆将车端融合特征和路端融合特征进行时间和空间上的对齐，实现同步；
4)
对于车端和路端都能感知到的物体，融合车路两端的感知结果；对于车端视野盲区，以路端检测结果作为补充；
5)
云端提供全局交通信息
、
高精地图及天气信息，与车路融合特征进行后融合
。2.
根据权利要求1所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤
1)
中，基于图像的目标检测：采用深度学习的方法，选择
SSD
目标检测算法对障碍物目标进行检测与识别，得到识别出障碍物目标的图像
。3.
根据权利要求2所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤
1)
中，基于点云的目标检测：首先基于改进的
DBSCAN
聚类算法，得到可自适应确定聚类参数的
KANN
‑
DBSCAN
算法，利用该算法对激光雷达采集到的三维点云聚类分析，得到障碍物目标点云
。4.
根据权利要求3所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤
2)
中，所述多传感器融合包括对相机和激光雷达进行传感器的联合标定，利用标定结果将激光雷达检测到的障碍物目标点云投影到识别出障碍物目标的图像上
。5.
根据权利要求4所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤
3)
中，对于时间上的对齐：以车辆车载单元信息采集时间戳为基准，接收所述路端融合特征，同时设置定时器，对车端融合特征和路端融合特征中对应障碍物目标的感知结果进行时效性检查；当满足时效性时，将对应的感知结果进行融合
。6.
根据权利要求5所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述时效性检查包括：由车载单元与路侧单元发送感知结果的频率决定定时器

【专利技术属性】
技术研发人员：高建平，袁帅，李哲，郭志伟，李震尧，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：