本申请涉及车辆传感器的联合标定方法、系统、车辆以及存储介质。所述方法包括：通过图像传感器和激光雷达同时对车辆所处环境进行探测；对通过所述图像传感器获取到的图像进行语义分割以提取第一边缘特征；从通过所述激光雷达获取到的点云中提取第二边缘特征，其中，所述第二边缘特征包括所述点云中的多个点；对齐所述第一边缘特征与所述第二边缘特征以分别标定所述图像传感器、所述激光雷达的粗略外参；以及最小化所述第一边缘特征与所述第二边缘特征的距离从而对所述粗略外参进行优化以得到各自的优化外参。得到各自的优化外参。得到各自的优化外参。
【技术实现步骤摘要】
车辆传感器的联合标定方法、系统、车辆以及存储介质
[0001]本申请涉及车辆传感器的标定，具体而言，涉及车辆传感器的联合标定方法、车辆传感器的联合标定系统、车辆以及计算机可读存储介质。
技术介绍
[0002]自动驾驶、辅助驾驶技术近年来发展迅速，激光雷达（LiDAR）和相机是在自动驾驶感知领域最重要的两个传感器。相机获取的环境信息是有规律的、有序且稠密，但相机仅对光敏感且无图像距离信息。为了弥补相机的弱点，激光雷达可以准确地获取物体的距离，但点云相比图像信息更加稀疏。为此，这两种传感器的融合使自动驾驶汽车能够更好地了解外部环境信息，因而已成为近年来的重点研究方向。传感器融合算法需要精确的外部参数来转换两个传感器之间的坐标以实现数据对齐。因此，具有高精度和高鲁棒性的在线自动校准算法变得越来越重要。
[0003]目前主流的激光雷达相机外参标定方法高度依赖于高精度标定目标和特定环境。在传统标定中，标定特征是从图像和点云中手动检测、提取出来并进行匹配。这些方法费时费力，在各种户外场景中不可行。此外，传感器校准大多只执行一次，并且假设外部校准在传感器套件的剩余生命周期内保持不变。由于标定误差的存在以及行驶过程中的各种情况，标定结果可能会发生变化。
[0004]有鉴于此，需要提出一种在线标定算法来实现对标定误差的检测并纠正。
技术实现思路
[0005]本申请的实施例提供了一种车辆传感器的联合标定方法、车辆传感器的联合标定系统、车辆以及计算机可读存储介质，用于以在线方式对车辆的相机传感器和激光雷达进行联合标定。
[0006]根据本申请的一方面，提供一种车辆传感器的联合标定方法。所述方法包括：通过图像传感器和激光雷达同时对车辆所处环境进行探测；对通过所述图像传感器获取到的图像进行语义分割以提取第一边缘特征；从通过所述激光雷达获取到的点云中提取第二边缘特征，其中，所述第二边缘特征包括所述点云中的多个点；对齐所述第一边缘特征与所述第二边缘特征以分别标定所述图像传感器、所述激光雷达的粗略外参；以及最小化所述第一边缘特征与所述第二边缘特征的距离从而对所述粗略外参进行优化以得到各自的优化外参。
[0007]在本申请的一些实施例中，可选地，对通过所述图像传感器获取到的图像进行语义分割以提取第一边缘特征包括：对所述图像进行语义分割以识别标定对象；以及提取所述标定对象的边缘以得到所述第一边缘特征。
[0008]在本申请的一些实施例中，可选地，基于Mask
‑
RCNN网络执行所述语义分割，和/或基于Canny边缘检测算法提取所述标定对象的边缘。
[0009]在本申请的一些实施例中，可选地，从通过所述激光雷达获取到的点云中提取第
二边缘特征包括：利用所述点云的深度不连续性提取所述第二边缘特征。
[0010]在本申请的一些实施例中，可选地，利用所述点云的深度不连续性提取所述第二边缘特征包括：提取所述点云中各点的横向相邻点和纵向相邻点；分别根据各点与其横向相邻点和纵向相邻点的深度距离确定横向阈值与纵向阈值；以及分别根据所述横向阈值、所述纵向阈值提取所述第二边缘特征。
[0011]在本申请的一些实施例中，可选地，利用所述点云的深度不连续性提取所述第二边缘特征还包括：根据所述点云中的无效点确定天空位置；基于所述天空位置确定作为标定对象的车辆的车顶位置；以及将表示所述车顶的点云作为所述第二边缘特征的一部分。
[0012]在本申请的一些实施例中，可选地，对齐所述第一边缘特征与所述第二边缘特征以分别标定所述图像传感器、所述激光雷达的粗略外参包括：使用网格搜索法使得所述第一边缘特征与所述第二边缘特征的中的特征点的匹配数量最大化，以便标定所述图像传感器、所述激光雷达粗略外参。
[0013]在本申请的一些实施例中，可选地，最小化所述第一边缘特征与所述第二边缘特征的距离从而对所述粗略外参进行优化以得到优化外参包括：通过最小二乘法确定以所述第二边缘特征中各点到所述第一边缘特征的距离的最优解；以及根据所述最优解确定所述优化外参。
[0014]在本申请的一些实施例中，可选地，所述图像传感器和所述激光雷达在车辆运行过程中对车辆所处环境进行探测。
[0015]在本申请的一些实施例中，可选地，所述图像传感器和所述激光雷达以预定周期重新对车辆所处环境进行探测。
[0016]根据本申请的另一方面，提供一种车辆传感器的联合标定系统。所述系统包括：存储器，其配置成存储指令；以及处理器，其配置成执行所述指令以便执行如上文所述的任意一种车辆传感器的联合标定方法。
[0017]根据本申请的另一方面，提供一种车辆，所述车辆包括如上文所述的任意一种车辆传感器的联合标定系统。
[0018]根据本申请的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种车辆传感器的联合标定方法。
[0019]本申请一些实施例提出的车辆传感器的联合标定方法、车辆传感器的联合标定系统、车辆以及计算机可读存储介质能够结合使用激光雷达点云深度不连续性提取出的边缘特征以及语义分割出的车辆边缘特征进行标定，通过对齐以及最小化投影距离使外参标定结果最优。
附图说明
[0020]从结合附图的以下详细说明中，将会使本申请的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
[0021]图1示出了根据本申请的一个实施例的车辆传感器的联合标定方法；图2示出了根据本申请的一个实施例的车辆传感器的联合标定系统；图3示出了根据本申请的一个实施例的车辆传感器的联合标定方法；
图4示出了根据本申请的一个实施例提取的第一边缘特征；图5示出了根据本申请的一个实施例提取的第二边缘特征。
具体实施方式
[0022]出于简洁和说明性目的，本文主要参考其示范实施例来描述本申请的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的车辆传感器的联合标定方法、车辆传感器的联合标定系统、车辆以及计算机可读存储介质，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本申请的真实精神和范围。
[0023]传统的标定方法中通常使用高精度标定板进行联合标定。近年来，随着深度学习在各个领域的渗透，基于深度神经网络的标定方法也被提出。但上述方法对场景要求较高，不适合在常规的驾驶场景中调整外在参数以最大化互信息从而获得最优的外在参数。本申请将提出一种在线标定方法，其使用激光雷达点云深度不连续性提取出的边缘特征以及语义分割出的车辆边缘特征作为标定目标特征，通过对齐以及最小化投影距离使外参标定结果最优。
[0024]根据本申请的一方面，提供一种车辆传感器的联合标定方法。如图1所示，车辆传感器的联合标定方法10（以下简称方法10）包括如下步骤：在步骤S102中通过图像传感器和激光雷达同时对车辆所处环境进行探测；在步骤S104中对通过图像传感器获本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种车辆传感器的联合标定方法，其特征在于，所述方法包括：通过图像传感器和激光雷达同时对车辆所处环境进行探测；对通过所述图像传感器获取到的图像进行语义分割以提取第一边缘特征；从通过所述激光雷达获取到的点云中提取第二边缘特征，其中，所述第二边缘特征包括所述点云中的多个点；对齐所述第一边缘特征与所述第二边缘特征以分别标定所述图像传感器、所述激光雷达的粗略外参；以及最小化所述第一边缘特征与所述第二边缘特征的距离从而对所述粗略外参进行优化以得到各自的优化外参。2. 根据权利要求1所述的方法，其中，对通过所述图像传感器获取到的图像进行语义分割以提取第一边缘特征包括：对所述图像进行语义分割以识别标定对象；以及提取所述标定对象的边缘以得到所述第一边缘特征。3.根据权利要求2所述的方法，其中，基于Mask
‑
RCNN网络执行所述语义分割，和/或基于Canny边缘检测算法提取所述标定对象的边缘。4.根据权利要求1所述的方法，其中，从通过所述激光雷达获取到的点云中提取第二边缘特征包括：利用所述点云的深度不连续性提取所述第二边缘特征。5.根据权利要求4所述的方法，其中，利用所述点云的深度不连续性提取所述第二边缘特征包括：提取所述点云中各点的横向相邻点和纵向相邻点；分别根据各点与其横向相邻点和纵向相邻点的深度距离确定横向阈值与纵向阈值；以及分别根据所述横向阈值、所述纵向阈值提取所述第二边缘特征。6.根据权利要求5所述的方法，其中，利用所述点云的深度不连续性提取所述第二边缘特征还包括：根据所述...
【专利技术属性】
技术研发人员：康宇宸，谭海宇，费贤松，彭思崴，吴绍权，夏宇峰，崔国才，
申请(专利权)人：安徽蔚来智驾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。