一种激光雷达与相机融合的检测方法及装置制造方法及图纸

本发明专利技术公开了一种激光雷达与相机融合的检测方法及装置，获取时间同步的激光雷达点云和相机图像，及激光雷达坐标系到相机图像像素坐标系的标定参数，对激光雷达点云的检测结果通过标定参数投影到相机图像像素坐标系得到雷达检测目标的2D边界框，结合该2D边界框进行相机图像目标检测得到相机检测目标的2D边界框，基于两个2D边界框得到修正的激光雷达点云三维检测道路目标，基于相机检测目标的2D边界框确定交通目标三维信息，将激光雷达点云三维检测道路目标和交通目标三维信息合并得到激光雷达和相机融合的目标检测结果。本发明专利技术将激光雷达和相机在原始数据层面进行前融合以及将各自的检测结果进行了融合，提高了融合检测结果的准确性。结果的准确性。结果的准确性。

【技术实现步骤摘要】
一种激光雷达与相机融合的检测方法及装置


[0001]本专利技术涉及智能驾驶感知
，更具体的说，涉及一种激光雷达与相机融合的检测方法及装置。

技术介绍

[0002]智能驾驶车辆在进行环境感知时，由于单一传感器的目标检测效果有限，因此通常会综合多种传感器的检测结果，以得到更为可靠的感知信息。目前，以激光雷达与相机的搭配较为普遍。
[0003]现有的激光雷达与相机融合的检测方法主要有两种：一种是前融合，在原始数据层面将激光雷达和相机的数据信息直接进行融合，然后由感知算法处理融合数据。但是，目前的前融合神经网络(如MV3D、AVOD、F
‑
PointNet等)检测精度较低，较难从融合数据中提取所需的全部信息。另一种是后融合，激光雷达和相机各自单独进行检测，然后对检测结果进行融合。由于激光雷达和相机在各自检测过程中，均作为独立的单传感器进行检测，相互之间并没有数据交互，因此，激光雷达和相机各自的检测结果存在一定的误差，导致最后的融合检测结果存在较大误差。

技术实现思路

[0004]有鉴于此，本专利技术公开一种激光雷达与相机融合的检测方法及装置，以实现激光雷达与相机的深度融合，提高激光雷达和相机的融合检测结果的准确性。
[0005]一种激光雷达与相机融合的检测方法，包括：
[0006]获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，所述相机图像像素坐标系为所述相机图像所在的像素坐标系；
[0007]对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；
[0008]将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2D边界框；
[0009]结合所述雷达检测目标的2D边界框对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框；
[0010]利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标；
[0011]基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息；
[0012]将所述激光雷达点云三维检测道路目标和所述交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。
[0013]可选的，所述对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果，包括：
[0014]对所述激光雷达点云进行地面点分割得到非地面点云；
[0015]对所述非地面点云进行聚类，得到每簇点云的坐标位置与尺寸信息；
[0016]将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至PointNet神经网络，得到所述道路目标初步检测结果。
[0017]可选的，所述将所述道路目标初步检测结果通过所述标定参数投影到所述相机像素坐标系下，得到所述相机图像像素坐标系下雷达检测目标的2D边界框，包括：
[0018]将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到雷达检测目标的各个初始2D边界框；
[0019]计算各个所述初始2D边界框的平均深度；
[0020]计算所有的所述初始2D边界框中任意两个初始2D边界框的交并比；
[0021]若所有的所述交并比中存在大于设定阈值的目标交并比，则将所述目标交并比对应的两个初始2D边界框中，平均深度较大的初始2D边界框滤除，得到所述相机图像像素坐标系下的非遮挡2D边界框，并将所述非遮挡2D边界框确定为所述雷达检测目标的2D边界框。
[0022]可选的，结合所述雷达检测目标的2D边界框所述对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框，包括：
[0023]结合所述雷达检测目标的2D边界框对所述相机图像使用区域候选网络进行目标检测，得到相机图像检测提议框；
[0024]将所述相机图像检测提议框以及所述非遮挡2D边界框输入至感兴趣区域网络进行分类与回归，则到所述相机检测目标的2D边界框。
[0025]可选的，所述利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标，包括：
[0026]计算所述相机检测目标的2D边界框和所述雷达检测目标的2D边界框的交并比；
[0027]基于所述交并比利用匈牙利匹配算法进行最优匹配，对匹配上的点云三维检测目标利用概率融合算法对道路目标类别进行概率融合，对未匹配上的点云三维检测目标增大障碍物类别的概率，得到修正后的所述激光雷达点云三维检测道路目标。
[0028]可选的，所述基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息，包括：
[0029]基于所述激光雷达点云对应的深度图和所述标定参数，将所述交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到原始交通目标三维信息；
[0030]判断所述原始交通三维信息中是否具有不符合预设位置要求的目标三维点；
[0031]如果是，则将所述目标三维点滤除，根据剩余三维点得到所述交通目标三维信息。
[0032]可选的，所述激光雷达点云对应的深度图的确定过程包括：
[0033]将所述激光雷达点云通过所述标定参数投影到所述相机图像像所坐标系中，得到原始深度图；
[0034]对所述原始深度图按照空洞由小到大的顺序进行补全填充，得到中间深度图；
[0035]对所述中间深度图降低输出噪声和平滑局部平面，得到所述激光雷达点云对应的所述深度图。
[0036]一种激光雷达与相机融合的检测装置，包括：
[0037]获取单元，用于获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，所述相机图像像素坐标系为所述相机图像所在的像素坐标系；
[0038]第一检测单元，用于对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；
[0039]投影单元，用于将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2D边界框；
[0040]第二检测单元，用于结合所述雷达检测目标的2D边界框对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框；
[0041]修正单元，用于利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标；
[0042]反向投影单元，用于基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达与相机融合的检测方法，其特征在于，包括：获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，所述相机图像像素坐标系为所述相机图像所在的像素坐标系；对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2D边界框；结合所述雷达检测目标的2D边界框对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框；利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标；基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息；将所述激光雷达点云三维检测道路目标和所述交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。2.根据权利要求1所述检测方法，其特征在于，所述对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果，包括：对所述激光雷达点云进行地面点分割得到非地面点云；对所述非地面点云进行聚类，得到每簇点云的坐标位置与尺寸信息；将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至PointNet神经网络，得到所述道路目标初步检测结果。3.根据权利要求1所述检测方法，其特征在于，所述将所述道路目标初步检测结果通过所述标定参数投影到所述相机像素坐标系下，得到所述相机图像像素坐标系下雷达检测目标的2D边界框，包括：将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到雷达检测目标的各个初始2D边界框；计算各个所述初始2D边界框的平均深度；计算所有的所述初始2D边界框中任意两个初始2D边界框的交并比；若所有的所述交并比中存在大于设定阈值的目标交并比，则将所述目标交并比对应的两个初始2D边界框中，平均深度较大的初始2D边界框滤除，得到所述相机图像像素坐标系下的非遮挡2D边界框，并将所述非遮挡2D边界框确定为所述雷达检测目标的2D边界框。4.根据权利要求3所述检测方法，其特征在于，结合所述雷达检测目标的2D边界框所述对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框，包括：结合所述雷达检测目标的2D边界框对所述相机图像使用区域候选网络进行目标检测，得到相机图像检测提议框；将所述相机图像检测提议框以及所述非遮挡2D边界框输入至感兴趣区域网络进行分类与回归，则到所述相机检测目标的2D边界框。5.根据权利要求1所述检测方法，其特征在于，所述利用所述相机检测目标的2D边界框
对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标，包括：计算所述相机检测目标的2D边界框和所述雷达检测目标的2D边界框的交并比；基于所述交并比利用匈牙利匹配算法进行最优匹配，对匹配上的点云三维检测目标利用概率融合算法对道路目标类别进行概率融合，对未匹配上的点云三维检测目标增大障碍物类别的概率，得到修正后的所述激光雷达点云三维检测道路目标。6.根...

【专利技术属性】
技术研发人员：董振鹏，汤凯明，苏治国，
申请(专利权)人：北京经纬恒润科技股份有限公司，
类型：发明
国别省市：