一种基于遮罩投影的远距离目标检测方法技术

本发明专利技术公开了一种基于遮罩投影的远距离目标检测方法，结合视觉在目标类型识别中的优点与激光点云在位置估计中的优点，通过2D实例分割的遮罩由视觉空间向点云空间进行投影，实现对远距离目标的判断与特殊处理，并最终获得准确的检测。准确的检测。准确的检测。

【技术实现步骤摘要】
一种基于遮罩投影的远距离目标检测方法


[0001]本专利技术涉及自动驾驶感知
，具体涉及一种基于遮罩投影的远距离目标检测方法。

技术介绍

[0002]目标检测是自动驾驶感知领域的重要组成部分。主流的目标检测方案通常基于前视视觉、环视视觉、视觉与雷达融合、激光雷达点云聚类等实现。基于视觉的目标检测对目标类型的识别较为准确，但其深度、位置估计效果较差。基于激光雷达点云的目标检测对位置估计准确，但其对目标类型的识别较差。因此，基于视觉和激光雷达融合的目标检测方法可以各取所长，获得较好的效果。例如，专利CN107167811B实现了一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法，展现了融合方法的优势。但对于远距离目标检测而言，由于激光点云的数量随着距离的增加而稀疏，导致其检测效果会随着目标距离的增加而减弱，甚至无法检测。针对此问题，专利CN110221603B提出了一种基于激光雷达多帧点云融合的远距离障碍物检测方法，但其主要利用激光点云的信息，并没有有效利用视觉的优点。

技术实现思路

[0003]针对现有技术存在的上述不足，本专利技术的目的在于提供一种基于遮罩投影的远距离目标检测方法，以解决现有技术中对远距离目标识别效果较差的问题。
[0004]为了解决上述技术问题，本专利技术采用如下技术方案：一种基于遮罩投影的远距离目标检测方法，包括如下步骤：步骤1：通过车载摄像设备获取视觉图像，利用激光雷达获取激光点云数据，并对视觉图像数据和激光点云数据进行处理；步骤2：对步骤1获取的视觉图像进行目标实例分割，得到该目标的分割结果，且分割结果中包含语义分割的遮罩；步骤3：根据步骤2中语义分割的遮罩，对遮罩进行2D到3D空间的投影，得到该目标所对应的3D点云；步骤4：基于步骤3获得的3D点云，对其位置进行判定，判定该目标是否属于远距离目标；如果属于远距离目标，进行步骤5；如果属于非远距离目标，进行步骤6；步骤5；通过检测网络对远距离目标进行检测，并输出远距离目标的位置参数；步骤6：利用目标检测模型对非远距离目标进行检测。
[0005]为了同时利用视觉和激光点云的优势，并且在保障近距离目标检测结果性能的基础上，提高远距离目标检测的精度，本专利技术使用遮罩投影的方法，首先判定目标的远近属性，再针对性的提升远距离目标检测的性能。
[0006]与现有技术相比，本专利技术具有如下有益效果：1、本专利技术所述方法将视觉图像识别和激光点云技术相结合，通过基于目标实例分
割进行由2D视觉到3D激光点云空间的投影，有效结合视觉对目标类型识别和激光点云对目标位置检测的优势，实现对远距离目标的判断与特殊处理，并最终获得准确的检测。
[0007]2、本专利技术所述方法中利用获取的遮罩进行投影，能够有效去除目标投影到3D空间后的背景点云，减少噪声干扰，确保对远距离目标识别的准确性。
[0008]3、本专利技术所述方法可解耦性强，拓展性强，兼容性强，实例分割网络、目标位置初步估计算法、远距离（或非远距离）目标检测网络均可替换，实现灵活配置。
附图说明
[0009]图1为本专利技术所述方法具体实施步骤示意图。
[0010]图2为基于本方法的远距离行人检测结果示意图。
[0011]图3为基于本方法的远距离车辆检结果测示意图。
具体实施方式
[0012]为了使本专利技术的实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，所描述的实施例不应视为对本专利技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0013]本专利技术提供一种基于遮罩投影的远距离目标检测方法，如图1所示，包括如下步骤：步骤1：通过车载摄像设备获取视觉图像，利用激光雷达获取激光点云数据，将视觉图像和激光点云数据进行时间同步处理，同时对车载摄像设备和激光雷达的坐标进行转换。其中，车载摄像设备和激光雷达之间的转换矩阵通过标定获取，用于确定2D视觉空间到3D点云空间的几何投影关系。在实际使用时，如图1所示，原始输入数据来自两个通道S1和S2，其中S1为RGB视觉图像，由装载在自动驾驶车辆上的前视摄像头获取，S2为激光点云数据，由装载在自动驾驶车辆上的激光雷达获取。S1和S2的数据需要进行时间同步，且获取S1和S2的传感器之间的转换矩阵T需要通过标定获取，用于确定2D视觉空间到3D点云空间的几何投影关系。
[0014]步骤2：对步骤1获取的视觉图像进行目标实例分割，获取该目标的分割结果，且分割结果中包含语义分割的遮罩。其中，实例分割可采用任一网络模型对视觉图像进行目标实例分割。例如，图1中步骤M1是对RGB图像I进行目标实例分割，采用网络模型Mask R
‑
CNN，即：{R_i}=f_segmentation(I)，其中，R_i=(c_i, b_i, M_i, s_i)是一个目标实例分割的结果，c_i是目标类型，b_i是2D检测框，M_i是语义分割的遮罩，s_i是置信度，i是目标的索引。
[0015]步骤3：根据步骤2中语义分割的遮罩，基于车载摄像设备和激光雷达坐标的转换结果，对遮罩进行2D到3D空间的投影，得到该目标所对应的3D点云，即将语义分割的遮罩向点云空间进行投影，在原始点云中获取该目标对应的点云。如图1中，步骤M2中利用语义分割的遮罩M_i，基于视觉空间到激光雷达点云空间标定好的转换关系T，可以通过视觉中获得的遮罩M_i向点云空间进行投影，在原始点云P中获取目标i对应的部分点云P
’
_i，即：P
’
_i=f_projection(M_i, T, P)。
[0016]步骤4：基于所述目标的3D点云，对其位置进行判定，判定该目标是否属于远距离目标；如果属于远距离目标，进行步骤5；如果属于非远距离目标，进行步骤6。其中，根据步骤3中获取的3D点云，对所述目标的质心进行计算，可通过聚类方法对目标的质心进行计算，获取该目标的深度。基于目标的深度，将其与远距离目标深度的阈值进行比较，判断其是否属于远距离目标。如图1中，步骤M3基于前一步获取的P
’
_i，对其质心进行估计。质心估计的方法可采用直方图法，或其他的类似的聚类方法。这个过程可以表示为：(x_i, y_i, z_i)=f_clustering(P
’
_i)，其中x_i，y_i是目标i的横向、纵向位置，z_i是其深度。
[0017]步骤M4基于目标i的深度z_i判断该目标是否为远距离目标。设置一个可调整的的远距离目标深度阈值z_th，其具体的标定值可根据传感器性能和系统运行工况设定，或在实车试验中根据试验结果标定获取。然后进行远距离目标判断，如果z_i>z_th，则判定为远距离目标，否则为进入步骤M5，反之则进入步骤M6。
[0018]步骤5；通过检测网络对远距离目标进行检测，并输出远距离目标的位置参数。基于步骤4中远距离目标判定逻辑，提取远距离目标的训练样本，利用训练样本训练网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于遮罩投影的远距离目标检测方法，其特征在于，包括如下步骤：步骤1：通过车载摄像设备获取视觉图像，利用激光雷达获取激光点云数据，并对视觉图像数据和激光点云数据进行处理；步骤2：对步骤1获取的视觉图像进行目标实例分割，得到该目标的分割结果，且分割结果中包含语义分割的遮罩；步骤3：根据步骤2中语义分割的遮罩，对遮罩进行2D到3D空间的投影，得到该目标所对应的3D点云；步骤4：基于步骤3获得的3D点云，对其位置进行判定，判定该目标是否属于远距离目标；如果属于远距离目标，进行步骤5；如果属于非远距离目标，进行步骤6；步骤5；通过检测网络对远距离目标进行检测，并输出远距离目标的位置参数；步骤6：利用目标检测模型对非远距离目标进行检测。2.根据权利要求1所述基于遮罩投影的远距离目标检测方法，其特征在于，在步骤1中，将视觉图像和激光点云数据进行时间同步处理，同时对车载摄像设备和激光雷达的坐标进行转换。3.根据权利要求2所述基于遮罩投影的远距离目标检测方法，其特征在于，在步骤1中，车载摄像设备和激光雷达之间的转换矩阵通过标定获取，用于确定2D视觉空间到3D点云空间的几何投影关系。4.根据权利要求1所述基于遮罩投影的远距离目标检测方法，其特征在于，在步骤2中，采用网络模型对视...

【专利技术属性】
技术研发人员：杨东方，邱利宏，孔周维，贺勇，尹旭，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：