一种目标检测方法、装置、设备及存储介质制造方法及图纸

本申请提供一种目标检测方法、装置、设备及存储介质，涉及计算机视觉技术领域，可以准确有效地进行目标检测的工作。该方法包括：获取雷达信号对应的点云中每个点的雷达特征和图像特征；将点云划分为N个子点云；N大于或等于1；根据子点云中每个点的雷达特征和图像特征，分别确定每个子点云的注意力系数；注意力系数用于指示子点云中的点之间的雷达信息的相互注意力，以及图像信息的相互注意力；分别确定每个子点云的融合特征；一个子点云的融合特征由该子点云的注意力系数对该子点云的雷达特征和图像特征加权得到；将N个子点云的融合特征投影至鸟瞰图，进行目标检测。本申请可用于3维目标检测的过程中。用于3维目标检测的过程中。用于3维目标检测的过程中。

【技术实现步骤摘要】
一种目标检测方法、装置、设备及存储介质


[0001]本申请涉及计算机视觉
，尤其涉及一种目标检测方法、装置、设备及存储介质。

技术介绍

[0002]随着自动驾驶领域、智能交通领域逐渐进入大众的视野，准确的目标检测尤为重要。目前的目标检测方案，一般根据相机采集的图像和激光雷达采集的点云，将图像的2维特征与点云3维特征融合在一起，以实现目标检测。
[0003]由于图像的2维特征与点云的3维特征分别来自不同的传感器，并不同源，直接将两者进行融合并不合适。另外，在特征融合时，需要将点云投影到图像上，在运动场景下，投影点与实际像素点会有偏差，存在点错位，导致目标检测的效果不好。
[0004]综上所述，目前的目标检测方案存在一定的缺陷，不能准确有效地进行目标检测的工作。

技术实现思路

[0005]本申请提供一种目标检测方法、装置、设备及存储介质，可以准确有效地进行目标检测的工作。
[0006]第一方面，本申请提供一种目标检测方法，该方法包括：获取雷达信号对应的点云中每个点的雷达特征和图像特征；点云中一个点的图像特征为该点在二维图像中对应的点的图像特征；将点云划分为N个子点云；N大于或等于1；根据子点云中每个点的雷达特征和图像特征，分别确定每个子点云的注意力系数；注意力系数用于指示子点云中的点之间的雷达信息的相互注意力，以及图像信息的相互注意力；分别确定每个子点云的融合特征；一个子点云的融合特征由该子点云的注意力系数对该子点云的雷达特征和图像特征加权得到；将N个子点云的融合特征投影至鸟瞰图，进行目标检测。
[0007]一种可能的实现方式中，针对第一子点云，确定第一子点云的注意力系数，包括：采用多层感知机对第一子点云中每个点的雷达特征和图像特征进行映射，得到第一子点云的雷达信息的向量和图像信息的向量；根据雷达信息的向量和图像信息的向量，分别确定第一系数和第二系数，作为第一子点云的注意力系数；第一系数为第一子点云中每个点之间雷达信息的相互注意力矩阵；第二系数为第一子点云中每个点之间图像信息的相互注意力矩阵。
[0008]另一种可能的实现方式中，根据雷达信息的向量和图像信息的向量，分别确定第一系数和第二系数，包括：将雷达信息的向量中的查询键值，与雷达信息的向量中的字典键值相乘，作为第一系数；将图像信息的向量中的查询键值，与图像信息的向量中的字典键值相乘，作为第二系数。
[0009]又一种可能的实现方式中，第一子点云的雷达特征为第一子点云的雷达信息的向量中的特征值，第一子点云的图像特征为第一子点云的图像信息的向量中的特征值；确定
第一子点云的融合特征，包括：采用第一系数和第二系数，对雷达信息的向量中的雷达特征进行加权，得到第一子点云的雷达融合特征；采用第一系数和第二系数，对图像信息的向量中的图像特征进行加权，得到第一子点云的图像融合特征；连接第一子点云的雷达融合特征和第一子点云的图像融合特征，得到第一子点云的融合特征。
[0010]又一种可能的实现方式中，将点云划分为N个子点云，包括：采用最远点采样算法和k近邻算法将点云划分为N个子点云。
[0011]又一种可能的实现方式中，将N个子点云的融合特征投影至鸟瞰图，进行目标检测，包括：采用深度学习网络对鸟瞰图的特征进行提取，生成3维检测框；采用深度学习网络预测3维检测框的类别和尺度。
[0012]又一种可能的实现方式中，获取雷达信号对应的点云中每个点的雷达特征和图像特征，包括：对雷达信号进行特征提取，获取点云中每个点的雷达特征；对图像信号进行特征提取，得到图像信号的特征；将图像信号的特征通过内参矩阵和外参矩阵处理，获取点云中每个点的图像特征。
[0013]又一种可能的实现方式中，雷达信号为距离视图信号，方法还包括：获取距离视图信号的特征；获取雷达信号对应的点云中每个点的雷达特征，包括：将距离视图信号的特征与点云对应，获取雷达信号对应的点云中每个点的雷达特征。
[0014]本申请实施例提供的目标检测方法，通过将点云划分为多个子点云，针对每个子点云，根据子点云中每个点的雷达特征和图像特征，确定子点云的注意力系数。进一步的根据注意力系数确定子点云的融合特征，以投影至鸟瞰图进行目标检测。本方案通过划分子点云，使用子点云的注意力系数对子点云的特征进行加权，使得局部的每个点的特征，都由周围点的特征按照注意力系数聚合得到，增加了局部中每个点与周围点之间的权重关系，有效地弥补运动场景下局部投影点错位带来的性能损失，更加准确有效的进行目标检测的工作。而且，相比较传统的直接融合雷达特征和图像特征方式，本方案通过雷达特征和图像特征确定注意力系数，使用注意力系数分别对雷达特征和图像特征进行了加权，在一定程度上关联了雷达特征和图像特征。因此，本方案融合加权后的雷达特征和图像特征的方式较为为平滑，融合的效果更好，性能更优。
[0015]第二方面，本申请提供一种目标检测装置，该装置包括：获取模块，划分模块，确定模块和检测模块；获取模块用于，获取雷达信号对应的点云中每个点的雷达特征和图像特征；点云中一个点的图像特征为该点在二维图像中对应的点的图像特征；划分模块用于，将点云划分为N个子点云；N大于或等于1；确定模块用于，根据子点云中每个点的雷达特征和图像特征，分别确定每个子点云的融合特征；融合特征用于反映子点云的雷达信息和图像信息；检测模块用于，将N个子点云的融合特征投影至鸟瞰图，进行目标检测。
[0016]一种可能的实现方式中，确定模块具体用于，根据子点云中每个点的雷达特征和图像特征，分别确定每个子点云的注意力系数；注意力系数用于指示子点云中的点之间的雷达信息的相互注意力，以及图像信息的相互注意力；分别确定每个子点云的融合特征；一个子点云的融合特征由该子点云的注意力系数对该子点云的雷达特征和图像特征加权得到。
[0017]另一种可能的实现方式中，针对第一子点云，确定模块具体用于，采用多层感知机对第一子点云中每个点的雷达特征和图像特征进行映射，得到第一子点云的雷达信息的向
量和图像信息的向量；根据雷达信息的向量和图像信息的向量，分别确定第一系数和第二系数，作为第一子点云的注意力系数；第一系数为第一子点云中每个点之间雷达信息的相互注意力矩阵；第二系数为第一子点云中每个点之间图像信息的相互注意力矩阵。
[0018]又一种可能的实现方式中，确定模块具体用于，将雷达信息的向量中的查询键值，与雷达信息的向量中的字典键值相乘，作为第一系数；将图像信息的向量中的查询键值，与图像信息的向量中的字典键值相乘，作为第二系数。
[0019]又一种可能的实现方式中，第一子点云的雷达特征为第一子点云的雷达信息的向量中的特征值，第一子点云的图像特征为第一子点云的图像信息的向量中的特征值；确定模块具体用于，采用第一系数和第二系数，对雷达信息的向量中的雷达特征进行加权，得到第一子点云的雷达融合特征；采用第一系数和第二系数，对图像信息的向量中的图像特征进行加权，得到第一子点云的图像融合特征；连接第一子点云的雷达融合特征和第一子点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其特征在于，所述方法包括：获取雷达信号对应的点云中每个点的雷达特征和图像特征；所述点云中一个点的图像特征为该点在二维图像中对应的点的图像特征；将所述点云划分为N个子点云；N大于或等于1；根据子点云中每个点的雷达特征和图像特征，分别确定每个子点云的注意力系数；所述注意力系数用于指示子点云中的点之间的雷达信息的相互注意力，以及图像信息的相互注意力；分别确定每个所述子点云的融合特征；一个子点云的融合特征由该子点云的注意力系数对该子点云的雷达特征和图像特征加权得到；将所述N个子点云的融合特征投影至鸟瞰图，进行目标检测。2.根据权利要求1所述的方法，其特征在于，针对第一子点云，确定所述第一子点云的注意力系数，包括：采用多层感知机对所述第一子点云中每个点的雷达特征和图像特征进行映射，得到所述第一子点云的雷达信息的向量和图像信息的向量；根据所述雷达信息的向量和所述图像信息的向量，分别确定第一系数和第二系数，作为所述第一子点云的注意力系数；所述第一系数为所述第一子点云中每个点之间所述雷达信息的相互注意力矩阵；所述第二系数为所述第一子点云中每个点之间图像信息的相互注意力矩阵。3.根据权利要求2所述的方法，其特征在于，所述根据所述雷达信息的向量和所述图像信息的向量，分别确定第一系数和第二系数，包括：将所述雷达信息的向量中的查询键值，与所述雷达信息的向量中的字典键值相乘，作为所述第一系数；将所述图像信息的向量中的查询键值，与所述图像信息的向量中的字典键值相乘，作为所述第二系数。4.根据权利要求3所述的方法，其特征在于，所述第一子点云的雷达特征为所述第一子点云的雷达信息的向量中的特征值，所述第一子点云的图像特征为所述第一子点云的图像信息的向量中的特征值；确定所述第一子点云的融合特征，包括：采用所述第一系数和所述第二系数，对所述雷达信息的向量中的特征值进行加权，得到所述第一子点云的雷达融合特征；采用所述第一系数和所述第二系数，对所述图像信息的向量中的特征值进行加权，得到所述第一子点云的图像融合特征；连接所述第一子点云的雷达融合特征和所述第一子点云的图像融合特征，得到所述第一子点云的融合特征。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述将所述点云划分为N个子点云，包括：采用最远点采样算法和k近邻算法将所述点云划分为N个所述子点云。6.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述将所述N个子点云的融合特
征投影至鸟瞰图，进行目标检测，包括：采用深度学习网络对所述鸟瞰图的特征进行提取，生成3维检测框；采用深度学习网络预测所述3维检测框的类别和尺度。7.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述获取雷达信号对应的点云中每个点的雷达特征和图像特征，包括：对所述雷达信号进行特征提取，获取所述点云中每个点的雷达特征；对图像信号进行特征提取，得到所述图像信号的特征；将所述图像信号的特征通过内参矩阵和外参矩阵处理，获取所述点云中每个点的图像特征。8.根据权利要求7所述的方法，其特征在于，所述雷达信号为距离视图信号，所述方法还包括：获取所述距离视图信号的特征；所述获取雷达信号对应的点云中每个点的雷达特征，包括：将所述距离视图信号的特征与点云对应，获取所述雷达信号对应的点云中每个点的雷达特征。9.一种目标检测装置，其特征在于，所述装置包括：获取模块，划分模块，确定模块和检...

【专利技术属性】
技术研发人员：李昊，张泽瀚，赵显，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：