本申请提供一种三维场景下的目标检测方法和装置，方法包括：获取激光雷达探测得到的原始点云，并对所述原始点云进行特征提取处理，获得所述原始点云的第一感兴趣区域特征；对所述原始点云进行深度投影处理，获得稀疏深度图像，对所述稀疏深度图像和相机采集的视觉图像进行深度补全处理，得到稠密深度图，将所述稠密深度图变换到原始点云的三维空间，得到三维的伪点云；对所述伪点云进行特征提取处理，获得所述伪点云的第二感兴趣区域特征；对所述第一感兴趣区域特征和第二感兴趣区域特征进行疏密点云融合处理，得到融合后的第三感兴趣区域特征，所述第三感兴趣区域特征用于进行三维目标检测。行三维目标检测。行三维目标检测。
【技术实现步骤摘要】
三维场景下的目标检测方法和装置
[0001]本申请涉及人工智能
，尤其涉及一种三维(3D)场景下的目标检测方法和装置。
技术介绍
[0002]近年来，深度学习和自动驾驶的兴起带动了3D检测的快速发展，同时也涌现出许多优秀的3D检测方法。当前的3D检测模型主要基于原始激光雷达点云，而点云的稀疏性极大地限制了3D检测模型的性能。稀疏的雷达点云在远处和被遮挡的区域提供的信息质量很差，因此很难生成精准的3D框。
[0003]为了解决这个问题，现有技术通常会采用多模态方法来进行3D检测，例如在稀疏的激光雷达点云的基础上融合稠密的视觉图像特征。然而，目前的多模态方法即使使用了更多的数据、更多的标注和更多的推理时间，却往往不如仅采用激光雷达点云的方法获得的效果好。
[0004]经分析目前的多模态方法效果欠佳的主要原因为视觉图像和雷达点云之间的维度鸿沟问题。视觉图像和雷达点云之间存在固有的维度差异，这使得二维的视觉图像和三维的雷达点云很难直接融合。现有技术存在一些方法从视觉图像中裁剪感兴趣区域(Region of Interest,简称“RoI”)特征来和雷达点云进行特征融合。但是他们忽略了空间映射关系，从而导致性能欠佳。另外，现有技术还有一些方法通过建立视觉图像和雷达点云之间的空间映射关系来解决维度鸿沟。然而稀疏的雷达点云引起的稀疏映射关系使得从视觉图像中提取的图像特征也被稀疏化，进而造成图像特征大量损失。
技术实现思路
[0005]本申请提供一种三维场景下的目标检测方法及装置，以克服视觉图像和雷达点云之间的维度鸿沟问题。
[0006]第一方面，本申请提供一种三维场景下的目标检测方法，包括：
[0007]获取激光雷达探测得到的原始点云，并对所述原始点云进行特征提取处理，获得所述原始点云的第一感兴趣区域特征；
[0008]对所述原始点云进行深度投影处理，获得稀疏深度图像，对所述稀疏深度图像和相机采集的视觉图像进行深度补全处理，得到稠密深度图，将所述稠密深度图变换到原始点云的三维空间，得到三维的伪点云；
[0009]对所述伪点云进行特征提取处理，获得所述伪点云的第二感兴趣区域特征；
[0010]对所述第一感兴趣区域特征和第二感兴趣区域特征进行疏密点云融合处理，得到融合后的第三感兴趣区域特征，所述第三感兴趣区域特征用于进行三维目标检测。
[0011]第二方面，本申请提供一种三维场景下的目标检测装置，包括：
[0012]处理器和存储器；
[0013]所述存储器存储所述处理器可执行指令；
[0014]其中，所述处理器执行所述存储器存储的可执行指令，使得所述处理器执行如上所述的三维目标检测方法。
[0015]第三方面，本申请提供一种存储介质，所述存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的三维目标检测方法。
[0016]第四方面，本申请提供一种程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法。
[0017]本申请提供的三维场景下的目标检测方法及装置，通过对激光雷达探测得到的原始点云进行深度图像投影处理，可以获得二维的稀疏深度图像；进一步的，可以对稀疏深度图像以及通过相机采集的视觉图像进行深度补全处理，得到二维的稠密深度图像，从而不损失视觉图像本身所包含的特征；接着，可以将该二维的稠密深度图像再转换回原始点云的三维空间，得到三维的伪点云。从而使得该三维的伪点云与原始点云具有相同的空间维度，并且该三维的伪点云具有比稀疏的原始点云更稠密的点云特征；最后，再通过对原始点云和伪点云进行特征提取处理，分别获得原始点云的第一感兴趣区域特征和伪点云的第二感兴趣区域特征，对第一感兴趣区域特征和第二感兴趣区域特征进行疏密点云融合处理，得到融合后的第三感兴趣区域特征。本申请解决了二维视觉图像和三维激光雷达点云之间在进行特征融合时的维度鸿沟问题。经自适应地融合原始点云和伪点云特征，实现了二维图像与三维原始点云的融合。使用该融合后得到的第三感兴趣区域特征进行三维目标检测，极大提高了三维目标检测的性能和质量。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本申请实施例提供的三维场景下的目标检测系统架构示意图；
[0020]图2为本申请实施例提供的三维场景下的目标检测方法流程示意图一；
[0021]图3为本申请实施例提供的三维场景下的目标检测方法流程示意图二；
[0022]图4为本申请实施例提供的算法逻辑架构示意图；
[0023]图5为本申请实施例提供的彩点特征提取器的架构示意图；
[0024]图6为本申请实施例提供的彩点卷积的架构示意图；
[0025]图7为本申请实施例提供的成对注意力融合的架构示意图；
[0026]图8为本申请实施例提供的同步数据增强的架构示意图。
具体实施方式
[0027]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]图1为本申请实施例提供的三维场景下的目标检测系统架构示意图。如图1所示，
本实施例提供的系统包括：待检测的物体10、3D目标检测设备11、检测头12。其中，3D目标检测设备11包括：产生激光雷达点云的激光雷达111、视觉相机112以及进行检测处理的处理器110。可选的，该3D目标检测设备11还可以包括存储器。本实施例对3D目标检测设备11的具体应用场景可以是无人驾驶、机器人领域等。本实施例对应用场景和具体实现方式不做特别限制，只要该3D目标检测设备11能够实现3D场景下的物体目标检测即可。
[0029]具体来说，激光雷达111可以通过雷达探测，获取物体10的激光点云。视觉相机112可以对物体10进行拍照，获取该物体10的红绿蓝RGB图像。该3D目标检测设备11中的处理器110可以使用激光雷达111探测获取的激光点云以及视觉相机112采集获得的RGB图像进行3D融合处理。3D目标检测设备11将融合处理的结果输出给检测头12。检测头12可以根据不同的场景需求输出检测数据，例如可以输出物体类别、在3D空间中的长宽高、旋转角等信息。
[0030]本申请实施例的改进点主要在于处理器110如何对使用激光雷达111探测获取的激光点云以及视觉相机112采集获得的RGB图像进行3D融合处理。
[0031]在现有技术中，处理器110通过激光雷达111本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维场景下的目标检测方法，其特征在于，包括：获取激光雷达探测得到的原始点云，并对所述原始点云进行特征提取处理，获得所述原始点云的第一感兴趣区域特征；对所述原始点云进行深度投影处理，获得稀疏深度图像，对所述稀疏深度图像和相机采集的视觉图像进行深度补全处理，得到稠密深度图，将所述稠密深度图变换到原始点云的三维空间，得到三维的伪点云；对所述伪点云进行特征提取处理，获得所述伪点云的第二感兴趣区域特征；对所述第一感兴趣区域特征和第二感兴趣区域特征进行疏密点云融合处理，得到融合后的第三感兴趣区域特征，所述第三感兴趣区域特征用于进行三维目标检测。2.根据权利要求1所述的方法，其特征在于，所述对所述原始点云进行特征提取处理，获得所述原始点云的第一感兴趣区域特征，包括：从区域提议网络产生的3D提议框内提取原始点云的特征，获得所述原始点云的第一感兴趣区域特征。3.根据权利要求1所述的方法，其特征在于，所述对所述伪点云进行特征提取处理，获得所述伪点云的第二感兴趣区域特征，包括：将所述视觉图像上每个像素点的红绿蓝RGB信息投影映射到所述伪点云内的每个点上，得到彩色伪点云，采用彩点特征提取器，对所述彩色伪点云进行特征提取处理，获得所述伪点云的各伪点的特征；将3D提议框内的伪点云离散化成多个格点，每个格点的特征为所述每个格点内所有伪点云点特征的均值；使用稀疏卷积对离散化后得到的多个格点进行特征抽取，获得所述伪点云的第二感兴趣区域特征。4.根据权利要求3所述的方法，其特征在于，所述采用彩点特征提取器，对所述伪点云进行特征提取处理，获得所述伪点云的各伪点的特征，包括：针对伪点云中的每一伪点，提取该伪点的邻域伪点的特征，将该伪点的特征以及与该伪点对应的邻域伪点的特征进行彩点卷积处理，得到该伪点的特征。5.根据权利要求4所述的方法，其特征在于，所述将该伪点的特征以及与该伪点对应的邻域伪点的特征进行彩点卷积处理，得到该伪点的特征，包括：计算该伪点以及8个相邻伪点到该伪点的二维距离残差R
2D
和三维距离残差R
3D
：：其中，是伪点在图像上的横坐标值，是伪点在图像上的横坐标值，是伪点在图像上的纵坐标值，是伪点在图像上的纵坐标值，是伪点在3D空间x坐标轴上的坐标值，是伪点在3D空间x坐标轴上的坐标值，是伪点在3D空间y坐标轴上的坐标值，是伪点在3D空间y坐标轴上的坐标值，是伪点在3D空间z坐标轴上的坐标值，是伪点
在3D空间z坐标轴上的坐标值；将R
2D
和R
3D
级联作为伪点的位置残差特征R；将伪点以及8个相邻伪点的二维特征F
2D
和三维特征F
3D
级联...
【专利技术属性】
技术研发人员：吴小沛，彭亮，杨鸿辉，黄晨晰，邓成杞，蔡登，刘海风，何晓飞，
申请(专利权)人：杭州飞步科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。