【技术实现步骤摘要】
本专利技术涉及一种三维物体检测方法，特别是一种图像信息辅助的三维物体检测方法。
技术介绍
1、本部分提供的仅仅是与本公开相关的背景信息,其并不必然是现有技术。
2、三维目标检测是在三维场景中，找出感兴趣的物体，并对物体的类型和姿态进行估计，对自动驾驶、即时定位与地图构建、增强现实等任务有着重要的意义。近年来，随着人工智能技术的快速发展、硬件计算能力的提升、以及三维传感器越来越广泛的应用，三维目标检测也逐渐受到了越来越多的关注。
3、尽管已有大量针对点云的目标检测算法被提出，然而这类以单一模态为输入的方法难以克服源于点云数据本身的缺陷。一方面受镜面反射以及物体遮挡等因素的影响，物体在点云中往往存在不同程度的缺失，较难保证空间上的连续性，另一方面由于缺少纹理等特征，形状相似但语义类别不同的物体在点云中往往具有较低的区分度。为了解决这些问题，引入图像信息进行辅助的方法受到了大量关注。相较于点云，图像提供了丰富的纹理和语义特征，有效地与点云特征形成了互补。
4、然而，引入多模态特征的同时也带来了新的问题。首先受点云自身的噪声以及图像特征提取过程中填充和池化模块的影响，依照点云与图像投影关系进行的图像特征提取过程往往存在很多噪声。其次，不同模态的网络对同一任务往往具有不同的泛化与过拟合平衡点，给不同模态之间的平衡带来了挑战。现有的多模态检测方法一方面忽视了特征提取过程的噪声，另一方面大都仅使用针对特征的中期融合或针对结果的后期融合方法，未能充分利用多模态带来的信息增益。
5、需要说明的是，在
技术实现思路
1、专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种图像信息辅助的三维物体检测方法。
2、为了解决上述技术问题，本专利技术公开了一种图像信息辅助的三维物体检测方法，包括如下步骤：
3、步骤1，对包含待检测三维物体的点云及其对应的图像分别进行特征提取；
4、步骤2，基于分块自注意力机制对点云和图像的特征进行融合，得到融合后的多模态特征；
5、步骤3，基于融合后的多模态特征，生成前景点掩码并以此进行偏重前景的多尺度特征提取，得到点云在不同分辨率下的特征图；
6、步骤4，生成目标检测提案，即基于三最近邻插值方法对不同分辨率下的特征图进行插值，使用多层感知机将插值得到的特征与多模态特征融合，并送入两阶段的检测模块，从而生成目标检测提案，完成所述的图像信息辅助的三维物体检测。
7、进一步的，步骤1中所述的进行特征提取，具体包括：
8、步骤1-1，对包含待检测三维物体的点云，进行初步特征提取，得到经过下采样后的点云子集，点云子集中包含各点的几何特征；
9、步骤1-2，使用特征提取网络，为与所述点云对应的图像生成包含语义和纹理信息的特征图；
10、步骤1-3，根据由相机内外参数确定的点云与图像的投影关系得到步骤1-1输出的点云子集中的各点在图像中的像素坐标，并使用双线性插值方法得到各点在步骤1-2输出的图像特征图上的图像特征。
11、进一步的，步骤1-2中所述的特征提取网络，由深度卷积网络构成的下采样部分以及由三层带有残差结构的转置卷积构成的上采样部分组成，其中：
12、下采样部分即骨干网络是任意在imagenet分类任务上进行训练后的深度卷积网络；
13、上采样部分，具体如下：从骨干网络各部分的输出中均匀选择四个分辨率依次降低的特征图用于构成上采样部分的输入，上采样部分在每两个特征图之间使用转置卷积进行上采样连接，并通过将转置卷积输出与下采样网络对应模块的原始输出拼接后使用单层卷积处理的方法进行跨层特征融合。
14、进一步的，步骤2中所述的基于分块自注意力机制对点云和图像的特征进行融合，具体包括：
15、步骤2-1，对步骤1-1中获得的各点的几何特征与步骤1-3中获得的各点的图像特征进行拼接，并使用单层卷积进行初步融合，得到初步融合的特征；
16、步骤2-2，将点云在空间上划分为多个存在重叠的区块；
17、步骤2-3，在每个区块内，基于自注意力机制进行块内特征聚合；
18、步骤2-4，对点云中的每个点，通过在其被划分到的所有区块中聚合得到的特征上取平均，得到该点的最终特征即聚合特征；
19、步骤2-5，对步骤2-1中得到的初步融合的特征使用单层卷积处理后作为残差与步骤2-4得到的聚合特征相加，即为融合后的多模态特征。
20、进一步的，步骤2-2中所述的将点云在空间上划分为多个存在重叠的区块，具体包括：
21、对于所述点云中的n个点，借助最远点采样得到m个块中心，再对每个块中心使用最近邻查找得到k个块内点；
22、分块过程中取m×k≥4n，并对每个块的最大半径进行限制，块内k个点中超出预设半径的部分不参与特征聚合。
23、进一步的，步骤3中所述的生成前景点掩码并以此进行偏重前景的多尺度特征提取，具体包括：
24、步骤3-1，对所述包含待检测三维物体的点云中的每个点，基于融合后的多模态特征，使用多层感知机生成前景概率预测，并基于预设阈值得到前景点分割掩码；
25、步骤3-2，使用掩码引导的采样方式对所述点云生成三个点数依次减半的不同尺度的子集；
26、步骤3-3，按照分辨率从高到低的顺序，依次在所述三个不同尺度的子集上进行特征提取，获得不同分辨率下的特征图。
27、进一步的，步骤3-2中所述的使用掩码引导的采样方式对所述点云生成三个点数依次减半的不同尺度的子集，具体包括：
28、依据前景点分割掩码将所有背景点坐标缩小预设比例，并移动到任意前景点附近，之后通过以三个不同的采样数目对调整后的点云执行最远点采样从而得到所述点云三个不同尺度的子集。
29、进一步的，步骤3-3中所述的进行特征提取，即使用改进的set abstraction结构依次对各尺度的子集进行特征提取。
30、进一步的，步骤3-3中所述的改进的set abstraction结构，具体包括：
31、步骤3-3-1，给定高分辨率的源点云以及低分辨率的目标点云，对目标点云中的各点依照球体半径查找从源点云中采样邻居点集；
32、步骤3-3-2，对每个邻居点集，基于邻居点与采样中心的局部偏移量生成偏移量编码并与各点原始特征相加，之后送入多层感知机处理；
33、步骤3-3-3，引入基于掩码的背景点特征屏蔽，即基于前景点掩码将每个邻居点集内的背景点特征置为零，并通过最大池化对每个邻居点集的特征进行合并得到目标点云中各点的特征。
34、进一步的，步骤4中所述生成目标检测提案，具体包括：
35、步骤4-1，以步骤3-本文档来自技高网...
【技术保护点】
1.一种图像信息辅助的三维物体检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤1中所述的进行特征提取，具体包括：
3.根据权利要求2所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤1-2中所述的特征提取网络，由深度卷积网络构成的下采样部分以及由三层带有残差结构的转置卷积构成的上采样部分组成，其中：
4.根据权利要求3所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤2中所述的基于分块自注意力机制对点云和图像的特征进行融合，具体包括：
5.根据权利要求4所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤2-2中所述的将点云在空间上划分为多个存在重叠的区块，具体包括：
6.根据权利要求5所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤3中所述的生成前景点掩码并以此进行偏重前景的多尺度特征提取，具体包括：
7.根据权利要求6所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤3-2中所述的使用掩码引导的采样方式
8.根据权利要求7所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤3-3中所述的进行特征提取，即使用改进的Set Abstraction结构依次对各尺度的子集进行特征提取。
9.根据权利要求8所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤3-3中所述的改进的Set Abstraction结构，具体包括：
10.根据权利要求9所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤4中所述生成目标检测提案，具体包括：
...【技术特征摘要】
1.一种图像信息辅助的三维物体检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤1中所述的进行特征提取，具体包括：
3.根据权利要求2所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤1-2中所述的特征提取网络，由深度卷积网络构成的下采样部分以及由三层带有残差结构的转置卷积构成的上采样部分组成，其中：
4.根据权利要求3所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤2中所述的基于分块自注意力机制对点云和图像的特征进行融合，具体包括：
5.根据权利要求4所述的一种图像信息辅助的三维物体检测方法，其特征在于，步骤2-2中所述的将点云在空间上划分为多个存在重叠的区块，具体包括：
6.根据权利要求5所述的一种图像信息辅助的三...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。