一种基于注意力和采样学习的点云目标检测方法技术

本发明专利技术涉及一种基于注意力和采样学习的点云目标检测方法，包括以下步骤：1)采集待检测目标的点云数据；2)根据点云数据，通过点云提取网络提取点云特征；3)根据点云特征，通过k最近值下采样法筛选出目标索引点特征；4)根据目标索引点特征，通过自适应点云特征聚合网络，将点云特征聚合为候选目标特征；5)根据候选目标特征，通过多层感知机生成待检测目标的类别、位置和尺寸信息。与现有技术相比，本发明专利技术具有可靠性强、准确率高等优点。准确率高等优点。准确率高等优点。

【技术实现步骤摘要】
一种基于注意力和采样学习的点云目标检测方法


[0001]本专利技术涉及一种智能汽车领域与计算机视觉领域，尤其是涉及一种基于注意力和采样学习的点云目标检测方法。

技术介绍

[0002]随着社会的发展与居民的生活水平的提高，我国的汽车保有量逐步上升。相应的，公路交通安全成为一个重要问题。智能汽车的发展有望进一步提高汽车的安全性，减少交通事故带来的生命和财产损失。
[0003]智能汽车需要通过环境传感器和相应目标检测方法对周围环境中的车辆、行人、非机动车和静态障碍物等目标进行准确检测。目前常用的环境感知传感器有摄像机、激光雷达、毫米波雷达等。摄像机采集的图像数据，由于缺乏深度信息，难以对目标进行精准空间定位，且容易受到环境中的光线影响；毫米波雷达，虽然可以采集到三维位置信息，但是采集的三维信息过于稀疏，容易造成漏检；激光雷达，可以对周围环境的表面进行密集三维位置采样，进而获得准确的三维点云数据。点云目标检测，依托激光雷达，能够精准地检测到目标的尺寸和空间位置。当前，点云目标检测技术路线可以为分为三种：基于体素的技术路线(首先将点云离散为规则的体素，再经过神经网络检测目标)、基于投影图的技术路线(首先将点云投影到一个或者多个平面视图上，再经过神经网络检测目标)以及点云直接检测的技术路线(不改变点云的表示形式，直接经过神经网络检测目标)。在处理点云过程中，应尽可能避免点云处理过程(体素化、投影)中的信息损失。
[0004]采用点云直接检测的技术路线，相较于另外两种技术路线，由于不存在点云体素化或者投影的过程，在点云预处理中的信息损失更少。但是，即使是点云直接检测技术路线的方法，在逐层提取点云特征的过程中的采样阶段存在损失点云信息的问题，亟待改善。另外，在交通场景中，目标容易受到其他目标或者障碍物遮挡，成为限制智能驾驶技术的一个瓶颈。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于注意力和采样学习的点云目标检测方法，准确率高，可靠性强。
[0006]提高了对受到遮挡的车辆的检测性能和智能汽车的环境感知系统的可靠性。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种基于注意力和采样学习的点云目标检测方法，包括以下步骤：
[0009]1)采集待检测目标的点云数据；
[0010]2)根据点云数据，通过点云提取网络提取点云特征；
[0011]3)根据点云特征，通过k最近值下采样法筛选出目标索引点特征；
[0012]4)根据目标索引点特征，通过自适应点云特征聚合网络，将点云特征聚合为候选目标特征；
[0013]5)根据候选目标特征，通过多层感知机生成待检测目标的类别、位置和尺寸信息。
[0014]进一步地，所述的点云提取网络包括若干个点云注意力网络和若干层特征传播网络，所述的若干个点云注意力网络依次连接，所述的若干层特征传播网络与若干个点云注意力网络跳跃连接；
[0015]所述的点云注意力网络包括第一自注意力模型、采样学习网络、两个点网络以及第一前馈网络；
[0016]本专利技术提出的点云目标检测方法，通过点云提取网络提取点云特征，并将点云特征聚合为候选目标特征，进而增强点云目标检测方法对受遮挡目标检测能力，在点云特征的提取过程中，通过采样学习减少采样中点云的信息损失。
[0017]进一步地，每个点云注意力网络提取点云特征的过程包括以下步骤：
[0018]201)将输入特征输入采样学习网络，生成子点云；
[0019]202)将输入特征和生成的子点云一同输入其中一个点网络，获得邻域特征向量F1，所述的F1对应的坐标经过多层感知机，生成点云位置编码；
[0020]203)将F1与步骤202)生成的点云位置编码相加后，通过一个线性投影层投影为点云查询序列Q；
[0021]204)通过最远点采样算法提取F1的子集F
′1，将F
′1和F1输入另一个点网络，生成邻域特征向量集合，将邻域特征向量集合与步骤202)生成的点云位置编码相加后，再通过一个线性投影层投影生成点云特征序列，包括点云键特征序列K和点云值特征序列V；
[0022]205)将Q、K和V输入第一自注意力模型，生成新的点云特征；
[0023]其中，对于第一个点云注意力网络的采样学习网络，输入特征为点云数据，对于其余点云注意力网络的采样学习网络，输入特征为上一个点云注意力网络输出的点云特征；
[0024]所述的点云提取网络以结合点网络、第一自注意力模型和采样学习网络的点云注意力网络为核心结构，首先通过采样学习网络采样出点云中的子点云，然后通过点网络提取输入特征和子点云的邻域点云特征，即局部特征，最后通过第一自注意力模型，在所有的点云局部特征中实现特征交换，以提取点云的全局特征，多层点云注意力网络叠加，逐层提取出包含局部特征信息和全局特征信息的点云特征，随后经过若干层特征传播层，即线性插值，将提取的点云特征传播到更多的点上；
[0025]所述的点云提取网络即可以提取点云局部特征，又可以提取点云全局特征，减少采样中点云的信息损失。
[0026]进一步地，所述的步骤201)包括：
[0027]211)通过多层感知机将输入特征映射到高维空间，生成高维点云特征向量矩阵；
[0028]212)通过最大池化操作，保留高维点云特征向量矩阵中每个特征通道上最大的数值，获得全局特征；
[0029]213)将全局特征拼接到每一个高维点云特征向量上，获得拼接点云特征；
[0030]214)将拼接点云特征输入多层感知机，得到采样矩阵；
[0031]215)将采样矩阵与输入特征做矩阵乘法，得到子点云。
[0032]进一步地，所述的步骤204)中点网络生成邻域特征向量集合的过程包括：
[0033]221)以F
′1的元素为球心，搜索半径为r的球形邻域内的F1的元素，将邻域内各F1的元素作为该球心的邻域特征集；
[0034]222)将F
′1的各个元素的领域特征集输入多层感知机，获得高维点云特征向量；
[0035]223)对F
′1的每个元素的领域特征集的高维点云特征向量进行最大池化操作，所述的F
′1的每个元素邻域生成一个邻域特征向量，各邻域特征向量组成邻域特征向量集合。
[0036]进一步地，所述的步骤205)包括：
[0037]231)将Q、K和V沿特征维度分为n组，分别与对应的点云位置编码组合相加，对应获得带有点云位置信息的点云特征序列Q
′
i
、K
′
i
和V
′
i
，i＝1,2,
…
,n：
[0038]232)计算注意力分数矩阵A
i
，计算公式为：
[0039][0040]其中，d为特征通道数；
[0041]233)计算中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力和采样学习的点云目标检测方法，其特征在于，包括以下步骤：1)采集待检测目标的点云数据；2)根据点云数据，通过点云提取网络提取点云特征；3)根据点云特征，通过k最近值下采样法筛选出目标索引点特征；4)根据目标索引点特征，通过自适应点云特征聚合网络，将点云特征聚合为候选目标特征；5)根据候选目标特征，通过多层感知机生成待检测目标的类别、位置和尺寸信息。2.根据权利要求1所述的一种基于注意力和采样学习的点云目标检测方法，其特征在于，所述的点云提取网络包括若干个点云注意力网络和若干层特征传播网络，所述的若干个点云注意力网络依次连接，所述的若干层特征传播网络与若干个点云注意力网络跳跃连接；所述的点云注意力网络包括第一自注意力模型、采样学习网络、两个点网络以及第一前馈网络。3.根据权利要求2所述的一种基于注意力和采样学习的点云目标检测方法，其特征在于，每个点云注意力网络提取点云特征的过程包括以下步骤：201)将输入特征输入采样学习网络，生成子点云；202)将输入特征和生成的子点云一同输入其中一个点网络，获得邻域特征向量F1，所述的F1对应的坐标经过多层感知机，生成点云位置编码；203)将F1与步骤202)生成的点云位置编码相加后，通过一个线性投影层投影为点云查询序列Q；204)通过最远点采样算法提取F1的子集F
′1，将F
′1和F1输入另一个点网络，生成邻域特征向量集合，将邻域特征向量集合与步骤202)生成的点云位置编码相加后，再通过一个线性投影层投影生成点云特征序列，包括点云键特征序列K和点云值特征序列V；205)将Q、K和V输入第一自注意力模型，生成新的点云特征；其中，对于第一个点云注意力网络的采样学习网络，输入特征为点云数据，对于其余点云注意力网络的采样学习网络，输入特征为上一个点云注意力网络输出的点云特征。4.根据权利要求3所述的一种基于注意力和采样学习的点云目标检测方法，其特征在于，所述的步骤201)包括：211)通过多层感知机将输入特征映射到高维空间，生成高维点云特征向量矩阵；212)通过最大池化操作，保留高维点云特征向量矩阵中每个特征通道上最大的数值，获得全局特征；213)将全局特征拼接到每一个高维点云特征向量上，获得拼接点云特征；214)将拼接点云特征输入多层感知机，得到采样矩阵；215)将采样矩阵与输入特征做矩阵乘法，得到子点云。5.根据权利要求3所述的一种基于注意力和采样学习的点云目标检测方法，其特征在于，所述的步骤204)中点网络生成邻域特征向量集合的过程包括：221)以F
′1的元素为球心，搜索半径为r的球形邻域内的F1的元素，将邻域内各F1的元素作为该球心的邻域特征集；222)将F
′1的各个元素的领域特征集输入多层感知机，获得高维点云特征向量；
223)对F
′1的每个元素的领域特征集的高维点云特征向量进行最大池化操作，所述的F
′1的每个元素邻域生成一个邻域特征向量，各邻域特征向量组成邻域特征向量集合。6.根据权利要求3所述的一种基于注意力和采样学习的点云目标检测方法，其特征在于，所述的步骤205)包括：231)将Q、K和V沿特征维度分为n组，分别与对应的点云位置编码组合相加，对应获得带有点云位置信息的点云特征序列Q
′
i
、K
′
i
和V
′
i
，i＝1，2，...，n：232)计算注意力分数矩阵A
i
，计算公式为：其中，d为特征通道数；233)计算中间向量序列组F
i
，计算公式为：F
i
＝A
i
V
′
i
将F

【专利技术属性】
技术研发人员：田炜，赵晓龙，邓振文，黄禹尧，谭大艺，韩帅，
申请(专利权)人：同济大学，
类型：发明
国别省市：