【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种结合通道剪枝和通道注意力的轻量型点云补全方法。
技术介绍
1、随着三维传感器的快速发展，点云在自动驾驶、增强现实、机器人等领域中得到了广泛应用。然而，由于天气、分辨率、遮挡和视角的限制，传感器通常会获取到稀疏、残缺且有噪声的点云，这样的点云会造成目标识别、分割等任务精度下降。例如，在自动驾驶中，为了检测障碍物和接收其他相关的驾驶信息，计算机视觉系统会接收并分析来自传感器的原始点云，但由于点云的不完整，特别是车辆点云的碎片化，可能会降低自动驾驶车辆的目标检测、交通预警和避撞功能的准确性。因此，从局部点云中恢复完整形状对于目标识别、分割等下游任务是非常重要的。
2、随着近年来深度学习的快速发展，深度学习逐渐被广泛应用于3d视觉系统中。自pointnet和point-net++在点云处理方面取得巨大成功以后，更多的基于深度学习的方法被用来解决三维点云补全任务。pcn首先提出了一种由粗到细的点云补全框架，该框架基于从部分输入中学习全局特征生成粗点云，其解码器基于folding-net细化粗糙点云完成点云补全，但它仅关注点云全局特征而忽略了局部特征信息。pf-net提出了一种全新的网络架构，采用一个多分辨率编码器和金字塔式的解码器不改变原始的数据，只生成残缺部分的点云数据，并加入对抗损失函数，使补全后的模型更精细，但其对点云密度和分布的要求较高，对于密度较低或者分布不均匀的点云数据进行下采样时会失去局部几何特征。pmpnet首次将点云补全任务转化为一个点移动路径的搜索问题，根据总的点移动距
3、虽然，现有的这些基于深度学习的点云补全网络在准确性上都有着很好的表现，但是都存在着大量冗余参数，使得网络的推理效率大大降低，这使得它们难以部署到自动驾驶汽车点云修复等真实应用场景中。
技术实现思路
1、针对现有网络对点云局部信息的忽视和推理时间过长的问题，本专利技术提供了一种结合通道剪枝和通道注意力的轻量型点云补全方法。
2、为了达到上述目的，本专利技术采用了下列技术方案：
3、步骤1，获取点云数据并对其进行采样、分类；
4、步骤2，构建结合通道剪枝和通道注意力的轻量型点云补全网络模型；
5、步骤3，将步骤1获得的点云数据输入步骤2获得的模型进行点云补全。
6、进一步地，所述步骤2中网络模型遵循编码器-解码器结构并在全局使用通道剪枝增加补全效率；
7、所述编码器-解码器结构中，编码器对输入点云在全局特征提取的基础上嵌入一维通道注意力模块通过自适应调整全局特征的权重增强局部特征的表征能力；
8、所述编码器-解码器结构中，解码器采用语义解码器和结构细化解码器的双解码器结构，语义解码器生成完整的稠密粗糙点云，结构细化解码器将特征向量v通过共享多层感知机生成子特征并融合最终输出原始残缺点云中的每个点的偏移量；再将偏移量与生成的稠密粗糙点云相加生成最终的精细化点云。
9、进一步地，所述步骤2中在网络全局使用基于l1范数的一次性通道剪枝，l1范数表示向量x中非零元素的绝对值之和，其优化的解是一个稀疏解，因此l1范数也被叫做稀疏规则算子，具体定义如下式所示：
10、
11、式中，通过l1实现特征的稀疏，将贡献度小的通道删除，仅保留贡献度大的通道，最终得到修剪后的新卷积，以此减少参数，同时减少精度损失，并大幅提高补全效率。
12、进一步地，所述步骤2中一维通道注意力模块具体为：将输入的点云表示为m×3的矩阵p，将p输入到注意力模块中，生成一个特征映射来加强通道的权重，其中m表示输入点云的个数，3表示每个点的x，y，z坐标，具体定义如下式所示：
13、ε＝σ(conv(p))⑵
14、其中，conv表示一维卷积操作，σ表示激活函数，获取0～1之间的数值，表示不同通道的重要程度，进而对通道分配相应的权重，ε表示每个特征通道的重要性；
15、将结果ε与矩阵p相乘，得到最终输出的e，具体定义如下式所示：
16、e＝φ(p) ⑶
17、式中，e表示特征映射后的特征矩阵，φ(·)表示特征映射；由此，不同的特征通道被赋予不同的权重，其中一维卷积也有助于通过非线性更有效地学习不同特征通道间的关系，并且可以减少参数量和过拟合情况。
18、进一步地，所述步骤2中编码器利用一维通道注意力模块对输入点云进行特征提取，具体过程为：在两层叠加pointnet层中嵌入一维通道注意力模块提取输入点云的几何信息；每个pointnet层包括一个共享多层感知机和一个最大池化层作为基本模块；
19、(1)在第一个pointnet层中，矩阵p通过共享多层感知机学习每个点特征pi，由这些点特征组成特征矩阵f，f的每一行为学习到的点特征pi，将f与一维通道注意力模块得到的相同大小的特征矩阵e逐点相乘；
20、(2)通过逐点最大池化层最终得到256维全局特征g；在第二个pointnet层中，将全局特征g与特征矩阵作为输入，将g与每个独立的点特征pi连接和扩展以生成增广的点特征矩阵
21、(3)通过与第一个pointnet层类似的另一个共享多层感知机和逐点最大池化；
22、(4)提取到1024维全局特征向量v∈rk，其中k＝1024。
23、进一步地，所述步骤2中解码器使用双解码器结构对输入点云进行补全，具体补全过程包括：
24、(1)将特征向量v分别传入语义稠密化解码器和结构细化解码器中；
25、(2)语义稠密化解码器采用三个全连接层生成具有完整几何表面的稀疏点云，输出具有3n个单位的最终向量，并将其重新整形为一个n×3的粗糙点云pcoarse；随后，将pcoarse中的点进行平铺产生一个稠密的点集p′coarse＝rn×3，其中r是上采样率；其次，为了充分利用输入点云的特征，网络将p′coarse中的点、平铺的全局特征空间v′以及变形的2d网格进行连接以获得新的聚合特征，通过具有大小[512，512，3]的共享多层感知机，生本文档来自技高网...
【技术保护点】
1.一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述步骤2中网络模型遵循编码器-解码器结构并在全局使用通道剪枝增加补全效率；
3.根据权利要求2所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述编码器对输入点云在全局特征提取的基础上嵌入一维通道注意力模块，在网络全局使用基于L1范数的一次性通道剪枝，L1范数表示向量x中非零元素的绝对值之和，具体定义如下式所示：
4.根据权利要求2所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述步骤2中一维通道注意力模块具体为：将输入的点云表示为m×3的矩阵P，将P输入到注意力模块中，生成一个特征映射来加强通道的权重，其中m表示输入点云的个数，3表示每个点的x，y，z坐标，具体定义如下式所示：
5.根据权利要求2所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述编码器对输入点云在全局特征提取的基础上嵌入一维通道注意力
6.根据权利要求2所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述解码器采用语义解码器和结构细化解码器的双解码器结构，解码器使用双解码器结构对输入点云进行补全，具体补全过程包括：
7.根据权利要求2所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，网络的损失函数定义为补全目标与真值之间的拓扑距离，倒角距离CD和搬土距离EMD作为两个置换不变量用作比较无序点云，选择CD作为补全损失，计算输出的补全点云和真实点云之间的CD，具体定义如下式所示：
8.根据权利要求7所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述选择倒角距离作为补全损失计算输出的补全点云和真实点云之间的CD，其中网络模型的整体损失函数如下式所定义：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述步骤2中网络模型遵循编码器-解码器结构并在全局使用通道剪枝增加补全效率；
3.根据权利要求2所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述编码器对输入点云在全局特征提取的基础上嵌入一维通道注意力模块，在网络全局使用基于l1范数的一次性通道剪枝，l1范数表示向量x中非零元素的绝对值之和，具体定义如下式所示：
4.根据权利要求2所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述步骤2中一维通道注意力模块具体为：将输入的点云表示为m×3的矩阵p，将p输入到注意力模块中，生成一个特征映射来加强通道的权重，其中m表示输入点云的个数，3表示每个点的x，y，z坐标，具体定义如下式所示：
5.根据权利要求2所述的一种结合通道剪枝和通道注意力的轻量型点云补全方法，其特征在于，所述编码器对输入点云在全局特征提取的基础上嵌入一维通道注意力模块，编码器利用一维通道注意力模块对输入点云进行特征提取，具体过程为：在两层叠加pointnet层中嵌入一维通道注意力模块提取输入点云的几何信息...
【专利技术属性】
技术研发人员：杨晓文，庞敏，冯泊栋，韩慧妍，张元，韩燮，贾彩琴，焦世超，赵融，
申请(专利权)人：中北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。