一种基于各向异性卷积的点云补全方法及装置制造方法及图纸

本发明专利技术公开了一种基于各向异性卷积的点云补全方法及装置，采用迭代最远点采样算法对输入的原始点云数据进行下采样，获得更小分辨率的两个点云数据，输入到各向异性卷积编码器中，提取点云数据的潜在特征，并连接所提取的三个潜在特征，使用MLP生成了最终特征向量；将最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分。本发明专利技术可以生成更多的高精度点云，而整个点云和缺失区域的点云失真更小。个点云和缺失区域的点云失真更小。个点云和缺失区域的点云失真更小。

【技术实现步骤摘要】
一种基于各向异性卷积的点云补全方法及装置


[0001]本申请属于深度学习
，特别是涉及了一种基于各向异性卷积的点云补全方法及装置。

技术介绍

[0002]随着无人机和卫星技术的快速发展，遥感图像数量正在数以万计的增长。而建筑物作为与人类生活密切相关的一种地物，在遥感图像中占据着大量的比重。因此，高分辨率下的遥感图像中建筑物分割技术一直是研究的重点，对于城市规划，土地保护，城乡改造等都有着重大意义。而遥感图像自身的特点也使得这种分割显得格外困难。首先，遥感图像中有很多遮挡和阴影问题，这些不利因素都影响着建筑物分割算法的判断。其次遥感图像中建筑物区域都有较接近的视觉特征，给相似的感兴趣目标进行分割时有较大的难度。然后，越高的分辨率越能够为图像分割提供更精确的细节，但是这同样会带来分割时的模糊边界。最后，不同地理位置的建筑物形状外观各不相同，这需要网络具有强大的泛化能力。
[0003]由于3D点云具有无序性和非结构化，深度网络无法像卷积网络应用于2D图像一样简单地应用于3D点云。因此大多数基于深度学习方法的处理3D点云都会将3d形状表示为体积网格或基于视图的投影，然后利用3D/2D卷积运算。也有把点云表示为其他方式，如：GRNet，提出了一种基于网格的方法，该方法通过对每个网格执行三次特征采样来检索结构上下文，并使用“反向网格化”层和MLP完成输出。这些方法可能会导致不可逆的几何信息丢失。得益于之前的PointNet提出，开创了使用多层感知器直接处理点云的先河，PCN是第一个以粗糙到精细的方式在原始点云上工作的框架。最近，PF
‑
Net保留了原始不完整点云的空间结构，并预测了一个多尺度生成网络的分层缺失点。但是，这些用MLPs模块来提取特征，未完全考虑跨点的连通性和相邻点的上下文。

技术实现思路

[0004]本申请的目的是提供一种基于各向异性卷积的点云补全方法及装置，克服现有技术在进行点云处理时，未完全考虑跨点的连通性和相邻点的上下文，从而造成的点云信息丢失问题。
[0005]为了实现上述目的，本申请技术方案如下：
[0006]一种基于各向异性卷积的点云补全方法，包括：
[0007]采用迭代最远点采样算法对输入的原始点云数据进行下采样，获得更小分辨率的两个点云数据；
[0008]将原始点云数据及下采样获得的两个点云数据输入到各向异性卷积编码器中，所述各向异性卷积编码器分别提取点云数据的潜在特征，并连接所提取的三个潜在特征，使用MLP生成了最终特征向量；
[0009]将各向异性卷积编码器生成的最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分。
[0010]进一步的，所述各向异性卷积编码器分别提取点云数据的潜在特征，包括：
[0011]依次经过四次各向异性卷积操作，将每次各向异性卷积操作后的中间特征进行激活函数操作，连接激活函数处理后的四个中间特征并使用MLP生成潜在特征。
[0012]进一步的，所述各向异性卷积操作，包括：
[0013]通过等面积投影方法将斐波那契晶格映射到球体表面以获得核点，计算出点云数据中的每个点与其相邻点的相邻位置，将相邻位置与所述核点做点积，然后经过激活函数得到每个点的软排列矩阵；
[0014]将点云数据中每个点与其相邻点做位置编码，连接所述位置编码与前一次各向异性卷积操作输出的中间特征，得到每个点对应的点特征向量；
[0015]将点云数据中的每个点的点特征向量与软排列矩阵做点积操作后进行常规的卷积操作，得到本次各向异性卷积操作输出的中间特征。
[0016]进一步的，其特征在于，所述将各向异性卷积编码器生成的最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分，包括：进行
[0017]将最终特征向量通过完全连接层，输出对应于输入点云三种不同分辨率的三个特征层FC1、FC2和FC3；
[0018]对特征层FC1进行预测，得到第一预测点云Y
coarse
；
[0019]连接特征层FC1、FC2，对连接后的特征进行预测，得到第二预测点云Y
middle
；
[0020]连接FC1、FC2和FC3，对连接后的特征进行预测，得到第三预测点云Y
fine
，即为点云缺失部分。
[0021]进一步的，所述组合金字塔解码器预先训练，在预先训练时，对于每一个分辨率的点云数据，采用如下损失函数：
[0022][0023]其中，S1是组合金字塔解码器输出的预测值，S2是真实值，x是S1中的点，y是S2中的点；
[0024]组合金字塔解码器将会预测三种不同分辨率的点云，多级补全损失表示为：
[0025]L＝d
CD
(Y
fine
,Y
gt
)+αd
CD
(Y
middle
,Y
′
gt
)+2αd
CD
(Y
coarse
,Y
″
gt
)，
[0026]其中α是超参数，Y
gt
、Y
′
gt
和Y
″
gt
分别是Y
fine
、Y
middle
和Y
coarse
所对应点云的真实值。
[0027]本申请还提出了一种基于各向异性卷积的点云补全装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于各向异性卷积的点云补全方法的步骤。
[0028]本申请提出的一种基于各向异性卷积的点云补全方法及装置，通过多分辨率的特征聚合策略在细节保留和潜在形状预测上均具有更好的性能。本申请各向异性卷积编码器，可以更好的提取3D物体的局部和全局特征，提高网络提取语义和几何信息。本申请组合金字塔解码器，更好的从特征图中推测出缺失的点云，它可以通过分层输出不同分辨率的点云，从而在不同分辨率下分层保留完整形状的结构。
附图说明
[0029]图1为本申请基于各向异性卷积的点云补全方法流程图；
[0030]图2为本申请编码与解码网络图。
具体实施方式
[0031]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0032]本申请提出了一个新的网络框架，在两个阶段里面来从缺失的点云中预测缺失点云。在第一阶段，采用一个新颖的多分辨率各向异性卷积编码器，从缺失的点云中更好的提取3D物体的潜特征，这些潜特征不仅包含局部和全局特征，而且还包含了低水平特征和高水平特征。在第二阶段，采用一个新颖的解码器，更好的从特征图中推测出缺失的点云。
[0033]如图1所示，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于各向异性卷积的点云补全方法，其特征在于，所述基于各向异性卷积的点云补全方法，包括：采用迭代最远点采样算法对输入的原始点云数据进行下采样，获得更小分辨率的两个点云数据；将原始点云数据及下采样获得的两个点云数据输入到各向异性卷积编码器中，所述各向异性卷积编码器分别提取点云数据的潜在特征，并连接所提取的三个潜在特征，使用MLP生成了最终特征向量；将各向异性卷积编码器生成的最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分。2.如权利要求1所述的基于各向异性卷积的点云补全方法，其特征在于，所述各向异性卷积编码器分别提取点云数据的潜在特征，包括：依次经过四次各向异性卷积操作，将每次各向异性卷积操作后的中间特征进行激活函数操作，连接激活函数处理后的四个中间特征并使用MLP生成潜在特征。3.如权利要求2所述的基于各向异性卷积的点云补全方法，其特征在于，所述各向异性卷积操作，包括：通过等面积投影方法将斐波那契晶格映射到球体表面以获得核点，计算出点云数据中的每个点与其相邻点的相邻位置，将相邻位置与所述核点做点积，然后经过激活函数得到每个点的软排列矩阵；将点云数据中每个点与其相邻点做位置编码，连接所述位置编码与前一次各向异性卷积操作输出的中间特征，得到每个点对应的点特征向量；将点云数据中的每个点的点特征向量与软排列矩阵做点积操作后进行常规的卷积操作，得到本次各向异性卷积操作输出的中间特征。4.如权利要求1所述的基于各向异性卷积的点云补全方法，其特征在于，所述将各向异性卷积编码器生成的最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分，包括：进行将最终特征向量通过完全连接层，输出对应于输入点云三种不同分辨率的三个特征层FC1、FC2和FC3；对...

【专利技术属性】
技术研发人员：刘盛，李丁达，曹益峰，黄文豪，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：