一种基于多特征融合点云分割的三维建模方法技术

一种基于多特征融合点云分割的三维建模方法，属于三维建模技术领域。它包括以下步骤：1、从3D点云原始数据中提取关键点；2、提取点云的邻域细粒度特征和全局信息；3、提取3D点云原始数据的局部几何信息；4、聚合步骤3中提取出的特征，并加入关键点得到权重矩阵；5、提取步骤1

【技术实现步骤摘要】
一种基于多特征融合点云分割的三维建模方法


[0001]本专利技术属于三维建模
，具体涉及一种基于多特征融合点云分割的三维建模方法。

技术介绍

[0002]运用激光点云数据进行三维几何建模技术在VR(virtualreality，虚拟现实)、AR(augmentedreality，增强现实)、自动驾驶、机器人技术等应用方面有着至关重要的作用。为了能够更好的进行三维几何建模，对于大量的激光点云数据如何进行分割和提取是非常重要的一环。
[0003]点云数据指的是目标对方表面的大量点点集合，可以看作是三维空间的表示。随着深度学习在二维图像取得的成功，一些研究者致力于三维点云的分割模型。但是三维数据的主要缺点之一是它固有地依赖特定的采样模式，使得它对遮挡、噪声和稀疏采样非常敏感。将CNN应用在不规则结构的数据中仍然是一个挑战，这些挑战包括：一、在几何上，由于三维点云特殊的空间结构，很难用矩阵表示点云中的点，这就使得全局和局部几何表示变得相当困难；二、三维点云是非结构化的数据，因此没有一个结构化的网格进行卷积操作；三、点云的本质是一长串点，导致了旋转、位移、平移的不变性。然而，并不是所有的深度神经网络可以都能完全解决这些问题。
[0004]PointNet网络是一个开创性的方法，它将原始点云作为深度神经网络的输入，但是这种方法不涉及局部特征的学习。后来相继提出了PointNet++网络，使用底层空间的距离度量，将点云分割成重叠的局部区域，并从邻近节点中提取和捕获精细的几何局部特征。但是，这种神经网络只考虑局部区域的每个点，并使用相同的语义级别捕获局部信息，忽略了不同语义级别之间的内在差异。KCNet为PointNet增加了一个基于图的池化层，使用本地特征结构增强神经网络的健壮性，但是他们没有使用池化层来提高语义层次。

技术实现思路

[0005]针对现有技术中存在的上述问题，本专利技术的目的在于提供一种用于三维建模的多特征融合点云分割方法，克服现有技术中的三维点云分割任务中没有考虑语义级别，导致分割精度无法进一步提高的问题。
[0006]本专利技术提供如下技术方案：一种基于多特征融合点云分割的三维建模方法，包括以下步骤:
[0007]步骤1：利用NARF算法从3D点云原始数据中提取出相关点，作为关键点；
[0008]步骤2：采用自注意力机制构建自注意力机制层，将原始3D点云数据输入到自注意力机制层，来提取点云的邻域细粒度特征和全局信息；
[0009]步骤3：在多层感知器中嵌入图注意力机制，将3D点云原始数据输入构建的图注意力机制层，来提取局部几何信息；
[0010]步骤4：采用多头图形注意力机制来聚合步骤3中提取出的特征，并加入步骤1中提
取的关键点得到权重矩阵；
[0011]步骤5：通过局部特征聚合描述符VLAD进一步提取步骤1
‑
3中获得的点云的深度语义特征；
[0012]步骤6：将步骤1
‑
5中提取的点云特征经过由多层感知器组成的全连接层，得到最后的分割数据；
[0013]步骤7：利用步骤6中获得的点云分割数据，构建出三维模型。
[0014]进一步的，所述步骤2的具体过程如下:
[0015]将3D点云输入到自注意力机制层后，得到了输入向量Q，K，V的线性映射，Q，K，V向量的值组合成三维点云的邻接向量X，通过自注意力机制层中的编码器聚合局部和全局信息，输入向量Q，K，V的线性映射公式如下：
[0016][0017]其中R表示输入向量，n
×
d
k
与m
×
d
k
代表输入向量的维度；
[0018]对于单个输入向量q
t
，q
t
∈Q，Q，K，V的计算公式如下：
[0019][0020]其中Z为标准化因子，v
s
∈V，k
s
∈K，q,k,v分别是query,key,value的缩写，作为调节器，这样输入激活函数的内积不会太大；自注意力机制的核心部分是用于测量q
t
和v
s
之间的非线性映射关系；
[0021]每个k
s
和q
t
相乘，利用softmax函数去评估k
s
和q
t
之间的相似性，最后经过计算的结果是一个加权和向量d
v
。
[0022]进一步的，所述步骤3的具体过程如下:
[0023]3.1、使用邻近算法KNN构建K最邻近图G＝(V，E)，其中V代表节点集，每个点用x
i
表示，E表示邻接点对应的边集，每条边用y
ij
表示，并将其定义为邻接特征；
[0024]3.2分别对节点、邻接点对应的边进行编码得到自系数和局部系数，其输出结果的维度均为F0，公式如下：
[0025]x
′
i
＝h(x
i
,θ)
[0026]y
′
ij
＝h(y
ij
,θ)
[0027]其中，h()表示一个参数化的非线性函数，θ表示一组可学习的滤波器参数；
[0028]3.3、使用非线性激活函数LeakyReLU融合自系数x
′
i
和局部系数y
′
ij
得到注意系数，具体公式如下：
[0029]c
ij
＝LeakyReLU(h(x
′
i
,θ)+h(y
′
ij
,θ))；
[0030]3.4、使用softmax函数对每个点云节点的邻近注意力系数进行归一化，以保持相邻点之间的注意力系数α
ij
的一致，计算公式如下：
[0031][0032]其中N
i
表示第i个点的邻近节点集；
[0033]3.5、为了获取足够的结构信息和稳定网络，将M个独立的单头的图注意力机制连接起来，生成具有M
×
F0通道的多注意特征；
[0034]多头图注意力机制的输出是多注意特征和多图特征，分别连接对应头部的注意力特征和图形特征，的计算公式如下：
[0035][0036][0037]其中，表示单头图注意力特征，是第m头的注意力特征，M是头的总数，||是特征通道上的串联操作。
[0038]进一步的，所述步骤5中，使用每个点的低级几何描述符和视觉词汇表之间的关系来描述高级语义特征，具体过程如下:
[0039]将m1个聚类中心(视觉词汇)作为局部特征聚合描述符(VLAD)的参数，给定n1个二维点作为VLAD的输入，同时初始化m1个聚类中心，这m1个聚类中心是通过反向传播学习的参数，每个聚类中心被分配多个点，残差向量p
i
(d)
‑
c...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合点云分割的三维建模方法，其特征在于：包括以下步骤：步骤1：利用NARF算法从3D点云原始数据中提取出相关点，作为关键点；步骤2：采用自注意力机制构建自注意力机制层，将原始3D点云数据输入到自注意力机制层，来提取点云的邻域细粒度特征和全局信息；步骤3：在多层感知器中嵌入图注意力机制，将3D点云原始数据输入构建的图注意力机制层，来提取局部几何信息；步骤4：采用多头图形注意力机制来聚合步骤3中提取出的特征，并加入步骤1中提取的关键点得到权重矩阵；步骤5：通过局部特征聚合描述符VLAD进一步提取步骤1
‑
3中获得的点云的深度语义特征；步骤6：将步骤1
‑
5中提取的点云特征经过由多层感知器组成的全连接层，得到最后的分割数据；步骤7：利用步骤6中获得的点云分割数据，构建出三维模型。2.根据权利要求1所述的一种基于多特征融合点云分割的三维建模方法，其特征在于所述步骤2的具体过程如下：将3D点云输入到自注意力机制层后，得到了输入向量Q，K，V的线性映射，Q，K，V向量的值组合成三维点云的邻接向量X，通过自注意力机制层中的编码器聚合局部和全局信息，输入向量Q，K，V的线性映射公式如下：其中R表示输入向量，n
×
d
k
与m
×
d
k
代表输入向量的维度；对于单个输入向量q
t
，q
t
∈Q，Q，K，V的计算公式如下：其中Z为标准化因子，v
s
∈V，k
s
∈K，q，k，v分别是query，key，value的缩写，作为调节器，这样输入激活函数的内积不会太大；自注意力机制的核心部分是用于测量q
t
和v
s
之间的非线性映射关系；每个k
s
和q
t
相乘，利用softmax函数去评估k
s
和q
t
之间的相似性，最后经过计算的结果是一个加权和向量d
v
。3.根据权利要求1所述的一种基于多特征融合点云分割的三维建模方法，其特征在于所述步骤3的具体过程如下：3.1、使用邻近算法KNN构建K最邻近图G＝(V，E)，其中V代表节点集，每个点用x
i
表示，E表示邻接点对应的边集，每条边用y
ij
表示，并将其定义为邻接特征；3.2分别对节点、邻接点对应的边进行编码得到自系数和局部系数，其输出结果的维度均为F0，公式如下：
x
...

【专利技术属性】
技术研发人员：邱飞岳，周建，章国道，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：