一种基于全局及局部融合的点云特征提取方法及装置制造方法及图纸

本申请提供了一种基于全局及局部融合的点云特征提取方法及装置，涉及自动驾驶技术领域，所述方法包括：获取包含N个点的原始3D点云数据；利用预先训练完成的特征提取模型对原始3D点云数据的点云特征进行升维处理，得到原始3D点云数据的维度升高的点云特征；所述特征提取模型包括特征升维模块和上采样模块；所述特征升维模块，用于对原始3D点云数据进行采样，获取采样点的局部信息和全局信息并进行融合处理，得到采样点的维度升高的点云特征；所述上采样模块用于对采样点进行上采样处理，得到N个点的维度升高的点云特征。本申请能够从原始3D点云数据获取更高维度即更多细节的点云特征。特征。特征。

【技术实现步骤摘要】
一种基于全局及局部融合的点云特征提取方法及装置


[0001]本申请涉及自动驾驶
，尤其是涉及一种基于全局及局部融合的点云特征提取方法及装置。

技术介绍

[0002]目前的3D点云特征主要集中于局部特征提取，导致全局信息编码不足或局部信息和全局信息之间缺乏平衡，但这对于点特征表示学习至关重要，因为不同的局部区域可能对两种类型的信息表现出不同的敏感性。此外，先前的研究主要集中在各种分组策略上，以获得高质量的候选对象，这些方法以权重共享的方式在每个局部区域上进行卷积，由于点云的稀疏性和无序性，点在不同局部区域的分布也不同，可能无法捕获不同的局部结构,难以学习点云的细粒度特征表示，也常常难以生成极好的方案，特别是当目标实例不完整且无特征时。

技术实现思路

[0003]有鉴于此，本申请提供了一种基于全局及局部融合的点云特征提取方法及装置，以解决上述技术问题。
[0004]第一方面，本申请实施例提供了一种基于全局及局部融合的点云特征提取方法，包括：
[0005]获取包含N个点的原始3D点云数据；
[0006]利用预先训练完成的特征提取模型对原始3D点云数据的点云特征进行升维处理，得到原始3D点云数据的维度升高的点云特征；
[0007]所述特征提取模型包括特征升维模块和上采样模块；所述特征升维模块，用于对原始3D点云数据进行采样，获取采样点的局部信息和全局信息并进行融合处理，得到采样点的维度升高的点云特征；所述上采样模块用于对采样点进行上采样处理，得到N个点的维度升高的点云特征。
[0008]进一步地，所述特征升维模块包括多个内部关系感知单元连接，第一个内部关系感知单元具体用于：
[0009]对包含N个点的原始3D点云数据进行采样，得到n个采样点，以每个采样点为中心点得到一个分组；
[0010]获取每个分组的包含局部几何信息和局部语义信息的局部特征；
[0011]对所有分组中的所有点进行归一化处理，提取归一化处理后每个采样点的全局特征；
[0012]对每个分组的局部特征和采样点的全局特征进行自适应加权融合处理，得到每个采样点的维度增加的点云特征。
[0013]进一步地，原始3D点云数据表示为包含N个点的集合X：i为点的序号；p
i
为第i个点的三维位置坐标；f
i
为第i个点的d维的原始点云特征；
[0014]对原始3D点云数据进行采样，得到n个采样点，以每个采样点为中心点得到一个分组；包括：
[0015]利用最远点采样算法对原始3D点云数据进行采样，得到包括n个点的子集X
’
：
[0016]将子集X
’
的每个点作为球心，利用球查询获取每个球心的局部邻域，每个球心的局部邻域作为一个分组，第j个分组包括K
j
个点：
[0017]进一步地，获取每个分组的包含局部几何信息和局部语义信息的局部特征；包括：
[0018]计算第j个分组中的第k个点的相对位置Δp
jk
和边缘特征Δf
jk
：
[0019]Δp
jk
＝p
j，k
‑
p
j
[0020]Δf
jk
＝f
j，k
‑
f
j
[0021]则第j个分组中的第k个点的第一局部特征I
jk
为：
[0022]I
jk
＝Δf
jk
||Δp
jk
[0023]式中，||表示并置运算符；
[0024]将第一局部特征I
jk
变换为第二局部特征
[0025][0026][0027]式中，α和β均为可学习参数，
⊙
表示哈达玛积，ε＝10
‑6，σ1是描述了所有局部组和通道的特性偏差的一个标量；
[0028]利用多层感知机对第二局部特征进行编码，得到第三局部特征
[0029][0030]其中，MLP
l
(
·
)表示多层感知机。
[0031]进一步地，对所有分组中的所有点进行归一化处理，提取归一化处理后每个采样点的全局特征；包括：
[0032]将第j个分组的第k个点的d维原始点云特征f
j，k
表示为f
j，k
＝(fj，k，1，
…
fj，k，c，
…
fj，k，d)；
[0033]计算平均值μ
g
：
[0034][0035]计算标准偏差σ2：
[0036][0037]对第j个分组的中心点的d维原始点云特征f
j
进行缩放和平移归一化处理，得到归一化后的原始点云特征
[0038][0039]其中，α1和β1均为可学习参数；
[0040]使用多层感知机提取第j个分组的中心点的全局特征G
j
：
[0041][0042]式中，||表示并置运算符；MLP
g
(
·
)表示多层感知机。
[0043]进一步地，对每个分组的局部特征和采样点的全局特征进行自适应加权融合处理，得到每个采样点的维度增加的点云特征；包括：
[0044]第j个采样点的维度增加的点云特征g
j
为：
[0045][0046]式中，MLP
pre
(
·
)表示多层感知机，MLP
post
(
·
)表示多层感知机，R(
·
)表示通过还原功能聚合加权特征的一个还原层，γ(
·
)表示通道注意力机制函数，表示数组元素依次相乘。
[0047]进一步地，所述上采样模块包括第一上采样层和第二上采样层；所述第二上采样层和倒数第二个内部关系感知单元连接，所述第一上采样层和倒数第三个内部关系感知单元连接；
[0048]所述第一上采样层，用于对最后一个内部关系感知单元输出的点云特征，和倒数第二个内部关系感知单元输出的点云特征进行处理，得到初始上采样特征；
[0049]所述第二上采样层，用于对第一上采样层输出的初始上采样特征，和倒数第二个内部关系感知单元输出的点云特征进行处理，得到N个点的维度升高的点云特征。
[0050]第二方面，本申请实施例提供了一种基于全局及局部融合的点云特征提取装置，包括：
[0051]获取单元，用于获取包含N个点的原始3D点云数据；
[0052]特征提取单元，用于利用预先训练完成的特征提取模型对原始3D点云数据的点云特征进行升维处理，得到原始3D点云数据的维度升高的点云特征；所述特征提取模型包括特征升维模块和上采样模块；所述特征升维模块，用于对原始3D点云数据进行采样，获取采样点的局部信息和全局信息并进行融合处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局及局部融合的点云特征提取方法，其特征在于，包括：获取包含N个点的原始3D点云数据；利用预先训练完成的特征提取模型对原始3D点云数据的点云特征进行升维处理，得到原始3D点云数据的维度升高的点云特征；所述特征提取模型包括特征升维模块和上采样模块；所述特征升维模块，用于对原始3D点云数据进行采样，获取采样点的局部信息和全局信息并进行融合处理，得到采样点的维度升高的点云特征；所述上采样模块用于对采样点进行上采样处理，得到N个点的维度升高的点云特征。2.根据权利要求1所述的方法，其特征在于，所述特征升维模块包括多个内部关系感知单元连接，第一个内部关系感知单元具体用于：对包含N个点的原始3D点云数据进行采样，得到n个采样点，以每个采样点为中心点得到一个分组；获取每个分组的包含局部几何信息和局部语义信息的局部特征；对所有分组中的所有点进行归一化处理，提取归一化处理后每个采样点的全局特征；对每个分组的局部特征和采样点的全局特征进行自适应加权融合处理，得到每个采样点的维度增加的点云特征。3.根据权利要求2所述的方法，其特征在于，原始3D点云数据表示为包含N个点的集合X：i为点的序号；p
i
为第i个点的三维位置坐标；f
i
为第i个点的d维的原始点云特征；对原始3D点云数据进行采样，得到n个采样点，以每个采样点为中心点得到一个分组；包括：利用最远点采样算法对原始3D点云数据进行采样，得到包括n个点的子集X
’
：将子集X
’
的每个点作为球心，利用球查询获取每个球心的局部邻域，每个球心的局部邻域作为一个分组，第j个分组包括K
j
个点：4.根据权利要求3所述的方法，其特征在于，获取每个分组的包含局部几何信息和局部语义信息的局部特征；包括：计算第j个分组中的第k个点的相对位置Δp
jk
和边缘特征Δf
jk
：Δp
jk
＝p
j，k
‑
p
j
Δf
jk
＝f
j，k
‑
f
j
则第j个分组中的第k个点的第一局部特征j
jk
为：I
jk
＝Δf
jk
||Δp
jk
式中，||表示并置运算符；将第一局部特征I
jk
变换为第二局部特征变换为第二局部特征
式中，α和β均为可学习参数，
⊙
表示哈达玛积，ε＝10
‑6，σ1是描述了所有局部组和通道的特性偏差的一个标量；利用多层感知机对第二局部特征进行编码，得到第三局部特征进行编码，得到第三局部特征其中，MLP
l
(
·
)表示多层感知机。5.根据权利要求4所述的方法，其特征在于，对所有分组中的所有点进行归一化处理，提取归一化处理后每个采样点的全局特征；包括：将第j个分组...

【专利技术属性】
技术研发人员：张新钰，谢涛，王力，吴新刚，杨淋淇，王超，
申请(专利权)人：清华大学，
类型：发明
国别省市：