一种基于图像与几何信息引导的多模态点云配准方法技术

本发明专利技术涉及计算机视觉技术，特别涉及一种基于图像与几何信息引导的多模态点云配准方法，包括获取点云中超点的第四超点特征

【技术实现步骤摘要】
一种基于图像与几何信息引导的多模态点云配准方法


[0001]本专利技术涉及计算机视觉技术，应用于三维重建
、
自动驾驶
、
同时定位与建图
、
机器人位姿估计等
，特别涉及一种基于图像与几何信息引导的多模态点云配准方法
。

技术介绍

[0002]点云配准是三维视觉任务中的上游任务，它旨在求解一个变换矩阵，将同一个场景中两个不同视角的点云对齐到同一个坐标系下，其被广泛应用于三维重建
、
自动驾驶
、
同时定位与建图
、
机器人位姿估计等领域
。
[0003]当前点云配准方法大多数是基于对应关系的点云配准，它主要分为以下四个流程，首先对输入的两帧点云分别进行特征的提取，接下来在特征空间中选取出对应关系，然后进行外点的过滤，最后根据对应关系使用一个鲁棒性较强的位姿估计器求解变换矩阵
。
近期基于对应关系的点云配准方法一般使用一种由粗到精的配准方法，它们首先寻找到超点级别的对应关系，然后再进行点级别的精配准
。
[0004]点云配准方法按照模态分类，可分为单模态点云配准方法和多模态点云配准方法
。
[0005](1)
单模态点云配准方法
[0006]单模态点云配准方法指的是仅使用点云模态进行配准
。
目前大部分方法是单模态点云配准方法
。
点云配准的成功离不开点云几何特征的提取，由于点云的无序性造成了特征提取的困难，人们一开始在每个点上单独使用一个共享的多层感知机网络进行特征提取，后来使用分层次的网络结构，使得提取到的特征能够适应不同的点云密度
。
受图像卷积神经网络的启发，有学者提出了一种基于可变核点卷积的点云特征提取方法，该方法能够适应不同形状的物体，更加重视点云的几何结构特点
。
在点云配准任务中，人们还比较关注两帧点云之间的几何一致性，有人在使用核点卷积进行下采样提取超点后，通过注入超点之间的距离和角度一致信息来进行特征增强，该方法显著提升了算法的鲁棒性
。
[0007]当前单模态点云配准方法的性能已经取得了不错的效果，但是由于这些方法只利用点云单一模态，提取到的特征仅具有几何信息，缺少纹理信息，这使得其在低重叠率场景中容易受到重复几何区域和弱几何区域的限制，造成最终配准失败
。
另外，当前方法在进行几何一致性嵌入时，往往考虑的是每一个超点之间的关系，混入了模糊的几何信息，这使得点云特征的区分度降低，不利于对应关系的正确选取
。
[0008](2)
多模态点云配准方法
[0009]近年来，随着深度学习的兴起，通过使用卷积神经网络等技术对图像进行特征提取，使得图像分类和目标检测等任务取得了重大突破，因此最近两年在点云配准任务中也涌现出了一些基于图像和点云的多模态点云配准算法
。
一开始有人尝试了隐式的多模态特征融合方法，它先分别对点云及其对应的图像进行编码特征提取，然后使用注意力机制将点云和图像的特征进行一个全局的融合，达到增强点云特征的目的，最后使用解码器得到同时具有纹理信息和结构信息的点云特征
。
该方法为多模态信息的融合提供了参考，但是
由于采用了隐式的图像特征融合方法，使得点云的特征区别度降低，导致其无法在低重叠率点云配准任务上取得一个较好的性能
。
后来，有人提出了在训练阶段仅使用一张图像，该图像能够同时覆盖输入两帧点云的部分重叠区域，这个方法有利于对应关系的寻找，确保了后期能够求解出正确的变换矩阵
。
除此之外，还有人利用当前比较成熟的图像匹配技术，先从图像中提取出对应像素，然后使用内外参矩阵将其投影到点云上，将点云的特征初始化为二维重叠区域内的像素特征，然后再使用常规的核卷积方法进行点云的特征提取
。
[0010]当前多模态点云配准方法还处在探索阶段，现有的方法在利用图像信息进行点云特征的增强时，或融入了模糊噪声使得点云特征的区分度降低，或没用充分地融合图像的特征，这使得当前多模态方法在配准任务中无法表现出卓越的性能
。

技术实现思路

[0011]为了解决解决弱几何区域和重复几何区域对点云配准任务的限制问题，本专利技术提出一种基于图像与几何信息引导的多模态点云配准方法，具体包括以下步骤：
[0012]将源点云和目标点云输入一个作为编码器的形变卷积神经网络一边进行下采样
、
一边进行点云特征提取，得到第一超点特征；通过残差网络获取点云对应图像的像素特征；
[0013]对第一超点特征进行升维，得到第二超点特征；将一个超点在下采样过程中被过滤掉的点对应的像素特征作为该超点的像素特征，将第二超点特征与其对应的像素特征基于注意力机制和多层感知机进行融合，得到超点的纹理特征；将超点的纹理特征与第一超点特征进行拼接得到第三超点特征；
[0014]计算一个点云内两个超点之间的距离特征，并基于注意力机制将两个超点之间的距离特征与第三超点特征进行融合，得到第四超点特征；
[0015]基于非极大值抑制的方法从源点云和目标点云中选出一个锚点集合，获取锚点与超点之间的距离特征和角度相关性，通过融合锚点与超点之间的距离特征和角度相关性得到超点与锚点之间的几何相关性特征；
[0016]根据源点云中超点的第四超点特征
、
源点云中超点与锚点之间的几何相关性特征
、
目标点云中超点的第四超点特征
、
目标点云中超点与锚点之间的几何相关性特征基于交叉注意力进行融合得到第五超点特征；
[0017]计算源点云中超点对应的第五超点特征与目标云中超点对应的第五超点特征之间的相似性，并筛选出相似性最高
K
对点作为超点对集合；
[0018]对超点对集合中的超点的第一超点特征进行上采样解码，得到原始点特征；在每个超点的邻域内计算原始点相似度，并基于
Sinkhorn
算法得到原始点对关系集合，根据原始点对关系集合进行变换矩阵估计；
[0019]每个超点对应关系都能得到一个源点云和目标点云的变换矩阵，得到超点对集合估计出的多个变换矩阵后，从中选取出一个最优的变换矩阵
。
[0020]相比较现有的多模态点云配准方法，本专利技术设计的一种基于局部纹理信息的多模态特征融合模块不仅能够充分融合图像纹理信息和点云结构信息，还减少了无关图像信息的噪声引入，得到了具有区分度的多模态超点特征
。
除此之外，本专利技术设计了一种选择相关性融合模块，它选择出可靠的超点当做锚点，然后再进行相关性融合，经过迭代更新锚点后，锚点落在重叠区域中，这使得在增强超点特征时引入了较少的模糊噪声信息，有助于两
帧点云之间的超点正确匹配，提高了点云配准的正确率
。
附图说明
[0021]图1为本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图像与几何信息引导的多模态点云配准方法，其特征在于，具体包括以下步骤：将源点云和目标点云输入一个作为编码器的形变卷积神经网络一边进行下采样
、
一边进行点云特征提取，得到第一超点特征；通过残差网络获取点云对应图像的像素特征；对第一超点特征进行升维，得到第二超点特征；将一个超点在下采样过程中被过滤掉的点对应的像素特征作为该超点的像素特征，将第二超点特征与其对应的像素特征基于注意力机制和多层感知机进行融合，得到超点的纹理特征；将超点的纹理特征与第一超点特征进行拼接得到第三超点特征；计算一个点云内两个超点之间的距离特征，并基于注意力机制将两个超点之间的距离特征与第三超点特征进行融合，得到第四超点特征；基于非极大值抑制的方法从源点云和目标点云中选出一个锚点集合，获取锚点与超点之间的距离特征和角度相关性，通过融合锚点与超点之间的距离特征和角度相关性得到超点与锚点之间的几何相关性特征；根据源点云中超点的第四超点特征
、
源点云中超点与锚点之间的几何相关性特征
、
目标点云中超点的第四超点特征
、
目标点云中超点与锚点之间的几何相关性特征基于交叉注意力进行融合得到第五超点特征；计算源点云中超点对应的第五超点特征与目标云中超点对应的第五超点特征之间的相似性，并筛选出相似性最高
K
对点作为超点对集合；对超点对集合中的超点的第一超点特征进行上采样解码，得到原始点特征；在每个超点的邻域内计算原始点相似度，并基于
Sinkhorn
算法得到原始点对关系集合，根据原始点对关系集合进行变换矩阵估计；每个超点对应关系都能得到一个源点云和目标点云的变换矩阵，得到超点对集合估计出的多个变换矩阵后，从中选取出一个最优的变换矩阵
。2.
根据权利要求1所述的一种基于图像与几何信息引导的多模态点云配准方法，其特征在于，超点的像素特征的获取过程包括：将一个点云中的点变换到拍摄第一帧图片时的相机坐标系下，并基于相机标定的内参矩阵将该点变换到图像坐标系下；对图像坐标系下的点进行齐次化操作，得到一个点在图像中的像素位置；若在下采样过程中，一个超点在其邻域内被过滤掉个点，则计算这个点对应的像素位置，根据像素位置索引得到像素的特征，个像素特征构成该超点的像素特征
。3.
根据权利要求1或2所述的一种基于图像与几何信息引导的多模态点云配准方法，其特征在于，将第二超点特征与其对应的像素特征基于注意力机制和多层感知机进行融合的过程包括：通过将超点的第二超点特征映射为注意力机制中的查询向量
Q
A
，将超点对应的像素特征分别映射为键向量
K
A
和值向量
V
A
；通过注意力机制计算注意力权重矩阵，即：
基于多层感知机将注意力权重矩阵
W
和值向量
V
A
进行融合得到超点的纹理特征，即：
F
＝
MLP(W*V
A
)
其中，
W
为第二超点特征与其对应的像素特征之间的注意力权重矩阵，
V
A
为值向量，
F
表示超点的纹理特征；
MLP(
·
)
为多层感知机；
C
为注意力机制中隐藏层的维度
。4.
根据权利要求1所述的一种基于图像与几何信息引导的多模态点云配准方法，其特征在于，两个超点之间的距离特征通过计算两个超点之间的距离并将该距离映射到高维空间作为距离特征
。5.
根据权利要求1所述的一种基于图像与几何信息引导的多模态点云配准方法，其特征在于，基于注意力机制将两个超点之间的距离特征与第三超点特征进行融合，得到第四超点特征的过程包括：通过三个映射矩阵对第三超点特征进行映射得到向量向量向量通过矩阵
W
g
将两个超点之间的距离特征映射为向量计算注意力分数：根据注意力分数计算第四超点特征：其中，
C
表示注意力机制中隐藏层的维度；
Score
(r,m)
为第
r
个超点与第
m
个超点之间的注意力分数；
Score
为所有超点之间的注意力分数都成的注意力矩阵
。6.
据权利要求1所述的一种基于图像与几何信息引导的多模态点云配准方法，其特征在于，选择锚点的过程包括以下步骤：
101、
设置过滤半径
r
nms
以及锚点集合中锚点对个数
K
，将超点的第三超点特征作为输入，初始化锚点集合
102、
计算源点云和目标点云超点特征向量的欧式距离，得到超点特征相似度，选取出相似度最大的超点点对将超点对放入集合中，并在源点云中过滤点旁边
r
n...

【专利技术属性】
技术研发人员：江薪祺，徐宗懿，张睿诚，高鑫雨，高新波，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：