【技术实现步骤摘要】
本专利技术涉及图像匹配，尤其涉及一种基于互补描述子的图像匹配方法及装置。
技术介绍
1、在各类3d 计算机视觉任务中需要建立图像之间的局部特征匹配关系，例如运动结构恢复（sfm）、同步定位与建图（slam）以及视觉定位等任务中。现有技术中基于学习的局部特征匹配方法根据有无检测器可以分为稀疏匹配与密集匹配两种方式。其中，大多数稀疏局部特征匹配方法包括特征检测、特征描述和特征匹配三个阶段，在检测阶段，通过对输出得分图使用非极大值抑制（nms）选取得分高的像素作为特征点，再通过插值的方法给特征点耦合一个描述子，最后通过计算描述子之间的相似性找到点与点之间的对应关系。而密集局部特征匹配方法则是通过带有transformer的自注意力层和交叉注意力层来增强从卷积主干中提取的密集局部特征，该类方法虽然可以一定程度上提高特征匹配的精度，但同时也带来了极高的计算开销，不适用于对计算开销要求较高的实时性任务。与之相反，稀疏局部特征匹配方法在匹配精度与计算开销上可以达到更好的平衡。
2、现有技术中，稀疏特征匹配方法通常仅预测单个描述子特征，而对于描述子的训练，尽管学习方式不断优化改进，但单个描述子的性能提升有限。并且，为了满足实时性任务的需求，现有技术中大部分方法的描述子特征通常都是采用低分辨率，单一的低分辨率描述子特征性能难以提升。而如果直接采用组合多个模型的描述子进行匹配的方式，虽然由于生成的匹配对数量增加，通常会使得匹配性能有一定的提升，但是由于不同模型之间的描述子没有互补性，错误匹配对会在组合使用时累积，因而实际的匹配性能并不稳
技术实现思路
1、本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种实现方法简单、成本低、匹配效率以及精度高的基于互补描述子的图像匹配方法及装置。
2、为解决上述技术问题，本专利技术提出的技术方案为：
3、一种基于互补描述子的图像匹配方法，步骤包括：
4、构建图像匹配模型，所述图像匹配模型包括用于生成特征描述子的孪生正交描述子网络以及用于提取特征点的检测器网络，所述孪生正交描述子网络包括两条相同的描述子网络分支，每个所述描述子网络分支由编码器和解码器构成，每个所述描述子网络分支中所述编码器包括多层残差网络模块，所述解码器包括两个以上的上采样网络；
5、使用训练数据集对所述构建图像匹配模型进行训练，并在训练过程中分别使用不同的损失函数监督训练两个所述描述子网络分支，以及使用正交损失函数训练两个描述子网络分支以使得两个正交描述子网络的输出描述子特征解耦，通过将两个描述子网络分支的相似性矩阵进行组合生成最后的相似性矩阵，最后，使用最近邻算法得到匹配关系。
6、获取待匹配的图像对，输入至训练好的所述图像匹配模型中，得到待匹配的图像对之间的匹配关系结果。
7、进一步地，对所述孪生正交描述子网络进行训练的过程中，对一个描述子网络使用负对数似然损失监督训练，对另一个描述子网络使用三元组损失监督训练，并通过添加正交损失使得两个描述子特征解耦。
8、进一步地，所述负对数似然损失的表达式为：
9、
10、其中，表示负对数似然损失， n表示特征点的数量，表示待匹配的两幅图像的描述子相似度矩阵，，其中、分别为根据待匹配的两幅图像的对应特征点信息从第一描述子网络生成的稠密特征映射中采样得到的描述子集合，分别表示从待匹配的两幅图像中提取出的相互匹配的对应特征点序号，当时表示待匹配的两幅图像的描述子相似度矩阵 s中的主对角线元素，描述子相似度矩阵 s的主对角线元素即为对应特征点之间的相似性度量。
11、进一步地，
12、
13、
14、
15、
16、其中，表示三元组损失， n表示特征点的数量，表示待匹配的两幅图像对应描述子之间的欧氏距离，表示最难负样本距离，，分别为根据从待匹配的两幅图像的对应特征点信息从第二描述子描述生成的稠密特征映射中采样得到的描述子集合，是裕度参数， n表示特征点的数量，分别表示从待匹配的两幅图像提取出的相互匹配的对应特征点序号， k表示除去=对应点外相似性最大的点的序号。
17、进一步地，所述正交损失的表达式为：
18、
19、其中，表示正交损失，表示计算两个描述子之间的点积之后的绝对值， n表示特征点的数量，、分别为根据待匹配的两幅图像的对应特征点信息从第一描述子网络生成的稠密特征映射中采样得到的描述子集合，，分别为根据从待匹配的两幅图像的对应特征点信息从第二描述子描述生成的稠密特征映射中采样得到的描述子集合，分别表示从待匹配的两幅图像中提取出的相互匹配的对应特征点序号。
20、进一步地，按照下式将两个描述子网络分支的相似性矩阵进行组合生成最后的相似性矩阵：
21、
22、
23、
24、其中，表示权重，、分别表示待匹配的图像对的特征点，分别表示从待匹配的两幅图像中提取出的对应特征点序号，，分别表示使用对应特征点对两个描述子网络输出的稠密描述子特征进行采样得到的描述子集合，、分别表示使用两个描述子网络分支计算的相似性矩阵。
25、进一步地，还包括使用指定模型作为教师网络对检测器网络进行蒸馏学习，通过学习教师模型的得分图分布情况学习检测重复的特征点，损失函数定义为：
26、
27、其中，表示二元交叉熵损失，为教师模型输出得分图，为学生模型的输出得分图。
28、一种基于互补描述子的图像匹配装置，包括：
29、模型构建模块，用于构建图像匹配模型，所述图像匹配模型包括用于生成特征描述子的孪生正交描述子网络以及用于提取特征点的检测器网络，所述孪生正交描述子网络包括两条相同的描述子网络分支，每个所述描述子网络分支由编码器和解码器构成，每个所述描述子网络分支中所述编码器包括多层残差网络模块，所述解码器包括两个以上的上采样网络；
30、模型训练模块，用于使用训练数据集对所述构建图像匹配模型进行训练，并在训练过程中分别使用不同的损失函数监督训练两个所述描述子网络分支，以及使用正交损失函数训练两个描述子网络分支以使得两个正交描述子网络的输出描述子特征解耦，通过将两个描述子网络分支的相似性矩阵进行组合生成最后的相似性矩阵，最后，使用最近邻算法得到匹配关系；
31、匹配检测模块，用于输入至训练好的所述图像匹配模型中，得到待匹配的图像对之间的匹配关系结果。
32、一种计算机装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计本文档来自技高网...
【技术保护点】
1.一种基于互补描述子的图像匹配方法，其特征在于，步骤包括：
2.根据权利要求1所述的基于互补描述子的图像匹配方法，其特征在于，对所述孪生正交描述子网络进行训练的过程中，对一个描述子网络使用负对数似然损失监督训练，对另一个描述子网络使用三元组损失监督训练，并通过添加正交损失使得两个描述子特征解耦。
3.根据权利要求2所述的基于互补描述子的图像匹配方法，其特征在于，所述负对数似然损失的表达式为：
4.根据权利要求2所述的基于互补描述子的图像匹配方法，其特征在于，所述三元组损失的表达式为：
5.根据权利要求1所述的基于互补描述子的图像匹配方法，其特征在于，所述正交损失的表达式为：
6.根据权利要求1~5中任意一项所述的基于互补描述子的图像匹配方法，其特征在于，按照下式将两个描述子网络分支的相似性矩阵进行组合生成最后的相似性矩阵：
7.根据权利要求1~5中任意一项所述的基于互补描述子的图像匹配方法，其特征在于，还包括使用指定模型作为教师网络对所述检测器网络进行蒸馏学习，通过学习教师模型的得分图分布情况学习检测重复的
8.一种基于互补描述子的图像匹配装置，其特征在于，包括：
9.一种计算机装置，包括处理器以及存储器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如权利要求1～7中任意一项所述方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7中任意一项所述的方法。
...【技术特征摘要】
1.一种基于互补描述子的图像匹配方法，其特征在于，步骤包括：
2.根据权利要求1所述的基于互补描述子的图像匹配方法，其特征在于，对所述孪生正交描述子网络进行训练的过程中，对一个描述子网络使用负对数似然损失监督训练，对另一个描述子网络使用三元组损失监督训练，并通过添加正交损失使得两个描述子特征解耦。
3.根据权利要求2所述的基于互补描述子的图像匹配方法，其特征在于，所述负对数似然损失的表达式为：
4.根据权利要求2所述的基于互补描述子的图像匹配方法，其特征在于，所述三元组损失的表达式为：
5.根据权利要求1所述的基于互补描述子的图像匹配方法，其特征在于，所述正交损失的表达式为：
6.根据权利要求1~5中任意一项所述的基于互补描述子的图像...
【专利技术属性】
技术研发人员：俞先国，丛一睿，喻煌超，王祥科，李杰，刘志宏，贺光，余杨广，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。