一种基于旋转不变性的影像匹配方法组成比例

本发明专利技术涉及一种基于旋转不变性的影像匹配方法，属于影像配准技术领域。本发明专利技术首先提取影像平面内多个方向CNN特征构成方向特征，并将方向特征进行聚合；然后，利用图神经网络SuperGlue进行聚合特征向量搜索，根据各方向匹配点数量得分确定匹配主方向；最后将主方向相邻方向的匹配组合构成最佳匹配，并且输出主方向。为应对较大尺寸图像匹配效率下降明显的问题，本发明专利技术还采用先对原始影像降采样，得到缩略图后再进行主方向搜索来提高匹配的效率。本发明专利技术可以在保持原有CNN局部特征描述符良好鉴别力的前提下，使匹配算法在不对模型进行重新训练的情况下，具备全方向的泛化能力，能适应任意旋转角度差异的异源影像匹配，并且还能保持一定的匹配效率。保持一定的匹配效率。保持一定的匹配效率。

【技术实现步骤摘要】
一种基于旋转不变性的影像匹配方法


[0001]本专利技术涉及一种基于旋转不变性的影像匹配方法，属于影像配准


技术介绍

[0002]影像局部特征具有空间位置属性，在相机标定、图像配准、空中三角测量等领域发挥着关键作用。以尺度不变特征转换(SIFT)算法为代表的传统人工设计特征提取与描述算法针对旋转、尺度等变化具有良好的重复性和区分性，在影像特征匹配领域应用广泛，但SIFT特征主要针对差异较小的同源影像。随着影像获取技术的飞速发展，不同类型传感器相继出现，不同来源的图像也广泛存在。为了对这些异源影像上存在的互补信息进行充分挖掘，往往需要对它们进行配准。因此，异源影像局部特征匹配的需求越来越迫切。相对于同源影像，由于在成像机理、波段、时相等方面存在差异，异源影像之间存在非线性辐射畸变。传统的人工设计的特征提取算法由于只考虑较小邻域影像强度和梯度信息，表达能力有限，难以适应非线性辐射畸变，不能为异源影像提供稳定的可重复特征的表达。
[0003]近年来，随着人工智能深度学习的兴起，基于卷积神经网络(CNN)的学习型局部特征检测和描述算法得到了迅速发展，相继提出了LIFT、SuperPoint、DELF、D2
‑
Net、ContextDesc等。CNN特征的泛化性，有力增强了对存在非线性辐射畸变的异源影像特征表达的可重复性，应用于异源影像匹配效果得到了很大的提升。其中，SuperPoint特征具有泛化性能好、计算速度快等优点被广泛应用。在匹配算法方面，传统的KNN影像特征搜索只考虑特征描述符向量空间的欧式距离，忽略了关键点空间位置信息。SuperGlue匹配算法通过注意力机制将特征描述符、关键点坐标以及视觉上下文信息进行综合考虑，设计了能够同时进行特征匹配以及误匹配剔除的网络，并将同名特征匹配问题转化为求解可微分最优化转移问题(optimal transport problem)，并利用图神经网络(GNN)构建损失函数。SuperGlue效果超越传统的K
‑
近邻(KNN)搜索算法，是影像匹配算法的又一个里程碑。CNN特征影像匹配虽然取得了显著的进步，但由于特征泛化性和可区分性是一对矛盾。在训练过程中，CNN特征为了保证一定的可区分性，泛化性就无法追求过高。目前，CNN特征有限的泛化性主要用于设计与训练网络应对非线性辐射畸变的可重复性表达上，通常忽略了对大角度和尺度差异的适应。因此，目前的CNN局部特征，普遍都无法适应大角度的旋转差异影像特征的可重复性表达，进而影响最终的影像匹配精度；特别是对于异源影像而言。

技术实现思路

[0004]本专利技术的目的是提供一种基于旋转不变性的影像匹配方法，以解决现有匹配过程中由于影像旋转导致的匹配精度低的问题。
[0005]本专利技术为解决上述技术问题而提供一种基于旋转不变性的影像匹配方法，该方法包括以下步骤：
[0006]1)获取待匹配的第一影像和第二影像，对第一影像进行旋转，得到各个方向的第一影像，利用深度学习算法对各个方向的第一影像分别进行特征的提取，得到各个方向的
方向特征；利用深度学习算法对第二影像进行特征提取，得到第二影像的局部特征；
[0007]2)对提取的各个方向的方向特征进行聚合得到聚合特征，聚合特征通过关键点和描述符来描述；
[0008]3)利用图神经网络对聚合特征进行搜索，确定各个方向的第一影像与第二影像的匹配点对的数量，将匹配点对数量最多的方向作为主方向；
[0009]4)根据主方向以及主方向上的匹配点对第一影像和第二影像进行匹配。
[0010]本专利技术在深度学习局部特征基础上，引入方向特征聚合构建方向不变特征表达，利用图神经网络算法进行聚合特征向量搜索，根据各方向计算得到的得分获得最佳匹配方向与最佳匹配点，利用最佳匹配方向与最佳匹配点进行影像间的匹配。本专利技术在不进行网络重新训练的前提下，形成一种旋转不变图神经网络影像局部特征匹配方法，使得特征匹配能够适应任意角度图像旋转，进一步提升局部特征的表达能力。
[0011]进一步地，所述步骤4)在进行匹配时利用主方向以及与主方向相邻两个方向上的匹配点的组合。
[0012]由于匹配图像的旋转差异大多数情况下并非严格在主方向上，主方向与前后方向都可能出现正确的匹配。因此，本专利技术将与主方向相邻方向特征匹配结果进行合并，构成最佳匹配结果，进一步提升影像匹配效果。
[0013]进一步地，所述步骤1)中深度学习算法采用SuperPoint模型，提取出的特征采用关键点和描述符来表征。
[0014]本专利技术基于SuperPoint模型在异源影像匹配上取得的效果，采用SuperPoint模型进行特征提取，以进一步提高影像匹配的精度。
[0015]进一步地，所述步骤1)中进行旋转的方向个数为4
‑
8。
[0016]为了实现全方向覆盖，又不过多增加方向特征，本专利技术对第一影像进行4
‑
8次的旋转。
[0017]进一步地，所述步骤1)中进行旋转的方向个数由SuperPoint模型进行特征提取时的旋转适应性确定。
[0018]考虑到SuperPoint模型特征提取的旋转适应性，本专利技术能够在满足全方位表达的基础上，本专利技术通过选择较小的方向数来保证计算效率。
[0019]进一步地，所述步骤1)中进行旋转的方向个数的确定公式为：
[0020][0021]其中，n为方向个数；int为取整操作，加0.5表示向上取整；k为SuperPoint模型提取特征的角度差异，单位为弧度。
[0022]进一步地，所述步骤1)采用SuperPoint模型对第二影像进行特征提取。
[0023]进一步地，所述步骤3)采用SuperGlue图神经网络模型进行特征匹配，所述SuperGlue图神经网络模型包括注意力图神经网络和最佳匹配层，所述注意力图神经网络用于利用关键点编码器对影像对的关键点位置进行编码，将编码结果与各自的特征向量求和；将求和结果先后经过自注意力机制和交叉注意力机制，分别聚合图像内和图像间的上下文信息，得到匹配描述符；所述最佳匹配层用于以匹配描述符为输入，得到第二影像与第一影像各方向上特征之间的相似性，根据特征之间的相似性确定匹配点对。
[0024]进一步地，该方法还包括在对第一影像进行多方向特征提取时，先对第一影像进行降采样处理，以得到第一影像的缩略图。
[0025]为了避免在大图像上多个方向特征的提取与匹配操作造成的时间消耗，本专利技术先对待匹配的影像进行降采样，减少影像上的像素点，在此基础上，再进行方向旋转、特征提取和主方向搜索，在获得旋转不变的匹配性能上提高算法效率。
附图说明
[0026]图1是本专利技术基于旋转不变性的影像匹配方法的流程示意图；
[0027]图2是本专利技术采用的SuperPoint模型的结构示意图；
[0028]图3是本专利技术采用的SuperGlue模型的结构示意图；
[0029]图4是本发的采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于旋转不变性的影像匹配方法，其特征在于，该方法包括以下步骤：1)获取待匹配的第一影像和第二影像，对第一影像进行旋转，得到各个方向的第一影像，利用深度学习算法对各个方向的第一影像分别进行特征的提取，得到各个方向的方向特征；利用深度学习算法对第二影像进行特征提取，得到第二影像的局部特征；2)对提取的各个方向的方向特征进行聚合得到聚合特征，聚合特征通过关键点和描述符来描述；3)利用图神经网络对聚合特征进行搜索，确定各个方向的第一影像与第二影像的匹配点对的数量，将匹配点对数量最多的方向作为主方向；4)根据主方向以及主方向上的匹配点对第一影像和第二影像进行匹配。2.根据权利要求1所述的基于旋转不变性的影像匹配方法，其特征在于，所述步骤4)在进行匹配时利用主方向以及与主方向相邻两个方向上的匹配点的组合。3.根据权利要求1或2所述的基于旋转不变性的影像匹配方法，其特征在于，所述步骤1)中深度学习算法采用SuperPoint模型，提取出的特征采用关键点和描述符来表征。4.根据权利要求1或2所述的基于旋转不变性的影像匹配方法，其特征在于，所述步骤1)中进行旋转的方向个数为4
‑
8。5.根据权利要求3所述的基于旋转不变性的影像匹配方法，其特征在于，所述步骤1)中进行旋转的方向个数由S...

【专利技术属性】
技术研发人员：蓝朝桢，周杨，施群山，徐青，张衡，邢帅，吕亮，李鹏程，胡校飞，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：