一种图像配准方法、图像配准装置和计算机可读存储介质制造方法及图纸

本申请公开了一种图像配准方法、图像配准装置和计算机可读存储介质，该方法包括：采用预先训练完的特征提取网络分别对基准图像与待配准图像进行提取处理，得到第一特征图集与第二特征图集；基于第一配准特征图与第二配准特征图，对待配准图像与基准图像进行配准处理，得到映射图像，第一配准特征图为第一特征图集中的一个第一特征图，第二配准特征图为第二特征图集中的一个第二特征图；采用特征提取网络对映射图像进行提取处理，得到第三特征图集；基于第一特征图集与第三特征图集，对基准图像与映射图像进行配准处理，得到匹配结果。通过上述方式，本申请能够提升配准的准确度，且无需训练网络。且无需训练网络。且无需训练网络。

【技术实现步骤摘要】
一种图像配准方法、图像配准装置和计算机可读存储介质


[0001]本申请涉及深度学习
，具体涉及一种图像配准方法、图像配准装置和计算机可读存储介质。

技术介绍

[0002]影像配准指对同一场景下具有不同视角或不同时相的图像进行匹配的技术，配准精度直接影响后续图像融合、图像拼接、变化检测或三维重建等应用的效果。由于场景差异、亮度变化、视角变换或重叠度低等因素的影响，不同时间的影像在进行配准时存在计算量过大以及错误匹配过高等问题。

技术实现思路

[0003]本申请提供一种图像配准方法、图像配准装置和计算机可读存储介质，能够提升配准的准确度，且无需训练网络。
[0004]为解决上述技术问题，本申请采用的技术方案是：提供一种图像配准方法，该方法包括：采用预先训练完的特征提取网络分别对基准图像与待配准图像进行提取处理，得到第一特征图集与第二特征图集；基于第一配准特征图与第二配准特征图，对待配准图像与基准图像进行配准处理，得到映射图像，第一配准特征图为第一特征图集中的一个第一特征图，第二配准特征图为第二特征图集中的一个第二特征图；采用特征提取网络对映射图像进行提取处理，得到第三特征图集；基于第一特征图集与第三特征图集，对基准图像与映射图像进行配准处理，得到匹配结果。
[0005]为解决上述技术问题，本申请采用的另一技术方案是：提供一种图像配准装置，该图像配准装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像配准方法。/>[0006]为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像配准方法。
[0007]通过上述方案，本申请的有益效果是：将基准图像与待配准图像分别输入预先训练完的特征提取网络，得到第一特征图集以及第二特征图集；然后利用第一特征图集中的第一配准特征图与第二特征图集中的第二配准特征图，对待配准图像与基准图像进行配准处理，得到映射图像；然后将映射图像输入特征提取网络，得到第三特征图集；再利用第一特征图集与第三特征图集，对基准图像与映射图像进行配准处理，得到匹配结果；由于采用了现有的特征提取网络，因此无需要额外的训练过程，实现简单，计算量小；而且，通过基于特征金字塔的配准方法来实现两张图像的配准，充分利用了不同层的特征图的特点，有助于提升匹配的准确度。
附图说明
[0008]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0009]图1是本申请提供的图像配准方法一实施例的流程示意图；
[0010]图2是本申请提供的多尺度的特征金字塔图的结构示意图；
[0011]图3是本申请提供的RepBlock的结构示意图；
[0012]图4是本申请提供的图像配准方法另一实施例的流程示意图；
[0013]图5是图4所示的实施例中S48的流程示意图；
[0014]图6是本申请提供的匹配结果的示意图；
[0015]图7是本申请提供的图像配准装置一实施例的结构示意图；
[0016]图8是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
[0017]下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0018]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0019]需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0020]在影像配准技术中，图像配准流程大多由特征检测、特征描述、特征匹配和几何变换四个模块串联组成，在这个流程中，前置模块的输出是后置模块的输入，每一个模块在不同的场景中会产生不同的误差，从而造成误差的积累，影响最终的配准精度。传统的特征点检测和描述算法，如：哈里斯(Harris)或尺度不变特征变换(Scale
‑
invariant feature transform，SIFT)等，往往更关注底层像素级的信息，而忽略图像本身的高级语义信息，对几何变换和光照的鲁棒性低，在复杂的场景下导致大量的错误匹配；而深度学习的算法在获取高级语义特征上相较传统算法有巨大优势，但其需要海量的数据来训练特征检测和特征描述网络，因此如何获取大量数据来训练配准模型成了主要困难。
[0021]基于上述问题，本申请要解决的问题是如何高效且准确地对两张不同视角或不同时相的图像进行配准，本申请提供的方案采用现有的、已训练好的特征提取网络进行特征提取，避免额外的数据获取及模型训练过程，且相比传统配准方法的准确率更高，下面对本申请所采用的方案进行详细阐述。
[0022]请参阅图1，图1是本申请提供的图像配准方法一实施例的流程示意图，该方法包括：
[0023]S11：采用预先训练完的特征提取网络分别对基准图像与待配准图像进行提取处理，得到第一特征图集与第二特征图集。
[0024]先获取特征提取网络，该特征提取网络为预先训练完的、用于实现特征提取功能的网络，可从模型库中获取特征提取网络；然后将基准图像输入特征提取网络，生成第一特征图集，该第一特征图集包括多层第一特征图；而且，将待配准图像(即浮动图像)输入特征提取网络，生成第二特征图集，该第二特征图集可以为一个第二特征图，或者第二特征图集包括至少两层第二特征图。具体地，第一特征图与第二特征图的层数可根据应用需要进行设置，比如：3层、4层或5层；基准图像与待配准图像可以为遥感图像，本实施例所采用的特征提取网络为常见的特征提取网络，用于对输入图像逐层计算特征，比如：视觉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像配准方法，其特征在于，包括：采用预先训练完的特征提取网络分别对基准图像与待配准图像进行提取处理，得到第一特征图集与第二特征图集；基于第一配准特征图与第二配准特征图，对所述待配准图像与所述基准图像进行配准处理，得到映射图像，所述第一配准特征图为所述第一特征图集中的一个第一特征图，所述第二配准特征图为所述第二特征图集中的一个第二特征图；采用所述特征提取网络对所述映射图像进行提取处理，得到第三特征图集；基于所述第一特征图集与所述第三特征图集，对所述基准图像与所述映射图像进行配准处理，得到匹配结果。2.根据权利要求1所述的图像配准方法，其特征在于，所述第一特征图集包括多层第一特征图，所述第二特征图集包括多层第二特征图，所述第三特征图集包括多层第三特征图，所述基于第一配准特征图与第二配准特征图，对所述待配准图像与所述基准图像进行配准处理，得到映射图像的步骤之前，包括：将所述多层第一特征图中分辨率最低的第一特征图确定为所述第一配准特征图；将所述多层第二特征图中分辨率最低的第二特征图确定为所述第二配准特征图。3.根据权利要求1所述的图像配准方法，其特征在于，所述基于第一配准特征图与第二配准特征图，对所述待配准图像与所述基准图像进行配准处理，得到映射图像的步骤，包括：对所述第一配准特征图与所述第二配准特征图进行搜索处理，得到第一匹配点对，所述第一匹配点对包括所述第一配准特征图中的特征点以及所述第二配准特征图中的相应特征点；基于所述第一匹配点对，计算出所述待配准图像与所述基准图像之间的单应性矩阵；基于所述单应性矩阵，对所述待配准图像进行变换处理，得到所述映射图像。4.根据权利要求2所述的图像配准方法，其特征在于，所述基于所述第一特征图集与所述第三特征图集，对所述基准图像与所述映射图像进行配准处理，得到匹配结果的步骤，包括：将所述多层第三特征图中分辨率最低的第三特征图确定为第三配准特征图；基于所述第一配准特征图与所述第三配准特征图，对所述待配准图像与所述映射图像进行配准处理，得到匹配点对集合；对所述匹配点对集合进行细化处理，得到所述匹配结果。5.根据权利要求4所述的图像配准方法，其特征在于，所述匹配点对集合包括多个第二匹配点对，所述对所述匹配点对集合进行细化处理，得到所述匹配结果...

【专利技术属性】
技术研发人员：汪婷，任宇鹏，李乾坤，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：