图像配准方法、配准网络训练方法、装置、设备及介质制造方法及图纸

本申请公开了一种图像配准方法、配准网络训练方法、装置、设备及介质，属于人工智能技术领域。本申请实施例通过图像配准网络对图像进行配准后，提供了一种继续对初始配准结果进行优化的方式，这样在初始配准结果不够准确时，能够通过优化过程，使得优化后的配准结果更加准确，从而克服了该图像配准网络在新数据集上泛化能力不足的问题。该优化过程中通过不断调整变换参数，使得参考图像和第二图像之间的相似度更高，从而能够得到更加准确的配准结果。从而能够得到更加准确的配准结果。从而能够得到更加准确的配准结果。

【技术实现步骤摘要】
图像配准方法、配准网络训练方法、装置、设备及介质


[0001]本申请涉及人工智能
，特别涉及一种图像配准方法、配准网络训练方法、装置、设备及介质。

技术介绍

[0002]图像配准是指将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。
[0003]目前，图像配准方法通常是提前训练好图像配准网络，将待配准图像和参考图像输入图像配准网络中，由图像配准网络对其进行图像配准，输出配准结果。
[0004]上述方法中，图像配准网络通常基于某个图像集训练得到，该图像配准网络在新数据集上的泛化能力不好。在使用时输入其中的待配准图像和参考图像并不在训练时的图像集中，因而得到的配准结果可能不够准确。

技术实现思路

[0005]本申请实施例提供了一种图像配准方法、配准网络训练方法、装置、设备及介质，提高了图像配准的准确性。所述技术方案如下：
[0006]一方面，提供了一种图像配准方法，所述方法包括：
[0007]基于图像配准网络，对参考图像和第一图像进行图像配准，得到初始配准结果；
[0008]响应于所述初始配准结果满足条件，对所述初始配准结果对应的初始变换参数进行更新；
[0009]基于更新后的变换参数对所述第一图像进行变换处理，得到第二图像；
[0010]响应于所述参考图像和所述第二图像之间的相似度满足条件，对所述变换参数进行更新，继续基于更新后的变换参数进行变换处理和更新变换参数，直至满足目标条件时停止，得到目标配准结果。
[0011]一方面，提供了一种图像配准网络训练方法，所述方法包括：
[0012]获取样本图像对，所述样本图像对包括样本参考图像和样本第一图像，所述样本图像对携带有图像类型信息；
[0013]根据所述样本图像对携带的图像类型信息，基于图像配准网络中所述图像类型信息对应的分支对所述样本图像对进行图像配准，得到变换参数；
[0014]基于所述变换参数，对所述图像配准网络的网络参数进行训练。
[0015]一方面，提供了一种图像配准装置，所述装置包括：
[0016]配准模块，用于基于图像配准网络，对参考图像和第一图像进行图像配准，得到初始配准结果；
[0017]更新模块，用于响应于所述初始配准结果满足条件，对所述初始配准结果对应的初始变换参数进行更新；
[0018]变换模块，用于基于更新后的变换参数对所述第一图像进行变换处理，得到第二
图像；
[0019]所述更新模块和所述变换模块，还用于响应于所述参考图像和所述第二图像之间的相似度满足条件，对所述变换参数进行更新，继续基于更新后的变换参数进行变换处理和更新变换参数，直至满足目标条件时停止，得到目标配准结果。
[0020]在一些实施例中，所述更新模块用于执行下述任一项：
[0021]响应于接收到对所述初始配准结果的优化指令，执行所述对所述初始配准结果对应的初始变换参数进行更新的步骤；
[0022]响应于所述初始配准结果中所述第一图像配准后的初始第二图像与所述参考图像之间的相似度小于第一相似度阈值，执行所述对所述初始配准结果对应的初始变换参数进行更新的步骤。
[0023]在一些实施例中，所述图像配准网络包括第一分支和第二分支，所述第一分支用于刚体配准，所述第二分支用于非刚体配准；
[0024]所述配准模块用于：
[0025]响应于刚体配准指令，基于所述图像配准网络的第一分支，对所述参考图像和第一图像进行图像配准，得到初始配准结果，所述初始配准结果对应的初始变换参数为初始仿射矩阵；
[0026]响应于非刚体配准指令，基于所述图像配准网络的第二分支，对所述参考图像和第一图像进行图像配准，得到初始配准结果，所述初始配准结果对应的初始变换参数为初始向量场。
[0027]在一些实施例中，所述更新模块用于执行下述任一项：
[0028]响应于所述初始配准结果满足条件，对所述初始配准结果对应的初始仿射矩阵进行更新；
[0029]响应于所述初始配准结果满足条件，对所述初始配准结果对应的初始向量场进行更新；
[0030]所述变换模块用于执行下述任一项：
[0031]基于更新后的仿射矩阵对所述第一图像进行仿射变换，得到第二图像；
[0032]基于更新后的向量场对所述第一图像进行应变变换，得到第二图像。
[0033]在一些实施例中，所述更新模块用于响应于所述参考图像与所述第二图像之间的相似度小于第二相似度阈值，对所述变换参数进行更新。
[0034]在一些实施例中，所述参考图像和所述第二图像之间的相似度的获取过程包括：
[0035]根据所述参考图像和所述第二图像的模态信息，采用所述模态信息对应的相似度获取方式，获取所述参考图像和所述第二图像之间的相似度。
[0036]在一些实施例中，所述根据所述参考图像和所述第二图像的模态信息，采用所述模态信息对应的相似度获取方式，获取所述参考图像和所述第二图像之间的相似度，包括：
[0037]响应于所述参考图像的模态信息和所述第二图像的模态信息相同，获取所述参考图像的子图集合与所述第二图像之间的归一化互相关系数，所述归一化互相关系数为所述参考图像和所述第二图像之间的相似度；
[0038]响应于所述参考图像的模态信息和所述第二图像的模态信息不同，获取所述参考图像的子图集合与所述第二图像之间的归一化互信息，基于所述归一化互信息，获取所述
参考图像和所述第二图像之间的相似度。
[0039]在一些实施例中，所述基于所述归一化互信息，获取所述参考图像和所述第二图像之间的相似度，包括：
[0040]响应于所述变换参数为向量场，对所述第一图像的变换处理为应变变换，基于所述向量场，获取平滑约束值；
[0041]基于所述平滑约束值与所述归一化互信息，获取所述参考图像和所述第二图像之间的相似度。
[0042]一方面，提供了一种图像配准装置，所述装置包括：
[0043]获取模块，用于获取样本图像对，所述样本图像对包括样本参考图像和样本第一图像，所述样本图像对携带有图像类型信息；
[0044]配准模块，用于根据所述样本图像对携带的图像类型信息，基于图像配准网络中所述图像类型信息对应的分支对所述样本图像对进行图像配准，得到变换参数；
[0045]训练模块，用于基于所述变换参数，对所述图像配准网络的网络参数进行训练。
[0046]在一些实施例中，所述训练模块用于执行下述任一项：
[0047]基于所述变换参数对所述样本第一图像进行处理，得到目标第二图像，基于所述样本参考图像和所述目标第二图像之间的相似度，对所述图像配准网络的网络参数进行训练；
[0048]基于所述变换参数和样本图像对携带的目标变换参数，对所述图像配准网络的网络参数进行训练。
[0049]在一些实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像配准方法，其特征在于，所述方法包括：基于图像配准网络，对参考图像和第一图像进行图像配准，得到初始配准结果；响应于所述初始配准结果满足条件，对所述初始配准结果对应的初始变换参数进行更新；基于更新后的变换参数对所述第一图像进行变换处理，得到第二图像；响应于所述参考图像和所述第二图像之间的相似度满足条件，对所述变换参数进行更新，继续基于更新后的变换参数进行变换处理和更新变换参数，直至满足目标条件时停止，得到目标配准结果。2.根据权利要求1所述的方法，其特征在于，所述响应于所述初始配准结果满足条件，对所述初始配准结果对应的初始变换参数进行更新，包括下述任一项：响应于接收到对所述初始配准结果的优化指令，执行所述对所述初始配准结果对应的初始变换参数进行更新的步骤；响应于所述初始配准结果中所述第一图像配准后的初始第二图像与所述参考图像之间的相似度小于第一相似度阈值，执行所述对所述初始配准结果对应的初始变换参数进行更新的步骤。3.根据权利要求1所述的方法，其特征在于，所述图像配准网络包括第一分支和第二分支，所述第一分支用于刚体配准，所述第二分支用于非刚体配准；所述基于图像配准网络，对参考图像和第一图像进行图像配准，得到初始配准结果，包括：响应于刚体配准指令，基于所述图像配准网络的第一分支，对所述参考图像和第一图像进行图像配准，得到初始配准结果，所述初始配准结果对应的初始变换参数为初始仿射矩阵；响应于非刚体配准指令，基于所述图像配准网络的第二分支，对所述参考图像和第一图像进行图像配准，得到初始配准结果，所述初始配准结果对应的初始变换参数为初始向量场。4.根据权利要求3所述的方法，其特征在于，所述响应于所述初始配准结果满足条件，对所述初始配准结果对应的初始变换参数进行更新，包括下述任一项：响应于所述初始配准结果满足条件，对所述初始配准结果对应的初始仿射矩阵进行更新；响应于所述初始配准结果满足条件，对所述初始配准结果对应的初始向量场进行更新；所述基于更新后的变换参数对所述第一图像进行变换处理，得到第二图像，包括下述任一项：基于更新后的仿射矩阵对所述第一图像进行仿射变换，得到第二图像；基于更新后的向量场对所述第一图像进行应变变换，得到第二图像。5.根据权利要求1所述的方法，其特征在于，所述响应于所述参考图像和所述第二图像之间的相似度满足条件，对所述变换参数进行更新，包括：响应于所述参考图像与所述第二图像之间的相似度小于第二相似度阈值，对所述变换参数进行更新。
6.根据权利要求1所述的方法，其特征在于，所述参考图像和所述第二图像之间的相似度的获取过程包括：根据所述参考图像和所述第一图像的模态信息，采用所述模态信息对应的相似度获取方式，获取所述参考图像和所述第二图像之间的相似度。7.根据权利要求6所述的方法，其特征在于，所述根据所述参考图像和所述第一图像的模态信息，采用所述模态信息对应的相似度获取方式，获取所述参考图像和所述第二图像之间的相似度，包括：响应于所述参考图像的模态信息和所述第一图像的模态信息相同，获取所述参考图像的子图集合与所述第二图像之间的归一化互相关系数，所述归一化互相关系数为所述参考图像和所述第二图像之间的相似度；响应于所述参考图像的模态信息和所述第一图像的模态信息不同，获取所述参考图像的子图集合与所述第二图像之间的归一化互信息，基于所述归一化互信息，获取所述参考图像和所述第二图像之间的相似度。8.根据权利要求7所述的方法，其特征在于，所述基于所述归一化互信息，...

【专利技术属性】
技术研发人员：秦陈陈，姚建华，刘翌勋，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：