基于多标准融合的多模态医学图像配准方法及系统技术方案

本发明专利技术提供了一种基于多标准融合的多模态医学图像配准方法及系统，获取多模态图像；基于所述多模态图像，通过图像解纠缠策略提取出图像的结构特征，根据此结构特征在编码域估计形变场；基于所述多模态图像，直接进行配准得到形变场；将上述估计形变场和形变场进行拼接，结合源图像的特征对形变场进行二次推理，得到最佳配准结果。本发明专利技术能够结合多模态图像与图像解纠缠结构编码两种方法的优势，减少单一方法配准过程中产生的失配和误差，提升配准的效果。的效果。的效果。

【技术实现步骤摘要】
基于多标准融合的多模态医学图像配准方法及系统


[0001]本专利技术属于图像配准
，具体涉及一种基于多标准融合的多模态医学图像配准方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]医学图像配准是影像辅助手术治疗以及辅助诊断等相关领域的关键技术，对于手术精度和诊断结果的准确性有着至关重要的影响。现今医学图像配准仍是一个极具挑战性的任务，尤其是多模态医学图像配准，由于不同模态的图像间复杂的、未知的对应关系，使其更加复杂。
[0004]主流的基于深度学习的医学图像配准算法多采用弱监督或无监督算法完成，以VoxelMorph为代表的配准方法通过CNN输入一对图像体素，输出一个密集映射形变场，通过STN将预测的形变场作用于浮动图像上，得到配准图像。受限于小数据量和小标签或无标签的现状，固定图像和浮动图像之间的图像相似度将被用来驱动深度学习网络的优化。对于多模态医学图像配准任务而言，由于固定图像和浮动图像之间的分布有较大的差异，像素之间的对应关系不明显，往往需要更复杂的相似性度量方法。这意味着:单模态配准任务中准确且高效的基于强度的相似性度量方法将在此处失效。寻找一种评估多模态图像对之间关系的方法显得尤为重要，这将是驱动多模态配准网络优化的关键路径。
[0005]其中一种可行的多模态配准方案是跨模态相似性度量方法，主要包括基于信息论的方法和结构特征表示的方法两类。基于信息论的方法主要有MI，CMI等测度，通过图像之间信息的相互包含程度来描述其相关性；结构特征表示的方法主要有SSIM和MIND等，此类方法可以提取图像底层的结构信息，由于结构信息多是独立于图像模态的，故此类方法也可以作为衡量多模态图像相似度，即可作为一种多模态配准方法。但是，信息论方法多着眼于图像之间的全局关系，而对空间信息的度量能力较差。结构特征方法在不同模态上可能有着不同的度量表现，导致其很难推广到任意模态。上述因素均会对网络最终的配准精度产生不良影响。

技术实现思路

[0006]本专利技术为了解决上述问题，提出了一种基于多标准融合的多模态医学图像配准方法及系统，本专利技术能够结合结构特征相似性度量与图像解纠缠结构编码两种方法的优势，减少单一方法配准过程中产生的失配和误差，提升配准的效果。
[0007]根据一些实施例，本专利技术采用如下技术方案：
[0008]一种基于多标准融合的多模态医学图像配准方法，包括以下步骤：
[0009]获取多模态图像；
[0010]基于所述多模态图像，通过图像解纠缠策略提取出图像的结构特征，根据此结构
特征在编码域估计形变场；
[0011]基于所述多模态图像，使用结构特征相似性度量，直接进行配准得到形变场；
[0012]将上述两种标准下推理得到的形变场进行拼接，结合源图像的特征对形变场进行二次推理，得到最佳配准结果。
[0013]作为可选择的实施方式，通过图像解纠缠策略提取出图像的结构特征，根据此结构特征在编码域估计形变场的具体过程包括：基于所述多模态图像通过不同的特征解纠缠编码器提取相应的结构特征编码，以所述相应的结构特征编码为输入，利用一配准网络输出基于编码域信息推理得到的形变场以及变形图像。
[0014]作为进一步的限定，使用所述变形图像和多模态图像中的固定图像的结构特征编码之间的均方误差作为固定图像和配准图像的相似性度量，并加入速度场梯度的L2范数被用来作为平滑正则项。
[0015]作为可选择的实施方式，基于所述多模态图像，使用结构特征相似性度量，直接进行配准得到形变场的具体过程包括利用UNet，以多模态图像作为输入，推理形变场以及变形图像。
[0016]作为进一步的限定，以MIND作为多模态图像之间的相似性度量，并加入速度场梯度的L2范数被用来作为平滑正则项。
[0017]作为可选择的实施方式，结合源图像的特征对形变场进行二次推理的具体过程包括利用一融合网络对形变场进行二次推理，且所示融合网络包括三个卷积，最终形变场经由速度场积分生成。
[0018]作为进一步的限定，所述融合网络以MIND作为多模态图像之间的相似性度量，并加入速度场梯度的L2范数被用来作为平滑正则项。
[0019]一种基于多标准融合的多模态医学图像配准系统，包括：
[0020]图像获取模块，被配置为获取多模态图像；
[0021]编码域子网络模块，被配置为基于所述多模态图像，通过图像解纠缠策略提取出图像的结构特征，根据此结构特征在编码域估计形变场；
[0022]图像域子网络模块，被配置为基于所述多模态图像，使用结构特征相似性度量，直接进行配准得到形变场；
[0023]融合网络模块，被配置为将上述估计形变场和形变场进行拼接，结合源图像的特征对形变场进行二次推理，得到最佳配准结果。
[0024]一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。
[0025]一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。
[0026]与现有技术相比，本专利技术的有益效果为：
[0027]本专利技术包括两个配准子网络和一个融合网络，编码域子网络SN
c
工作在由图像解纠缠得到的特征编码域，图像域子网络SN
i
借由跨模态相似性度量直接工作在多模态图像域；两个子网络首先独立地根据输入的特征编码和图像信息推理使形变后图像相似度最高的形变场。在两个子网络提供的先验信息辅助下，融合网络结合源图像的特征对形变场进行二次推理，结合两个域中子方法的优势，以得到最佳配准结果。
[0028]本专利技术结合多模态图像与图像解纠缠结构编码两种方法的优势，减少单一方法配准过程中产生的失配和误差；同时，将源图像和子形变场作为融合网络的输入推理融合形变场，这将有助于关注到更多的细节。
[0029]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0030]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0031]图1为本实施例的整体原理示意图；
[0032]图2为本实施例的MUNIT示意图；
[0033]图3为本实施例的编码域子网络SN
c
的结构示意图；
[0034]图4为本实施例的图像域子网络SN
i
的结构示意图；
[0035]图5为本实施例中融合网络示意图；
[0036]图6为本实施例的提供的方法和单一域方法的结果对比图。
具体实施方式
[0037]下面结合附图与实施例对本专利技术作进一步说明。
[0038]应该指出，以下详细说明都是例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多标准融合的多模态医学图像配准方法，其特征是，包括以下步骤：获取多模态图像；基于所述多模态图像，通过图像解纠缠策略提取出图像的结构特征，根据此结构特征在编码域估计形变场；基于所述多模态图像，使用结构特征相似性度量，直接进行配准得到形变场；将上述两种标准下推理得到的形变场进行拼接，结合源图像的特征对形变场进行二次推理，得到最佳配准结果。2.如权利要求1所述的一种基于多标准融合的多模态医学图像配准方法，其特征是，通过图像解纠缠策略提取出图像的结构特征，根据此结构特征在编码域估计形变场的具体过程包括：基于所述多模态图像通过不同的特征解纠缠编码器提取相应的结构特征编码，以所述相应的结构特征编码为输入，利用一配准网络输出基于编码域信息推理得到的形变场以及变形图像。3.如权利要求2所述的一种基于多标准融合的多模态医学图像配准方法，其特征是，使用所述变形图像和多模态图像中的固定图像的结构特征编码之间的均方误差作为固定图像和配准图像的相似性度量，并加入速度场梯度的L2范数被用来作为平滑正则项。4.如权利要求1所述的一种基于多标准融合的多模态医学图像配准方法，其特征是，基于所述多模态图像，使用结构特征相似性度量，直接进行配准得到形变场的具体过程包括利用UNet，以多模态图像作为输入，推理形变场以及变形图像。5.如权利要求4所述的一种基于多标准融合的多模态医学图像配准方法，其特征是，以MIND作为多模态图像之间的相似性度量，并加入速度场梯...

【专利技术属性】
技术研发人员：魏莹，纪宇，
申请(专利权)人：山东大学，
类型：发明
国别省市：