【技术实现步骤摘要】
本专利技术属于医学图像配准领域，更具体地，涉及多模态三维医学图像分割配准模型的构建方法及其应用。
技术介绍
1、近年来软组织癌症的发病率快速升高，恶性肿瘤在死因中的占比也逐年增加，癌症已经成为威胁人类生命健康的重要因素，对于癌症最好的应对策略是早诊早治。以前列腺癌为例，穿刺活检是确诊前列腺癌的金标准，准确的前列腺穿刺导航系统可以有效提高穿刺的阳性率并减少其造成的创伤。由于经直肠超声方便、无辐射且实时性好常用于前列腺穿刺的导航，但是其对于肿瘤的分辨能力差，易导致靶点定位不准。核磁成像对软组织有良好的分辨率且可以区分前列腺不同的病灶类型，因此人们非常关注如何将三维核磁图像中的丰富信息同步显示在超声图像中。其中的关键技术是三维核磁超声图像的实时准确配准。
2、目前，许多学者提出了利用深度学习实现图像配准，主流方法是通过深度学习配准模型直接预测像素级形变场实现端到端的配准，避免迭代从而加快配准速度。主流的深度学习配准模型主要基于卷积神经网络(cnn)构建，也有研究者将cnn与transformer结合来提升其性能。这些模型大多都是采用编码和解码框架并仅在模型的最后输出形变参数或者形变场，设计中没有充分结合配准任务的特点(需要分辨率从低到高，从小图配准到大图配准的思想)，其配准性能有限。
3、现有深度学习配准方法的另一个问题在于难以获取真实的形变场用于训练，早期的监督配准方法通过标记特定解剖结构的标志点或随机生成已知形变场来训练深度学习模型，其标签获取成本高且难以在实际任务中有效应用，因此无监督方法被提出用于医学图
4、为了解决如核磁和超声图像这种相似度较低的模态图像之间的图像配准问题，有学者提出先通过图像分割提取目标区域，然后再进行配准。这种方法可以根据目标区域轮廓构建相似性损失并排除背景区域的干扰，但其中分割模型的误差会影响后续配准性能，如带有分割误差的训练数据易导致配准模型的错误收敛和过拟合。
技术实现思路
1、针对现有技术的缺陷和改进需求，本专利技术提供了一种多模态三维医学图像分割配准模型的构建方法及其应用，其目的在于提高相似度较低的多模态三维医学图像之间的图像配准精度。
2、为实现上述目的，按照本专利技术的一个方面，提供了一种多模态三维医学图像分割配准模型的构建方法，包括：
3、采集同种类多个目标的两种模态三维医学图像，其中一种模态的图像作为参考图像，另一种模态的图像作为浮动图像；每个目标所对应的两种模态三维医学图像构成一对图像，作为一个训练样本，得到训练样本集；
4、采用训练样本集，基于分割损失和配准损失的加和，同时训练优化参考图像分割网络、浮动图像分割网络和配准网络的参数，得到由参考图像分割模型、浮动图像分割模型和配准模型所构成的分割配准模型；
5、其中，所述参考图像分割模型和所述浮动图像分割模型分别对应用于对参考图像和浮动图像中的目标区域进行多尺度分割，得到最大尺度大小同原图像尺寸的多尺度参考图像分割结果和多尺度浮动图像分割结果；所述配准模型用于基于每个训练样本下的参考图像、浮动图像、最大尺度参考图像分割结果和最大尺度浮动图像分割结果，得到多尺度形变场，用以实现参考图像和浮动图像的对齐配准；所述分割损失和所述配准损失均为各尺度下分割和配准损失的加和，且所述分割损失包括一阶梯度损失和/或水平集能量函数损失，用于快速约束分割区域为均匀的单连通域。
6、进一步，所述参考图像分割模型、所述浮动图像分割模型和所述配准模型的网络架构相同，均为多尺度自注意力网络。
7、进一步，在训练过程中，所述参考图像分割模型和所述浮动图像分割模型的分割损失均为：
8、
9、
10、
11、
12、
13、式中，和分别表示dice损失、交叉熵损失、一阶梯度损失和水平集能量函数损失，t表示参考图像或浮动图像的多尺度分割标签；s表示多尺度参考图像分割结果或多尺度浮动图像分割结果；i表示参考图像或浮动图像；i表示不同的分辨率；mi表示分辨率为i的图像的像素总数；j表示不同的像素；ω代表图像域。
14、进一步，在训练过程中，所述配准模型的配准损失为：
15、
16、
17、
18、
19、式中，分别表示dice损失、均方误差损失和正则化损失；tm,tf表示浮动图像和参考图像的分割标签；φ表示形变场；λ、β分别为系数；表示根据分辨率为i的形变场φi通过线性插值来变换分辨率为i的浮动图像标签σ(·)表示值域为[0,+∞)的激活函数。
20、进一步，λ取值为10，β取值为0.1。
21、进一步，所述多尺度自注意力网络包括：编码模块，以及级联的n组解码模块、编解码分支特征融合模块和自注意力模块；n为所述多尺度对应的尺度总数目；
22、其中，所述编码模块用于对接收的三维图像进行不同尺度的编码，获得一个与所输入的三维图像分辨率相同的特征图fe1以及n个分辨率均低于所述特征图fe1的不同分辨率的特征图；
23、所述级联的n组解码模块、编解码分支特征融合模块和自注意力模块用于按照编码特征图分辨率从低到高的顺序，首先采用第一组中的解码模块对所述编码所得到的最低分辨率的特征图进行特征提取并上采样至所述编码中所对应的与当前特征提取结果分辨率相邻的上一级分辨率、编解码分支特征融合模块对同组中解码模块所输出的特征图和与其分辨率相同的所述编码所得到的特征图进行融合得到解码特征图、自注意力模块基于该解码特征图以及对所述拼接后的图像重采样所得到的分辨率与该解码特征图分辨率相同的图像进行自注意力原理的计算，得到对应分辨率的自注意力特征图以及对应分辨率的形变场或分割结果；将该自注意力特征图作为第二组解码模块、编解码分支特征融合模块和自注意力模块中解码模块的输入，重复上述过程，直至第n组解码模块、编解码分支特征融合模块和自注意力模块中自注意力模块输出原始图像分辨率的形变场或分割结果。
24、进一步，所述编码模块包括卷积层，以及并联的n组残差卷积模块和卷积下采样模块；其中，所述卷积层用于对接收的三维图像进行特征图提取，得到特征图fe1；所述级联的n组残差卷积模块和卷积下采样模块分别用于对上一级输出的特征图进行特征提取和重采样，得到n个分辨率均低于所述特征图fe1的不同分辨率的特征图；
25、所述解码模块包括残差卷积模块和卷积上采样模块；其中，所述残差卷积模块用于对接收的三维图像进行特征提取；所述卷积上采样本文档来自技高网...
【技术保护点】
1.一种多模态三维医学图像分割配准模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的构建方法，其特征在于，所述参考图像分割模型、所述浮动图像分割模型和所述配准模型的网络架构相同，均为多尺度自注意力网络。
3.根据权利要求1所述的构建方法，其特征在于，在训练过程中，所述参考图像分割模型和所述浮动图像分割模型的分割损失均为：
4.根据权利要求1所述的构建方法，其特征在于，在训练过程中，所述配准模型的配准损失为：
5.根据权利要求4所述的构建方法，其特征在于，λ取值为10，β取值为0.1。
6.根据权利要求2所述的构建方法，其特征在于，所述多尺度自注意力网络包括：编码模块，以及级联的n组解码模块、编解码分支特征融合模块和自注意力模块；n为所述多尺度对应的尺度总数目；
7.根据权利要求6所述的构建方法，其特征在于，所述编码模块包括卷积层，以及级联的n组残差卷积模块和卷积下采样模块；其中，所述卷积层用于对接收的三维图像进行特征图提取，得到特征图fe1；所述级联的n组残差卷积模块和卷积下采样模块分别用于对上一级
8.根据权利要求6所述的构建方法，其特征在于，所述自注意力模块执行自注意力原理的计算的方式为：
9.一种多模态三维医学图像分割配准方法，其特征在于，采用如权利要求1至8任一项所述的构建方法构建得到的分割配准模型执行如下步骤：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至8任一项所述的一种多模态三维医学图像分割配准模型的构建方法和/或如权利要求9所述的一种多模态三维医学图像分割配准方法。
...【技术特征摘要】
1.一种多模态三维医学图像分割配准模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的构建方法，其特征在于，所述参考图像分割模型、所述浮动图像分割模型和所述配准模型的网络架构相同，均为多尺度自注意力网络。
3.根据权利要求1所述的构建方法，其特征在于，在训练过程中，所述参考图像分割模型和所述浮动图像分割模型的分割损失均为：
4.根据权利要求1所述的构建方法，其特征在于，在训练过程中，所述配准模型的配准损失为：
5.根据权利要求4所述的构建方法，其特征在于，λ取值为10，β取值为0.1。
6.根据权利要求2所述的构建方法，其特征在于，所述多尺度自注意力网络包括：编码模块，以及级联的n组解码模块、编解码分支特征融合模块和自注意力模块；n为所述多尺度对应的尺度总数目；
7.根据权利要求6所述的构建方法，其特征在于，所述编码模块包括卷...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。