跨模态MRI-CT图像合成方法、系统、设备和介质技术方案

跨模态MRI

【技术实现步骤摘要】
跨模态MRI
‑
CT图像合成方法、系统、设备和介质


[0001]本专利技术涉及医学图像数据处理
，具体涉及基于约束一致性循环生成对抗网络的跨模态MRI
‑
CT图像合成方法、系统、设备和介质，在不使用配对数据集的情况下进行双域之间的跨模态图像合成。

技术介绍

[0002]癌症是目前威胁人类健康的主要疾病之一，随着人口增长的加速及老龄化的加剧，癌症的发病率和死亡率不断增长。癌症患者给家庭和社会经济增加了巨大负担。据国际癌症中心(International Agency for Research on Cancer,IARC)预测，癌症将超越心血管疾病，成为21世纪每个国家的首位死因，同时成为阻碍人们长寿的最主要疾病。癌症的治疗方法主要分为放射治疗(放疗)，化学治疗(化疗)，手术治疗等，临床上常采取多种治疗方法共同实施的综合治疗方法来达到更好的治疗效果。
[0003]放射治疗作为目前恶性肿瘤治疗的有效方式之一，约50％
‑
70％的癌症患者需要进行放射治疗，放疗的根本目的是让肿瘤组织得到充分的照射，最大程度保护正常组织，使正常组织减少射线照射，来提高肿瘤治疗的效果，并降低危机器官的副反应。20世纪80年代，Hounsfield专利技术的CT扫描技术被用于医学领域。随着计算机技术在放疗计划中的应用，放疗照射进入了从二维到三维的时代。计算机断层扫描(CT)图像能提供良好的电子密度信息，而电子密度信息对于放疗治疗规划中的剂量计算和正电子发射断层扫描重建中的衰减校正等应用是必不可少的。随着图像引导放疗(Image guided radiotherapy,IGRT)技术的飞速发展，最近的研究中，人们逐步使用磁共振设备代替CT设备进行放疗的影像引导。与CT图像相比，磁共振图像是通过一种非侵入性成像协议获得的，并能提供良好的软组织对比度，且会使患者避免接受额外的电离辐射。
[0004]因此，当临床上不能或者较难获取病人诊治所需的所有影像资料时，可能会导致其无法得到更好的诊疗方案。目前已有多种研究提出，当难以获取指定模态的医学影像时，可以尝试通过将其它易获取的医学影像转换为该指定模态的影像，这样有助于临床诊治工作，同时也能有效简化临床工作流程。由于患者的解剖结构都是相同的，尽管MRI和CT图像的成像原理不同，但是对于同一位置的同一个患者，他的解剖结构是不变的，因此可以利用患者的解剖形态信息，实现从MRI图像到CT图像的转换。为了实现基于MRI图像的CT图像模态转换任务，研究者们提出了很多方法。这些方法大致可以分为三类：基于分割的方法，比如文章《深度学习分割网络的训练方法及医学图像的分割方法》和专利申请号:CN202010355883.3、名称为：《基于MRI的CT图像重建方法》；基于图集的方法，比如文章《Multi
‑
atlas
‑
based CT synthesis from conventional MRI with patch
‑
based refinement for MRI
‑
based radiotherapy planning》和专利申请号:CN202210290221.1，名称为：《CT图像和MRI三维图像的配准方法、装置》；深度学习的方法，比如文章《CT synthesis from MRI using multi
‑
cycle GAN for head
‑
and
‑
neck radiation therapy》和专利申请号:CN202111458847.0，名称为：《一种基于深度学习的MRI图像与CT图像转化方
法及终端》。这些方法依赖于配对的数据集，但对于医学图像，有时候不易于获得同一个病人的两种模态的图像，有时无法将对两种模态的图像进行精确配准。因此需要开发能够使用非配对数据集进行训练且能够精准进行医学图像跨模态合成的技术。

技术实现思路

[0005]为了克服上述现有技术的缺陷，本专利技术的目的是提供一种跨模态MRI
‑
CT图像合成方法、系统、设备和介质，通过约束一致性循环生成对抗神经网络进行域迁移，只需要两种域的数据，而不需要数据之间有严格对应关系，就能够获得生成的二维MR图像和CT图像；从而提高了医学图像跨模态合成的感知质量，增强了合成图像与原图像之间的结构相似度，提高了临床相关应用的可接受程度，能够间接帮助临床进行相关诊治工作，简化临床工作流程。
[0006]为了实现上述目的，本专利技术提供了如下技术方案：
[0007]跨模态MRI
‑
CT图像合成方法，包括以下步骤：
[0008](1)、获取二维的MR切片图像和二维的CT切片图像，并对获得的图像进行图像增强处理，以扩大训练数据集，将二维的MR切片图像记为左图像序列，将二维的CT切片图像记为右图像序列；
[0009](2)、将左、右图像序列训练数据集输入约束一致性循环生成对抗网络模型，由第一生成器生成右图像序列的一次合成图像，由第二生成器生成左图像序列的一次合成图像；使用第一判别器进行判别右图像序列的一次合成图像的真伪，同理，使用第二判别器进行鉴别左图像序列的一次合成图像的真伪；
[0010](3)、在对抗优化训练过程中，利用对抗性损失项控制判别器和生成器的博弈过程，当约束一致性循环生成对抗网络模型收敛之后，迭代过程终止；
[0011](4)、得到最优约束一致性循环生成对抗网络模型之后，将模型进行保存，并将最优阶段的结果作为输出，得到最终的合成CT图像。
[0012]所述的步骤(1)具体为：
[0013](1.1)、首先获取到二维的MR图像和二维的CT图像，以此图像集为基准，进行后续训练集处理；
[0014](1.2)、将前一步的二维MR图像集进行切割，得到对应患者的二维MR切片图像；同理，将前一步的二维CT图像集进行切割，得到对应患者的二维CT切片图像；
[0015](1.3)、对二维MR切片图像集和二维CT切片图像集的数据进行图像增强式处理，并进行像素强度归一化，根据相机标定参数对左MR图像序列和右CT图像序列进行极线校正，使得左右图像序列中对应的匹配像素点均处在同一水平线上；
[0016](1.4)、进行采样随机化，从步骤(1.3)增强且归一化的数据集中进行随机采样，构建左MR图像序列和右CT图像序列。
[0017]所述步骤(2)具体为：
[0018](2.1)、构建约束一致性循环生成对抗网络模型的第一生成器和第二生成器，两个生成器结构一致，采用改进的U
‑
Net神经网络，将输入的MR图像，合成为对应的CT图像；
[0019](2.2)构建约束一致性循环生成对抗网络模型的第一判别器和第二判别器，判别器采用PatchGAN结构，将图像作为输入，判断图像的虚假与真实，给出相应的分数，分数为0
或1，0为虚假、1为真本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.跨模态MRI
‑
CT图像合成方法，其特征在于，包括以下步骤：(1)、获取二维的MR切片图像和二维的CT切片图像，并对获得的图像进行图像增强处理，以扩大训练数据集，将二维的MR切片图像记为左图像序列，将二维的CT切片图像记为右图像序列；(2)、将左、右图像序列训练数据集输入约束一致性循环生成对抗网络模型，由第一生成器生成右图像序列的一次合成图像，由第二生成器生成左图像序列的一次合成图像；使用第一判别器进行判别右图像序列的一次合成图像的真伪，同理使用第二判别器进行鉴别左图像序列的一次合成图像的真伪；(3)、在对抗优化训练过程中，利用对抗性损失项控制判别器和生成器的博弈过程，当约束一致性循环生成对抗网络模型收敛之后，迭代过程终止；(4)、得到最优约束一致性循环生成对抗网络模型之后，将模型进行保存，并将最优阶段的结果作为输出，得到最终的合成CT图像。2.根据权利要求1所述的跨模态MRI
‑
CT图像合成方法，其特征在于，所述的步骤(1)具体为：(1.1)、首先获取到二维的MR图像和二维的CT图像，以此图像集为基准，进行后续训练集处理；(1.2)、将前一步的二维MR图像集进行切割，得到对应患者的二维MR切片图像；同理，将前一步的二维CT图像集进行切割，得到对应患者的二维CT切片图像；(1.3)、对二维MR切片图像集和二维CT切片图像集的数据进行图像增强式处理，并进行像素强度归一化，根据相机标定参数对左MR图像序列和右CT图像序列进行极线校正，使得左右图像序列中对应的匹配像素点均处在同一水平线上；(1.4)、进行采样随机化，从步骤(1.3)增强且归一化的数据集中进行随机采样，构建左MR图像序列和右CT图像序列。3.根据权利要求书1所述的跨模态MRI
‑
CT图像合成方法，其特征在于，所述步骤(2)具体为：(2.1)、构建约束一致性循环生成对抗网络模型的第一生成器和第二生成器，两个生成器结构一致，采用改进的U
‑
Net神经网络，将输入的MR图像，合成为对应的CT图像；(2.2)构建约束一致性循环生成对抗网络模型的第一判别器和第二判别器，判别器采用PatchGAN结构，将图像作为输入，判断图像的虚假与真实，给出相应的分数，分数为0或1，0为虚假、1为真实。4.根据权利要求3所述的跨模态MRI
‑
CT图像合成方法，其特征在于，所述步骤(2.1)具体操作包括：(2.1.1)、在U
‑
Net神经网络中的编码器上采样阶段中，采用卷积神经网络，从输入的图像中提取特征；(2.1.2)、在特征转换阶段，通过在编码器部分和解码器部分之间添加跳跃连接，确保低级信息在两个部分之间可以进行共享，组合图像的不相近特性，将特征向量进行域迁移转换，达到在转换时同时保留原始图像特征的目标；(2.1.3)、在解码阶段，从特征向量中还原出低级特征的工作，最后得到生成图像，其中每个反卷积层的配置为卷积核大小为3x3，步长为1，填充为1；每个反卷积层均使用ReLU激
活函数，ReLU激活函数定义为ReLU(x)＝max(0,x)。5.根据权利要求3所述的跨模态MRI
‑
CT图像合成方法，其特征在于，所述步骤(2.1)改进的U
‑
Net神经网络采用VGG
‑
16模型的16层结构，在编码器部分和解码器部分之间才用跳跃连接。6.根据权利要求1所述的跨模态MRI
‑
CT图像合成方法，其特征在于，所述步骤(3)具体为：(3.1)、计算对抗性损失，将其应用于模型的两个映...

【专利技术属性】
技术研发人员：徐永恒，赵加坤，孟桂云，
申请(专利权)人：徐州鑫达房地产土地评估有限公司，
类型：发明
国别省市：