基于深度学习从多序列MR中生成伪CT的影像生成系统技术方案

本发明专利技术公开了一种基于深度学习从多序列MR中生成伪CT的影像生成系统，包括：数据收集模块，用于收集数据集，包括CT影像和多序列MR影像数据，并将数据集划分为训练集和测试集；影像生成模型训练模块，用于利用训练集中相应模态的小批次数据，分别对基于CNN的生成器G

【技术实现步骤摘要】
基于深度学习从多序列MR中生成伪CT的影像生成系统


[0001]本专利技术涉及医学图像处理的
，尤其是指一种基于深度学习从多序列MR中生成伪CT的影像生成系统。

技术介绍

[0002]MRI(magnetic resonance imaging)根据氢原子在磁场作用下的共振信号强度而进行成像，它具有无辐射损伤、软组织对比度高，多种序列影像能够提供丰富、互补的影像学信息。CT则利用组织对X射线的吸收差异，采用断层旋转扫描方式而获取组织影像，它对密度高的组织区分能力强、成像速度快，但具有辐射性。以MR多序列影像为根据，自动生成CT影像，既可避免辐射损伤，又可节省资源与时间，提高效率。
[0003]由于深度学习具有特征自学习、学习能力优秀、适应性强、端到端的自动学习与判别等优势，故在影像去噪、分割、配准、识别与生成等方面，展示出良好的潜力与应用前景。近几年来，一些研究者开始关注从MR影像中生成sCT(synthetic CT)的深度学习方法的研究。例如Nie Dong,Cao Xiaohuan,Gao Yaozong,et al.Estimating CT image from MR data using 3D fully convolutional networks[C]//International Workshop on Deep Learning in Medical Image Analysis/International Workshop on Large
‑
Scale Annotation of Biomedical Data and Expert.Berlin:Springer International Publishing,2016:170
‑
178.一文利用全卷积神经网络(fully convolution networks,FCN)由腹部MR影像直接得到生成的sCT，同时为了使模型能够获得全局信息，添加了自动上下文模型(Auto
‑
Context Model,ACM),使其能够感知上下文，模型性能优于基于图谱和结构化随机森林等传统合成算法。
[0004]将生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习机制，引入到深度学习模型，即生成对抗网络(Generative Adversarial Network，GAN)，在影像生成方面具有独特的优势。如Kazemifar S,Mcguire S,Timmerman R,et al.MR
‑
only brain radiotherapy:Assessing the dosimetric accuracy of synthetic CT images generated using a deep learning approach[J].Radiother Oncol,2019,136:56
‑
63.一文对脑癌患者的MR影像采用GAN进行sCT的生成，其使用U
‑
Net结构的CNN作为生成器，判别器则由卷积层和全连接层网络构成，取得了良好的生成效果。循环一致性生成对抗网络(cycle
‑
consistent generative adversarial networks,CycleGAN),允许使用非配对的数据进行训练就可以实现影像生成，减少了对数据的约束，大大增加了数据的选择范围。如Fu Jie,Singhrao K,Cao Minsong,et al.Generation of abdominal synthetic CTs from 0.35T MR images using generative adversarial networks for MR
‑
only liver radiotherapy[J].Biomed Phys Eng Express,2020,6:1
‑
9.一文采用CycleGAN对腹部癌症患者MR影像生成sCT。
[0005]现有的基于深度学习的影像生成系统在特定的医学影像生成任务中表现良好，但仍存在以下不足：
[0006]1、常规的深度学习影像生成系统中所采用的模型，例如CycleGAN模型仅适用于单个模态影像之间的转换。而仅仅利用单个序列的MR影像进行CT影像的生成，未能充分利用多序列MR影像中不同序列之间的互补特征，造成生成影像的质量一般；
[0007]2、缺乏原始MR影像和生成的伪CT影像解剖结构的一致性的保障，影响影像质量。
[0008]综上所述，在伪CT影像的生成系统中，如何充分利用多序列MR影像信息，对多序列影像特征进行深度融合，并且提高生成的伪CT影像和原始MR影像解剖结构的一致性，得到高质量的伪CT影像，是亟待解决的关键问题。

技术实现思路

[0009]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习从多序列MR中生成伪CT的影像生成系统，采用一种新的多序列融合策略，提升CT影像生成的质量；应用轮廓约束策略，减轻生成影像解剖学结构的畸变；此外，引入多序列恒等损失(Identity Loss)项，进一步提升了网络训练过程的稳定性和可靠性。
[0010]为实现上述目的，本专利技术所提供的技术方案为：基于深度学习从多序列MR中生成伪CT的影像生成系统，包括：
[0011]数据收集模块，用于收集数据集，数据集包括CT影像和多序列MR影像数据，并将数据集划分为训练集和测试集；
[0012]影像生成模型训练模块，用于利用训练集中相应模态的小批次数据，分别对基于CNN的生成器G
CT
和G
MR
以及判别器D
CT
和D
MR
进行迭代训练，得到最优影像生成模型；
[0013]影像生成模块，用于从测试集的多序列MR影像中生成伪CT影像。
[0014]进一步，所述数据收集模块收集的多序列MR影像数据集包括但不限于T1W、T2W、T1C、PD等同期获得的t种MR序列，不同MR序列数据之间预先利用配准技术进行空间对齐。
[0015]进一步，所述影像生成模型训练模块所利用的小批次数据，是指将训练集分成n个小批次(mini batch)的数据，逐批次对模型进行训练；其中，在训练阶段，当前批次的CT数据以I
real_CT
表示，当前批次的t种多序列MR数据以I
real_MR
表示，同一批次的t种不同序列MR数据之间是空间对齐的；所述影像生成模型训练模块分别对基于CNN的生成器G
CT
和G
MR
以及判别器D
CT
和D
MR
进行迭代训练，包括以下步骤：
[0016]1)将I
real_MR
输入多序列融合CT影像生成器,即输入生成器G<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习从多序列MR中生成伪CT的影像生成系统，其特征在于，包括：数据收集模块，用于收集数据集，数据集包括CT影像和多序列MR影像数据，并将数据集划分为训练集和测试集；影像生成模型训练模块，用于利用训练集中相应模态的小批次数据，分别对基于CNN的生成器G
CT
和G
MR
以及判别器D
CT
和D
MR
进行迭代训练，得到最优影像生成模型；影像生成模块，用于从测试集的多序列MR影像中生成伪CT影像。2.根据权利要求1所述的基于深度学习从多序列MR中生成伪CT的影像生成系统，其特征在于：所述数据收集模块收集的多序列MR影像数据集包括T1W、T2W、T1C、PD同期获得的t种MR序列，不同MR序列数据之间预先利用配准技术进行空间对齐。3.根据权利要求1所述的基于深度学习从多序列MR中生成伪CT的影像生成系统，其特征在于：所述影像生成模型训练模块所利用的小批次数据，是指将训练集分成n个小批次的数据，逐批次对模型进行训练；其中，在训练阶段，当前批次的CT数据以I
real_CT
表示，当前批次的t种多序列MR数据以I
real_MR
表示，同一批次的t种不同序列MR数据之间是空间对齐的；所述影像生成模型训练模块分别对基于CNN的生成器G
CT
和G
MR
以及判别器D
CT
和D
MR
进行迭代训练，包括以下步骤：1)将I
real_MR
输入多序列融合CT影像生成器,即输入生成器G
CT
，生成伪CT数据I
sy_CT
；将I
real_CT
和I
sy_CT
分别输入判别器D
CT
中，计算判别器D
CT
相应损失项并更新参数；生成伪CT数据I
sy_CT
由下式确定：I
sy_CT
＝G
CT
(I
real_MR
)判别器D
CT
相应损失项由对抗性损失构成，由下式确定：其中，m为当前小批次中数据的个数，(D
CT
(I
sy_CT
))2为对将I
sy_CT
输入判别器D
CT
得到的概率矩阵进行平方运算，(D
CT
(I
real_CT
)
‑
1)2中的D
CT
(I
real_CT
)为将I
real_CT
输入判别器D
CT
得到的概率矩阵，1为维度与D
CT
(I
real_CT
)维度相同的全1矩阵；根据生成对抗网络中博弈论思想，构建对抗性损失的目的是提高判别器D
CT
正确分辨真实CT影像I
real_CT
和生成伪CT影像I
sy_CT
的能力；2)将I
sy_CT
输入MR影像生成器，即输入生成器G
MR
,生成重建多序列MR数据I
recon_MR
；将I
real_CT
输入生成器G
CT
，得到生成影像I
idt_CT
；通过轮廓提取器分别提取I
recon_MR
的轮廓C
recon_MR
和I
real_MR
的轮廓C
real_MR
,计算生成器G
CT
相应损失项L
gCT
并更新参数；生成重建多序列MR数据I
recon_MR
由下列表达式确定：I
recon_MR
＝G
MR
(I
sy_CT
)生成影像I
idt_CT
由下列表达式确定：I
idt_CT
＝G
CT
(I
real_CT
)生成器G
CT
相应损失项由下列表达式确定：其中，(D
CT
(I
sy_CT
)
‑
1)2是对抗性损失，由将I
sy_CT
输入判别器D
CT
得到的概率矩阵进行平
方运算得到，计算对抗性损失是为了使生成器G
CT
尽可能生成能够欺骗判别器D
CT
的伪CT影像；||I
recon_MR
‑
I
real_MR
||1是循环一致性损失，由重建多序列MR数据I
recon_MR
和真实的多序列MR数据I
real_MR
之间计算L1距离得到，计算循环一致性损失目的是让网络具有从重建数据中还原得到原始影像的数据，从而保证生成过程整体可逆性和对称性，并且起到正则化的作用，提高训练过程的稳定性；||C
recon_MR
‑
C
real_MR
||1是轮廓一致性损失，由重建多序列MR数据I
recon_MR<...

【专利技术属性】
技术研发人员：施王子，郭圣文，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：