基于循环生成对抗网络的MRI-PET图像模态转换方法及系统技术方案

本申请涉及一种基于循环生成对抗网络的MRI‑PET图像模态转换方法及系统，该方法包括如下步骤：获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；训练生成循环生成对抗网络模型，并逐步达到收敛状态；利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。本申请应用上述方法及系统填补了MRI图像生成PET图像领域的空白，解决PET生成图像分辨率低的问题。

【技术实现步骤摘要】
基于循环生成对抗网络的MRI-PET图像模态转换方法及系统
本申请涉及成像
，尤其是涉及一种基于循环生成对抗网络的MRI-PET图像模态转换方法及系统。
技术介绍
正电子发射计算机断层扫描(PositronEmissionComputedTomography，PET)，是一种利用人体代谢必须的物质如葡萄糖、蛋白质、核酸等，标记上半衰期短的放射性元素如F18、C11，将其注入人体后，通过观察其在人体组织代谢过程中的聚集，来表示反映组织的代谢情况，从而达到诊断的目的。最常用的是氟代脱氧葡萄糖(Fludeoxyglucose，18F-FDG)。PET成像需要向人体注射放射性同位素进行显像，因此在操作上有一定的危险，并且会对患者造成一定剂量的辐射。磁共振成像(MagneticResonance，MR)是断层成像的一种，这种成像手段利用强磁场下组织发生的磁共振现象获得组织的电磁信号，并依此进行人体组织的重建。MR对于软组织结构成像有着非常优秀的表现，并且能够省略图像的重建步骤直接获得原生的三维断面成像。MR与核医学成像方法不同，其成像过程不涉及任何电离辐射，因此不会对病人造成任何形式上的辐射。目前许多脑部疾病如阿尔茨海默病(Alzheimer’sdisease,AD)帕金森病(Parkinson’sdisease,PD)的诊断都需要依靠多模态神经影像提供的综合信息进行(如MRI和PET)。然而，进行多模态信息研究时就不可避免地会遇到图像数据的缺失，如公开数据库阿尔茨海默病神经影像计划(Alzheimer'sDiseaseNeuroimagingInitiative,ADNI)数据库中同一个患者常常会缺失PET数据。由于PET设备的普及性较低，PET图像数据的缺失是不可避免的问题，但是如果只研究同时具有两种模态的病例，那么可用于深度学习模型训练的数据会大大减少，这样会严重影响模型的训练结果和诊断表现。因此，研究和开发MR到PET的不同模态断层影像转换方法，对于目前的医疗诊断领域有着重要的科学意义和广阔的应用前景。
技术实现思路
为了填补MRI图像生成PET图像领域的空白，本申请提供一种基于循环生成对抗网络的MRI-PET图像模态转换方法。本申请提供的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，采用如下的技术方案：一种基于循环生成对抗网络的MRI-PET图像模态转换方法，包括如下步骤：获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；训练生成循环生成对抗网络模型，并逐步达到收敛状态；利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。可选的，构建的循环生成对抗网络模型包括一对第一生成器、一对第二生成器、第一辨别器和第二辨别器，其中，借由输入数据集对循环生成对抗网络模型进行对抗训练包括如下步骤：借由第一生成器将MRI图像生成为PET生成图像；借由第二生成器将PET图像生成为MRI生成图像；借由第一辨别器区分PET生成图像是否为PET图像，并向第一生成器输出第一辨别结果；借由第二辨别器区分MRI生成图像是否为MRI图像，并向第二生成器输出第二辨别结果；第一生成器和第二生成器根据第一辨别结果和第二辨别结果进行下一轮迭代，直至第一辨别器和第二辨别器无法区分PET生成图像和MRI生成图像的真伪性。可选的，所述第一生成器和第二生成器基于改进的U-Net模型构造而成，其中，改进的U-Net模型采用自注意单元替换原U-Net模型中跳跃连接步骤中的裁剪拓展步骤。可选的，所述自注意单元被设计为十字交叉自注意力子模块。可选的，第一辨别器和第二辨别器输出第一辨别结果和第二辨别结果，包括如下步骤：PET图像和PET生成图像作为输入图片输入到第一辨别器中，MRI图像和MRI生成图像作为输入图片输入到第二辨别器中；在第一辨别器和第二辨别器中内嵌应用小波仿射变换层；在小波仿射变换层中，输入图片通过两个卷积层后以提取得到带有空间域的特征图谱，输入图片同时进行Haar小波变换，获得小波域特征集合，将带有空间域的特征图谱和小波域特征集合输入到仿射变换层中得到带有空间域和小波域特征的特征图谱；重复至少两次上述小波仿射变换层，最后通过Softmax函数，第一辨别器输出第一辨别结果，第二辨别器输出第二辨别结果。可选的，所述卷积层由ReLU函数作为激活函数。可选的，所述循环生成对抗网络模型包含对抗损失函数和循环一致性损失函数。可选的，所述对抗损失函数由第一辨别器和第二辨别器的第一辨别结果和第二辨别结果决定，具体形式如下所示：L(GMRI-PET,DPET,IMRI,IPET)＝CE(DPET(GMRI-PET(IMRI)),label)；L(GPET-MRI,DMRI,IPET,IMRI)＝CE(DMRI(GPET-MRI(IPET)),label)；其中，G表示由一种模态图像生成另一种模态图像的生成器，D表示辨别该种模态图像是否为生成图像的辨别器，I表示该种模态的图像，CE表示以Softmax函数为激活函数的交叉熵函数，label为用于评价的真实标签。可选的，所述循环一致性损失函数，具体形式如下：其中，μ和σ分别表示图像的均值和标准差，C1＝(k1L)2和C2＝(k2L)2是两个较小的常数项，避免分母为0，其中L表示图像的最大像素值；其中，图像长度为m,n，I(i,j)K(i,j)为两张输入图像对应的像素值；Lcyccon＝μSSIMLSSIM(GMRI-PET,GPET-MRI)+μPSNRLPSNR(GMRI-PET,GPET-MRI)；其中μ为控制损失函数值符合循环一致性常参数项；由此得到全局损失函数的数学表达：为了填补MRI图像生成PET图像领域的空白，本申请提供一种基于循环生成对抗网络的MRI-PET图像模态转换系统。本申请提供的一种基于循环生成对抗网络的MRI-PET图像模态转换系统，采用如下的技术方案：一种基于循环生成对抗网络的MRI-PET图像模态转换系统，包括：获取模块，获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；构建模块，构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；训练模块，训练生成循环生成对抗网络模型，并逐步达到收敛状态；验证模块，利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。综上所述，本申请包括以下至少一种有益技术效果：1、本申请基于循环生成对抗网络对MRI图像到PET图像进行模态转换处理，通过结合自注意单元和小波仿射本文档来自技高网...

【技术保护点】
1.一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，包括如下步骤：/n获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；/n构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；/n训练生成循环生成对抗网络模型，并逐步达到收敛状态；/n利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。/n

【技术特征摘要】
1.一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，包括如下步骤：
获取MRI图像数据集和PET图像数据集，从MRI图像数据集和PET图像数据集中构造输入数据集；
构建循环生成对抗网络模型，借由输入数据集对循环生成对抗网络模型进行对抗训练；
训练生成循环生成对抗网络模型，并逐步达到收敛状态；
利用训练好的循环生成对抗网络模型对MRI图像到PET图像进行模态转换处理。


2.根据权利要求1所述的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，构建的循环生成对抗网络模型包括一对第一生成器、一对第二生成器、第一辨别器和第二辨别器，其中，借由输入数据集对循环生成对抗网络模型进行对抗训练包括如下步骤：
借由第一生成器将MRI图像生成为PET生成图像；
借由第二生成器将PET图像生成为MRI生成图像；
借由第一辨别器区分PET生成图像是否为PET图像，并向第一生成器输出第一辨别结果；
借由第二辨别器区分MRI生成图像是否为MRI图像，并向第二生成器输出第二辨别结果；
第一生成器和第二生成器根据第一辨别结果和第二辨别结果进行下一轮迭代，直至第一辨别器和第二辨别器无法区分PET生成图像和MRI生成图像的真伪性。


3.根据权利要求2所述的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，所述第一生成器和第二生成器基于改进的U-Net模型构造而成，其中，改进的U-Net模型采用自注意单元替换原U-Net模型中跳跃连接步骤中的裁剪拓展步骤。


4.根据权利要求3所述的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，所述自注意单元被设计为十字交叉自注意力子模块。


5.根据权利要求2所述的一种基于循环生成对抗网络的MRI-PET图像模态转换方法，其特征在于，第一辨别器和第二辨别器输出第一辨别结果和第二辨别结果，包括如下步骤：
PET图像和PET生成图像作为输入图片输入到第一辨别器中，MRI图像和MRI生成图像作为输入图片输入到第二辨别器中；
在第一辨别器和第二辨别器中内嵌应用小波仿射变换层；
在小波仿射变换层中，输入图片通过两个卷积层后以提取得到带有空间域的特征图谱，输入图片同时进行Haar小波变换，获得小波域特征集合，将带有空间域的特征图谱和小波域特征集合输入到仿射变换层中得到带有空间域和小波域特征的特征图谱；
重复至少两次上述小波仿射变换层，最后通过Softmax函数，第一辨别器输出第一辨别结果，第二辨别器...

【专利技术属性】
技术研发人员：胡战利，郑海荣，张娜，刘新，杨永峰，梁栋，唐政，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44