一种由PET图像生成CT图像的深度学习框架和方法技术

本发明专利技术公开了一种由PET图像生成CT图像的深度学习框架和方法。该方法包括：利用未经衰减校正的第一PET图像和对应的经衰减校正的第二PET图像，通过对衰减校正机制的逆向计算，获得衰减校正系数图；利用所获的衰减校正系数图，通过图对图生成对抗网络的拟合学习，获得所述衰减校正系数图和CT模态图像之间的映射关系，从而实现了PET图像到CT模态图像的生成过程。在所述图对图对抗网络中，其生成器以所述衰减校正系数图作为输入，以CT模态图像作为输出，并以所述生成器输入图像作为判别器的判别条件以区分生成的CT模态图像的真伪。利用本发明专利技术能同时实现PET衰减校正和CT图像重建，借助衰减校正系数图能有效地降低CT图像地重建难度，同时提高CT图像质量。同时提高CT图像质量。同时提高CT图像质量。

【技术实现步骤摘要】
一种由PET图像生成CT图像的深度学习框架和方法


[0001]本专利技术涉及医学图像重建
，更具体地，涉及一种由PET图像生成CT图像的深度学习框架和方法。

技术介绍

[0002]计算机断层扫描(Computed Tomography，CT)，能够提供丰富的解剖结构信息，显著缓解了正电子发射扫描(Positron Emission Tomography，PET)图像分辨率低的问题。PET成像是一种功能性成像，能够直观地反映出人体病变组织的相关信息，PET图像与CT图像相结合可以实现对病灶区域的精确定位和检测。此外，CT图像还能提供空间约束信息，帮助原始PET图像的衰减校正和伪影去除。因此，PET/CT成像系统是当前世界范围内使用最为广泛的PET成像系统。然而，CT扫描的介入会导致额外的X射线照射，而人体所受辐射剂量的累加，将增加各种疾病发生的可能性，进而影响人体生理机能，破坏人体组织器官，甚至危害到患者的生命安全。
[0003]在现有技术中，存在以下技术方案：
[0004]Dong等人于2019年在Physics in Medicine&Biology期刊上发表文章“Synthetic CT generation from non-attenuation corrected PET images for whole-body PET imaging”，使用循环一致性生成对抗网络(CycleGAN)，成功地将未经衰减校正的第一PET图像转换为CT模态。所生成的伪CT图像，不仅可以提供解剖结构信息以辅助对病灶区域的定位和诊断，还可以对第一PET图像进行衰减校正。
[0005]现有技术的主要缺点是：由于PET和CT扫描时参数设定不同，导致了两者间存在显著的匹配误差；PET和CT分属两个截然不同的图像域，从分辨率低且缺少空间结构信息的PET图像直接生成CT图像十分困难，并且所生成的图像效果还有待改进。

技术实现思路

[0006]本专利技术的目的是克服上述现有技术的缺陷，提供一种由PET图像生成CT图像的深度学习框架和方法，通过端对端的深度学习，实现对第一PET图像的衰减校正，同时生成了伪CT图像，有利于辅助病灶的精确定位和检测。
[0007]根据本专利技术的第一方面，提供一种由PET图像生成CT图像的深度学习方法。该方法包括：
[0008]利用未经衰减校正的第一PET图像和对应的经衰减校正的第二PET图像，通过对衰减校正机制的逆向计算，获得衰减校正系数图；
[0009]构建包含生成器和判别器的图对图生成对抗网络，其中生成器以所述衰减校正系数图作为输入，以CT模态图像作为输出，并以所述生成器输入图像作为判别器的判别条件以区分生成的CT模态图像的真伪；
[0010]以设定的损失函数为目标，优化训练所述图对图生成对抗网络，获得未经衰减校正的第一PET图像和CT模态图像之间的映射关系。
[0011]根据本专利技术的第二方面，提供一种由PET图像生成CT图像的深度学习框架。该框架包括衰减校正系数图计算模块和图对图生成对抗网络，其中：
[0012]所述衰减校正系数图计算模块用于利用未经衰减校正的第一PET图像和对应的经衰减校正的第二PET图像通过反向计算，获得衰减校正系数图；
[0013]图对图生成对抗网络包含生成器和判别器，其中生成器以所述衰减校正系数图作为输入，以CT模态图像作为输出，并以所述生成器输入图像作为判别器的判别条件以区分生成的CT模态图像的真伪。
[0014]与现有技术相比，本专利技术的优点在于，提供一种深度学习框架来取代CT模态在PET/CT成像系统中的各项职能，基于端对端的映射学习，实现对未经衰减校正的第一PET图像的降噪和伪影去除，从而实现了对第一PET图像的衰减校正过程，得到具有更多结构特征的衰减校正系数图。进一步地，基于获得的衰减校正系数图重建CT图像，显著降低了CT图像的重建难度，并提高了CT重建的图像质量。此外，为CT重建的图对图生成对抗网络模型设计了联合多重损失函数，进一步保证了输出图像的质量。
[0015]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0016]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0017]图1是根据本专利技术一个实施例的基于深度学习框架生成CT图像的流程示意图；
[0018]图2是根据本专利技术一个实施例的残差Unet网络的整体结构图；
[0019]图3是根据本专利技术一个实施例的编码器网络结构图；
[0020]图4是根据本专利技术一个实施例的残差模块网络结构图；
[0021]图5是根据本专利技术一个实施例的解码器网络结构图；
[0022]图6是根据本专利技术一个实施例的图对图生成对抗网络中判别器的结构图；
[0023]图7是根据本专利技术一个实施例的PET-CT图像合成结果示意图。
具体实施方式
[0024]现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0025]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。
[0026]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0027]在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0028]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0029]为消除PET/CT成像系统中存在的CT辐射，本专利技术设计了一种深度学习框架来取代CT模态在该成像系统中所发挥的作用。该深度学习框架整体上包含3部分：第一部分，端对端的衰减校正过程，用于实现未经衰减校正的第一PET图像至经过衰减校正的第二PET图像之间的映射；第二部分，通过对衰减校正机制的逆向计算，获得衰减校正系数图。第三部分，由衰减校正系数图到伪CT图像的生成。其中，所生成的伪CT图像可用于辅助医生对病灶区域的诊断。
[0030]具体地，本专利技术提供的由PET图像生成CT图像的深度学习框架包括残差Unet网络和图对图生成对抗网络，其中，残差Unet网络用于对PET图像的衰减校正(也可采用其他的深度学习模型)，图对图生成对抗网络用于生成与PET图像对应的CT图像。
[0031]结合图1所示，该实施例提供的生成CT图像的深度学习方法包括以下步骤。
[0032]步骤S110，构建残差Unet网络，用于对未经衰减校正的第一PET图像进行衰减校正。
[0033]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由PET图像生成CT图像的深度学习方法，包括：利用未经衰减校正的第一PET图像和对应的经衰减校正的第二PET图像，通过对衰减校正机制的逆向计算，获得衰减校正系数图；构建包含生成器和判别器的图对图生成对抗网络，其中生成器以所述衰减校正系数图作为输入，以CT模态图像作为输出，并以所述生成器输入图像作为判别器的判别条件以区分生成的CT模态图像的真伪；以设定的损失函数为目标，优化训练所述图对图生成对抗网络，获得未经衰减校正的第一PET图像和CT模态图像之间的映射关系。2.根据权利要求1所述的方法，其中，将未经衰减校正的第一PET图像输入至预训练的残差Unet网络，输出对应的经衰减校正的第二PET图像，并将所述图对图生成对抗网络的生成器同样设置为残差Unet网络。3.根据权利要求2所述的方法，其中，所述残差Unet网络依次包括编码器、残差模块和解码器，所述编码器包括多个卷积模块，每个卷积模块的编码结果通过跨越连接机制传递到解码器，所述残差模块设置为多个，每个残差模块包含第一卷积操作和第二卷积操作，且每个残差模块的输出由第一个卷积操作的输入和第二个卷积操作的输出像素级相加得到，所述解码器包含与所述编码器对应的多个卷积模块。4.根据权利要求3所述的方法，其中，所述编码器的第一个卷积模块包括两个连续且相同的3
×
3卷积操作，所述编码器的其他卷积模块包括2
×
2最大池化操作和两个连续且相同的3
×
3卷积操作，所述编码器的编码结果被2倍下采样后传递至所述残差模块，所述解码器采用与所述编码器相对应的步长为2的双线性插值上采样。5.根据权利要求2所述的方法，其中，所述残差Unet网络的损失函数设置为：其中，x表示未经衰减校正的第一PET图像，y表示经衰减校正的第二PET图像，N表示每幅图像的总像素点个数。6.根据权利要求5所述的方法，其中，所述图对图生成对抗网络中生成器的损失函数设置为：Loss
CT
＝MAE+λ1·
PCP+λ2·
cGAN
g
其中，PCP表示基于预训练...

【专利技术属性】
技术研发人员：梁栋，李庆能，胡战利，郑海荣，刘新，杨永峰，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：