用于低剂量PET重建的多任务学习型生成式对抗网络生成方法及系统技术方案

本申请涉及一种用于低剂量PET重建的多任务学习型生成式对抗网络生成方法及系统，属于深度学习的技术领域，生成方法包括对编码器和解码器各层之间采用跳跃连接，得到U‑Net型的图片生成器；生成式对抗网络组生成，多个图片生成器和多个判别器一一对应得到一组生成式对抗网络生成组，得到一个生成式对抗网络组；得到第一多任务学习型生成式对抗网络；设计用于提高成像质量的联合损失函数l；根据联合损失函数l，结合优化器，对第一多任务学习型生成式对抗网络进行训练，得到第二多任务学习型生成式对抗网络。与相关技术相比，本申请具有改善重建的低剂量PET图像信噪比低以及丢失细节的问题的效果。

【技术实现步骤摘要】
用于低剂量PET重建的多任务学习型生成式对抗网络生成方法及系统
本申请涉及深度学习技术的领域，尤其是涉及一种应用于医学PET成像领域的多任务学习型生成式对抗网络生成方法及系统。
技术介绍
正电子发射断层扫描(PET)是一种功能成像技术，使用称为放射性示踪剂的放射性物质来可视化和测量代谢过程以及其它生理活动(包括血流量，区域化学成分和吸收)中的变化。PET作为唯一一种可在活体上显示生物分子代谢、受体及神经介质活动的新型影像技术，具有灵敏度高和特异性高等特点，适用于肿瘤病患者、神经系统疾病患者和心血管疾病患者的检查与辅助治疗。PET扫描虽然是非侵入性的，但会使生物体暴露于电离辐射中。大量的电离辐射显然会对人体产生危害，特别是对于需要多次检查的患者(例如肿瘤监测)或生命周期罹患癌症风险更高的人(例如儿科患者)。几乎所有临床和研究应用都需要提高图像质量，但同时也需要使辐射暴露最小化以降低与电离辐射相关的风险。但在PET成像时，降低电离辐射将导致重建图像信噪比低以及丢失细节。
技术实现思路
为了改善重建的低剂量PET图像信噪比低以及丢失细节的问题，本申请提供一种用于低剂量PET重建的多任务学习型生成式对抗网络生成方法及系统。第一方面，本申请提供一种用于低剂量PET重建的多任务学习型生成式对抗网络生成方法，采用如下的技术方案：一种用于低剂量PET重建的多任务学习型生成式对抗网络生成方法，所述生成方法包括，基于编码器和解码器，对编码器和解码器各层之间采用跳跃连接，得到U-Net型的图片生成器；生成式对抗网络组生成，多个图片生成器和多个判别器一一对应得到一组生成式对抗网络生成组，所述多个图片生成器均以输入模态作为条件输入，以生成需求PET图像作为学习目标，所述多个判别器均以对应图片生成器的输入模态、输入模态对应的标签图片以及输出结果作为输入，得到一个生成式对抗网络组；其中，每组生成式对抗网络组中，输入模态至少包括同一图片对象的低剂量PET图像和MR图像两类图像；所述生成式对抗网络组中的多个生成式对抗网络并行学习，且各个生成式对抗网络的图片生成器共享浅层信息，得到第一多任务学习型生成式对抗网络；以标准剂量PET图片作为输入模态对应的标签图片，采用L1型损失函数和交叉熵损失函数对第一多任务学习型生成式对抗网络进行参数估计，根据各个图片生成器的输出结果、标签图片和判别器输出结果，设计用于提高成像质量的联合损失函数l；以及，根据所述联合损失函数l，结合优化器，对所述第一多任务学习型生成式对抗网络进行训练，得到第二多任务学习型生成式对抗网络。通过采用上述技术方案，生成式对抗网络的图片生成器的编码器进行图片特征的提取，解码器根据编码器提取的图片特征进行图像重建，得到重建的图片，判别器对生成器输出的重建图片进行判别，判断图片的真假，从而在图片重建过程中，能够大幅度提高低维和高维信息的重复利用以及局部和非局部信息的融合，从而增强传统卷积操作的性能，能够在较大程度上消除重建图片的噪声，而生成式对抗网络组的多个图像生成器并行学习且共享浅层信息，得到第一多任务学习型生成式对抗网络，第一多任务学习型生成式对抗网络的多个生成式对抗网络对同一图片对象的不同类型图像进行特征识别和重建，且通过共享浅层信息，在重建图片过程中不断为目标重建图片提供额外的细节信息，重现细节并在一定程度上降低了细节畸变，最后，标准剂量PET图片作为输入模态对应的标签图片，结合第一多任务学习型对抗生成网络，设计联合损失函数，并结合优化器对第一多任务学习型对抗生成网络进行训练，得到用于重建低剂量PET图片的第二多任务学习型生成式对抗网络，从而有助于改善重建的低剂量PET图像信噪比低以及丢失细节的问题。可选的，所述设计用于提高成像质量的联合损失函数的具体方法包括，以标准剂量PET图片作为输入模态对应的标签图片；采用L1型损失函数对第一多任务学习型生成式对抗网络的图片生成器进行参数估计，采用交叉熵损失函数对第一多任务学习型生成式对抗网络的判别器进行参数估计，得到图片生成器输出结果与标签图片之间的损失函数lL1以及判别器的损失函数lGAN；以及，结合各个生成式对抗网络的损失函数lL1和损失函数lGAN，得到联合损失函数l。通过采用上述技术方案，以标准剂量PET图片作为输入模态对应的标签图片，得到L1型损失函数度量出的图片生成器输出结果与标签图片的差距即损失函数lL1和交叉熵损失函数度量出的输出结果与标签图片的差距即损失函数lGAN，对同一个输出结果多次度量差距，再结合损失函数lL1和损失函数lGAN两个损失函数，得到第一多任务学习型的联合损失函数l，有助于提高重建图片(输出图像)的质量。可选的，所述得到联合损失函数l的具体方法包括，将单个生成式对抗网络的损失函数lL1和损失函数lGAN相加，得到损失函数输出；以及，将第一多任务学习型生成式对抗网络的各个生成式对抗网络的损失函数输出相加，得到第一多任务学习型生成式对抗网络的联合损失函数l。。通过采用上述技术方案，将损失函数lL1和损失函数lGAN相加，能够更充分地估计输出结果(重建图片)与标签图片之间的差距，从而有助于进一步改善重建的低剂量PET图像信噪比低以及丢失细节的问题。可选的，所述得到联合损失函数l的具体方法包括，根据所述联合损失函数l，结合优化器，对所述第一多任务学习型生成式对抗网络进行训练；以及，当第一多任务学习型生成式对抗网络达到收敛状态时，收敛状态的第一多任务学习型生成式对抗网络的多个并行学习的图片生成器为第二多任务学习型生成式对抗网络。通过采用上述技术方案，根据联合损失函数l，结合优化器进行训练，直到第一多任务学习生成式对抗网络收敛，此时，收敛状态的第一多任务学习型生成式对抗网络的多个并行学习的图片生成器即为第二多任务学习型生成式对抗网络，使得第二多任务学习型生成式对抗网络能够稳定地进行图片重建，以得到需求的PET图像。可选的，所述判别器包括多组卷积和LearkyReLU激活函数，其中，卷积核的大小为3×3。可选的，所述编码器和解码器均包括多个基本块，所述基本块包括卷积、批归一化、丢包和LearkyReLU激活函数。第二方面，本申请提供一种用于低剂量PET重建的多任务学习型生成式对抗网络生成系统，采用如下的技术方案：一种用于低剂量PET重建的多任务学习型生成式对抗网络生成系统，所述生成系统包括，图像生成器获取模块，用于基于编码器和解码器，对编码器和解码器各层之间采用跳跃连接，得到U-Net型的图片生成器；生成式对抗网络组生成模块，用于将多个图片生成器和多个判别器一一对应得到一组生成式对抗网络生成组，所述多个图片生成器均以输入模态作为条件输入，以生成需求PET图像作为学习目标，所述多个判别器均以对应图片生成器的输入模态、输入模态对应的标签图片以及输出结果作为输入，得到一个生成式对抗网络组；其中，每组生成式对抗网络中，输入模态至本文档来自技高网...

【技术保护点】
1.一种用于低剂量PET重建的多任务学习型生成式对抗网络生成方法，其特征在于：所述生成方法包括，/n基于编码器和解码器，对编码器和解码器各层之间采用跳跃连接，得到U-Net型的图片生成器；/n生成式对抗网络组生成，多个图片生成器和多个判别器一一对应得到一组生成式对抗网络生成组，所述多个图片生成器均以输入模态作为条件输入，以生成需求PET图像作为学习目标，所述多个判别器均以对应图片生成器的输入模态、输入模态对应的标签图片以及输出结果作为输入，得到一个生成式对抗网络组；其中，每组生成式对抗网络组中，输入模态至少包括同一图片对象的低剂量PET图像和MR图像两类图像；/n所述生成式对抗网络组中的多个生成式对抗网络并行学习，且各个生成式对抗网络的图片生成器共享浅层信息，得到第一多任务学习型生成式对抗网络；/n以标准剂量PET图片作为输入模态对应的标签图片，采用L

【技术特征摘要】
1.一种用于低剂量PET重建的多任务学习型生成式对抗网络生成方法，其特征在于：所述生成方法包括，
基于编码器和解码器，对编码器和解码器各层之间采用跳跃连接，得到U-Net型的图片生成器；
生成式对抗网络组生成，多个图片生成器和多个判别器一一对应得到一组生成式对抗网络生成组，所述多个图片生成器均以输入模态作为条件输入，以生成需求PET图像作为学习目标，所述多个判别器均以对应图片生成器的输入模态、输入模态对应的标签图片以及输出结果作为输入，得到一个生成式对抗网络组；其中，每组生成式对抗网络组中，输入模态至少包括同一图片对象的低剂量PET图像和MR图像两类图像；
所述生成式对抗网络组中的多个生成式对抗网络并行学习，且各个生成式对抗网络的图片生成器共享浅层信息，得到第一多任务学习型生成式对抗网络；
以标准剂量PET图片作为输入模态对应的标签图片，采用L1型损失函数和交叉熵损失函数对第一多任务学习型生成式对抗网络进行参数估计，根据各个图片生成器的输出结果、标签图片和判别器输出结果，设计用于提高成像质量的联合损失函数l；以及，
根据所述联合损失函数l，结合优化器，对所述第一多任务学习型生成式对抗网络进行训练，得到第二多任务学习型生成式对抗网络。


2.根据权利要求1所述的用于低剂量PET重建的多任务学习型生成式对抗网络生成方法，其特征在于：所述设计用于提高成像质量的联合损失函数的具体方法包括，
以标准剂量PET图片作为输入模态对应的标签图片；
采用L1型损失函数对第一多任务学习型生成式对抗网络的图片生成器进行参数估计，采用交叉熵损失函数对第一多任务学习型生成式对抗网络的判别器进行参数估计，得到图片生成器输出结果与标签图片之间的损失函数lL1以及判别器的损失函数lGAN；以及，
结合各个生成式对抗网络的损失函数lL1和损失函数lGAN，得到联合损失函数l。


3.根据权利要求2所述的用于低剂量PET重建的多任务学习型生成式对抗网络生成方法，其特征在于：所述得到联合损失函数l的具体方法包括，
将单个生成式对抗网络的损失函数lL1和损失函数lGAN相加，得到损失函数输出；以及，
将第一多任务学习型生成式对抗网络的各个生成式对抗网络的损失函数输出相加，得到第一多任务学习型生成式对抗网络的联合损失函数l。


4.根据权利要求1至3中任一项所述的用于低剂量PET重建的多任务学习型生成式对抗网络生成方法，其特征在于：所述得到第二多任务学习型生成式对抗网络的具体方法包括，
根据所述联合损失函数l，结合优化器，对所述第一多任务学习型生成式对抗网络进行训练；以及，
当第一多任务学习型生成式对抗网络达到收敛状态时，收敛状态的第一多任务学习型生成式对抗网络的多个并行学习的图片生成器为第二多任务学习型生成式对抗网络。


5.根据权利要求1所述的用于低剂量PET重建的多任务学习...

【专利技术属性】
技术研发人员：胡战利，郑海荣，张娜，刘新，梁栋，杨永峰，孙涵宇，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44