图像生成模型训练及图像生成方法、装置、设备和介质制造方法及图纸

本发明专利技术实施例公开了一种图像生成模型训练及图像生成方法、装置、设备和介质，其中，方法包括：获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。解决了为获取感兴趣区域全面的信息，扫描获取不同模态的图像，耗时且成本高的问题，实现了基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。节约获取多模态图像的时间成本。节约获取多模态图像的时间成本。

【技术实现步骤摘要】
图像生成模型训练及图像生成方法、装置、设备和介质


[0001]本专利技术实施例涉及图像处理
，尤其涉及一种图像生成模型训练及图像生成方法、装置、设备和介质。

技术介绍

[0002]随着医学工程和计算机技术的发展,医学影像学为临床诊断提供了多种模态的医学图像，包括超声图像、磁共振图像、电子计算机断层扫描图像、正电子发射断层扫描图像等多种模态图像。不同模态的医学影像在时空分辨率方面各有优缺点，可以提供人体相关脏器和组织的不同信息。在临床中若是能够同时获取到感兴趣部位的多个模态图像，并对不同模态图像的信息进行集成，十分有利于医生对患者病情的诊断。
[0003]然而，不同模态的医学图像成像原理不同，分辨率不同，成像参数也不同。若分别扫描不同模态的图像，非常耗时，特别在时间有限的情况下，不利于实时观察诊断，而且不同模态的信息存在冗余性。

技术实现思路

[0004]本专利技术实施例提供了图像生成模型训练及图像生成方法、装置、设备和介质，以实现基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。
[0005]第一方面，本专利技术实施例提供了一种图像生成模型训练方法，该方法包括：
[0006]获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
[0007]针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
[0008]当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
[0009]第二方面，本专利技术实施例提供了一种图像生成方法，该方法包括：
[0010]获取原始模态图像，并确定所述原始模态图像的目标转换模态；
[0011]将所述原始模态图像输入至由任一实施例所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
[0012]第三方面，本专利技术实施例还提供了一种图像生成模型训练装置，该装置包括：
[0013]样本获取模块，用于获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
[0014]样本数据输入模块，用于针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
[0015]模型训练模块，用于当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
[0016]第四方面，本专利技术实施例还提供了一种图像生成装置，该装置包括：
[0017]图像数据获取模块，用于获取原始模态图像，并确定所述原始模态图像的目标转换模态；
[0018]图像生成模块，用于将所述原始模态图像输入至由任一实施例所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。
[0019]第五方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：
[0020]一个或多个处理器；
[0021]存储器，用于存储一个或多个程序；
[0022]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例所提供的一种图像生成模型训练方法或图像生成方法。
[0023]第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所提供的一种图像生成模型训练方法或图像生成方法。
[0024]上述专利技术中的实施例具有如下优点或有益效果：
[0025]本专利技术实施例，通过预先获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对预设图像生成模型进行有监督的模型训练；当预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。本专利技术实施例的技术方案，解决了为获取感兴趣区域全面的信息，扫描获取不同模态的图像，耗时且成本高的问题，实现了基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。
附图说明
[0026]图1是本专利技术实施例一提供的一种图像生成模型训练方法的流程图；
[0027]图2是本专利技术实施例一提供的一种图像生成模型结构示意图；
[0028]图3是本专利技术实施例二提供的一种图像生成方法流程图；
[0029]图4是本专利技术实施例二提供的一种图像生成实例的示意图；
[0030]图5是本专利技术实施例三提供的一种图像生成模型训练装置结构示意图；
[0031]图6是本专利技术实施例四提供的一种图像生成装置结构示意图；
[0032]图7是本专利技术实施例五提供的一种计算机设备的结构示意图。
具体实施方式
[0033]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0034]实施例一
[0035]图1为本专利技术实施例一提供的一种图像生成模型训练方法的流程图，本实施例可
适用于对生成不同模态医学图像的模型进行训练的情况。该方法可以由图像生成模型训练装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
[0036]如图1所示，图像生成模型训练方法包括以下步骤：
[0037]S110、获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对。
[0038]其中，不同模态的图像指通过不同的成像原理和方法进行成像的图像。在医学成像中，包括超声成像、磁共振成像、电子计算机断层扫描成像和正电子发射断层扫描成像等成像模态，不同模态的医学影像可以提供人体相关脏器和组织的不同信息。例如，超声成像可以连贯地、动态地观察脏器的运动和功能，可以追踪病变而不受其成像分层的限制，是一种对患者友价格好且普及面广的医学成像模式。磁共振成像则具有软组织分辨率高、成像参数多、图像信息量大和无电离损害等优点,已在临床广泛应用。但是，磁共振成像对病人体动敏感，易产生伪影，同时对钙化不敏感。电子计算机断层扫描成像是根据人体不同组织对X线的吸收与透过率的不同进行成像，具有高空间分辨率的特征，但对软组织的成像不如磁共振成像敏感，且具有电离辐射。正电子发射断层扫描成像是一种核成像技术(也称为分子成像)，可以显示体内代谢过程，多用于功能成像，但其同样存在电离辐射，且影像上的空间结构信息难以分辨。
[0039]而感兴趣部位通常是在临床影像中，病灶点所在的部位，是临床医生需要观察的部位，也即成像过程中的目标部位。根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成模型训练方法，其特征在于，所述方法包括：获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。2.根据权利要求1所述的方法，其特征在于，在对所述预设图像生成模型进行有监督的模型训练之前，所述方法还包括：将所述第一模态图像向所述第二模态图像配准；将配准后的第一模态图像作为所述预设图像生成模型的输入数据，输入到所述预设图像生成模型中。3.根据权利要求2所述的方法，其特征在于，所述将所述第一模态图像向所述第二模态图像配准，包括：采用预设配准算法或预训练的图像配准神经网络，将所述第一模态图像向所述第二模态图像配准。4.根据权利要求1
‑
3中任一所述的方法，其特征在于，所述第一模态图像和所述第二模态图像分别是超声图像、磁共振图像、电子计算机断层扫描图像或正电子发射断层扫描图像中的一种，且所述第一模态图像和所述第二模态图像是不同模态的图像。5.一种图像生成方法，其特征在于，所述方法包括：获取原始模态图像，并确定所述原始模态图像的目标转换模态；将所述原始模态图像输入至由权利要求1
‑
4中任一所述的图像生成模型训练方法训练得到的目标图像生成模型，得到目标转换模态图像。6.根据权利要求5所述的方法，其特征在于，当所述目标转换模态包括多个目标模态时，所述方法还包括：预先训练得到所...

【专利技术属性】
技术研发人员：邹莉娴，刘新，梁栋，郑海荣，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：