图像生成方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开一种图像生成方法、装置、电子设备及存储介质。图像生成方法，包括：获得原图像；获得风格向量；将所述原图像和所述风格向量输入图像生成模型中，以使所述图像生成模型基于所述风格向量生成由所述原图像转换得到的目标图像，其中，所述图像生成模型是根据高频损失函数和低频损失函数共同监督学习的。本申请的实施例，不需要目标图像的遮罩图像便可以得到目标图像，因此，应用广泛，并且，图像生成模型是根据高频损失函数和低频损失函数共同监督学习的，进而，使得目标图像的纹理和细节更加清晰，且分辨率高，有效地提升目标图像的质量。目标图像的质量。目标图像的质量。

【技术实现步骤摘要】
图像生成方法、装置、电子设备及存储介质


[0001]本申请实施例涉及图像处理
，具体而言，涉及一种图像生成方法、装置、电子设备及存储介质。

技术介绍

[0002]相关技术中，图像的生成算法中，常用的方式包括：基于条件对抗网络的图像转换方法(Image
‑
to
‑
Image Translation with Conditional Adversarial Networks)、基于条件生成对抗网络的高分辨率图像合成和语义处理方法(High
‑
Resolution Image Synthesis and Semantic Manipulation with Conditional GANs)以及基于空间自适应归一化的语义图像合成方法(Semantic Image Synthesis with Spatially
‑
Adaptive Normalization)，其中：
[0003]基于条件对抗网络的图像转换方法能将输入影像转为目标影像。通过编码器提取特征，再通过生成器生成对应的结果。然而此方法因为模型架构问题，并不是很稳定，得到的结果只能是分辨率低的影像且容易产生瑕疵。基于条件生成对抗网络的高分辨率图像合成和语义处理方法将模型输出分辨率提升到高分辨率。但此方法是将分割模型的结果(遮罩)转换为对应的真实照片。通过绘画屏蔽等方式得到模型的输入，并通过模型转换为对应的真实照片，如图7所示。模型利用深度学习的卷积层提取遮罩的特征，再利用生成器将这些特征转换为对应的真实照片。然而，如图8所示，当遮罩的种类单一时，该方法将会出现图像生成失败的问题(如图8中的中间图像)。基于空间自适应归一化的语义图像合成方法同样将分割模型的结果(遮罩)转换为对应的真实照片，此外，还可以通过新增加一个编码器将输入照片的风格提取，并加上分割模型的屏蔽。生成的内容跟遮罩一致，风格是输入照片的真实照片，如图8中右侧图像，当遮罩的种类单一时，虽然可以生成图像。然而，该方法同样存在输出的图像清晰度较差，尤其一些纹理、细节等方面清晰度较差。

技术实现思路

[0004]针对上述现有技术中存在的问题，本申请实施例提供了一种图像生成方法、装置、电子设备及存储介质，不需要目标图像的遮罩图像便可以得到目标图像，因此，应用广泛，并且，图像生成模型是根据高频损失函数和低频损失函数共同监督学习的，进而，使得目标图像的纹理和细节更加清晰，且分辨率高，有效地提升目标图像的质量。
[0005]第一方面，本申请实施例提供了一种图像生成方法，包括：
[0006]获得原图像；
[0007]获得风格向量；
[0008]将所述原图像和所述风格向量输入图像生成模型中，以使所述图像生成模型基于所述风格向量生成由所述原图像转换得到的目标图像，
[0009]其中，所述图像生成模型是根据高频损失函数和低频损失函数共同监督学习的。
[0010]进一步地，所述获得风格向量包括：
[0011]获得目标风格图像；
[0012]将所述目标风格图像输入编码器，得到所述编码器输出的风格向量。
[0013]进一步地，所述高频损失函数包括感知损失函数，所述图像生成模型是根据所述图像生成模型的输出与图像训练样本的标签之间的学习感知图像块相似度进行训练的。
[0014]进一步地，所述高频损失函数包括语义损失函数，所述图像生成模型是根据所述图像生成模型的输出与图像训练样本的标签之间的语义相似度进行训练的。
[0015]进一步地，所述低频损失函数包括均方误差损失函数，所述图像生成模型是根据所述图像生成模型的输出与图像训练样本的标签之间的均方误差进行训练的。
[0016]进一步地，所述低频损失函数包括平均绝对误差损失函数，所述图像生成模型是根据所述图像生成模型的输出与图像训练样本的标签之间的平均绝对误差进行训练的。
[0017]第二方面，本申请实施例还提供了一种图像生成装置，包括：
[0018]原图像获取模块，用于获得原图像；
[0019]风格获取模块，用于获得风格向量；
[0020]生成模块，用于将所述原图像和所述风格向量输入图像生成模型中，以使所述图像生成模型基于所述风格向量生成由所述原图像转换得到的目标图像，其中，所述图像生成模型是根据高频损失函数和低频损失函数共同监督学习的。
[0021]第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述程序时实现根据上述的第一方面所述的图像生成方法。
[0022]第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现根据上述的第一方面所述的图像生成方法。
[0023]第五方面，本申请实施例还提供了一种计算机程序产品，其上存储有计算机程序，所述计算机程序用于实现根据上述的第一方面所述的图像生成方法。
[0024]本申请实施例带来了以下有益效果：
[0025]本申请的实施例，输入原图像后，图像生成模型便可以根据指定的风格将原图像转换为任意所需的目标图像，相比于现有技术中需要输入目标图像的遮罩图像来得到目标图像的方式相比，适用性强，由于目标图像是需要的目标，因此，得到其遮罩图像较为困难，很多场景下是没办法得到的，因此，限制了其应用，而本申请，并不需要目标图像的遮罩图像便可以得到目标图像，因此，应用广泛。并且，图像生成模型是根据高频损失函数和低频损失函数共同监督学习的，进而，使得目标图像的纹理和细节更加清晰，且分辨率高，有效地提升目标图像的质量。
附图说明
[0026]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0027]图1为本申请实施例提供的一种图像生成方法的流程图；
[0028]图2为本申请实施例提供的一种图像生成方法的模型示意图；
[0029]图3为本申请实施例提供的另一种图像生成方法的模型示意图；
[0030]图4为本申请实施例提供的再一种图像生成方法的模型示意图；
[0031]图5为本申请实施例提供的一种图像生成装置的结构框图；
[0032]图6为本申请实施例提供的一种电子设备的一个实施例示意图；
[0033]图7为相关技术中一种根据目标图像的遮罩图像生成目标图像的示意图；
[0034]图8为相关技术根据单一遮罩类型输出图像结果的示意图。
[0035]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0036]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：获得原图像；获得风格向量；将所述原图像和所述风格向量输入图像生成模型中，以使所述图像生成模型基于所述风格向量生成由所述原图像转换得到的目标图像，其中，所述图像生成模型是根据高频损失函数和低频损失函数共同监督学习的。2.根据权利要求1所述的图像生成方法，其特征在于，所述获得风格向量包括：获得目标风格图像；将所述目标风格图像输入编码器，得到所述编码器输出的风格向量。3.根据权利要求1所述的图像生成方法，其特征在于，所述高频损失函数包括感知损失函数，所述图像生成模型是根据所述图像生成模型的输出与图像训练样本的标签之间的学习感知图像块相似度进行训练的。4.根据权利要求1所述的图像生成方法，其特征在于，所述高频损失函数包括语义损失函数，所述图像生成模型是根据所述图像生成模型的输出与图像训练样本的标签之间的语义相似度进行训练的。5.根据权利要求1
‑
4任一项所述的图像生成方法，其特征在于，所述低频损失函数包括均方误差损失函数，所述图像生成模型是根据所述图像生成模型的输出与图像训练样本的标签之间的均方误差进行训练的。6.根据权利要求1

【专利技术属性】
技术研发人员：林彦硕，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：