图像风格迁移模型的训练方法、图像风格迁移方法及装置制造方法及图纸

本公开实施例提供的图像风格迁移模型的训练方法、图像风格迁移方法及装置，由于利用真实样本图像和其对应的风格样本图像，对待训练的图像风格迁移模型进行训练，并利用所述风格样本图像的颜色聚类图以及线条模糊图对所述待训练的图像风格迁移模型的训练进行监督，获得训练后的图像风格迁移模型。由于在对图像风格迁移模型进行训练时不仅利用真实样本图像和风格样本图像确定图像在图像域上映射关系，还利用颜色聚类图以及线条模糊图对图像在图像块面感和线条感上进行了监督和表征，从而使得训练完毕的图像风格迁移模型所输出的风格图像有着较佳的块面感和线条感，风格迁移效果得到了良好提升真实样本图像风格样本图像。果得到了良好提升真实样本图像风格样本图像。果得到了良好提升真实样本图像风格样本图像。

【技术实现步骤摘要】
图像风格迁移模型的训练方法、图像风格迁移方法及装置


[0001]本公开实施例涉及计算机领域，尤其涉及一种图像风格迁移模型的训练方法、图像风格迁移方法及装置。

技术介绍

[0002]近年来，GAN网络开始被越来越广泛地应用在计算机视觉研究工作中，图像风格迁移正是将GAN网络运用到计算机视觉领域的一种实际应用。图像风格迁移是指将一张图片渲染为具有特定艺术风格的画作的图像处理技术。
[0003]利用现有的图像风格迁移技术将目标图像迁移至风格样本图像风格的图像的迁移过程中，一般是利用图像域之间的映射变化实现的。即，将目标图像作为一个图像域，将风格样本图像作为另一个图像域，利用GAN网络模型学习该两个图像域之间的映射关系，从而能够对目标图像进行重建，得到具有风格样本图像的特定风格的图像。
[0004]但是，利用这样的方式获得的特定风格的目标图像只是单纯对于图像域的色彩风格进行了映射，而对于风格样本图像中的图像块面感和线条感却没有更多的表征，使得获得的特定风格图像的块面感和线条感不足，风格效果不佳。

技术实现思路

[0005]针对上述问题，本公开实施例拱了一种图像风格迁移模型的训练方法、图像风格迁移方法及装置。
[0006]第一方面，本公开提供了一种图像风格迁移模型的训练方法，包括：
[0007]对真实样本图像进行风格预处理，得到所述真实样本图像对应的风格样本图像；
[0008]对所述风格样本图像分别进行颜色聚类处理以及线条模糊化处理，得到所述风格样本图像的颜色聚类图以及线条模糊图；
[0009]利用所述真实样本图像和所述风格样本图像，对待训练的图像风格迁移模型进行训练，并利用所述风格样本图像的颜色聚类图以及所述风格样本图像的线条模糊图对所述待训练的图像风格迁移模型的训练进行监督，获得训练后的图像风格迁移模型。
[0010]第二方面，本公开提供了一种图像风格迁移方法，包括：
[0011]获取目标图像；
[0012]将所述目标图像输入至训练后的图像风格迁移模型中，以进行图像的风格迁移处理，所述训练后的图像风格迁移模型是根据第一方面任一项所述的图像风格迁移模型的训练方法所得到的；以及
[0013]获得所述目标图像对应的风格图像。
[0014]第三方面，本公开提供了一种图像风格迁移模型的训练装置图像风格迁移模型的训练装置，包括：
[0015]第一获取模块，用于对真实样本图像进行风格预处理，得到所述真实样本图像对应的风格样本图像；
[0016]第一处理模块，用于对所述风格样本图像分别进行颜色聚类处理以及线条模糊化处理，得到所述风格样本图像的颜色聚类图以及线条模糊图；
[0017]训练模块，用于利用所述真实样本图像和所述风格样本图像，对待训练的图像风格迁移模型进行训练，并利用所述风格样本图像的颜色聚类图以及所述风格样本图像的线条模糊图对所述待训练的图像风格迁移模型的训练进行监督，获得训练后的图像风格迁移模型。
[0018]第四方面，本公开提供了一种终端，包括：
[0019]获取模块，用于获取目标图像；
[0020]处理模块，用于将所述目标图像输入至训练后的图像风格迁移模型中，以进行图像的风格迁移处理，所述训练后的图像风格迁移模型是根据第一方面所述的图像风格迁移模型的训练方法所得到的；
[0021]所述获取模块，还用于获得所述目标图像对应的风格图像。
[0022]风格样本图像第五方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
[0023]所述存储器存储计算机执行指令；
[0024]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的涉及所述的图像风格迁移模型的训练方法，和/或，执行如第二方面以及第二方面各种可能的涉及所述的图像风格迁移方法。
[0025]第六方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的涉及所述的图像风格迁移模型的训练方法，和/或，实现如第二方面以及第二方面各种可能的涉及所述的图像风格迁移方法。
[0026]第七方面，本公开实施例提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时如上第一方面以及第一方面各种可能的涉及所述的图像风格迁移模型的训练方法，和/或，执行如第二方面以及第二方面各种可能的涉及所述的图像风格迁移方法。
[0027]本公开实施例提供的图像风格迁移模型的训练方法、图像风格迁移方法及装置，由于利用真实样本图像和其对应的风格样本图像，对待训练的图像风格迁移模型进行训练，并利用风格样本图像的颜色聚类图以及线条模糊图对所述待训练的图像风格迁移模型的训练进行监督，获得训练后的图像风格迁移模型。由于在对图像风格迁移模型进行训练时，不仅利用真实样本图像和风格样本图像确定图像在图像域上映射关系，还利用颜色聚类图以及线条模糊图对图像在图像块面感和线条感上进行了监督和表征，从而使得训练完毕的图像风格迁移模型所输出的风格图像有着较佳的块面感和线条感，风格迁移效果得到了良好提升。
附图说明
[0028]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以
根据这些附图获得其他的附图。
[0029]图1为本公开所基于的一种网络架构的示意图；
[0030]图2为本公开实施例提供的一种图像风格迁移模型的训练方法的流程示意图；
[0031]图3为本公开实施例提供的一种对图像风格迁移模型进行训练时的数据流示意图；
[0032]图4为本公开实施例提供的一种对风格图像生成模型进行训练时的数据流示意图；
[0033]图5为本公开实施例提供的一种图像风格迁移方法的流程示意图；
[0034]图6为本公开实施例提供的图像风格迁移模型的训练装置的结构框图；
[0035]图7为本公开实施例提供的终端的结构框图；
[0036]图8为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0037]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0038]近年来，GAN网络开始被越来越广泛地应用在计算机视觉研究工作中，图像风格迁移正是将GAN网络运用到计算机视觉领域的一种实际应用。
[0039]利用现有的图像风格迁移技术，将目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像风格迁移模型的训练方法，其特征在于，包括：对真实样本图像进行风格预处理，得到所述真实样本图像对应的风格样本图像；对所述风格样本图像分别进行颜色聚类处理以及线条模糊化处理，得到所述风格样本图像的颜色聚类图以及线条模糊图；利用所述真实样本图像和所述风格样本图像，对待训练的图像风格迁移模型进行训练，并利用所述风格样本图像的颜色聚类图以及所述风格样本图像的线条模糊图对所述待训练的图像风格迁移模型的训练进行监督，获得训练后的图像风格迁移模型。2.根据权利要求1所述的图像风格迁移模型的训练方法，其特征在于，所述图像风格迁移模型包括第一生成对抗网络，所述第一生成对抗网络包括第一生成器和第一判别器；所述利用所述真实样本图像和所述风格样本图像，对待训练的图像风格迁移模型进行训练，并利用所述风格样本图像的颜色聚类图以及所述风格样本图像的线条模糊图对所述待训练的图像风格迁移模型的训练进行监督，包括：将所述真实样本图像输入至所述第一生成器，得到所述真实样本图像的中间图；将所述真实样本图像的中间图像、所述风格样本图像的颜色聚类图、所述风格样本图像的线条模糊图以及所述真实样本图像对应的风格样本图像，输入至第一判别器，得到第一判别结果；根据所第一述判别结果对所述第一生成器进行参数调整，并返回所述将所述真实样本图像输入至所述第一生成器的步骤，直至所述图像风格迁移模型收敛。3.根据权利要求2所述的图像风格迁移模型的训练方法，其特征在于，所述将所述真实样本图像的中间图像、所述风格样本图像的颜色聚类图、所述风格样本图像的线条模糊图以及所述真实样本图像对应的风格样本图像，输入至第一判别器，得到判别结果，包括：利用所述第一判别器对所述真实样本图像的中间图像，以及所述真实样本图像对应的风格样本图像进行判别处理，得到处理结果；确定所述中间图像和所述风格样本图像的颜色聚类图的颜色特征差值；以及确定所述中间图像和所述风格样本图像的线条模糊图的线条特征差值；相应的，所述根据所述判别结果对所述第一生成器进行参数调整，包括：根据所述颜色特征差值、所述线条特征差值、以及所述处理结果，对所述第一生成器进行参数调整。4.根据权利要求1所述的图像风格迁移模型的训练方法，其特征在于，所述对真实样本图像进行风格预处理，得到所述真实样本图像对应的风格样本图，包括：利用训练后的风格图像生成模型对所述真实样本图像进行处理，得到所述真实样本图像对应的风格样本图像。5.根据权利要求4所述的图像风格迁移模型的训练方法，其特征在于，所述风格图像生成模型包括第二生成对抗网络，所述第二生成对抗网络包括第二生成器和第二判别器；所述方法还包括：获得训练样本图像；获取参考风格样本图像；对所述参考风格样本图像进行线条模糊化处理，得到所述参考风格样本图像的模糊样本图；
将所述训练样本图像输入至所述第二生成器，得到所述训练样本图像的中间样本图像；对所述中间样本图像进行颜色聚类处理，得到所述中间样本图像的颜色聚类样本图；利用所述中间样本图像、所述参考风格样本图像、所述参考风格样本图像的模糊样本图以及所述中间样本图像的颜色聚类样本图对所述第二判别器进行训练，得到第二判别结果；根据所述第二判别结果对所述第二生成器进行参数调整，并返回将所述训练样本图像输入至所述第二生成器的步骤直至所述风格图像生成模型收敛。6.根据权利要求5所述的图像风格迁移模型的训练方法，其特征在于，所述利用所述中间样本图像、所述参考风格样本图像、所述参考风格样本图像的模糊样本图以及所述中间样本图像的颜色聚类样本图对所述第二判别器进行训练，得到第二判别结果参考风格样本图像参考风格样本图像，包括：利用所述第二判别器对所述中间样本图、所述参考风格样本图像、所述参考风格样本图像的模糊样本图进行判别处理，得到基于线条风格特征的判别结果；以及确定所述中间样本图像和所述样本图的颜色聚类样本图在颜色风格特征的特征差值；相应的，所述根据所述判别结果对所述第二生成器进行...

【专利技术属性】
技术研发人员：白须，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：