图像处理方法、装置、计算机存储介质和电子设备制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、计算机存储介质和电子设备。其中，该方法包括：获取原始人脸图像；利用编码器模型对原始人脸图像进行特征提取，得到原始人脸图像的目标特征向量，其中，编码器模型通过第一训练样本和第二训练样本对训练得到，第一训练样本包括：第一人脸图像，第二训练样本对包括：第二人脸图像和目标风格的第三人脸图像；利用预训练的生成模型对目标特征向量进行图像生成，生成目标风格的目标人脸图像。因此，本申请实施例可以得到更优的真实人脸和卡通化人脸图片分布的对应关系，从而稳定地生成更相似的卡通化人脸图像。人脸图像。人脸图像。

【技术实现步骤摘要】
图像处理方法、装置、计算机存储介质和电子设备


[0001]本申请涉及图像处理和计算机视觉领域，具体而言，涉及一种图像处理方法、装置、计算机存储介质和电子设备。

技术介绍

[0002]目前已有的卡通化人脸图像的方案中，大致有两种技术方案。其一是U
‑
GAT
‑
IT，此类方法主要基于CycleGAN(Cycle Generative Adversarial Network，循环生成对抗网络)的技术框架，通过cycle loss约束输入人脸图片和输出卡通化人脸图片之间的相关性；其二是Toonify，此类方法主要基于StyleGAN(Style Generative Adversarial Network，风格化生成对抗网络)系列的技术框架，通过网络层间的交换实现图片之间的插值，而从约束输入人脸图片和输出卡通化人脸图片之间的相关性。
[0003]但上述两种技术方案均存在如下问题：无法保证输入人脸图像和输出卡通化人脸图像的相似性。且基于StyleGAN的技术栈都需要逆向求解输入人脸图片对应的隐空间变量，此求解过程涉及迭代优化操作，耗时较大。
[0004]针对现有技术中关于卡通化人脸图像过程中，输入人脸图像和输出卡通化人脸图像相似性不高的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种图像处理方法、装置、计算机存储介质和电子设备，以至少解决现有技术中关于卡通化人脸图像过程中，输入人脸图像和输出卡通化人脸图像相似性不高的技术问题。
[0006]根据本申请实施例的一个方面，提供了一种图像处理方法，包括：获取原始人脸图像；利用编码器模型对原始人脸图像进行特征提取，得到原始人脸图像的目标特征向量，其中，编码器模型通过第一训练样本和第二训练样本对训练得到，第一训练样本包括：第一人脸图像，第二训练样本对包括：第二人脸图像和目标风格的第三人脸图像；利用预训练的生成模型对目标特征向量进行图像生成，生成目标风格的目标人脸图像。
[0007]可选地，利用初始模型分别对第一人脸图像和第二人脸图像进行特征提取，得到第一人脸图像的第一特征向量和第二人脸图像的第二特征向量；利用预训练的生成模型分别对第一特征向量和第二特征向量进行图像生成，生成目标风格的第一生成图像和第二生成图像；基于第一人脸图像、第二人脸图像、第三人脸图像、第一生成图像和第二生成图像，构建初始模型的目标损失函数；基于目标损失函数调整初始模型的模型参数，得到编码器模型。
[0008]可选地，基于第一人脸图像、第二人脸图像、第三人脸图像、第一生成图像和第二生成图像，构建初始模型的目标损失函数包括：获取第一人脸图像和第一生成图像的第一相似度，第二人脸图像和第二生成图像的第二相似度，并基于第一相似度和第二相似度构建第一损失函数；基于第二生成图像和第三人脸图像构建第二损失函数；利用预训练的判
别器网络分别对第一生成图像和第二生成图像进行判别，得到第一生成图像的第一分值和第二生成图像的第二分值，并基于第一分值和第二分值构建第三损失函数；对第一损失函数、第二损失函数和第三损失函数进行处理，得到目标损失函数。
[0009]可选地，基于第一相似度和第二相似度构建第一损失函数包括：获取第一相似度和第二相似度的平均值，得到第一损失函数。
[0010]可选地，基于第一分值和第二分值构建第三损失函数包括：获取第一分值和第二分值的平均值，得到第三损失函数。
[0011]可选地，对第一损失函数、第二损失函数和第三损失函数进行处理，得到目标损失函数包括：获取第一损失函数的常用对数，得到第一参数；获取第二损失函数和第一超参数的乘积，得到第二参数；获取第三损失函数和预设值的比值，得到第三参数；获取第二参数和第三参数之和，得到参数和；获取第一参数和上述参数和之差，得到目标损失函数。
[0012]可选地，基于目标损失函数调整初始模型的模型参数，得到编码器模型包括：获取目标损失函数的导数；获取导数和第二超参数的乘积，得到目标步长；按照目标步长调整初始模型的模型参数。
[0013]根据本申请实施例的另一方面，还提供了一种图像处理装置，包括：获取模块，用于获取原始人脸图像；提取模块，用于利用编码器模型对原始人脸图像进行特征提取，得到原始人脸图像的目标特征向量，其中，编码器模型通过第一训练样本和第二训练样本对训练得到，第一训练样本包括：第一人脸图像，第二训练样本对包括：第二人脸图像和目标风格的第三人脸图像；生成模块，用于利用预训练的生成模型对目标特征向量进行图像生成，生成目标风格的目标人脸图像。
[0014]根据本申请实施例的另一方面，还提供了一种计算机存储介质，该计算机存储介质存储有多条指令，上述指令适于由处理器加载并执行上述实施例中的图像处理方法。
[0015]根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器和存储器；其中，该存储器存储有计算机程序，上述计算机程序适于由处理器加载并执行上述实施例中的图像处理方法。
[0016]在本申请实施例中，在卡通化人脸图像过程中，获取原始人脸图像，利用编码器模型对原始人脸图像进行特征提取，得到原始人脸图像的目标特征向量，其中，编码器模型通过第一训练样本和第二训练样本对训练得到，第一训练样本包括：第一人脸图像，第二训练样本对包括：第二人脸图像和目标风格的第三人脸图像；利用预训练的生成模型对目标特征向量进行图像生成，生成目标风格的目标人脸图像。容易注意到的是，通过结合少量人工制作的真实人脸和卡通化人脸样本对，将其作为监督信息引入到卡通化人脸生成模型中，达到了得到更优的真实人脸和卡通化人脸图片分布的对应关系的目的，从而实现了得到相似性更高的卡通化人脸图像的技术效果，进而解决了现有技术中关于卡通化人脸图像过程中，输入人脸图像和输出卡通化人脸图像相似性不高的技术问题。
附图说明
[0017]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0018]图1是根据本申请实施例的一种图像处理方法的流程图；
[0019]图2是真实人脸图像训练样本素材的示意图；
[0020]图3是少量人工制作的真实人脸和卡通化人脸样本对的示意图；
[0021]图4是根据本申请实施例的一种可选的人脸编码器模型训练方法的流程图；
[0022]图5是根据本申请实施例的一种可选的卡通化人脸图像生成模型的示意图；
[0023]图6是根据本专利技术实施例的一种图像处理装置的示意图；
[0024]图7是根据本申请实施例的一种电子设备的示意图。
具体实施方式
[0025]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取原始人脸图像；利用编码器模型对所述原始人脸图像进行特征提取，得到所述原始人脸图像的目标特征向量，其中，所述编码器模型通过第一训练样本和第二训练样本对训练得到，所述第一训练样本包括：第一人脸图像，所述第二训练样本对包括：第二人脸图像和目标风格的第三人脸图像；利用预训练的生成模型对所述目标特征向量进行图像生成，生成所述目标风格的目标人脸图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用初始模型分别对所述第一人脸图像和所述第二人脸图像进行特征提取，得到所述第一人脸图像的第一特征向量和所述第二人脸图像的第二特征向量；利用所述预训练的生成模型分别对所述第一特征向量和所述第二特征向量进行图像生成，生成所述目标风格的第一生成图像和第二生成图像；基于所述第一人脸图像、所述第二人脸图像、所述第三人脸图像、所述第一生成图像和所述第二生成图像，构建所述初始模型的目标损失函数；基于所述目标损失函数调整所述初始模型的模型参数，得到所述编码器模型。3.根据权利要求2所述的方法，其特征在于，基于所述第一人脸图像、所述第二人脸图像、所述第三人脸图像、所述第一生成图像和所述第二生成图像，构建所述初始模型的目标损失函数包括：获取所述第一人脸图像和所述第一生成图像的第一相似度，所述第二人脸图像和所述第二生成图像的第二相似度，并基于所述第一相似度和所述第二相似度构建第一损失函数；基于所述第二生成图像和所述第三人脸图像构建第二损失函数；利用预训练的判别器网络分别对所述第一生成图像和所述第二生成图像进行判别，得到所述第一生成图像的第一分值和所述第二生成图像的第二分值，并基于所述第一分值和所述第二分值构建第三损失函数；对所述第一损失函数、所述第二损失函数和所述第三损失函数进行处理，得到所述目标损失函数。4.根据权利要求3所述的方法，其特征在于，基于所述第一相似度和所述第二相似度...

【专利技术属性】
技术研发人员：张玉兵，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：