全身卡通化方法、装置、电子设备及介质制造方法及图纸

本申请实施例公开了基于几何拓展和局部人脸约束的全身卡通化方法、装置、电子设备及介质，属于生成类算法技术领域，方法包括：获取人脸集和卡通人脸集，其中人脸集与卡通人脸集中的数据一一对应，基于仿射变换对于人脸集与卡通人脸集进行几何拓展，以得到拓展后的人脸集和拓展后的卡通人脸集，基于局部人脸约束算法对拓展后的人脸集和拓展后的卡通人脸集进行训练，以得到全身卡通化模型。本申请实施例通过几何数据增强技术，扩增卡通人脸训练集，将人脸卡通风格迁移到全身卡通化上，通过使用人脸约束算法做局部约束，使得全身卡通化后卡通脸的五官更符合卡通的特点。通脸的五官更符合卡通的特点。通脸的五官更符合卡通的特点。

【技术实现步骤摘要】
全身卡通化方法、装置、电子设备及介质


[0001]本申请实施例涉及生成类算法
，具体而言，涉及基于几何拓展和局部人脸约束的全身卡通化方法、装置、电子设备及介质。

技术介绍

[0002]人像卡通化的目的是将自然场景中人的外表转化为更具创造性的特定视觉的风格，同时保持个人的身份。它以一种奇妙的方式改变源域中的人像，具有美化或夸张的效果，在艺术创作、动画制作和虚拟头像生成等方面具有巨大的潜在应用。
[0003]随着生成对抗网络(GAN)的快速发展，图像到图像翻译方法被广泛用于学习将图像从一个域映射到另一个域。然而，这些方法需要大量成对或非成对的数据，并且针对人脸区域，风格化不明显，以及在复杂场景中容易出现明显的纹理伪影。
[0004]基于预训练的StyleGAN2和GAN反演算法实现图像到图像的翻译，对域外人脸的泛化能力有限，比如该方法往往会造成人脸内容缺失的问题。此外，所有这些现有方法都是针对人脸进行训练的，因此无法应用于全身卡通图像。
[0005]综上，现有技术中图像到图像翻译方法需要大量成对或非成对的数据，并且针对人脸区域风格化不明显，以及在复杂场景中容易出现明显的纹理伪影。实现人像卡通化的转化的任务，一般需要收集大量的原图和卡通化图，通过训练图片到图像翻译任务，得到源域到目标域的映射关系，从而得到全身卡通化效果。但是这种方法容易出现颜色失真和人脸结构卡通化不明显的缺点(比如简化的嘴巴、精致清晰的大眼睛)。

技术实现思路

[0006]针对上述现有技术中存在的问题，本申请实施例提供了一种基于几何拓展和局部人脸约束的全身卡通化方法，扩充用于训练的人脸集和卡通人脸集，并使得全身卡通化后卡通脸的五官更符合卡通的特点。
[0007]第一方面，本申请实施例提供了一种基于几何拓展和局部人脸约束的全身卡通化方法，可包括：
[0008]获取人脸集和卡通人脸集，其中所述人脸集与所述卡通人脸集中的数据一一对应；
[0009]基于仿射变换对于所述人脸集与所述卡通人脸集进行几何拓展，以得到拓展后的人脸集和拓展后的卡通人脸集；
[0010]基于局部人脸约束算法对所述拓展后的人脸集和所述拓展后的卡通人脸集进行训练，以得到全身卡通化模型。
[0011]进一步地，所述获取人脸集和卡通人脸集，包括：
[0012]基于人脸卡通图像生成模型生成所述人脸集与所述卡通人脸集。
[0013]进一步地，在所述基于人脸卡通图像生成模型生成所述人脸集与所述卡通人脸集之前，所述方法还包括：
[0014]通过随机风格混合的向量对于基于stylegan2的生成模型进行训练以得到微调stylegan2生成模型；
[0015]获取多张人脸卡通图像；
[0016]基于微调stylegan2生成模型对所述多张人脸卡通图像进行训练，以得到所述人脸卡通图像生成模型。
[0017]进一步地，在所述基于人脸卡通图像生成模型生成所述人脸集与所述卡通人脸集之后，在所述基于仿射变换对于所述人脸集与所述卡通人脸集进行几何拓展之前，所述方法还包括：
[0018]对于所述人脸集与所述卡通人脸集进行筛选；
[0019]所述基于仿射变换对于所述人脸集与所述卡通人脸集进行几何拓展包括：
[0020]基于仿射变换对于筛选后的所述人脸集与所述卡通人脸集进行几何拓展。
[0021]进一步地，所述局部人脸约束算法为辅助表情回归器，所述辅助表情回归器用于约束生成图像的面部表情。
[0022]进一步地，所述辅助表情回归器用于约束生成图像的面部表情包括：
[0023]辅助表情回归器通过关键点记录所述生成图像的五官的开合度。
[0024]进一步地，在所述得到全身卡通化模型之后，所述方法还包括：
[0025]接收目标人脸卡通图像；
[0026]基于所述全身卡通化模型生成与所述目标人脸卡通图像对应的全身卡通图像。
[0027]第二方面，本申请实施例还提供了一种基于几何拓展和局部人脸约束的全身卡通化装置，可包括：
[0028]第一获取模块，用于获取人脸集和卡通人脸集，其中所述人脸集与所述卡通人脸集中的数据一一对应；
[0029]几何拓展模块，用于基于仿射变换对于所述人脸集与所述卡通人脸集进行几何拓展，以得到拓展后的人脸集和拓展后的卡通人脸集；
[0030]训练模块，用于基于局部人脸约束算法对所述拓展后的人脸集和所述拓展后的卡通人脸集进行训练，以得到全身卡通化模型。
[0031]第三方面，本申请实施例还提供了一种电子设备，其中，包括：存储器以及处理器，所述存储器用于存储并支持处理器执行第一方面中任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0032]第四方面，本申请实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，其中，所述程序代码使所述处理器执行所述第一方面的任一所述方法。
[0033]本申请实施例带来了以下有益效果：
[0034]本申请实施例中，先获取人脸集和卡通人脸集，其中所述人脸集与所述卡通人脸集中的数据一一对应；然后基于仿射变换对于所述人脸集与所述卡通人脸集进行几何拓展，以得到拓展后的人脸集和拓展后的卡通人脸集；最后基于局部人脸约束算法对所述拓展后的人脸集和所述拓展后的卡通人脸集进行训练，以得到全身卡通化模型。相对于现有技术方案，本申请实施例通过几何数据增强技术，扩增卡通人脸训练集，将人脸卡通风格迁移到全身卡通化上，但由于全身卡通化面部占比较小，使得全身卡通化后面部卡通不明显的问题，通过使用人脸约束算法做局部约束，使得全身卡通化后卡通脸的五官更符合卡通
的特点。
附图说明
[0035]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0036]图1为本申请实施例提供的一种基于几何拓展和局部人脸约束的全身卡通化方法的一个实施例示意图之一；
[0037]图2为本申请实施例提供的人脸卡通图像生成模型的一个实施例示意图；
[0038]图3为本申请实施例提供的一种基于几何拓展和局部人脸约束的全身卡通化方法的一个实施例示意图之二；
[0039]图4为本申请实施例提供的一种基于几何拓展和局部人脸约束的全身卡通化装置的结构示意图；
[0040]图5为本申请实施例提供的一种电子设备的一个实施例示意图。
[0041]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0042]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于几何拓展和局部人脸约束的全身卡通化方法，其特征在于，包括：获取人脸集和卡通人脸集，其中所述人脸集与所述卡通人脸集中的数据一一对应；基于仿射变换对于所述人脸集与所述卡通人脸集进行几何拓展，以得到拓展后的人脸集和拓展后的卡通人脸集；基于局部人脸约束算法对所述拓展后的人脸集和所述拓展后的卡通人脸集进行训练，以得到全身卡通化模型。2.根据权利要求1所述的方法，其特征在于，所述获取人脸集和卡通人脸集，包括：基于人脸卡通图像生成模型生成所述人脸集与所述卡通人脸集。3.根据权利要求2所述的方法，其特征在于，在所述基于人脸卡通图像生成模型生成所述人脸集与所述卡通人脸集之前，所述方法还包括：通过随机风格混合的向量对于基于stylegan2的生成模型进行训练以得到微调stylegan2生成模型；获取多张人脸卡通图像；基于微调stylegan2生成模型对所述多张人脸卡通图像进行训练，以得到所述人脸卡通图像生成模型。4.根据权利要求2所述的方法，其特征在于，在所述基于人脸卡通图像生成模型生成所述人脸集与所述卡通人脸集之后，在所述基于仿射变换对于所述人脸集与所述卡通人脸集进行几何拓展之前，所述方法还包括：对于所述人脸集与所述卡通人脸集进行筛选；所述基于仿射变换对于所述人脸集与所述卡通人脸集进行几何拓展包括：基于仿射变换对于筛选后的所述人脸集与所述卡通人脸集进行几何拓展。...

【专利技术属性】
技术研发人员：李可爱，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：