人像卡通化方法、装置、介质和计算设备制造方法及图纸

本公开的实施方式提供了一种人像卡通化方法、装置、介质和计算设备。该方法应用于搭载了轻量级的第一生成对抗网络模型的移动终端，包括：在检测到视频帧图像包括人脸特征时，对视频帧图像进行图像分割处理，得到包含人脸特征的真实人脸图像和背景图像；将真实人脸图像输入第一生成对抗网络模型，以对真实人脸图像进行人像卡通化处理，并获取第一生成对抗网络模型输出的卡通人脸图像；其中，第一生成对抗网络模型的模型参数为通过模型蒸馏的方式，从与移动终端对应的服务端上搭载的全量级的第二生成对抗网络模型中迁移出的模型参数；将由第一生成对抗网络模型生成的卡通人脸图像与背景图像进行图像融合处理，得到人像卡通化处理后的视频帧图像。理后的视频帧图像。理后的视频帧图像。

【技术实现步骤摘要】
人像卡通化方法、装置、介质和计算设备


[0001]本公开的实施方式涉及计算机应用领域，更具体地，本公开的实施方式涉及一种人像卡通化方法、装置、介质和计算设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]随着移动终端技术的发展，移动终端的设备性能逐渐提高，运行在移动终端上的图像拍摄APP(Application，应用程序)、视频录制APP等软件也开始涌现。在现实生活中，这些软件使用先进的图像处理技术和机器学习技术，为用户提供了各种各样的拍摄特效，例如：人像美颜、人像美妆，以及人像卡通化、三维动画化等。
[0004]具体地，人像卡通化是指利用图像处理技术对图像或视频中的真实人脸图像部分进行卡通化处理，得到卡通样式的人脸图像。

技术实现思路

[0005]在本上下文中，本公开的实施方式期望提供一种人像卡通化方法、装置、介质和计算设备。
[0006]在本公开实施方式的第一方面中，提供了一种人像卡通化方法，应用于移动终端，所述移动终端上搭载了用于生成与真实人脸图像对应的卡通人脸图像的轻量级的第一生成对抗网络模型；所述方法包括：
[0007]检测采集到的视频帧图像是否包括人脸特征；
[0008]如果所述视频帧图像包括人脸特征，对所述视频帧图像进行图像分割处理，得到包含所述人脸特征的真实人脸图像和与所述真实人脸图像对应的背景图像；
[0009]将所述真实人脸图像输入所述第一生成对抗网络模型，以对所述真实人脸图像进行人像卡通化处理，并获取所述第一生成对抗网络模型输出的与所述真实人脸图像对应的卡通人脸图像；其中，所述第一生成对抗网络模型的模型参数为通过模型蒸馏的方式，从与所述移动终端对应的服务端上搭载的用于生成与真实人脸图像对应的卡通人脸图像的全量级的第二生成对抗网络模型中迁移出的模型参数；
[0010]将由所述第一生成对抗网络模型生成的所述卡通人脸图像与所述背景图像进行图像融合处理，得到人像卡通化处理后的所述视频帧图像，以完成针对所述视频帧图像的人像卡通化处理。
[0011]可选地，所述第一生成对抗网络模型在所述服务端上训练完成；
[0012]所述第一生成对抗网络模型的训练过程包括：
[0013]基于预设的训练样本集对作为教师模型的所述第二生成对抗网络模型进行对抗训练；其中，所述训练样本集包括由若干真实人脸图像样本构成的真实人脸样本集和由若干卡通人脸图像样本构成的第一卡通人脸样本集；
[0014]获取训练完成的所述第二生成对抗网络模型输出的与所述真实人脸样本集中的真实人脸图像样本对应的卡通人脸图像样本，以由所述卡通人脸图像样本构成第二卡通人脸样本集；
[0015]将所述训练样本集和所述第二卡通人脸样本集作为蒸馏样本集，对作为学生模型的所述第一生成对抗网络模型进行模型蒸馏训练，以从所述第二生成对抗网络模型中迁移出模型参数，作为所述第一生成对抗网络模型的模型参数。
[0016]可选地，所述生成对抗网络模型包括循环生成对抗网络模型。
[0017]可选地，所述循环生成对抗网络模型为UGATIT模型。
[0018]可选地，所述第二生成对抗网络模型包括以下示出的多个子模型：
[0019]卡通人像生成子模型，用于生成与真实人脸图像对应的卡通人脸图像；
[0020]全局卡通人像鉴别子模型，用于基于卡通人脸图像的全部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；
[0021]局部卡通人像鉴别子模型，用于基于对卡通人脸图像进行裁剪得到的局部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；
[0022]真实人像生成子模型，用于生成与卡通人脸图像对应的真实人脸图像；
[0023]全局真实人像鉴别子模型，用于基于真实人脸图像的全部图像，鉴别所述真实人脸图像是否为由所述真实人像生成子模型生成的真实人脸图像；
[0024]局部真实人像鉴别子模型，用于基于对真实人脸图像进行裁剪得到的局部图像，鉴别所述真实人脸图像是否为由所述真实人像生成子模型生成的真实人脸图像。
[0025]可选地，所述第一生成对抗网络模型包括以下示出的多个子模型：
[0026]卡通人像生成子模型，用于生成与真实人脸图像对应的卡通人脸图像；
[0027]全局卡通人像鉴别子模型，用于基于卡通人脸图像的全部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；
[0028]局部卡通人像鉴别子模型，用于基于对卡通人脸图像进行裁剪得到的局部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像。
[0029]可选地，所述第一生成对抗网络模型中的全局卡通人像鉴别子模型的模型参数的初始值，为训练完成的所述第二生成对抗网络模型中的全局卡通人像鉴别子模型的模型参数；
[0030]所述第一生成对抗网络模型中的局部卡通人像鉴别子模型的模型参数的初始值，为训练完成的所述第二生成对抗网络模型中的局部卡通人像鉴别子模型的模型参数。
[0031]可选地，所述第一生成对抗网络模型中的局部卡通人像鉴别子模型包括：
[0032]眼部特征鉴别子模型，用于基于对卡通人脸图像进行裁剪得到的包含眼部特征的局部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；和/或，
[0033]口鼻特征鉴别子模型，用于基于对卡通人脸图像进行裁剪得到的包含口鼻特征的局部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像。
[0034]可选地，所述移动终端上还搭载了用于对图像进行人像分割处理的人像分割模型；其中，所述真实人脸样本集中的真实人脸图像样本中被标注了包含人脸特征的人脸特
征区域；所述人像分割模型为将所述第一生成对抗网络模型中的卡通人像生成子模型从所述真实人脸图像样本中提取出的人脸特征作为训练样本，将所述真实人脸图像样本中被标注的人脸特征区域作为约束，进行有监督训练得到的机器学习模型；
[0035]所述对所述视频帧图像进行图像分割处理，包括：
[0036]将所述第一生成对抗网络模型中的卡通人像生成子模型从所述视频帧图像中提取出的人脸特征输入所述人像分割模型，以由所述人像分割模型从所述视频帧图像中分割出包含所述人脸特征的人脸特征区域，作为包含所述人脸特征的真实人脸图像，并获取所述视频帧图像中与所述真实人脸图像对应的背景图像。
[0037]可选地，针对所述人像分割模型的训练与针对所述第一生成对抗网络模型的模型蒸馏训练同步进行。
[0038]可选地，将所述真实人脸图像输入所述第一生成对抗网络模型，以对所述真实人脸图像进行人像卡通化处理之前，所述方法还包括：
[0039]确定基于所述第一生成对抗网络模型对所述视频帧图像的上一帧图像进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人像卡通化方法，应用于移动终端，所述移动终端上搭载了用于生成与真实人脸图像对应的卡通人脸图像的轻量级的第一生成对抗网络模型；所述方法包括：检测采集到的视频帧图像是否包括人脸特征；如果所述视频帧图像包括人脸特征，对所述视频帧图像进行图像分割处理，得到包含所述人脸特征的真实人脸图像和与所述真实人脸图像对应的背景图像；将所述真实人脸图像输入所述第一生成对抗网络模型，以对所述真实人脸图像进行人像卡通化处理，并获取所述第一生成对抗网络模型输出的与所述真实人脸图像对应的卡通人脸图像；其中，所述第一生成对抗网络模型的模型参数为通过模型蒸馏的方式，从与所述移动终端对应的服务端上搭载的用于生成与真实人脸图像对应的卡通人脸图像的全量级的第二生成对抗网络模型中迁移出的模型参数；将由所述第一生成对抗网络模型生成的所述卡通人脸图像与所述背景图像进行图像融合处理，得到人像卡通化处理后的所述视频帧图像，以完成针对所述视频帧图像的人像卡通化处理。2.根据权利要求1所述的方法，所述第一生成对抗网络模型在所述服务端上训练完成；所述第一生成对抗网络模型的训练过程包括：基于预设的训练样本集对作为教师模型的所述第二生成对抗网络模型进行对抗训练；其中，所述训练样本集包括由若干真实人脸图像样本构成的真实人脸样本集和由若干卡通人脸图像样本构成的第一卡通人脸样本集；获取训练完成的所述第二生成对抗网络模型输出的与所述真实人脸样本集中的真实人脸图像样本对应的卡通人脸图像样本，以由所述卡通人脸图像样本构成第二卡通人脸样本集；将所述训练样本集和所述第二卡通人脸样本集作为蒸馏样本集，对作为学生模型的所述第一生成对抗网络模型进行模型蒸馏训练，以从所述第二生成对抗网络模型中迁移出模型参数，作为所述第一生成对抗网络模型的模型参数。3.根据权利要求2所述的方法，所述第二生成对抗网络模型包括以下示出的多个子模型：卡通人像生成子模型，用于生成与真实人脸图像对应的卡通人脸图像；全局卡通人像鉴别子模型，用于基于卡通人脸图像的全部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；局部卡通人像鉴别子模型，用于基于对卡通人脸图像进行裁剪得到的局部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；真实人像生成子模型，用于生成与卡通人脸图像对应的真实人脸图像；全局真实人像鉴别子模型，用于基于真实人脸图像的全部图像，鉴别所述真实人脸图像是否为由所述真实人像生成子模型生成的真实人脸图像；局部真实人像鉴别子模型，用于基于对真实人脸图像进行裁剪得到的局部图像，鉴别所述真实人脸图像是否为由所述真实人像生成子模型生成的真实人脸图像。4.根据权利要求3所述的方法，所述第一生成对抗网络模型包括以下示出的多个子模型：卡通人像生成子模型，用于生成与真实人脸图像对应的卡通人脸图像；
全局卡通人像鉴别子模型，用于基于卡通人脸图像的全部图像，鉴别所述卡通人脸图像是否为由所述卡通人像生成子模型生成的卡通人脸图像；局部卡通人像鉴别子模型，用于基于...

【专利技术属性】
技术研发人员：金强，朱一闻，曹偲，刘华平，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：