一种人脸图像的处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供一种人脸图像的处理方法、装置、电子设备及存储介质，本公开方法包括：获取包含待修复区域的原始人脸图像，根据原始人脸图像中的皮肤区域和非皮肤区域生成原始人脸图像对应的二值化图像；以及根据原始人脸图像的梯度值生成权重图像；将原始人脸图像、二值化图像以及权重图像输入训练后的生成对抗网络，并获取训练后的生成对抗网络输出的对待修复区域进行修复后的目标人脸图像。本公开实施例在生成对抗网络中引入了二值化图像和权重图像，使得在对人脸图像中待修复区域进行处理时更加注重皮肤纹理细节，使得修复后的图像真实自然；同时避免了对人脸图像中待修复区域修复时将非皮肤区域填充到瑕疵区域导致修复后的人脸图像失真的问题。

A face image processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
一种人脸图像的处理方法、装置、电子设备及存储介质
本公开涉及图像处理
，特别涉及一种人脸图像的处理方法、装置、电子设备及存储介质。
技术介绍
随着移动终端的不断普及，各种摄影、录像等应用迅速发展起来，在用户进行拍照或是录制视频时，可以通过应用中提供的美颜功能对拍摄到的人脸图像进行处理，祛除人脸皮肤中比较明显的瑕疵区域，例如痘、痣、斑等瑕疵，处理后的图像可以增加皮肤的质感，提高了图像的质量。在目前的技术中，对人脸图像进行修复的方法主要是选择直接去除瑕疵区域的图像像素，根据缺失区域周围的像素以及纹理结构，使用图像补全算法对其进行填充，但是由于在获取到的图像中，面部皮肤纹理细节非常丰富，例如毛孔、皱纹等，而且五官周围具有较强的边界性，现有技术不能很好的对这些边界信息进行特别的处理，另外，人脸图像上还有可能会有发丝、帽子、口罩、眼镜等遮挡物，这时使用图像补全算法对图像进行修复，有很大概率会引入这些非皮肤的纹理，将非皮肤区域填充到瑕疵区域，从而使修复后的图像缺失真实性、自然性，不能满足用户的需求，降低了用户的使用体验。综上所述，现有技术中对人脸图像中瑕疵进行修复的方法会导致修复后的图像失真。
技术实现思路
本公开提供一种人脸图像的处理方法、装置、电子设备及存储介质，用以解决现有技术中对人脸图像中瑕疵进行修复的方法会导致修复后的图像失真的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种人脸图像的处理方法，包括：获取包含待修复区域的原始人脸图像；根据所述原始人脸图像中的皮肤区域和非皮肤区域，生成所述原始人脸图像对应的二值化图像；以及根据所述原始人脸图像的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像；其中，所述非皮肤区域包括所述原始人脸图像中的五官区域；将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取所述训练后的生成对抗网络输出的对所述待修复区域进行修复后的目标人脸图像。在一种可能的实现方式中，所述根据所述原始人脸图像的像素点对应的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像，包括：获取所述原始人脸图像的像素点对应的梯度值；根据梯度值与权重系数之间的对应关系，确定所述原始图像中每个像素点在所述梯度图像中的梯度值对应的权重系数；根据确定的所述权重系数，以及每个像素点在所述原始图像中的位置，生成所述原始图像对应的权重图像。在一种可能的实现方式中，在所述对应关系中，不大于第一阈值的梯度值对应第一权重系数，大于第一阈值的梯度值对应第二权重系数；其中，所述第一权重系数小于所述第二权重系数；或者在所述对应关系中梯度值与权重系数之间呈正比关系。在一种可能的实现方式中，所述生成对抗网络包括生成网络和判别网络；根据下列方式对所述生成对抗网络进行训练：根据包含待修复区域的训练人脸图像中的皮肤区域和非皮肤区域，生成所述训练人脸图像对应的二值化图像；以及根据所述训练人脸图像的梯度值，生成用于表示所述训练人脸图像中像素点对应的权重系数的权重图像；将所述训练人脸图像、所述训练人脸图像对应的二值化图像、所述训练人脸图像对应的权重图像作为所述生成网络的输入特征，将对所述待修复区域进行修复后的输出人脸图像作为所述生成网络的输出特征，对所述生成网络进行训练；将所述输出人脸图像与所述训练人脸图像对应的目标样本图像输入所述判别网络，确定所述判别网络输出的所述输出人脸图像与所述训练人脸图像对应的目标样本图像之间的相似度；根据确定的所述相似度对所述生成网络的参数和所述判别网络的参数进行调整。在一种可能的实现方式中，所述根据确定的所述相似度对所述生成网络的参数和所述判别网络的参数进行调整，包括：若所述相似度小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，则根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述生成网络对应的第一损失函数的第一损失值；根据所述第一损失值对所述生成网络的参数进行调整。在一种可能的实现方式中，所述第一损失函数为：LG＝argMinG(Ez-p[log(1-D(G(β*z)))]+αE[||x-G(β*z)||])其中，argMinG表示所述训练人脸图像和所述目标人脸图像差异最小时的点集，Ez-p表示所述输出人脸图像的概率分布函数的期望值，z表示为包含待修复区域的所述训练人脸图像，β表示所述训练人脸图像对应的二值化图像，G(β*z)表示所述生成网络输出的所述输出人脸图像，z-p表示所述输出人脸图像的概率分布，x表示所述训练人脸图像对应的所述目标样本图像，α表示所述训练人脸图像中每个像素点对应的权重系数。在一种可能的实现方式中，所述根据确定的所述相似度对所述判别网络的参数进行调整，包括：若所述相似度小于第二阈值，则确定表示所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，则根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述判别网络对应的第二损失函数的第二损失值；根据所述第二损失值对所述判别网络的参数进行调整。在一种可能的实现方式中，所述第二损失函数为：LD＝argMaxD(Ex-p[logD(x)]+Ez-p[log(1-D(G(β*z)))])其中，argMaxD表示所述训练人脸图像和所述目标人脸图像差异最大时的点集；Ex-p表示所述目标样本图像的概率分布函数的期望值；z表示包含待修复区域的所述训练人脸图像，G(β*z)表示所述输出人脸图像，β表示所述训练人脸图像对应的二值化图像，z-p表示所述输出人脸图像的概率分布，x表示所述训练人脸图像对应的所述目标样本图像，x-p表示所述目标样本图像的概率分布；Ez-p表示所述输出人脸图像的概率分布函数的期望值。在一种可能的实现方式中，该方法还包括：若所述相似度不小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像相似，并确定所述生成对抗网络训练完成。根据本公开实施例的第二方面，提供一种人脸图像的处理装置，包括：获取单元，被配置为执行获取包含待修复区域的原始人脸图像；生成单元，被配置为执行根据所述原始人脸图像中的皮肤区域和非皮肤区域，生成所述原始人脸图像对应的二值化图像；以及根据所述原始人脸图像的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像；其中，所述非皮肤区域包括所述原始人脸图像中的五官区域；处理单元，被配置为执行将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取所述训练后的生成对抗网络输出的对所述待修复区域进行修复后的目标人脸图像。在一种可能的实现方式中，所述生成单元被配置为执行：获取所述原始人脸图像的像素点对应的梯度值；根据梯度值与权重系数之间的对应关系，确定所述原始图本文档来自技高网...

【技术保护点】
1.一种人脸图像的处理方法，其特征在于，该方法包括：/n获取包含待修复区域的原始人脸图像；/n根据所述原始人脸图像中的皮肤区域和非皮肤区域，生成所述原始人脸图像对应的用于标记所述原始人脸图像中非皮肤区域的二值化图像；以及根据所述原始人脸图像的像素点对应的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像；其中，所述非皮肤区域包括所述原始人脸图像中的五官区域；/n将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取所述训练后的生成对抗网络输出的对所述待修复区域进行修复后的目标人脸图像。/n

【技术特征摘要】
1.一种人脸图像的处理方法，其特征在于，该方法包括：
获取包含待修复区域的原始人脸图像；
根据所述原始人脸图像中的皮肤区域和非皮肤区域，生成所述原始人脸图像对应的用于标记所述原始人脸图像中非皮肤区域的二值化图像；以及根据所述原始人脸图像的像素点对应的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像；其中，所述非皮肤区域包括所述原始人脸图像中的五官区域；
将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取所述训练后的生成对抗网络输出的对所述待修复区域进行修复后的目标人脸图像。


2.如权利要求1所述的方法，其特征在于，所述根据所述原始人脸图像的像素点对应的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像，包括：
获取所述原始人脸图像的像素点对应的梯度值；
根据梯度值与权重系数之间的对应关系，确定所述原始图像中每个像素点在所述梯度图像中的梯度值对应的权重系数；
根据确定的所述权重系数，以及每个像素点在所述原始图像中的位置，生成所述原始图像对应的权重图像。


3.如权利要求2所述的方法，其特征在于，在所述对应关系中，不大于第一阈值的梯度值对应第一权重系数，大于第一阈值的梯度值对应第二权重系数；其中，所述第一权重系数小于所述第二权重系数；或者
在所述对应关系中梯度值与权重系数之间呈正比关系。


4.如权利要求1～3任一项所述的方法，其特征在于，所述生成对抗网络包括生成网络和判别网络；
根据下列方式对所述生成对抗网络进行训练：
根据包含待修复区域的训练人脸图像中的皮肤区域和非皮肤区域，生成所述训练人脸图像对应的二值化图像；以及根据所述训练人脸图像的梯度值，生成用于表示所述训练人脸图像中像素点对应的权重系数的权重图像；
将所述训练人脸图像、所述训练人脸图像对应的二值化图像、所述训练人脸图像对应的权重图像作为所述生成网络的输入特征，将对所述待修复区域进行修复后的输出人脸图像作为所述生成网络的输出特征，对所述生成网络进行训练；
将所述输出人脸图像与所述训练人脸图像对应的目标样本图像输入所述判别网络，确定所述判别网络输出的所述输出人脸图像与所述训练人脸图像对应的目标样本图像之间的相似度；
根据确定的所述相似度对所述生成网络的参数和所述判...

【专利技术属性】
技术研发人员：秦文煜，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11