【技术实现步骤摘要】
本公开涉及人工智能，具体地，涉及一种数字人人脸的编辑方法、装置、设备、介质和程序产品。
技术介绍
1、传统的数字人人脸图像制作流程非常依赖于美术人员，缺少制作标准、制作成本高、生产效率低。随着人工智能技术的发展，目前已有一些方案会借助于深度学习和计算机视觉技术来绘制数字人人脸图像，然而这样绘制出的人脸图像经常仅是一个基础版本，应用到实际的服务中时则会出现不同场景下数字人人脸千篇一律、明显太假的问题。这是因为，使用数字人的服务场景不同时，对同一个数字人人脸中的表情、装饰风格等要求都会有所不同。因此，需要针对不同场景提供具有不同风格的数字人人脸图像，以提高数字人服务的真实性。
技术实现思路
1、有鉴于此，本公开提供了一种可以快速可控的调节人脸属性的数字人人脸的编辑方法、装置、设备、介质和程序产品。
2、本公开实施例的第一方面，提供了一种数字人人脸的编辑方法。所述方法包括：获取第一人脸图像和目标属性信息；以所述目标属性信息作为训练好的条件生成对抗网络中的条件信息，利用所述条件生成对抗网络对所述第一人脸图像进行处理，得到所述条件生成对抗网络中的生成器生成的目标人脸图像；其中，所述条件生成对抗网络包括生成器和判别器；获取以所述目标人脸图像作为所述判别器的输入时所述判别器输出的第一目标输出信息和第二目标输出信息，其中，所述第一目标输出信息包括所述目标人脸图像的真实性判别结果，所述第二目标输出信息包括所述目标人脸图像的属性信息；当所述目标人脸图像的真实性判别结果表征所述目标人脸图像为
3、根据本公开的实施例，在所述条件生成对抗网络的训练过程中，通过如下方式训练所述判别器。首先获取所述生成器生成的至少一个生成人脸图像，得到生成数据集；其中，每个所述生成人脸图像为所述生成器以一个生成属性信息为条件信息对一个待编辑人脸图像进行处理得到的；其中，所述生成数据集中的每个所述生成人脸图像标注有在生成所述生成人脸图像时使用到的所述生成属性信息。与此同时获取训练样本数据集，所述训练样本数据集包括至少一个第二人脸图像，每个所述第二人脸图像标注有第二属性信息。然后向所述判别器输入第三人脸图像，并获得所述判别器的输出；其中，所述第三人脸图像来自于所述训练样本数据集或所述生成数据集；其中，所述判别器的输出包括第一训练输出信息和第二训练输出信息，其中，所述第一训练输出信息包括所述第三人脸图像的真实性判别结果，所述第二训练输出信息包括所述第三人脸图像的属性信息；其中，所述第三人脸图像的真实性判别结果通过所述第三人脸图像是否来源于所述生成数据集来表征。接下来基于所述第三人脸图像的真实性判别结果与所述第三人脸图像的实际来源的差异，得到判别器对抗损失；以及基于所述第二训练输出信息中所述第三人脸图像的属性信息与所述第三人脸图像标注的属性信息的差异，得到真实图像分类损失。最后基于所述判别器对抗损失和所述真实图像分类损失，更新所述判别器的参数。
4、根据本公开一实施例，所述生成器包括编码器和解码器；其中，所述以所述目标属性信息作为训练好的条件生成对抗网络中的条件信息，利用所述条件生成对抗网络对所述第一人脸图像进行处理，得到所述条件生成对抗网络中的生成器生成的目标人脸图像包括：向所述编码器输入所述第一人脸图像，并获得所述编码器输出的第一编码数据；以及向所述解码器输入第一编码数据和所述目标属性信息，并获得所述解码器输出的图像，以得到所述目标人脸图像。
5、根据本公开一实施例，所述生成器还包括特征融合旁路模块；所述向所述解码器输入第一编码数据和所述目标属性信息，并获得所述解码器输出的图像，以得到所述目标人脸图像还包括：向所述特征融合旁路模块输入所述第一人脸图像和所述目标属性信息，并获得所述特征融合旁路模块输出的第一融合数据；以及向所述解码器输入第一编码数据、所述第一融合数据和所述目标属性信息，并获得所述解码器输出的图像，以得到所述目标人脸图像。
6、根据本公开一实施例，所述解码器包括多层网络，所述向所述解码器输入第一编码数据、所述第一融合数据和所述目标属性信息，并获得所述解码器输出的图像包括：向所述解码器的第一层网络输入所述第一编码数据和所述目标属性信息；将所述第一融合数据拼接到所述解码器的一个中间层网络的输入数据中；以及获得所述解码器输出的图像。
7、根据本公开一实施例，所述生成器还包括跳跃连接模块，其中，所述编码器和所述解码器均包括多层网络。所述以所述目标属性信息作为训练好的条件生成对抗网络中的条件信息，利用所述条件生成对抗网络对所述第一人脸图像进行处理，得到所述条件生成对抗网络中的生成器生成的目标人脸图像包括：通过所述跳跃连接模块将所述编码器的第一层网络的输出数据，拼接到所述解码器的第m层网络的输入数据中，其中，m大于2小于或等于所述解码器的网络层数。
8、根据本公开一实施例，所述目标属性信息的格式为n维二值型数组，其中，n代表属性种类，每一维的取值代表该种类中的属性存在或不存在。
9、本公开实施例的第二方面，提供了一种数字人人脸的编辑装置。所述装置包括：第一获取模块、编辑模块、确定模块和输出模块。
10、所述第一获取模块，用于获取第一人脸图像和目标属性信息。
11、所述编辑模块用于：以所述目标属性信息作为训练好的条件生成对抗网络中的条件信息，利用所述条件生成对抗网络对所述第一人脸图像进行处理，得到所述条件生成对抗网络中的生成器生成的目标人脸图像；以及获取以所述目标人脸图像作为所述判别器的输入时所述判别器输出的第一目标输出信息和第二目标输出信息，其中，所述第一目标输出信息包括所述目标人脸图像的真实性判别结果，所述第二目标输出信息包括所述目标人脸图像的属性信息。
12、所述确定模块，用于当所述目标人脸图像的真实性判别结果表征所述目标人脸图像为真实图像而非所述生成器生成的图像，并且所述目标人脸图像的属性信息与所述目标属性信息一致时，确定所述目标人脸图像为编辑完成的人脸图像。
13、所述输出模块，用于输出所述目标人脸图像。
14、根据本公开一实施例，所述装置还包括训练模块。所述训练模块用于训练所述条件生成对抗网络。其中，所述训练模块具体用于通过如下方式训练所述判别器。首先获取所述生成器生成的至少一个生成人脸图像，得到生成数据集；其中，每个所述生成人脸图像为所述生成器以一个生成属性信息为条件信息对一个待编辑人脸图像进行处理得到的；其中，所述生成数据集中的每个所述生成人脸图像标注有在生成所述生成人脸图像时使用到的所述生成属性信息。与此同时获取训练样本数据集，所述训练样本数据集包括至少一个第二人脸图像，每个所述第二人脸图像标注有第二属性信息。然后向所述判别器输入第三人脸图像，并获得所述判别器的输出；其中，所述第三人脸图像来自于所述训练样本数据集或所述生成数据集；其中本文档来自技高网...
【技术保护点】
1.一种数字人人脸的编辑方法，包括：
2.根据权利要求1所述的方法，其中，在所述条件生成对抗网络的训练过程中，通过如下方式训练所述判别器：
3.根据权利要求1所述的方法，其中，所述生成器包括编码器和解码器；其中，所述以所述目标属性信息作为训练好的条件生成对抗网络中的条件信息，利用所述条件生成对抗网络对所述第一人脸图像进行处理，得到所述条件生成对抗网络中的生成器生成的目标人脸图像包括：
4.根据权利要求3所述的方法，其中，所述生成器还包括特征融合旁路模块；所述向所述解码器输入第一编码数据和所述目标属性信息，并获得所述解码器输出的图像，以得到所述目标人脸图像还包括：
5.根据权利要求4所述的方法，其中，所述解码器包括多层网络，所述向所述解码器输入第一编码数据、所述第一融合数据和所述目标属性信息，并获得所述解码器输出的图像包括：
6.根据权利要求3所述的方法，其中，所述生成器还包括跳跃连接模块，其中，所述编码器和所述解码器均包括多层网络；所述以所述目标属性信息作为训练好的条件生成对抗网络中的条件信息，利用所述条件生成对抗网络对
7.根据权利要求1所述的方法，其中，所述目标属性信息的格式为n维二值型数组，其中，n代表属性种类，每一维的取值代表该种类中的属性存在或不存在。
8.一种数字人人脸的编辑装置，其中，所述装置包括：
9.一种电子设备，包括：
10.一种计算机可读存储介质，其上存储有计算机程序或指令，其中，所述计算机程序或指令被处理器执行时实现根据权利要求1~7中任一项所述方法的步骤。
11.一种计算机程序产品，包括计算机程序或指令，其中，所述计算机程序或指令被处理器执行时实现根据权利要求1~7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种数字人人脸的编辑方法，包括：
2.根据权利要求1所述的方法，其中，在所述条件生成对抗网络的训练过程中，通过如下方式训练所述判别器：
3.根据权利要求1所述的方法，其中，所述生成器包括编码器和解码器；其中，所述以所述目标属性信息作为训练好的条件生成对抗网络中的条件信息，利用所述条件生成对抗网络对所述第一人脸图像进行处理，得到所述条件生成对抗网络中的生成器生成的目标人脸图像包括：
4.根据权利要求3所述的方法，其中，所述生成器还包括特征融合旁路模块；所述向所述解码器输入第一编码数据和所述目标属性信息，并获得所述解码器输出的图像，以得到所述目标人脸图像还包括：
5.根据权利要求4所述的方法，其中，所述解码器包括多层网络，所述向所述解码器输入第一编码数据、所述第一融合数据和所述目标属性信息，并获得所述解码器输出的图像包括：
6.根据权利要求3所述的方法...
【专利技术属性】
技术研发人员：李瀚，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。