换脸模型的训练方法、装置、设备、存储介质和程序产品制造方法及图纸

本申请涉及一种换脸模型的训练方法、装置、设备、存储介质和程序产品。该方法涉及人工智能技术，该方法包括：通过拼接模板图像的表情特征与脸源图像的身份特征，得到组合特征，通过换脸模型的生成网络，根据脸源图像与模板图像进行编码，得到编码特征，根据融合编码特征与组合特征得到的融合特征进行解码，得到换脸图像，通过换脸模型的判别网络，根据换脸图像与参考图像，得到相应的图像属性判别结果，基于换脸图像的表情特征与模板图像的表情特征的差异、换脸图像的身份特征与脸源图像的身份特征的差异以及图像属性判别结果，更新生成网络与判别网络。采用本方法能够在模板图像的表情复杂时，输出的换脸图像仍能保持该复杂表情，提升换脸效果。提升换脸效果。提升换脸效果。

【技术实现步骤摘要】
换脸模型的训练方法、装置、设备、存储介质和程序产品


[0001]本申请涉及计算机
，特别是涉及一种换脸模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术与人工智能技术的迅速发展，出现了人脸替换技术，人脸替换即换脸，是指将待进行人脸替换的图像（即模板图像）中的人脸，替换为脸源图像中的人脸，换脸技术的目标是，通过换脸得到换脸图像中的人脸能够保持模板图像中人脸的表情、角度、背景等信息，还需要与脸源图像中的人脸尽可能相像。人脸替换有非常多的应用场景，例如视频换脸可以应用于影视人像制作、游戏人物设计、虚拟形象、隐私保护等。
[0003]丰富表情的保持能力，对于人脸替换技术而言，既是重点也是难点。目前，大多数换脸算法在普通表情场景下能取得令人满意的效果，比如微笑等。但在一些表情较为丰富的场景下，比如嘟嘴、闭眼、眨单眼、生气等，换脸图像的表情保持效果不佳，甚至一些较难的表情保持不住，导致换脸效果较差。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种换脸模型的训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，能够在模板图像的表情较为复杂时，输出的换脸图像仍能保持这种复杂表情，提升换脸效果。
[0005]第一方面，本申请提供了一种换脸模型的训练方法。所述方法包括：获取样本三元组，所述样本三元组包括脸源图像、模板图像与参考图像；拼接所述模板图像的表情特征与所述脸源图像的身份特征，得到组合特征；通过所述换脸模型的生成网络，根据所述脸源图像与所述模板图像进行编码，得到换脸所需的编码特征，并根据融合所述编码特征与所述组合特征得到的融合特征进行解码，得到换脸图像；通过所述换脸模型的判别网络，根据所述换脸图像与所述参考图像，得到相应的图像属性判别结果，所述图像属性包括伪造图像和非伪造图像；基于所述换脸图像的表情特征与所述模板图像的表情特征之间的差异、所述换脸图像的身份特征与所述脸源图像的身份特征之间的差异、以及所述图像属性判别结果，更新所述生成网络与所述判别网络。
[0006]第二方面，本申请还提供了一种换脸模型的训练装置。所述装置包括：获取模块，用于获取样本三元组，所述样本三元组包括脸源图像、模板图像与参考图像；拼接模块，用于拼接所述模板图像的表情特征与所述脸源图像的身份特征，得到组合特征；生成模块，用于通过所述换脸模型的生成网络，根据所述脸源图像与所述模板图
像进行编码，得到换脸所需的编码特征，并根据融合所述编码特征与所述组合特征得到的融合特征进行解码，得到换脸图像；判别模块，用于通过所述换脸模型的判别网络，根据所述换脸图像与所述参考图像，得到相应的图像属性判别结果，所述图像属性包括伪造图像和非伪造图像；更新模块，用于基于所述换脸图像的表情特征与所述模板图像的表情特征之间的差异、所述换脸图像的身份特征与所述脸源图像的身份特征之间的差异、以及所述图像属性判别结果，更新所述生成网络与所述判别网络。
[0007]在一个实施例中，所述获取模块，还用于获取第一图像与第二图像，所述第一图像与第二图像对应相同的身份属性，且对应不同的非身份属性；获取第三图像，所述第三图像与所述第一图像对应不同的身份属性；将所述第二图像中的对象替换为所述第三图像中的对象，得到第四图像； 将所述第一图像作为脸源图像、所述第四图像作为模板图像、所述第二图像作为参考图像，作为一个样本三元组。
[0008]在一个实施例中，所述装置还包括：表情识别模块，用于通过所述换脸模型的表情识别网络，对所述模板图像进行特征提取，得到所述模板图像的表情特征；人脸识别模块，用于通过所述换脸模型的人脸识别网络，对所述脸源图像进行特征提取，得到所述脸源图像的身份特征；其中，所述表情识别网络与所述人脸识别网络，均为预先训练好的神经网络模型。
[0009]在一个实施例中，所述生成模块，还用于将所述脸源图像与模板图像进行拼接，得到输入图像；将所述输入图像输入至所述换脸模型；通过所述换脸模型的生成网络，对所述输入图像进行编码，得到对所述模板图像进行换脸所需的编码特征。
[0010]在一个实施例中，所述装置还包括：融合模块，用于分别计算所述编码特征、所述组合特征的均值与标准差；根据所述编码特征的均值与标准差，对所述编码特征进行归一化处理，得到归一化后的编码特征；根据所述组合特征的均值与标准差，将所述组合特征的风格迁移至所述归一化后的编码特征，得到所述融合特征。
[0011]在一个实施例中，所述判别模块，还用于将所述换脸图像输入所述换脸模型的判别网络，得到所述换脸图像属于非伪造图像的第一概率；将所述参考图像输入所述换脸模型的判别网络，得到所述参考图像属于非伪造图像的第二概率。
[0012]在一个实施例中，所述装置还包括：表情识别模块，用于通过所述换脸模型的表情识别网络，对所述换脸图像进行特征提取，得到所述换脸图像的表情特征；人脸识别模块，用于通过所述换脸模型的人脸识别网络，对所述换脸图像进行特征提取，得到所述换脸图像的身份特征；其中，所述表情识别网络与所述人脸识别网络，均为预先训练好的神经网络模型。
[0013]在一个实施例中，所述更新模块，还用于交替地，在固定所述生成网络的网络参数的情况下，根据所述换脸图像属于非伪造图像的第一概率与所述参考图像属于非伪造图像的第二概率，构建关于所述判别网络的判别损失，利用所述判别损失更新所述判别网络的网络参数；在固定所述判别网络的网络参数的情况下，根据所述换脸图像属于非伪造图像
的第一概率，构建生成网络的生成损失，根据所述换脸图像的表情特征与所述模板图像的表情特征之间的差异，构建表情损失，根据所述换脸图像的身份特征与所述脸源图像的身份特征之间的差异，构建身份损失，根据所述生成损失、表情损失与所述身份损失，构建关于所述生成网络的换脸损失，利用所述换脸损失更新所述生成网络的网络参数，直至满足训练停止条件时交替结束，得到训练好的判别网络与生成网络。
[0014]在一个实施例中，所述装置还包括：关键点定位模块，用于通过预先训练好的人脸关键点网络，分别对所述模板图像与所述换脸图像进行人脸关键点识别，得到各自的人脸关键点信息；所述更新模块，还用于根据所述模板图像与所述换脸图像各自的人脸关键点信息之间的差异，构建关键点损失；所述关键点损失用于参与所述换脸模型的生成网络的训练。
[0015]在一个实施例中，所述装置还包括：图像特征提取模块，用于通过预先训练好的特征提取网络，分别对所述换脸图像与所述参考图像进行图像特征提取，得到各自的图像特征；所述更新模块，还用于根据所述换脸图像与所述参考图像各自的图像特征之间的差异，构建相似度损失；所述相似度损失用于参与所述换脸模型的生成网络的训练。
[0016]在一个实施例中，所述更新模块还用于根据所述换脸图像与所述参考图像之间的像素级差异，构建重建损失；其中，所述重建损失用于参与所述换脸模型的生成网络的训练。
[0017]在一个实施例中，所述装置还包括：换脸模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种换脸模型的训练方法，其特征在于，所述方法包括：获取样本三元组，所述样本三元组包括脸源图像、模板图像与参考图像；拼接所述模板图像的表情特征与所述脸源图像的身份特征，得到组合特征；通过所述换脸模型的生成网络，根据所述脸源图像与所述模板图像进行编码，得到换脸所需的编码特征，并根据融合所述编码特征与所述组合特征得到的融合特征进行解码，得到换脸图像；通过所述换脸模型的判别网络，根据所述换脸图像与所述参考图像，得到相应的图像属性判别结果，所述图像属性包括伪造图像和非伪造图像；基于所述换脸图像的表情特征与所述模板图像的表情特征之间的差异、所述换脸图像的身份特征与所述脸源图像的身份特征之间的差异、以及所述图像属性判别结果，更新所述生成网络与所述判别网络。2.根据权利要求1所述的方法，其特征在于，所述获取样本三元组，包括：获取第一图像与第二图像，所述第一图像与第二图像对应相同的身份属性，且对应不同的非身份属性；获取第三图像，所述第三图像与所述第一图像对应不同的身份属性；将所述第二图像中的对象替换为所述第三图像中的对象，得到第四图像；将所述第一图像作为脸源图像、所述第四图像作为模板图像、所述第二图像作为参考图像，作为一个样本三元组。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述换脸模型的表情识别网络，对所述模板图像进行特征提取，得到所述模板图像的表情特征；通过所述换脸模型的人脸识别网络，对所述脸源图像进行特征提取，得到所述脸源图像的身份特征；其中，所述表情识别网络与所述人脸识别网络，均为预先训练好的神经网络模型。4.根据权利要求1所述的方法，其特征在于，所述通过所述换脸模型的生成网络，根据所述脸源图像与所述模板图像进行编码，得到换脸所需的编码特征，包括：将所述脸源图像与模板图像进行拼接，得到输入图像；将所述输入图像输入至所述换脸模型；通过所述换脸模型的生成网络，对所述输入图像进行编码，得到对所述模板图像进行换脸所需的编码特征。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：分别计算所述编码特征、所述组合特征的均值与标准差；根据所述编码特征的均值与标准差，对所述编码特征进行归一化处理，得到归一化后的编码特征；根据所述组合特征的均值与标准差，将所述组合特征的风格迁移至所述归一化后的编码特征，得到所述融合特征。6.根据权利要求1所述的方法，其特征在于，所述通过所述换脸模型的判别网络，根据所述换脸图像与所述参考图像，得到相应的图像属性判别结果，包括：将所述换脸图像输入所述换脸模型的判别网络，得到所述换脸图像属于非伪造图像的
第一概率；将所述参考图像输入所述换脸模型的判别网络，得到所述参考图像属于非伪造图像的第二概率。7.根据权利要求1所述的方法，其特征在于，在得到换脸图像之后，所述方法还包括：通过所述换脸模型的表情识别网络，对所述换脸图像进行特征提取，得到所述换脸图像的表情特征；通过所述换脸模型的人脸识别网络，对所述换脸图像进行特征提取，得到所述换脸图像的身份特征；其中，所述表情识别网络与所述人脸识别网络，均为预先训练好的神经网络模型。8.根据权利要求1所述的方法，其特征在于，所述基于所述换脸图像的表情特征与所述模板图像的表情特征之间的差异、所述换脸图像的身份特征与所述脸源图像的身份特征之间的差异、以及所述图像属性判别结果，更新所述生成网络与所述判别网络，包括：交替地，在固定所述生成网络的网络参数的情况下，根据所述换脸图像属于非伪造图像的第一概率与所述参考图像属于非伪造图...

【专利技术属性】
技术研发人员：贺珂珂，朱俊伟，邰颖，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：