【技术实现步骤摘要】
人脸表情迁移方法和表情迁移装置、电子设备及存储介质
[0001]本申请涉及人工智能
，尤其涉及一种人脸表情迁移方法和表情迁移装置、电子设备及存储介质。
技术介绍
[0002]人物脸部表情迁移是指不改变原人物脸部特征的情况下，只改变人物的表情特征，目前，现有的人脸表情迁移方法虽然能够解决人脸表情迁移的问题，但是这些方法都存在一些弊端，例如，基于深度学习的生成对抗网络构建的人脸表情迁移方法，由于不同表情图像之间存在显著的域差异，使得对抗式的结构稳定度较低，从而导致表情迁移的准确率较低。因此，如何高效准确地完成人脸表情迁移任务，成为了亟待解决的技术问题。
技术实现思路
[0003]本申请实施例的主要目的在于提出了一种人脸表情迁移方法和表情迁移装置、电子设备及存储介质，能够高效准确地实现对图像中人脸表情的迁移。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种人脸表情迁移方法，所述方法包括：
[0005]获取目标对象的原始人脸图像和目标表情类别；
[0006]根据所述目标对象确定第一训练集，其中，所述第一训练集包括多个第一人脸样本图像，所述原始人脸图像和所述第一人脸样本图像属于同一所述目标对象的图像；
[0007]根据所述目标表情类别确定第二训练集，其中，所述第二训练集包括多个第二人脸样本图像，所述第二人脸样本图像对应的表情类别为所述目标表情类别；
[0008]将每个所述第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型；>[0009]将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像；
[0010]根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型；
[0011]将所述原始人脸图像输入所述人脸表情迁移模型，以通过所述人脸表情迁移模型将所述原始人脸图像转换为匹配所述目标表情类别的目标人脸图像。
[0012]在一些实施例中，所述预训练模型包括第一扩散去噪子模型和第二扩散去噪子模型；所述将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像，包括：
[0013]将所述第一人脸样本图像输入至所述第一扩散去噪子模型，通过所述第一扩散去噪子模型对所述第一人脸样本图像进行正向图像处理，得到第二人脸处理图像；
[0014]通过所述第二扩散去噪子模型对所述第二人脸处理图像进行逆向图像处理，得到第三人脸处理图像；
[0015]对所述第三人脸处理图像进行人脸特征提取，得到人脸特征图像；
[0016]将所述第二人脸样本图像和所述人脸特征图像输入至所述第一扩散去噪子模型，通过所述第一扩散去噪子模型对所述第二人脸样本图像进行正向图像处理，得到第四人脸处理图像；
[0017]通过所述第二扩散去噪子模型对所述第四人脸处理图像进行逆向图像处理，得到第一人脸处理图像。
[0018]在一些实施例中，所述根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型，包括：
[0019]根据所述第一人脸样本图像、所述第二人脸样本图像、所述第三人脸处理图像和所述第一人脸处理图像，确定循环损失值；
[0020]根据所述第一人脸样本图像和所述第二人脸样本图像，确定空间相似性损失值；
[0021]根据所述第二人脸处理图像和所述第四人脸处理图像，确定表情结构损失值；
[0022]对所述循环损失值、所述空间相似性损失值和所述表情结构损失值进行加权计算，得到模型损失值；
[0023]根据所述模型损失值对所述预训练模型的模型参数进行调整，并基于所述第一训练集和所述第二训练集继续训练调整后的模型，直至所述模型损失值满足预设训练结束条件，以得到人脸表情迁移模型。
[0024]在一些实施例中，所述根据所述第一人脸样本图像、所述第二人脸样本图像、所述第三人脸处理图像和所述第一人脸处理图像，确定循环损失值，包括：
[0025]对所述第一人脸样本图像和所述第三人脸处理图像进行距离损失计算，得到第一距离损失值；
[0026]对所述第二人脸样本图像和所述第一人脸处理图像进行距离损失计算，得到第二距离损失值；
[0027]对所述第一距离损失值和所述第二距离损失值进行加权计算，得到所述循环损失值。
[0028]在一些实施例中，所述根据所述第二人脸处理图像和所述第四人脸处理图像，确定表情结构损失值，包括：
[0029]获取预设的矩形掩码区域；
[0030]根据所述矩形掩码区域对所述第一人脸样本图像进行掩码处理，得到第一掩码图像；
[0031]根据所述矩形掩码区域对所述第二人脸样本图像进行掩码处理，得到第二掩码图像；
[0032]根据所述矩形掩码区域对所述第二人脸处理图像进行掩码处理，得到第三掩码图像；
[0033]根据所述矩形掩码区域对所述第四人脸处理图像进行掩码处理，得到第四掩码图像；
[0034]根据所述第一掩码图像、所述第二掩码图像、所述第三掩码图像和所述第四掩码图像，确定表情结构损失值。
[0035]在一些实施例中，所述根据所述第一掩码图像、所述第二掩码图像、所述第三掩码
图像和所述第四掩码图像，确定表情结构损失值，包括：
[0036]对所述第一掩码图像和所述第四掩码图像进行结构相似性计算，得到第一结构相似性损失值；
[0037]对所述第二掩码图像和所述第三掩码图像进行结构相似性计算，得到第二结构相似性损失值；
[0038]对所述第一结构相似性损失值和所述第二结构相似性损失值进行加权计算，得到所述表情结构损失值。
[0039]在一些实施例中，所述将每个所述第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型，包括：
[0040]对所述原始人脸图像进行表情特征提取，得到目标特征图像；
[0041]将每个所述第二人脸样本图像输入至预设的初始循环概率模型，通过所述初始循环概率模型对所述第二人脸样本图像进行处理，得到样本特征图像；
[0042]根据所述样本特征图像和所述目标特征图像确定图像损失值；
[0043]根据所述图像损失值对所述初始循环概率模型的模型参数进行调整，并基于所述第二训练集继续训练调整后的模型，直至所述图像损失值满足预设训练结束条件，以得到预训练模型。
[0044]为实现上述目的，本申请实施例的第二方面提出了一种人脸表情迁移装置，所述装置包括：
[0045]图像和类别获取模块，用于获取目标对象的原始人脸图像和目标表情类别；
[0046]第一训练集确定模块，用于根据所述目标对象确定第一训练集，其中，所述第一训练集包括多个第一人脸样本图像，所述原始人脸图像和所述第一人脸样本图像属于同一所述目标对象的图像；
[0047]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸表情迁移方法，其特征在于，所述方法包括：获取目标对象的原始人脸图像和目标表情类别；根据所述目标对象确定第一训练集，其中，所述第一训练集包括多个第一人脸样本图像，所述原始人脸图像和所述第一人脸样本图像属于同一所述目标对象的图像；根据所述目标表情类别确定第二训练集，其中，所述第二训练集包括多个第二人脸样本图像，所述第二人脸样本图像对应的表情类别为所述目标表情类别；将每个所述第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型；将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像；根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型；将所述原始人脸图像输入所述人脸表情迁移模型，以通过所述人脸表情迁移模型将所述原始人脸图像转换为匹配所述目标表情类别的目标人脸图像。2.根据权利要求1所述的方法，其特征在于，所述预训练模型包括第一扩散去噪子模型和第二扩散去噪子模型；所述将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像，包括：将所述第一人脸样本图像输入至所述第一扩散去噪子模型，通过所述第一扩散去噪子模型对所述第一人脸样本图像进行正向图像处理，得到第二人脸处理图像；通过所述第二扩散去噪子模型对所述第二人脸处理图像进行逆向图像处理，得到第三人脸处理图像；对所述第三人脸处理图像进行人脸特征提取，得到人脸特征图像；将所述第二人脸样本图像和所述人脸特征图像输入至所述第一扩散去噪子模型，通过所述第一扩散去噪子模型对所述第二人脸样本图像进行正向图像处理，得到第四人脸处理图像；通过所述第二扩散去噪子模型对所述第四人脸处理图像进行逆向图像处理，得到第一人脸处理图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型，包括：根据所述第一人脸样本图像、所述第二人脸样本图像、所述第三人脸处理图像和所述第一人脸处理图像，确定循环损失值；根据所述第一人脸样本图像和所述第二人脸样本图像，确定空间相似性损失值；根据所述第二人脸处理图像和所述第四人脸处理图像，确定表情结构损失值；对所述循环损失值、所述空间相似性损失值和所述表情结构损失值进行加权计算，得到模型损失值；根据所述模型损失值对所述预训练模型的模型参数进行调整，并基于所述第一训练集和所述第二训练集继续训练调整后的模型，直至所述模型损失值满足预设训练结束条件，以得到人脸表情迁移模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一人脸样本图像、所述第二人脸样本图像、所述第三人脸处理图像和所述第一人脸处理图像，确定循环损失值，包括：对所述第一人脸样本图像和所述第三人脸处理图像进行距离损失计算，得到第一距离损失值；对所述第二人脸样本图像和所述第一人脸处理图像进行距离损失计算，得到第二距离损失值；对所述第一距离损失值和所述第二距离损失值进行加权计算，得到所述循环损失值。5.根据权利要求3所述的方法，其特征在于，所述根据所述第二人脸处理图像和所述第...
【专利技术属性】
技术研发人员：李泽远，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。