模型训练方法、图像生成方法、装置、设备和介质制造方法及图纸

本公开涉及一种模型训练方法、图像生成方法、装置、设备和介质；其中，该方法包括：基于第一训练样本对第一网络模型进行训练，得到训练后的第一目标模型，第一训练样本包括第一人脸图像、第一人脸图像对应的人脸关键点图像、目标图像、目标图像的目标人脸关键点图像以及目标图像的人脸关键点数据；基于第二训练样本对第二网络模型和第一目标模型进行训练，得到训练后的图像生成模型，第二训练样本包括第一目标模型生成的第二人脸图像和目标图像。本公开实施例通过先对第一网络模型进行训练，得到第一目标模型，再对第二网络模型和第一目标模型进行联合训练，得到图像生成模型，使得图像细节生成效果更好，且有利于提高数字人图像的生成效果。成效果。成效果。

【技术实现步骤摘要】
模型训练方法、图像生成方法、装置、设备和介质


[0001]本公开涉及计算机视觉与图像处理领域，尤其涉及一种模型训练方法、图像生成方法、装置、设备和介质。

技术介绍

[0002]近年来，随着科技的进步，虚拟数字人的生成技术日趋成熟。虚拟数字人主要有两种呈现方式：自动播报式(如新闻主播等)和交互式(如情感数字人、虚拟机器人以及各种交互助手等)。在虚拟数字人的生成过程中，数字人的图像生成是比较重要的一个环节。
[0003]现有的图像生成方法基本为两种：一种是基于传统方法进行人脸拉伸与变换，该方法对于多面点非刚性的真实人像，处理效果较差；另一种是现有的基于模型学习的方式，实现人脸之间的生成与变换，但是该方法对于图像细节生成效果较差，尤其是针对人像生成中的眉毛、口型等细节很难达到逼真的效果，从而导致最终生成的数字人图像的效果较差。

技术实现思路

[0004]为了解决上述技术或者至少部分地解决上述技术问题，本公开提供了一种模型训练方法、图像生成方法、装置、设备和介质，可以根据第一训练样本对第一网络模型进行训练，得到训练后的第一目标模型，根据第二训练样本对第二网络模型和第一目标模型进行联合训练，得到训练后的图像生成模型，从而使得图像生成模型所生成的图像在细节方面效果更好，能够与真实图像更接近。
[0005]为了实现上述目的，本公开实施例提供的技术方案如下：
[0006]第一方面，本公开提供了一种图像生成模型训练方法，该方法包括：
[0007]基于第一训练样本对第一网络模型进行训练，得到训练后的第一目标模型，所述第一训练样本包括第一人脸图像、所述第一人脸图像对应的人脸关键点图像、目标图像、所述目标图像对应的目标人脸关键点图像以及所述目标图像的人脸关键点数据；
[0008]基于第二训练样本对第二网络模型和所述第一目标模型进行训练，得到训练后的图像生成模型，所述第二训练样本包括所述第一目标模型生成的第二人脸图像和所述目标图像。
[0009]作为本公开实施例一种可选的实施方式，所述第一网络模型包括第一生成对抗网络模型，所述第一生成对抗网络模型包括第一生成器和第一判别器；
[0010]相应的，所述基于第一训练样本对第一网络模型进行训练，得到训练后的第一目标模型，包括：
[0011]将所述第一训练样本中的第一人脸图像、所述人脸关键点图像以及所述目标图像的人脸关键点数据输入所述第一生成器，得到第一预测图像；
[0012]将所述第一人脸图像和所述第一预测图像输入所述第一判别器，得到第一判别结果；
[0013]基于预设损失函数，根据所述第一预测图像、所述目标图像以及所述第一判别结果，对所述第一生成器进行训练，得到所述第一生成器训练后的第一目标模型。
[0014]作为本公开实施例一种可选的实施方式，所述基于预设损失函数，根据所述第一预测图像、所述目标图像以及所述第一判别结果，对所述第一生成器进行训练，得到所述第一生成器训练后的第一目标模型，包括：
[0015]基于第一预设损失函数，根据所述第一预测图像和所述目标图像，确定所述第一生成器对应的第一损失值；
[0016]基于第二预设损失函数，根据所述第一判别结果，确定所述第一判别器对应的第二损失值；
[0017]根据所述第一损失值和所述第二损失值，调整所述第一生成器的参数，直至所述第一生成器收敛，得到所述第一生成器训练后的第一目标模型。
[0018]作为本公开实施例一种可选的实施方式，所述第一网络模型包括第一生成对抗网络模型，所述第二网络模型包括第二生成对抗网络模型，所述第二生成对抗网络模型包括第二生成器和第二判别器，所述第二生成对抗网络模型的结构与所述第一生成对抗网络模型的结构不同；
[0019]相应的，所述基于第二训练样本对第二网络模型和所述第一目标模型进行训练，得到训练后的图像生成模型，包括：
[0020]将所述第二训练样本中的第一目标模型生成的第二人脸图像输入所述第二生成器，得到第二预测图像；
[0021]将所述第二预测图像和所述目标图像输入所述第二判别器，得到第二判别结果；
[0022]基于目标损失函数，根据所述第二预测图像、所述目标图像以及所述第二判别结果，对所述第二生成器和所述第一目标模型进行训练，得到训练后的图像生成模型。
[0023]作为本公开实施例一种可选的实施方式，所述基于目标损失函数，根据所述第二预测图像、所述目标图像以及所述第二判别结果，对所述第二生成器和所述第一目标模型进行训练，得到训练后的图像生成模型，包括：
[0024]基于第一目标损失函数，根据所述第二预测图像和所述目标图像，确定所述第二生成器对应的第三损失值；
[0025]基于第二目标损失函数，根据所述第二判别结果，确定所述第二判别器对应的第四损失值；
[0026]基于第三目标损失函数和所述第二预测图像，确定所述第二生成器对应的第五损失值；
[0027]根据所述第三损失值、所述第四损失值以及所述第五损失值，调整所述第二生成器的参数，直至所述第二生成器收敛，得到所述第二生成器训练后的第二目标模型；
[0028]基于所述第三损失值、所述第四损失值以及所述第五损失值，对所述第一目标模型的参数进行调整，得到调整后的第一目标模型；
[0029]根据所述调整后的第一目标模型和所述第二目标模型，构建所述图像生成模型。
[0030]第二方面，本公开提供了一种图像生成方法，该方法包括：
[0031]获取待预测人脸图像、所述待预测人脸图像对应的人脸关键点图像以及目标人脸关键点数据，所述目标人脸关键点数据基于所述待预测人脸图像和对应的语音信息预测得
到；
[0032]将所述待预测人脸图像、所述待预测人脸图像对应的人脸关键点图像以及所述目标人脸关键点数据输入图像生成模型中，得到对应的目标预测图像；
[0033]其中，所述图像生成模型基于如第一方面任一项所述的方法训练得到。
[0034]第三方面，本公开提供了一种图像生成模型训练装置，该装置包括：
[0035]第一目标模型确定模块，用于基于第一训练样本对第一网络模型进行训练，得到训练后的第一目标模型，所述第一训练样本包括第一人脸图像、所述第一人脸图像对应的人脸关键点图像、目标图像、所述目标图像对应的目标人脸关键点图像以及所述目标图像的人脸关键点数据；
[0036]图像生成模型确定模块，用于基于第二训练样本对第二网络模型和所述第一目标模型进行训练，得到训练后的图像生成模型，所述第二训练样本包括所述第一目标模型生成的第二人脸图像和所述目标图像。
[0037]作为本公开实施例一种可选的实施方式，所述第一网络模型包括第一生成对抗网络模型，所述第一生成对抗网络模型包括第一生成器和第一判别器；
[0038]相应的，所述第一目标模型确定模块，包括：
[0039]第一预测单元，用于将所述第一训练样本中的第一人脸图像、所述人脸关键点图像以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成模型训练方法，其特征在于，所述方法包括：基于第一训练样本对第一网络模型进行训练，得到训练后的第一目标模型，所述第一训练样本包括第一人脸图像、所述第一人脸图像对应的人脸关键点图像、目标图像、所述目标图像对应的目标人脸关键点图像以及所述目标图像的人脸关键点数据；基于第二训练样本对第二网络模型和所述第一目标模型进行训练，得到训练后的图像生成模型，所述第二训练样本包括所述第一目标模型生成的第二人脸图像和所述目标图像。2.根据权利要求1所述的方法，其特征在于，所述第一网络模型包括第一生成对抗网络模型，所述第一生成对抗网络模型包括第一生成器和第一判别器；相应的，所述基于第一训练样本对第一网络模型进行训练，得到训练后的第一目标模型，包括：将所述第一训练样本中的第一人脸图像、所述人脸关键点图像以及所述目标图像的人脸关键点数据输入所述第一生成器，得到第一预测图像；将所述第一人脸图像和所述第一预测图像输入所述第一判别器，得到第一判别结果；基于预设损失函数，根据所述第一预测图像、所述目标图像以及所述第一判别结果，对所述第一生成器进行训练，得到所述第一生成器训练后的第一目标模型。3.根据权利要求2所述的方法，其特征在于，所述基于预设损失函数，根据所述第一预测图像、所述目标图像以及所述第一判别结果，对所述第一生成器进行训练，得到所述第一生成器训练后的第一目标模型，包括：基于第一预设损失函数，根据所述第一预测图像和所述目标图像，确定所述第一生成器对应的第一损失值；基于第二预设损失函数，根据所述第一判别结果，确定所述第一判别器对应的第二损失值；根据所述第一损失值和所述第二损失值，调整所述第一生成器的参数，直至所述第一生成器收敛，得到所述第一生成器训练后的第一目标模型。4.根据权利要求1所述的方法，其特征在于，所述第一网络模型包括第一生成对抗网络模型，所述第二网络模型包括第二生成对抗网络模型，所述第二生成对抗网络模型包括第二生成器和第二判别器，所述第二生成对抗网络模型的结构与所述第一生成对抗网络模型的结构不同；相应的，所述基于第二训练样本对第二网络模型和所述第一目标模型进行训练，得到训练后的图像生成模型，包括：将所述第二训练样本中的第一目标模型生成的第二人脸图像输入所述第二生成器，得到第二预测图像；将所述第二预测图像和所述目标图像输入所述第二判别器，得到第二判别结果；基于目标损失函数，根据所述第二预测图像、所述目标图像以及所述第二判别结果，对所述第二生成器和所述第一目标模型进行训练，得到训练后的图像生成模型。5.根据权利要求4所述的方法，其特征在于，所述基于目标损失函数，根据所述第二预测图像、所述目标图像以及所述第二判别结果，对所述第二生成器和所述第一目标模型进行训练，得到训练后的图像生...

【专利技术属性】
技术研发人员：付爱国，杨善松，
申请(专利权)人：海信视像科技股份有限公司，
类型：发明
国别省市：