人像修复模型的训练方法和装置、电子设备制造方法及图纸

本申请涉及一种人像修复模型的训练方法、人像修复方法和装置、电子设备以及计算机可读存储介质，包括：获取训练数据集，训练数据集包括低画质图片数据集和对应的标签高画质图片数据集；将低画质图片数据集输入待训练的人像修复模型，得到训练生成图片数据集；将训练生成图片数据集和对应的标签高画质图片数据集输入全局判别器，得到全局判别结果；将训练生成图片数据集对应的部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果；基于全局判别结果、局部判别结果和预设的目标损失函数训练人像修复模型、全局判别器和局部判别器，得到已训练的人像修复模型，修复的图像质量高。

【技术实现步骤摘要】
人像修复模型的训练方法和装置、电子设备
本申请涉及计算机
，特别是涉及一种人像修复模型的训练方法、人像修复方法和装置、电子设备以及计算机可读存储介质。
技术介绍
通常一些老照片由于受限于拍摄设备和年代以及网络流传压缩失真等多种因素会出现分辨率低、噪声多和压缩失真等问题，这一类问题归为老照片低画质问题。将分辨率低、噪声多、模糊等情况的人像照片还原为高清图像成为一个重要的技术。现有的人像修复算法，修复效果不理想，修复的图像质量低。
技术实现思路
本申请实施例提供一种人像修复模型的训练方法、人像修复方法和装置、电子设备以及计算机可读存储介质，使用局部判别器去增强修复后的人脸关键部件的细节信息，修复后的图像人脸细节信息丰富且逼真，图像较为清晰，修复的图像质量高。一种人像修复模型的训练方法，包括：获取训练数据集，所述训练数据集包括低画质图片数据集和对应的标签高画质图片数据集；将所述低画质图片数据集输入待训练的人像修复模型，得到输出的训练生成图片数据集；将所述训练生成图片数据集和对应的标签高画质图片数据集输入全局判别器，得到全局判别结果；获取训练生成图片数据集中各个训练生成图片对应的部件训练图像；将部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果；基于所述全局判别结果、局部判别结果和预设的目标损失函数训练所述人像修复模型、全局判别器和局部判别器，直到训练完成，得到已训练的人像修复模型，所述已训练的人像修复模型用于对低画质图片进行人像修复。一种人像修复模型的训练装置，包括：获取模块，用于获取训练数据集，所述训练数据集包括低画质图片数据集和对应的标签高画质图片数据集；图片生成模块，用于将所述低画质图片数据集输入待训练的人像修复模型，得到输出的训练生成图片数据集；全局判别模块，用于将所述训练生成图片数据集和对应的标签高画质图片数据集输入全局判别器，得到全局判别结果；局部判别模块，用于获取训练生成图片数据集中各个训练生成图片对应的部件训练图像，将部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果；训练模块，用于基于所述全局判别结果、局部判别结果和预设的目标损失函数训练所述人像修复模型、全局判别器和局部判别器，直到训练完成，得到已训练的人像修复模型，所述已训练的人像修复模型用于对低画质图片进行人像修复。一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：获取训练数据集，所述训练数据集包括低画质图片数据集和对应的标签高画质图片数据集；将所述低画质图片数据集输入待训练的人像修复模型，得到输出的训练生成图片数据集；将所述训练生成图片数据集和对应的标签高画质图片数据集输入全局判别器，得到全局判别结果；获取训练生成图片数据集中各个训练生成图片对应的部件训练图像；将部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果；基于所述全局判别结果、局部判别结果和预设的目标损失函数训练所述人像修复模型、全局判别器和局部判别器，直到训练完成，得到已训练的人像修复模型，所述已训练的人像修复模型用于对低画质图片进行人像修复。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：获取训练数据集，所述训练数据集包括低画质图片数据集和对应的标签高画质图片数据集；将所述低画质图片数据集输入待训练的人像修复模型，得到输出的训练生成图片数据集；将所述训练生成图片数据集和对应的标签高画质图片数据集输入全局判别器，得到全局判别结果；获取训练生成图片数据集中各个训练生成图片对应的部件训练图像；将部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果；基于所述全局判别结果、局部判别结果和预设的目标损失函数训练所述人像修复模型、全局判别器和局部判别器，直到训练完成，得到已训练的人像修复模型，所述已训练的人像修复模型用于对低画质图片进行人像修复。上述人像修复模型的训练方法、装置、电子设备以及计算机可读存储介质，通过获取训练数据集，训练数据集包括低画质图片数据集和对应的标签高画质图片数据集；将低画质图片数据集输入待训练的人像修复模型，得到输出的训练生成图片数据集；将训练生成图片数据集和对应的标签高画质图片数据集输入全局判别器，得到全局判别结果；获取训练生成图片数据集中各个训练生成图片对应的部件训练图像；将部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果；基于全局判别结果、局部判别结果和预设的目标损失函数训练人像修复模型、全局判别器和局部判别器，直到训练完成，得到已训练的人像修复模型，已训练的人像修复模型用于对低画质图片进行人像修复，使用与人脸部件对应的局部判别器去增强修复后的人脸关键部件的细节信息，修复后的图像人脸细节信息丰富且逼真，图像较为清晰，修复的图像质量高。一种人像修复方法，包括：获取待修复人像图片，将所述待修复人像图片输入已训练的人像修复模型，所述已训练的人像修复模型是通过将低画质图片数据集输入待训练的人像修复模型，得到训练生成图片数据集，根据全局判别结果、局部判别结果和预设的目标损失函数训练人像修复模型、全局判别器和局部判别器直到训练完成得到的，其中，所述全局判别结果是将所述训练生成图片数据集和对应的标签高画质图片数据集输入所述全局判别器得到的，所述局部判别结果是将训练生成图片数据集中各个训练生成图片对应的部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器得到的；所述人像修复模型对所述待修复人像图片中的人脸区域进行修复，输出对应的高画质的人像图片。一种人像修复装置，包括：获取模块，用于获取训练数据集，所述训练数据集包括低画质图片数据集和对应的标签高画质图片数据集；图片生成模块，用于将所述低画质图片数据集输入待训练的人像修复模型，得到输出的训练生成图片数据集；全局判别模块，用于将所述训练生成图片数据集和对应的标签高画质图片数据集输入全局判别器，得到全局判别结果；局部判别模块，用于获取训练生成图片数据集中各个训练生成图片对应的部件训练图像，将部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果；训练模块，用于基于所述全局判别结果、局部判别结果和预设的目标损失函数训练所述人像修复模型、全局判别器和局部判别器，直到训练完成，得到已训练的人像修复模型，所述已训练的人像修复模型用于对低画质图片进行人像修复。一种电子设备本文档来自技高网...

【技术保护点】
1.一种人像修复模型的训练方法，其特征在于，包括：/n获取训练数据集，所述训练数据集包括低画质图片数据集和对应的标签高画质图片数据集；/n将所述低画质图片数据集输入待训练的人像修复模型，得到输出的训练生成图片数据集；/n将所述训练生成图片数据集和对应的标签高画质图片数据集输入全局判别器，得到全局判别结果；/n获取训练生成图片数据集中各个训练生成图片对应的部件训练图像；/n将部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果；/n基于所述全局判别结果、局部判别结果和预设的目标损失函数训练所述人像修复模型、全局判别器和局部判别器，直到训练完成，得到已训练的人像修复模型，所述已训练的人像修复模型用于对低画质图片进行人像修复。/n

【技术特征摘要】
1.一种人像修复模型的训练方法，其特征在于，包括：
获取训练数据集，所述训练数据集包括低画质图片数据集和对应的标签高画质图片数据集；
将所述低画质图片数据集输入待训练的人像修复模型，得到输出的训练生成图片数据集；
将所述训练生成图片数据集和对应的标签高画质图片数据集输入全局判别器，得到全局判别结果；
获取训练生成图片数据集中各个训练生成图片对应的部件训练图像；
将部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果；
基于所述全局判别结果、局部判别结果和预设的目标损失函数训练所述人像修复模型、全局判别器和局部判别器，直到训练完成，得到已训练的人像修复模型，所述已训练的人像修复模型用于对低画质图片进行人像修复。


2.根据权利要求1所述的方法，其特征在于，所述将所述低画质图片数据集输入待训练的人像修复模型，得到输出的训练生成图片数据集包括：
通过所述人像修复模型的编码网络提取得到所述低画质图片数据集对应的多个不同尺度的编码特征；
通过所述人像修复模型的解码网络提取得到所述低画质图片数据集对应的多个不同尺度的解码特征；
将相同尺度的编码特征和解码特征融合，根据融合结果得到所述输出的训练生成图片数据集。


3.根据权利要求1所述的方法，其特征在于，所述获取训练生成图片数据集中各个训练生成图片对应的部件训练图像包括：
将标签高画质图片数据集中各个标签高画质图片输入人脸解析网络得到对应的各个不同类别的部件的分割谱，所述不同类别的部件包括眼睛部件、脸部部件和嘴部部件；
将各个标签高画质图片对应的分割谱作用于对应的训练生成图片，得到各个训练生成图片的各个不同类别的部件对应的部件训练图像；
所述将部件训练图像和对应的标签高画质图片数据集中的部件标签图像输入与人脸部件对应的局部判别器，得到局部判别结果包括：
将部件训练图像分别输入类别匹配的局部判别器，得到各个不同类别的部件对应的局部判别器输出的局部判别结果。


4.根据权利要求1所述的方法，其特征在于，所述基于所述全局判别结果、局部判别结果和预设的目标损失函数训练所述人像修复模型、全局判别器和局部判别器包括：
基于所述全局判别结果计算得到全局生成对抗损失；
基于所述局部判别结果计算得到局部生成对抗损失；
根据所述全局生成对抗损失和局部生成对抗损失得到目标生成对抗损失；
基于训练生成图片数据集和对应的标签高画质图片数据集计算得到像素损失；
通过预训练感知网络分别提取训练生成图片数据集和对应的标签高画质图片数据集的特征得到特征图，计算特征图之间的距离得到感知损失；
将目标生成对抗损失、像素损失、感知损失代入预设的目标损失函数计算得到目标损失；
根据所述目标损失调整所述人像修复模型的网络参数。


5.根据权利要求4所述的方法，其特征在于，所述基于所述全局判别结果、局部判别结果和预设的目标损失函数训练所述人像修复模型、全局判别器和局部判别器包括：
基于全局判别结果和对应的全局判别标签计算得到全局判别损失，根据所述全局判别损失调整所述全局判别器；
基于各个不同类别的部件对应的局部判别结果和对应的局部判别标签计算得到各个不同类别的部件对应的局部判别损失，根据各个不同类别的部件对应的局部判别损失调整匹配的局部判别器。


6.一种人像修复方法，其特征在于，包括：

【专利技术属性】
技术研发人员：杨健榜，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44