模型训练方法、人物图像补全方法、装置及电子设备制造方法及图纸

本公开涉及图像处理技术领域，具体涉及一种模型训练方法、人物图像补全方法，模型训练装置、人物图像补全装置，介质及电子设备，所述模型训练方法包括：根据预设算法与预设随机模板和预设模型分别对人物样本图像预处理得到目标图片和具有像素损失区域的待处理图像；将预设随机模板和待处理图像输入生成神经网络生成补全人物图像和补全边缘图像；将补全人物图像、补全边缘图像和人物样本图像、目标图像输入判别神经网络生成判别结果；根据多张人物样本图像对应的判别结果对生成神经网络和判别神经网络进行多轮对抗训练。本公开实施例的技术方案能够根据不同人物的姿态补全对应的表面纹理，进而减小补全人物图像和人物样本图像之间的差距。

【技术实现步骤摘要】
模型训练方法、人物图像补全方法、装置及电子设备
本公开涉及图像处理
，具体而言，涉及一种模型训练方法、人物图像补全方法、模型训练装置、人物图像补全装置、计算机可读存储介质及电子设备。
技术介绍
在对图像进行存储、转码和传输等处理的过程中，经常会发生图像出现像素损失区域的情况。为了保证图像的质量，开发者常常通过以下两种方式对图像进行补全：一是通过匹配和复制背景的区块来填补像素损失区域；二是通过对生成对抗网络的训练，使得其中的生成器可以生成与原缺失图像一致且完整的补全图像，以实现对原图像的补全。然而，在遇到复杂的人物图像时，上述第一种方法会由于无法捕捉图像的高维特征，进而无法补全的问题；第二种方法虽然能够捕捉高维特征，但是难以补全不同人物的表面纹理，因此在对人物图像进行补全时，补全后的图像与缺失前的原图仍然有较大的差距。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种模型训练方法、人物图像补全方法、模型训练装置、人物图像补全装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服对人物图像进行补全时，由于无法补全人物的表面纹理造成的补全后的图像与缺失前的原图差距较大的问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的第一方面，提供了一种模型训练方法，包括：根据预设算法对人物样本图像进行预处理以得到目标图像，并根据预设随机模板和预设模型对人物样本图像进行预处理以得到具有像素损失区域的待处理图像；其中，所述待处理图像包括待处理人物图像和待处理密集坐标图像；将所述预设随机模板和所述待处理图像输入生成神经网络，以生成补全人物图像和补全边缘图像；将所述补全人物图像、所述补全边缘图像和所述人物样本图像、所述目标图像输入判别神经网络，以生成判别结果；根据多张所述人物样本图像对应的判别结果对所述生成神经网络和所述判别神经网络进行多轮对抗训练。在本公开的一种示例性实施例中，基于前述方案，所述目标图像包括目标边缘图像；所述根据预设算法对人物样本图像进行预处理以得到目标图像，包括：根据预设算法提取所述人物样本图像中的边缘信息以得到目标边缘图像。在本公开的一种示例性实施例中，基于前述方案，所述根据预设随机模板和预设模型对人物样本图像进行预处理以得到具有像素损失区域的待处理图像，包括：根据预设随机模板对所述人物样本图像进行遮挡，得到具有像素损失区域的待处理人物图像；根据预设模型对所述待处理人物图像进行姿态分析，以获取所述待处理密集坐标图像。在本公开的一种示例性实施例中，基于前述方案，所述待处理图像还包括待处理边缘图像；所述方法还包括：根据所述预设算法在所述人物样本图像中提取边缘信息；在所述边缘信息中提取被所述预设随机模板遮挡的边缘信息，以得到待处理边缘图像。在本公开的一种示例性实施例中，基于前述方案，在所述边缘信息中提取被所述预设随机模板遮挡的边缘信息之后，所述方法还包括：对被所述预设随机模板遮挡的边缘信息进行随机擦除。在本公开的一种示例性实施例中，基于前述方案，在根据多张所述人物样本图像对应的判别结果对所述生成神经网络和所述判别神经网络进行多轮对抗训练之前，所述方法还包括：基于所述补全人物图像、所述补全边缘图像和所述人物样本图像、所述目标图像计算图像损失函数。在本公开的一种示例性实施例中，基于前述方案，所述根据多张所述人物样本图像对应的判别结果对所述生成神经网络和所述判别神经网络进行多轮对抗训练，包括：交替进行以下两个训练过程：根据多张所述人物样本图像对应的所述图像损失函数和所述判别结果对所述生成神经网络进行训练；根据多张所述人物样本图像对应的所述判别结果对所述判别神经网络进行训练。在本公开的一种示例性实施例中，基于前述方案，所述图像损失函数包括重构损失函数、内容损失函数以及风格损失函数中至少一种或者多种的组合。根据本公开的第二方面，提供了一种人物图像补全方法，包括：获取具有像素损失区域的待处理人物图像，并根据预设模型对所述待处理人物图像进行姿态分析，以获取待处理密集坐标图像；将预设标记信息、所述待处理人物图像和所述待处理密集坐标图像输入训练后的生成神经网络，以生成补全人物图像；其中，所述预设标记信息包括对所述待处理人物图像上的具有像素损失的区域做的区域标记信息；所述训练后的生成神经网络是根据第一方面所述的模型训练方法训练后得到的。在本公开的一种示例性实施例中，基于前述方案，所述预设标记信息包括对所述待处理人物图像中具有像素损失的区域做的边缘标记信息。根据本公开的第三方面，提供了一种模型训练装置，包括：第一处理模块，用于根据预设算法对人物样本图像进行预处理以得到目标图像，并根据预设随机模板和预设模型对人物样本图像进行预处理以得到具有像素损失区域的待处理图像；其中，所述待处理图像包括待处理人物图像和待处理密集坐标图像；图像生成模块，用于将所述预设随机模板和所述待处理图像输入生成神经网络，以生成补全人物图像和补全边缘图像；结果判别模块，用于将所述补全人物图像、所述补全边缘图像和所述人物样本图像、所述目标图像输入判别神经网络，以生成判别结果；模型训练模块，用于根据多张所述人物样本图像对应的判别结果对所述生成神经网络和所述判别神经网络进行多轮对抗训练。根据本公开的第四方面，提供了一种人物图像补全装置，包括：图像处理模块，用于获取具有像素损失区域的待处理人物图像，并根据预设模型对所述待处理人物图像进行姿态分析，以获取待处理密集坐标图像；图像补全模块，用于将预设标记信息、所述待处理人物图像和所述待处理密集坐标图像输入训练后的生成神经网络，以生成补全人物图像；其中，所述预设标记信息包括对所述待处理人物图像上的具有像素损失的区域做的区域标记信息；所述训练后的生成神经网络是根据第一方面所述的模型训练方法训练后得到的。根据本公开的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的模型训练方法或上述实施例中第二方面所述的人物图像补全方法。根据本公开实施例的第六方面，提供了一种电子设备，包括：处理器；以及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的模型训练方法或上述实施例中第二方面所述的人物图像补全方法。本公开实施例提供的技术方案可以包括以下有益效果：本公开的一种实施例所提供的技术方案中，根据预设算法对人物样本图像进行预处理得到目标图像，并根据预设随机模板和预设模型对本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，包括：/n根据预设算法对人物样本图像进行预处理以得到目标图像，并根据预设随机模板和预设模型对人物样本图像进行预处理以得到具有像素损失区域的待处理图像；其中，所述待处理图像包括待处理人物图像和待处理密集坐标图像；/n将所述预设随机模板和所述待处理图像输入生成神经网络，以生成补全人物图像和补全边缘图像；/n将所述补全人物图像、所述补全边缘图像和所述人物样本图像、所述目标图像输入判别神经网络，以生成判别结果；/n根据多张所述人物样本图像对应的判别结果对所述生成神经网络和所述判别神经网络进行多轮对抗训练。/n

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
根据预设算法对人物样本图像进行预处理以得到目标图像，并根据预设随机模板和预设模型对人物样本图像进行预处理以得到具有像素损失区域的待处理图像；其中，所述待处理图像包括待处理人物图像和待处理密集坐标图像；
将所述预设随机模板和所述待处理图像输入生成神经网络，以生成补全人物图像和补全边缘图像；
将所述补全人物图像、所述补全边缘图像和所述人物样本图像、所述目标图像输入判别神经网络，以生成判别结果；
根据多张所述人物样本图像对应的判别结果对所述生成神经网络和所述判别神经网络进行多轮对抗训练。


2.根据权利要求1所述的方法，其特征在于，所述目标图像包括目标边缘图像；
所述根据预设算法对人物样本图像进行预处理以得到目标图像，包括：
根据预设算法提取所述人物样本图像中的边缘信息以得到目标边缘图像。


3.根据权利要求1所述的方法，其特征在于，所述根据预设随机模板和预设模型对人物样本图像进行预处理以得到具有像素损失区域的待处理图像，包括：
根据预设随机模板对所述人物样本图像进行遮挡，得到具有像素损失区域的待处理人物图像；
根据预设模型对所述待处理人物图像进行姿态分析，以获取所述待处理密集坐标图像。


4.根据权利要求1所述的方法，其特征在于，所述待处理图像还包括待处理边缘图像；
所述方法还包括：
根据所述预设算法在所述人物样本图像中提取边缘信息；
在所述边缘信息中提取被所述预设随机模板遮挡的边缘信息，以得到待处理边缘图像。


5.根据权利要求4所述的方法，其特征在于，在所述边缘信息中提取被所述预设随机模板遮挡的边缘信息之后，所述方法还包括：
对被所述预设随机模板遮挡的边缘信息进行随机擦除。


6.根据权利要求1所述的方法，其特征在于，在根据多张所述人物样本图像对应的判别结果对所述生成神经网络和所述判别神经网络进行多轮对抗训练之前，所述方法还包括：
基于所述补全人物图像、所述补全边缘图像和所述人物样本图像、所述目标图像计算图像损失函数。


7.根据权利要求6所述的方法，其特征在于，所述根据多张所述人物样本图像对应的判别结果对所述生成神经网络和所述判别神经网络进行多轮对抗训练，包括：
交替进行以下两个训练过程：
根据多张所述人物样本图像对应的所述图像损失函数和所述判别结果对所述生成神经网络进行训练；
根据多张所述人物样本图像对应的所述判别结果对所述判别神经网络进行训练。


8.根据权利要求6所述的方法，其特征在于，所述图像损失函数包括重构损失函数、内...

【专利技术属性】
技术研发人员：朱俊伟，佘志东，张震涛，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11