装束转换模型训练方法、装置、存储介质及设备制造方法及图纸

本公开涉及计算机技术领域，具体涉及一种装束转换模型训练方法、装束转换模型训练装置、计算机可读存储介质及电子设备，上述方法包括：获取待处理图像样本；获取关键点位图；将待处理图像样本以及关键点位图输入待训练模型中的生成器中，得到将人像部分对应的原始装束转换为目标装束的预测换装图像样本；通过判别器对预测换装图像样本以及参考图像样本进行判别得到判别结果；根据预测换装图像样本、参考图像样本以及判别结果对待训练模型的神经网络参数进行更新，以将训练完成的待训练模型中的生成器作为装束转换模型。通过本公开实施例的技术方案，可以解决相关技术中换装效果较差的问题。较差的问题。较差的问题。

【技术实现步骤摘要】
装束转换模型训练方法、装置、存储介质及设备


[0001]本公开涉及计算机
，具体而言，涉及装束转换模型训练方法、装束转换方法、装束转换模型训练装置、装束转换装置、计算机可读存储介质以及电子设备。

技术介绍

[0002]随着软硬件的快速发展，换衣技术在各个领域中的应用也越来越广泛。例如，在智能试衣、虚拟形象重建、智能服装购物等领域都大量应用到换衣技术。
[0003]在相关技术中，通常采用基于人体3D点进行换装。具体而言，基于人体3D点进行换装是指使用3d点的坐标位置来对人体模型的衣服进行替换的技术。
[0004]然而，相关技术中的方案，无法改变原有装束，仅能实现覆盖，无法达到理想的换装效果，实时性较差，无法应用于直播等实时场景，且针对复杂场景(例如装束较为复杂，动作较多)时，换装效果较差。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开的目的在于提供一种装束转换模型训练方法及装置、计算机可读存储介质及电子设备，可以解决相关技术中应用装束转换模型训练效率较低的问题。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0008]根据本公开的第一方面，提供了一种装束转换模型训练方法，其特征在于，方法包括：获取待处理图像样本；其中，待处理图像样本中包括人像部分，以及人像部分对应的原始装束；获取人像部分对应的关键点位图；其中，关键点位图用于指示人像的关键点；将待处理图像样本以及关键点位图输入待训练模型中的生成器中，得到将人像部分对应的原始装束转换为目标装束的预测换装图像样本；其中，待训练模型对应有参考图像样本，参考图像样本中包括参考人像部分，以及参考人像部分对应的目标装束；将预测换装图像样本以及参考图像样本输入待训练模型中的判别器中，通过判别器对预测换装图像样本以及参考图像样本进行判别得到判别结果；根据预测换装图像样本、参考图像样本以及判别结果对待训练模型的神经网络参数进行更新，以将训练完成的待训练模型中的生成器作为装束转换模型。
[0009]根据本公开的第二方面，提供了一种装束转换方法，其特征在于，方法包括：获取图像；其中，图像中包括人像部分，以及人像部分对应的原始装束；将图像输入装束转换模型中，得到将人像部分对应的原始装束转换为目标装束的换装图像；其中，装束转换模型对应有目标装束，装束转换模型是通过如上述任意一项的装束转换模型训练方法训练得到的。
[0010]根据本公开的第三方面，提供了一种装束转换模型训练装置，其特征在于，装置包
括：图像样本获取模块，用于获取待处理图像样本；其中，待处理图像样本中包括人像部分，以及人像部分对应的原始装束；点位图获取模块，用于获取人像部分对应的关键点位图；其中，关键点位图用于指示人像的关键点；预测图像获取模块，用于将待处理图像样本以及关键点位图输入待训练模型中的生成器中，得到将人像部分对应的原始装束转换为目标装束的预测换装图像样本；其中，待训练模型对应有参考图像样本，参考图像样本中包括参考人像部分，以及参考人像部分对应的目标装束；判别结果获取模块，用于将预测换装图像样本以及参考图像样本输入待训练模型中的判别器中，通过判别器对预测换装图像样本以及参考图像样本进行判别得到判别结果；待训练模型更新模块，用于根据预测换装图像样本、参考图像样本以及判别结果对待训练模型的神经网络参数进行更新，以将训练完成的待训练模型中的生成器作为装束转换模型。
[0011]根据本公开的第四方面，提供了一种装束转换模型训练装置，其特征在于，装置包括：图像获取模块，用于获取图像；其中，图像中包括人像部分，以及人像部分对应的原始装束；图像转换模块，用于将图像输入装束转换模型中，得到将人像部分对应的原始装束转换为目标装束的换装图像；其中，装束转换模型对应有目标装束，装束转换模型是通过如上述任意一项的装束转换模型训练方法训练得到的。
[0012]根据本公开的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述实施例中第一方面的装束转换模型训练方法或如上述实施例中第二方面的装束转换方法。
[0013]根据本公开的第六方面，提供了一种电子设备，包括：
[0014]一个或多个处理器；以及
[0015]存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述实施例中第一方面的装束转换模型训练方法或如上述实施例中第二方面的装束转换方法。
[0016]本公开实施例提供的技术方案可以包括以下有益效果：
[0017]本公开的一种实施例提供的装束转换模型训练方法中，可以获取待处理图像样本，获取人像部分对应的关键点位图，将待处理图像样本以及关键点位图输入待训练模型中的生成器中，得到将人像部分对应的原始装束转换为目标装束的预测换装图像样本，将预测换装图像样本以及参考图像样本输入待训练模型中的判别器中，通过判别器对预测换装图像样本以及参考图像样本进行判别得到判别结果，根据预测换装图像样本、参考图像样本以及判别结果对待训练模型的神经网络参数进行更新，以将训练完成的待训练模型中的生成器作为装束转换模型。通过本公开的方案，一方面，可以对原有装束进行替换，能够使得替换装束后更加自然，且能够适应复杂场景，换装效果较好；另一方面，在进行换装时，考虑了人像的关键点，有利于模型对于人像结构的学习，进而提升了换装的效果；再一方面，通过训练得到的装束转换模型，可以实时对图像中的人像的装束进行转换，可以应用于实时场景，具有较高的泛用性。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0020]图1示意性示出了可以应用本公开实施例的一种装束转换模型训练方法的示例性系统架构的示意图；
[0021]图2示意性示出本公开示例性实施例中装束转换模型训练方法的流程图；
[0022]图3示意性示出本公开示例性实施例中通过多个第一关键点、多个第二关键点以及多个中间关键点确定人像部分对应的关键点位图的流程图；
[0023]图4示意性示出本公开示例性实施例中根据换装区域掩膜图以及中间图像样本得到将人像部分对应的原始装束转换为目标装束的预测换装图像样本的流程图；
[0024]图5示意性示出本公开示例性实施例中通过两个分支输出换装区域掩膜图以及中间图像样本的示意图；
[0025]图6示意性示出本公开示例性实施例中根据前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装束转换模型训练方法，其特征在于，所述方法包括：获取待处理图像样本；其中，所述待处理图像样本中包括人像部分，以及所述人像部分对应的原始装束；获取所述人像部分对应的关键点位图；其中，所述关键点位图用于指示人像的关键点；将所述待处理图像样本以及所述关键点位图输入待训练模型中的生成器中，得到将所述人像部分对应的原始装束转换为目标装束的预测换装图像样本；其中，所述待训练模型对应有参考图像样本，所述参考图像样本中包括参考人像部分，以及所述参考人像部分对应的目标装束；将所述预测换装图像样本以及所述参考图像样本输入所述待训练模型中的判别器中，通过所述判别器对所述预测换装图像样本以及所述参考图像样本进行判别得到判别结果；根据所述预测换装图像样本、参考图像样本以及所述判别结果对所述待训练模型的神经网络参数进行更新，以将训练完成的待训练模型中的生成器作为装束转换模型。2.根据权利要求1所述的方法，其特征在于，所述关键点位图中包括多个关键点，所述多个关键点的位置与所述目标装束相关。3.根据权利要求1所述的方法，其特征在于，所述目标装束包括第一目标子装束与第二目标子装束，所述第一目标子装束与所述第二目标子装束之间不相邻；所述获取所述人像部分对应的关键点位图，包括：在所述人像部分，获取所述第一目标子装束对应的第一图像区域，获取所述第一图像区域中的多个第一关键点；在所述人像部分，获取所述第二目标子装束对应的第二图像区域，获取所述第二图像区域中的多个第二关键点；获取所述多个第一关键点以及所述多个第二关键点之间的多个中间关键点；其中，所述第一关键点与所述第二关键点分别与所述中间关键点具有相关关系；通过所述多个第一关键点、所述多个第二关键点以及所述多个中间关键点确定所述人像部分对应的关键点位图。4.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像样本以及所述关键点位图输入待训练模型中的生成器中，得到将所述人像部分对应的原始装束转换为目标装束的预测换装图像样本，包括：将所述待处理图像样本以及所述关键点位图输入待训练模型中的生成器中，得到换装区域掩膜图以及中间图像样本；其中，所述换装区域掩膜图用于指示所述进行换装的区域，所述中间图像样本用于指示将所述人像部分对应的原始装束转换为目标装束的临时结果；根据所述换装区域掩膜图以及中间图像样本得到将所述人像部分对应的原始装束转换为目标装束的预测换装图像样本。5.根据权利要求4所述的方法，其特征在于，所述待处理图像样本具有前一帧图像样本，所述获取待处理图像样本，包括：获取原始图像样本，获取前一帧图像样本以及所述前一帧图像样本的人像部分对应的关键点位图输入所述待训练模型中的生成器中得到的前一帧换装区域掩膜图；根据所述前一帧换装区域掩膜图确定目标人像分割框，通过所述目标人像分割框对所述原始图像样本进行图像分割得到待处理图像样本。
6.根据权利要求1所述的方法，其特征在于，所述得到将所述人像部分对应的原始装束转换为目标装束的预测换装图像样本，包括：获取所述人像部分对应的边缘特征...

【专利技术属性】
技术研发人员：邢恩旭，
申请(专利权)人：广州博冠信息科技有限公司，
类型：发明
国别省市：