图像生成方法、装置、服务器及介质制造方法及图纸

本申请公开了图像生成方法、装置、服务器及介质，获取模特图像对应的人体关键点图及人体实例分割图，获取服装图像的服装分割图；将服装图像及服装分割图输入至空间变换网络，得到第一服装图像；将第一服装图像及服装分割图输入至校正网络，得到第二服装图像；将人体实例分割图、服装分割图、第二服装图像及保留图像输入至服装试穿模型的主干网络；将第一服装图像输入至服装试穿模型的分支网络；由于第一服装图像包含的待试穿服装的细节信息较多，所以分支网络可以获得待试穿服装的很多细节信息，并将细节信息发送至主干网络，使得主干网络基于细节信息对第二服装图像进行补充，实现了目标图像中待试穿服装的细节信息缺失较少甚至不缺失的目的。甚至不缺失的目的。甚至不缺失的目的。

【技术实现步骤摘要】
图像生成方法、装置、服务器及介质


[0001]本申请涉及图像处理
，更具体的说，是涉及图像生成方法、装置、服务器及介质。

技术介绍

[0002]虚拟试装(Virtual Try
‑
on)是指：给定包含待试穿服装的服装图像和包含模特的模特图像，基于服装图像和模特图像生成模特穿着待试穿服装图像的目标照片，从而实现模特虚拟试穿待试穿服装的目的。
[0003]现有相关技术中生成的目标照片中待试穿服装的细节信息缺失严重，例如，待试穿服装的logo或图案等细节信息缺失严重，导致无法产生良好的试穿结果。因此，如何生成包含待试穿服装的细节信息缺失较少，甚至不缺失的目标照片是本领域技术人员需要解决的技术难题。

技术实现思路

[0004]有鉴于此，本申请提供了一种图像生成方法、装置、服务器及介质，以解决待试穿服装的logo或图案等细节信息缺失严重，导致无法产生良好的试穿结果的问题。
[0005]为实现上述目的，本申请提供如下技术方案：
[0006]根据本公开实施例的第一方面，提供一种图像生成方法，包括：
[0007]将模特图像输入至预构建的关键点预测模型，以得到所述关键点预测模型输出的人体关键点图，所述人体关键点图包括所述模特图像中模特的关键点；
[0008]根据所述模特图像以及所述人体关键点图对包含待试穿服装的服装图像中的所述待试穿服装进行形变处理，得到服装分割图；
[0009]根据所述人体关键点图对所述模特图像进行实例分割处理，得到候选人体实例分割图，所述候选人体实例分割图包括用于穿戴所述待试穿服装的试衣实例区域；
[0010]将所述服装分割图包含的待试穿服装匹配到所述候选人体实例分割图中的所述试衣实例区域，生成人体实例分割图；
[0011]将所述服装图像以及所述服装分割图输入至预构建的空间变换网络，以得到所述空间变换网络输出的第一服装图像；
[0012]将所述第一服装图像以及所述服装分割图输入至校正网络，以得到所述校正网络输出的第二服装图像；
[0013]将所述人体实例分割图、所述服装分割图、所述第二服装图像以及保留图像输入至预构建的服装试穿模型的主干网络，所述保留图像为所述模特图像中除所述试衣实例区域以外的图像；
[0014]将所述第一服装图像输入至所述服装试穿模型的分支网络，所述分支网络用于将从所述第一服装图像获得的所述待试穿服装的细节信息发送至所述主干网络；
[0015]通过所述服装试穿模型输出目标图像，所述目标图像包括穿戴有所述待试穿服装
的所述模特。
[0016]根据本公开实施例的第二方面，提供一种图像生成装置，包括：
[0017]第一获取模块，用于将模特图像输入至预构建的关键点预测模型，以得到所述关键点预测模型输出的人体关键点图，所述人体关键点图包括所述模特图像中模特的关键点；
[0018]第一处理模块，用于根据所述模特图像以及所述人体关键点图对包含待试穿服装的服装图像中的所述待试穿服装进行形变处理，得到服装分割图；
[0019]第二处理模块，用于根据所述人体关键点图对所述模特图像进行实例分割处理，得到候选人体实例分割图，所述候选人体实例分割图包括用于穿戴所述待试穿服装的试衣实例区域；
[0020]生成模块，用于将所述服装分割图包含的待试穿服装匹配到所述候选人体实例分割图中的所述试衣实例区域，生成人体实例分割图；
[0021]第二获取模块，用于将所述服装图像以及所述服装分割图输入至预构建的空间变换网络，以得到所述空间变换网络输出的第一服装图像；
[0022]第三获取模块，用于将所述第一服装图像以及所述服装分割图输入至校正网络，以得到所述校正网络输出的第二服装图像；
[0023]第一输入模块，用于将所述人体实例分割图、所述服装分割图、所述第二服装图像以及保留图像输入至预构建的服装试穿模型的主干网络，所述保留图像为所述模特图像中除所述试衣实例区域以外的图像；
[0024]第二输入模块，用于将所述第一服装图像输入至所述服装试穿模型的分支网络，所述分支网络用于将从所述第一服装图像获得的所述待试穿服装的细节信息发送至所述主干网络；
[0025]第四获取模块，用于通过所述服装试穿模型输出目标图像，所述目标图像包括穿戴有所述待试穿服装的所述模特。
[0026]根据本公开实施例的第三方面，提供一种服务器，包括：
[0027]处理器；
[0028]用于存储所述处理器可执行指令的存储器；
[0029]其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像生成方法。
[0030]根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如第一方面所述的图像生成方法。
[0031]经由上述的技术方案可知，本申请提供的图像生成方法中，将模特图像输入至预构建的关键点预测模型，以得到所述关键点预测模型输出的人体关键点图；根据所述模特图像以及所述人体关键点图对包含待试穿服装的服装图像中的所述待试穿服装进行形变处理，得到服装分割图；根据所述人体关键点图对所述模特图像进行实例分割处理，得到候选人体实例分割图，所述候选人体实例分割图包括用于穿戴所述待试穿服装的试衣实例区域；将所述服装分割图包含的待试穿服装匹配到所述候选人体实例分割图中的所述试衣实例区域，生成人体实例分割图；将所述服装图像以及所述服装分割图输入至预构建的空间
变换网络，以得到所述空间变换网络输出的第一服装图像；将所述第一服装图像以及所述服装分割图输入至校正网络，以得到所述校正网络输出的第二服装图像；将所述人体实例分割图、所述服装分割图、所述第二服装图像以及保留图像输入至预构建的服装试穿模型的主干网络，所述保留图像为所述模特图像中除所述试衣实例区域以外的图像；将所述第一服装图像输入至所述服装试穿模型的分支网络，所述分支网络用于将从所述第一服装图像获得的所述待试穿服装的细节信息发送至所述主干网络；通过所述服装试穿模型输出目标图像，所述目标图像包括穿戴有所述待试穿服装的所述模特。由于第二服装图像的形变程度较好，即更加贴合模特图像中模特的人体姿态，所以通过主干网络得到的目标图像中模特穿着待试穿服装更加贴合。由于第一服装图像包含的待试穿服装的细节信息较多，所以分支网络可以获得待试穿服装的很多细节信息，分支网络将获得的待试穿服装的细节信息发送至主干网络，使得主干网络能够基于分支网络输出的细节信息对第二服装图像进行补充，从而实现了目标图像中待试穿服装的形变程度贴合模特的人体姿态，且待试穿服装的细节信息缺失较少甚至不缺失的目的。
附图说明
[0032]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：将模特图像输入至预构建的关键点预测模型，以得到所述关键点预测模型输出的人体关键点图，所述人体关键点图包括所述模特图像中模特的关键点；根据所述模特图像以及所述人体关键点图对包含待试穿服装的服装图像中的所述待试穿服装进行形变处理，得到服装分割图；根据所述人体关键点图对所述模特图像进行实例分割处理，得到候选人体实例分割图，所述候选人体实例分割图包括用于穿戴所述待试穿服装的试衣实例区域；将所述服装分割图包含的待试穿服装匹配到所述候选人体实例分割图中的所述试衣实例区域，生成人体实例分割图；将所述服装图像以及所述服装分割图输入至预构建的空间变换网络，以得到所述空间变换网络输出的第一服装图像；将所述第一服装图像以及所述服装分割图输入至校正网络，以得到所述校正网络输出的第二服装图像；将所述人体实例分割图、所述服装分割图、所述第二服装图像以及保留图像输入至预构建的服装试穿模型的主干网络，所述保留图像为所述模特图像中除所述试衣实例区域以外的图像；将所述第一服装图像输入至所述服装试穿模型的分支网络，所述分支网络用于将从所述第一服装图像获得的所述待试穿服装的细节信息发送至所述主干网络；通过所述服装试穿模型输出目标图像，所述目标图像包括穿戴有所述待试穿服装的所述模特。2.根据权利要求1所述图像生成方法，其特征在于，将所述服装分割图包含的待试穿服装匹配到所述候选人体实例分割图中的所述试衣实例区域，生成人体实例分割图，包括：基于预先设置的各关键点的连接关系将所述人体关键点图中包含的关键点进行连接，以得到肢体连接拓扑图；将所述人体关键点图、所述肢体连接拓扑图、所述候选人体实例分割图以及服装图像输入至预构建的实例分割模型，以得到所述实例分割模型输出的人体实例分割图，所述人体实例分割图中所述模特的试衣部位中的不同部位所在区域属于不同实例区域；其中，所述实例分割模型是将样本模特的人体关键点图、样本模特的肢体连接拓扑图、样本模特的候选人体实例分割图以及样本模特对应的包含待试穿服装的服装图像作为输入，以样本模特对应的标注人体实例分割图为训练目标，训练机器学习模型得到的，所述标注人体实例分割图中样本模特的试衣部位中的不同部位被标注为不同实例区域。3.根据权利要求2所述图像生成方法，其特征在于，根据所述模特图像以及所述人体关键点图对包含待试穿服装的服装图像中的所述待试穿服装进行形变处理，得到服装分割图，包括：将所述人体关键点图、所述人体实例分割图、所述肢体连接拓扑图、所述服装图像输入至预构建的服装分割模型，以得到所述服装分割模型输出的所述服装分割图；其中，所述服装分割模型是将样本模特的人体关键点图、样本模特的人体实例分割图、样本模特的肢体连接拓扑图、样本模特的对应的服装图像作为输入，以样本模特对应的标注服装分割图作为训练目标，训练机器学习模型得到的，所述标注服装分割图中待试穿服
装所在区域不包括被样本模特的身体部位遮挡的区域。4.根据权利要求1至3任一所述图像生成方法，其特征在于，所述主干网络包括解码模块和编码模块，所述分支网络包括解码模块和编码模块；所述主干网络的解码模块包括第一数目层解码层，所述分支网络的解码模块包括所述第一数目层解码层，位于所述分支网络的解码模块中的第i层解码层与位于主干网络的解码模块中的第i层解码层连接；所述分支网络的编码模块的解码层与所述分支网络的解码模块的解码层不相连，所述主干网络的编码模块的编码层与所述主干网络的解码模块的解码层相连接。5.一种图像生成装置，其特征在于，包括：第一获取模块，用于将模特图像输入至预构建的关键点预测模型，以得到所述关键点预测模型输出的人体关键点图，所述人体关键点图包括所述模特图像...

【专利技术属性】
技术研发人员：吴佳涛，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：