3D模型服饰图像处理方法、装置及电子设备制造方法及图纸

本申请提供一种3D模型服饰图像处理方法、装置及电子设备，所述方法包括：获取待处理图像；将待处理图像输入服饰类别识别模型，获得服饰类别识别模型输出的服饰类别识别结果；根据服饰类别识别结果确定相应的服饰关键点检测模型对待处理图像进行关键点检测，获得待处理图像上各服饰部位对应的服饰关键点；根据服饰关键点将待处理图像中的服饰图像显示至3D模型表面。通过根据识别结果选用相应的服饰关键点检测模型获取服饰关键点，然后根据服饰关键点和3D模型的模型贴图关键点对待处理图像进行分割及贴图。如此，可以根据输入的2D服饰图像自动地生成3D模型的服饰贴图，提高了3D模型服饰生成的灵活度，可以满足用户更高的个性化需求。化需求。化需求。

【技术实现步骤摘要】
3D模型服饰图像处理方法、装置及电子设备


[0001]本申请涉及图像处理
，具体而言，涉及一种3D模型服饰图像处理方法、装置及电子设备。

技术介绍

[0002]随着网络社交相关技术的不断发展，对数字化虚拟形象的应用越来越广泛，对虚拟形象多样化和个性化的需求也越来越高。在传统的虚拟形象生成方案中，针对虚拟形象的服饰，用户只能从预设的图像或服饰纹理素材库中选择图案显示至虚拟形象的服饰上，这种方式难以满足海量多样化的虚拟形象生成需求。

技术实现思路

[0003]为了克服现有技术中的上述不足，本申请的目的在于提供一种3D模型服饰图像处理方法，所述方法包括：
[0004]获取待处理图像；
[0005]将所述待处理图像输入服饰类别识别模型，获得所述服饰类别识别模型输出的服饰类别识别结果；
[0006]根据所述服饰类别识别结果确定相应的服饰关键点检测模型对所述待处理图像进行关键点检测，获得所述待处理图像上各服饰部位对应的服饰关键点；
[0007]根据所述服饰关键点将所述待处理图像中的服饰图像显示至3D模型表面。
[0008]在一种可能的实现方式中，所述将所述待处理图像输入服饰类别识别模型的步骤之前，所述方法还包括：
[0009]将所述待处理图像输入图像语义分割模型，获得所述图像语义分割模型输出的服饰区域掩膜图像，所述服饰区域掩膜图像包括指示服饰图像的第一图像区域和指示非服饰图像的第二图像区域；
[0010]所述根据所述服饰关键点将所述待处理图像中的服饰图像显示至3D模型表面的步骤之前，所述方法还包括：
[0011]根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理。
[0012]在一种可能的实现方式中，所述根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理的步骤之前，所述方法还包括：
[0013]根据所述服饰关键点对所述待处理图像进行服饰部位拆分，确定拆分后的服饰部位轮廓信息；
[0014]所述根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理的步骤，包括：
[0015]根据所述服饰区域掩膜图像、所述服饰部位轮廓信息对所述服饰关键点进行插值处理。
[0016]在一种可能的实现方式中，所述根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理的步骤之前，所述方法还包括：
[0017]根据所述服饰区域掩膜图像对所述服饰关键点进行调整，使所述服饰关键点位于所述第一图像区域内。
[0018]在一种可能的实现方式中，所述根据所述服饰关键点将所述待处理图像中的服饰图像显示至3D模型表面的步骤，包括：
[0019]获取与所述3D模型的3D表面关键点的集合对应的UV关键点的集合，所述UV关键点的集合中包括至少部分与所述服饰关键点对应的UV关键点；
[0020]根据各所述3D表面关键点的相对位置关系和各所述UV关键点的相对位置关系，对所述服饰关键点进行调整；
[0021]根据调整后的所述服饰关键点将所述第一图像区域内的服饰图像转换为UV展开图；
[0022]将所述UV展开图贴图至所述3D模型。
[0023]在一种可能的实现方式中，所述根据所述服饰关键点将所述待处理图像中的服饰图像显示至3D模型表面的步骤之前，所述方法还包括：
[0024]根据所述3D模型的3D表面关键点确定服饰部位尺寸比例；
[0025]根据所述服饰部位尺寸比例对所述服饰关键点进行调整。
[0026]在一种可能的实现方式中，所述方法还包括：
[0027]根据所述待处理图像中的服饰正面图像进行颜色检索和/或纹理生成，获得服饰背面图像。
[0028]本申请的另一目的在于提供一种3D模型服饰图像处理装置，所述装置包括：
[0029]图像获取模块，用于获取待处理图像；
[0030]服饰类别识别模块，用于将所述待处理图像输入服饰类别识别模型，获得所述服饰类别识别模型输出的服饰类别识别结果；
[0031]服饰关键点识别模块，用于根据所述服饰类别识别结果确定相应的服饰关键点检测模型对所述待处理图像进行关键点检测，获得所述待处理图像上各服饰部位对应的服饰关键点；
[0032]贴图模块，用于根据所述服饰关键点将所述待处理图像中的服饰图像显示至3D模型表面。
[0033]本申请的另一目的在于提供一种电子设备，包括处理器及机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现本申请提供的3D模型服饰图像处理方法。
[0034]本申请的另一目的在于提供一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被一个或多个处理器执行时，实现本申请提供的3D模型服饰图像处理方法。
[0035]相对于现有技术而言，本申请具有以下有益效果：
[0036]本申请提供的一种3D模型服饰图像处理方法、装置及电子设备，通过对用户提供的2D待处理图像进行服饰类别识别，然后根据识别结果选用相应的服饰关键点检测模型获
取服饰各部位的服饰关键点，然后根据所述服饰关键点和3D模型的模型贴图关键点对待处理图像进行分割及贴图。如此，可以根据输入的2D服饰图像自动地生成3D模型的服饰贴图，提高了3D模型服饰生成的灵活度，可以满足用户更高的个性化需求。
附图说明
[0037]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0038]图1为本申请实施例提供的3D模型服饰图像处理方法的流程示意图；
[0039]图2为本申请实施例提供的服饰关键点的示意图之一；
[0040]图3为本申请实施例提供的服饰关键点的示意图之二；
[0041]图4为本申请实施例提供的电子设备的示意图；
[0042]图5为本申请实施例提供的3D模型服饰图像处理装置的功能模块示意图。
具体实施方式
[0043]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0044]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D模型服饰图像处理方法，其特征在于，所述方法包括：获取待处理图像；将所述待处理图像输入服饰类别识别模型，获得所述服饰类别识别模型输出的服饰类别识别结果；根据所述服饰类别识别结果从确定相应的服饰关键点检测模型对所述待处理图像进行关键点检测，获得所述待处理图像上各服饰部位对应的服饰关键点；根据所述服饰关键点将所述待处理图像中的服饰图像显示至3D模型表面。2.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像输入服饰类别识别模型的步骤之前，所述方法还包括：将所述待处理图像输入图像语义分割模型，获得所述图像语义分割模型输出的服饰区域掩膜图像，所述服饰区域掩膜图像包括指示服饰图像的第一图像区域和指示非服饰图像的第二图像区域；所述根据所述服饰关键点将所述待处理图像中的服饰图像显示至3D模型表面的步骤之前，所述方法还包括：根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理。3.根据权利要求2所述的方法，其特征在于，所述根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理的步骤之前，所述方法还包括：根据所述服饰关键点对所述待处理图像进行服饰部位拆分，确定拆分后的服饰部位轮廓信息；所述根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理的步骤，包括：根据所述服饰区域掩膜图像、所述服饰部位轮廓信息对所述服饰关键点进行插值处理。4.根据权利要求2所述的方法，其特征在于，所述根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理的步骤之前，所述方法还包括：根据所述服饰区域掩膜图像对所述服饰关键点进行调整，使所述服饰关键点位于所述第一图像区域内。5.根据权利要求3所述的方法，其特征在于，所述根据所述服饰关键点将所述待处理图像中的服饰图像显示至3D模型...

【专利技术属性】
技术研发人员：肖萌，
申请(专利权)人：广州虎牙信息科技有限公司，
类型：发明
国别省市：