虚拟装饰方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种虚拟装饰方法、装置、电子设备及存储介质；方法包括：根据目标装饰物的图片，确定目标装饰物的类型；根据所述目标装饰物的图片以及所述目标装饰物的类型，确定目标装饰物关键点集合以及目标装饰物分割图；根据目标装饰物关键点集合、目标装饰物分割图、目标装饰物的图片以及目标对象的图片，确定目标对象装饰后的图片。本发明专利技术实施例提供的虚拟装饰方法、装置、电子设备及存储介质，根据目标装饰物的类型确定目标装饰物上的关键点，根据目标装饰物上的关键点监督目标装饰物的形变过程，保证目标装饰物各个关键点的位置准确，防止装饰物形状失真或尺度不准确等问题。

【技术实现步骤摘要】
虚拟装饰方法、装置、电子设备及存储介质
本专利技术涉及图像处理
，尤其涉及一种虚拟装饰方法、装置、电子设备及存储介质。
技术介绍
虚拟装饰是指为图片中的虚拟对象穿着装饰物。一种典型的虚拟装饰是二维虚拟换装，即在用户实际未变换服装的情况下，将二维图片中的用户的服装进行变换。虚拟装饰在购物、电子游戏、动画等多个领域有着广泛的应用。现有技术中的虚拟装饰方法利用cGAN网络接收身体分割信息、骨骼姿态点信息、面部分割信息等信息，训练生成装饰物模板所对应的装饰物在人像上的掩膜(mask)图，然后将装饰物利用形变网络形变到对应的掩膜图上，并且保持人像其他部分不变，从而完成虚拟装置。现有技术中的虚拟装饰方法由于只利用了装饰物图片和在人体上的掩膜图片，缺乏对不同类型装饰物的判别和装饰物关键点的监督信息，导致当装饰物形态变化较大时容易出现效果失真的情况。例如，有领衣服与无领衣服的互换，长袖衣服与短袖衣服的互换都容易产生效果失真的情况。
技术实现思路
针对现有技术中存在的问题，本专利技术实施例提供一种虚拟装饰方法、装置、电子设备及存储介质。第一方面，本专利技术实施例提供一种虚拟装饰方法，包括：根据目标装饰物的图片，确定目标装饰物的类型；根据所述目标装饰物的图片以及所述目标装饰物的类型，确定目标装饰物关键点集合以及目标装饰物分割图；根据目标装饰物关键点集合、目标装饰物分割图、目标装饰物的图片以及目标对象的图片，确定目标对象装饰后的图片。上述技术方案中，所述根据目标装饰物关键点集合、目标装饰物分割图、目标装饰物的图片以及目标对象的图片，确定目标对象装饰后的图片，包括：根据目标对象的图片，确定目标对象的骨骼关键点集合、身体分割图以及身体外轮廓关键点集合；根据目标对象的骨骼关键点集合中的关键点、目标对象的身体外轮廓关键点集合中的关键点以及目标装饰物关键点集合中的关键点，结合目标装饰物分割图、目标对象的身体分割图以及目标装饰物的图片，确定目标对象装饰后的图片。上述技术方案中，所述根据目标对象的骨骼关键点集合中的关键点、目标对象的身体外轮廓关键点集合中的关键点以及目标装饰物关键点集合中的关键点，结合目标装饰物分割图、目标对象的身体分割图以及目标装饰物的图片，确定目标对象装饰后的图片，包括：根据目标对象的骨骼关键点集合中的关键点、目标对象的身体外轮廓关键点集合中的关键点以及目标装饰物关键点集合中的关键点，分别确定目标对象的骨骼关键点热图、目标对象的身体外轮廓关键点热图以及目标装饰物关键点热图；根据目标对象的骨骼关键点热图、目标对象的身体分割图、目标装饰物的图片、目标对象的身体外轮廓关键点热图以及目标装饰物关键点热图，得到形变后的目标装饰物分割图以及形变后的目标装饰物关键点热图；根据形变后的目标装饰物分割图、形变后的目标装饰物关键点热图以及目标装饰物的图片，确定形变后的目标装饰物图片；根据所述目标对象的骨骼关键点热图、形变后的目标装饰物图片、目标装饰物分割图以及目标对象的身体分割图，确定目标对象装饰后的图片。上述技术方案中，所述根据所述目标装饰物的图片以及所述目标装饰物的类型，确定目标装饰物关键点集合，包括：根据所述目标装饰物的类型，确定第一装饰物关键点检测模型；其中，所述第一装饰物关键点检测模型是基于第一类型装饰物的样本图片，第一类型装饰物的样本图片所对应的标签信息训练得到的；所述标签信息标注了样本图片中第一类型装饰物的关键点；所述第一类型为所述装饰物的类型；将所述目标装饰物的图片输入所述第一装饰物关键点检测模型，得到目标装饰物关键点集合。上述技术方案中，所述根据目标对象的骨骼关键点热图、目标对象的身体分割图、目标装饰物的图片、目标对象的身体外轮廓关键点热图以及目标装饰物关键点热图，得到形变后的目标装饰物分割图以及形变后的目标装饰物关键点热图，包括：目标对象的骨骼关键点热图、目标对象的身体分割图、目标装饰物的图片、目标对象的身体外轮廓关键点热图以及目标装饰物关键点热图在channel通道上合并；将合并后的结果输入第一形变模型，得到形变后的目标装饰物分割图以及形变后的目标装饰物关键点热图；其中，所述第一形变模型是基于样本装饰物的图片、样本对象的身体分割图、样本装饰物分割图以及样本对象穿着样本装饰物的图片训练得到的。上述技术方案中，所述根据形变后的目标装饰物分割图、形变后的目标装饰物关键点热图以及目标装饰物的图片，确定形变后的目标装饰物图片，包括：将形变后的目标装饰物分割图、形变后的目标装饰物关键点热图以及目标装饰物的图片输入第二形变模型，得到形变后的目标装饰物图片；其中，所述第二形变模型是基于样本装饰物的图片、样本对象所穿着的样本装饰物的图片训练得到的。上述技术方案中，所述根据所述目标对象的骨骼关键点热图、形变后的目标装饰物图片、目标装饰物分割图以及目标对象的身体分割图，确定目标对象装饰后的图片，包括：将从所述目标对象的身体分割图中所选取的头发与面部的分割图，与所述目标对象的骨骼关键点热图、形变后的目标装饰物图片以及目标装饰物分割图一起，输入到目标对象装饰后图片生成模型，得到目标对象装饰后的图片；其中，所述目标对象装饰后图片生成模型是基于关键点的热图、形变后的样本装饰物图片、样本对象的身体分割图以及样本对象穿着样本装饰物的图片训练得到的。第二方面，本专利技术实施例提供一种虚拟装饰装置，包括：目标装饰物类型确定模块，用于根据目标装饰物的图片，确定目标装饰物的类型；目标装饰物关键点集合确定模块，用于根据所述目标装饰物的图片以及所述目标装饰物的类型，确定目标装饰物关键点集合以及目标装饰物分割图；目标对象装饰后图片确定模块，用于根据目标装饰物关键点集合、目标装饰物分割图、目标装饰物的图片以及目标对象的图片，确定目标对象装饰后的图片。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术第一方面实施例所述虚拟装饰方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本专利技术第一方面实施例所述虚拟装饰方法的步骤。本专利技术实施例提供的虚拟装饰方法、装置、电子设备及存储介质，根据目标装饰物的类型确定目标装饰物上的关键点，根据目标装饰物上的关键点监督目标装饰物的形变过程，保证目标装饰物各个关键点的位置准确，防止装饰物形状失真或尺度不准确等问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的虚拟装饰方法的流程图；本文档来自技高网...

【技术保护点】
1.一种虚拟装饰方法，其特征在于，包括：/n根据目标装饰物的图片，确定目标装饰物的类型；/n根据所述目标装饰物的图片以及所述目标装饰物的类型，确定目标装饰物关键点集合以及目标装饰物分割图；/n根据目标装饰物关键点集合、目标装饰物分割图、目标装饰物的图片以及目标对象的图片，确定目标对象装饰后的图片。/n

【技术特征摘要】
1.一种虚拟装饰方法，其特征在于，包括：
根据目标装饰物的图片，确定目标装饰物的类型；
根据所述目标装饰物的图片以及所述目标装饰物的类型，确定目标装饰物关键点集合以及目标装饰物分割图；
根据目标装饰物关键点集合、目标装饰物分割图、目标装饰物的图片以及目标对象的图片，确定目标对象装饰后的图片。


2.根据权利要求1所述的虚拟装饰方法，其特征在于，所述根据目标装饰物关键点集合、目标装饰物分割图、目标装饰物的图片以及目标对象的图片，确定目标对象装饰后的图片，包括：
根据目标对象的图片，确定目标对象的骨骼关键点集合、身体分割图以及身体外轮廓关键点集合；
根据目标对象的骨骼关键点集合中的关键点、目标对象的身体外轮廓关键点集合中的关键点以及目标装饰物关键点集合中的关键点，结合目标装饰物分割图、目标对象的身体分割图以及目标装饰物的图片，确定目标对象装饰后的图片。


3.根据权利要求2所述的虚拟装饰方法，其特征在于，所述根据目标对象的骨骼关键点集合中的关键点、目标对象的身体外轮廓关键点集合中的关键点以及目标装饰物关键点集合中的关键点，结合目标装饰物分割图、目标对象的身体分割图以及目标装饰物的图片，确定目标对象装饰后的图片，包括：
根据目标对象的骨骼关键点集合中的关键点、目标对象的身体外轮廓关键点集合中的关键点以及目标装饰物关键点集合中的关键点，分别确定目标对象的骨骼关键点热图、目标对象的身体外轮廓关键点热图以及目标装饰物关键点热图；
根据目标对象的骨骼关键点热图、目标对象的身体分割图、目标装饰物的图片、目标对象的身体外轮廓关键点热图以及目标装饰物关键点热图，得到形变后的目标装饰物分割图以及形变后的目标装饰物关键点热图；
根据形变后的目标装饰物分割图、形变后的目标装饰物关键点热图以及目标装饰物的图片，确定形变后的目标装饰物图片；
根据所述目标对象的骨骼关键点热图、形变后的目标装饰物图片、目标装饰物分割图以及目标对象的身体分割图，确定目标对象装饰后的图片。


4.根据权利要求1至3任一项所述的虚拟装饰方法，其特征在于，所述根据所述目标装饰物的图片以及所述目标装饰物的类型，确定目标装饰物关键点集合，包括：
根据所述目标装饰物的类型，确定第一装饰物关键点检测模型；其中，所述第一装饰物关键点检测模型是基于第一类型装饰物的样本图片，第一类型装饰物的样本图片所对应的标签信息训练得到的；所述标签信息标注了样本图片中第一类型装饰物的关键点；所述第一类型为所述装饰物的类型；
将所述目标装饰物的图片输入所述第一装饰物关键点检测模型，得到目标装饰物关键点集合。


5.根据权利要求3所述的虚拟装饰方法，其特征在于，所述根...

【专利技术属性】
技术研发人员：郑曌琼，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11