虚拟服装预测方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种虚拟服装预测方法、装置、设备及计算机可读存储介质；方法包括：获取虚拟对象的动作数据和针对服装预测模型的配置信息；获取配置信息对应的训练好的服装预测模型，训练好的服装预测模型是利用虚拟对象的训练动作数据和虚拟服装的训练点云数据训练得到的，训练动作数据和训练点云数据是通过对训练动画数据进行离线布料解算得到的；利用训练好的服装预测模型对动作数据进行预测处理，得到虚拟服装中各个服装顶点的顶点位置信息；基于虚拟服装中各个服装顶点的顶点位置信息和虚拟服装的属性信息，渲染出虚拟对象在执行动作数据时穿着的虚拟服装。通过本申请，能够提高服装运动姿态的预测效果。提高服装运动姿态的预测效果。提高服装运动姿态的预测效果。

【技术实现步骤摘要】
虚拟服装预测方法、装置、设备及计算机可读存储介质


[0001]本申请涉及数据处理技术，尤其涉及一种虚拟服装预测方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]布料解算是指在制作好虚拟对象模型以后，通过自动计算为虚拟对象添加服装布料动画。布料解算可以应用于虚拟数字人直播、离线视频生成制作、游戏等多种场景。目前布料解算的主流方案，分为离线布料解算和实时布料解算两大类，离线布料解算一般是在houdini，MD软件中进行，算力占用高，人工成本高，耗时长，解算时间随服装的复杂程度增加，但解算精细，效果较好。实时布料解算算法一般只能解算出简单的服装模型，在解算复杂的服装模型时，解算效果差。

技术实现思路

[0003]本申请实施例提供一种虚拟服装预测方法、装置、设备及计算机可读存储介质，能够提高服装运动姿态的预测效果。
[0004]本申请实施例的技术方案是这样实现的：本申请实施例提供一种虚拟服装预测方法，所述方法包括：获取虚拟对象的动作数据和针对服装预测模型的配置信息；获取所述配置信息对应的训练好的服装预测模型，所述训练好的服装预测模型是利用虚拟对象的训练动作数据和虚拟服装的训练点云数据训练得到的，所述训练动作数据和训练点云数据是通过对训练动画数据进行离线布料解算得到的；利用所述训练好的服装预测模型对所述动作数据进行预测处理，得到所述虚拟服装中各个服装顶点的顶点位置信息；基于所述虚拟服装中各个服装顶点的顶点位置信息和所述虚拟服装的属性信息，渲染出所述虚拟对象在执行所述动作数据时穿着的虚拟服装。
[0005]本申请实施例提供一种虚拟服装预测装置，包括：第一获取模块，用于获取虚拟对象的动作数据和针对服装预测模型的配置信息；第二获取模块，用于获取所述配置信息对应的训练好的服装预测模型，所述训练好的服装预测模型是利用虚拟对象的训练动作数据和虚拟服装的训练点云数据训练得到的，所述训练动作数据和训练点云数据是通过对训练动画数据进行离线布料解算得到的；预测模块，用于利用所述训练好的服装预测模型对所述动作数据进行预测处理，得到所述虚拟服装中各个服装顶点的顶点位置信息；渲染模块，用于基于所述虚拟服装中各个服装顶点的顶点位置信息和所述虚拟服装的属性信息，渲染出所述虚拟对象在执行所述动作数据时穿着的虚拟服装。
[0006]本申请实施例提供一种电子设备，所述电子设备包括：存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的方法。
[0007]本申请实施例提供一种计算机可读存储介质，存储有计算机程序或计算机可执行指令，用于被处理器执行时实现本申请实施例提供的虚拟服装预测方法。
[0008]本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的虚拟服装预测方法。
[0009]本申请实施例具有以下有益效果：在获取到虚拟对象的动作数据和针对服装预测模型的配置信息之后，首先获取所述配置信息对应的训练好的服装预测模型，其中，训练好的服装预测模型是利用虚拟对象的训练动作数据和虚拟服装的训练点云数据训练得到的，所述训练动作数据和训练点云数据是通过对训练动画数据进行离线布料解算得到的，由于训练动作数据和训练点云数据是通过离线布料解算得到的，因此在利用训练好的服装预测模型对所述动作数据进行预测处理，得到所述虚拟服装中各个服装顶点的顶点位置信息，并基于虚拟服装中各个服装顶点的顶点位置信息和所述虚拟服装的属性信息，渲染出所述虚拟服装时，能够使得虚拟服装的运动能够符合虚拟对象的动作，提高虚拟服装的运动姿态的预测效果以及动画播放的真实性。
附图说明
[0010]图1本申请实施例提供的直播系统100的网络架构示意图；图2是本申请实施例提供的主播终端400的结构示意图；图3是本申请实施例提供的虚拟服装预测方法的一种实现流程示意图；图4是本申请实施例提供的确定虚拟服装中各个服装顶点的顶点位置信息的实现流程示意图；图5是本申请实施例提供的利用训练好的服装预测模型确定虚拟服装中各个服装顶点的顶点位置信息的实现流程示意图；图6是本申请实施例提供的渲染虚拟服装的实现流程示意图；图7是本申请实施例提供的对虚拟服装的服装顶点进行碰撞修正的实现流程示意图；图8是本申请实施例提供的确定执行虚拟服装预测的处理器的实现流程示意图；图9是本申请实施例提供的训练服装预测模型的一种实现流程示意图；图10是本申请实施例提供的训练服装预测模型的另一种实现流程示意图；图11是本申请实施例提供的训练低频预测模块的实现流程示意图；图12是本申请实施例提供的训练高频预测模块的实现流程示意图；图13A为单件裙子通过离线解算渲染出的某一帧效果示意图；图13B为利用本申请实施例提供的训练好的服装预测模型对裙子进行实时预测的效果图；图13C是利用本申请实施例提供的训练好的服装预测模型在UE引擎中进行实时预测一个效果图；
图13D是利用本申请实施例提供的训练好的服装预测模型在UE引擎中进行实时预测的另一个效果图；图14是本申请实施例提供的虚拟服装的渲染方法的另一种实现流程示意图；图15为一段旋转动画旋转完毕后的200帧阶段位置的服装渲染效果图；图16是本申请实施例提供的UE引擎的架构图；图17是本申请实施例提供的在引擎端进行布料模拟的实现流程示意图；图18是本申请实施例提供的布料渲染流程示意图。
具体实施方式
[0011]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0012]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,
ꢀ“
一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0013]在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0014]除非另有定义，本申请实施例所使用的所有的技术和科学术语与所属
的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0015]对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
[0016]1）UE引擎（Unreal Engine）：由Epic Games开发的商业游戏引擎，该引擎被应用在开发潜行类游戏，角色扮演游戏等多种不同类型的游戏。除了开发游戏，也被用于电脑虚拟制片，虚拟人开发等场景中。
[0017]2）布料本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟服装预测方法，其特征在于，所述方法包括：获取虚拟对象的动作数据和针对服装预测模型的配置信息；获取所述配置信息对应的训练好的服装预测模型，所述训练好的服装预测模型是利用虚拟对象的训练动作数据和虚拟服装的训练点云数据训练得到的，所述训练动作数据和训练点云数据是通过对训练动画数据进行离线布料解算得到的；利用所述训练好的服装预测模型对所述动作数据进行预测处理，得到所述虚拟服装中各个服装顶点的顶点位置信息；基于所述虚拟服装中各个服装顶点的顶点位置信息和所述虚拟服装的属性信息，渲染出所述虚拟对象在执行所述动作数据时穿着的虚拟服装。2.根据权利要求1中所述的方法，其特征在于，所述获取虚拟对象的动作数据，包括：获取待处理的动画数据，所述动画数据为实时采集的直播动画数据或者预先生成的动画数据；利用游戏引擎对所述动画数据进行处理，获取所述动画数据的各个动画帧中虚拟对象预设的关键骨骼的旋转角和所述虚拟对象的根骨骼的位移。3.根据权利要求1中所述的方法，其特征在于，在所述利用所述训练好的服装预测模型对所述动作数据进行预测处理，得到所述虚拟服装中各个服装顶点的顶点位置信息之前，所述方法还包括：获取当前的中央处理器CPU使用率和图形处理器GPU使用率；如果所述CPU使用率小于第一使用率阈值，且所述GPU使用率小于第二使用率阈值，获取处理器选择信息；将所述处理器选择信息对应的处理器确定为目标处理器，其中，所述目标处理器用于执行利用所述训练好的服装预测模型对所述动作数据进行预测处理，得到所述虚拟服装中各个服装顶点的顶点位置信息。4.根据权利要求3中所述的方法，其特征在于，所述方法还包括：如果所述CPU使用率大于或者等于第一使用率阈值，且所述GPU使用率小于所述第二使用率阈值，将GPU确定为目标处理器；如果所述CPU使用率小于第一使用率阈值，且所述GPU使用率大于或者等于所述第二使用率阈值，将CPU确定为目标处理器；如果所述CPU使用率大于或者等于第一使用率阈值，且所述GPU使用率大于所述等于所述第二使用率阈值，将GPU和CPU中使用率低的处理器确定为目标处理器。5.根据权利要求2中所述的方法，其特征在于，所述利用所述训练好的服装预测模型对所述动作数据进行预测处理，得到所述虚拟服装中各个服装顶点的顶点位置信息，包括：对所述各个动画帧中虚拟对象预设的关键骨骼的旋转角和所述虚拟对象的根骨骼的位移分别进行归一化，得到所述虚拟对象在各个动画帧中关键骨骼的归一化旋转角和根骨骼的归一化位移；基于所述虚拟对象在各个动画帧中的根骨骼的归一化位移确定所述虚拟对象在各个动画帧中根骨骼的速度；利用所述训练好的服装预测模型对所述虚拟对象在各个动画帧中关键骨骼的归一化旋转角和根骨骼的速度进行预测处理，得到所述虚拟服装中各个服装顶点的顶点位置信
息。6.根据权利要求5中所述的方法，其特征在于，所述训练好的服装预测模型包括训练好的低频预测模块和训练好的高频预测模块，所述利用所述训练好的服装预测模型对所述虚拟对象在各个动画帧中关键骨骼的归一化旋转角和根骨骼的速度进行预测处理，得到所述虚拟服装中各个服装顶点的顶点位置信息，包括：利用所述训练好的低频预测模块对所述虚拟对象在各个动画帧中关键骨骼的归一化旋转角和根骨骼的速度进行预测处理，得到所述虚拟服装在各个动画帧中虚拟骨骼的第一预测旋转角度和第一预测位置；根据所述虚拟服装在各个动画帧中虚拟骨骼的第一预测旋转角度、第一预测位置和蒙皮权重，确定所述虚拟服装在各个动画帧中各个服装顶点的第一参考位置；利用所述训练好的高频预测模块对所述虚拟对象在各个动画帧中关键骨骼的归一化旋转角和根骨骼的速度分别进行预测处理，得到所述虚拟服装在各个动画帧中各个服装顶点的顶点偏移信息；将所述虚拟服装在各个动画帧中各个服装顶点的第一参考位置叠加对应的顶点偏移信息，得到将所述虚拟服装在各个动画帧中各个服装顶点的顶点位置信息。7.根据权利要求1至6任一项所述的方法，其特征在于，所述虚拟服装的属性信息至少包括所述各个服装顶点的纹理坐标，所述基于所述虚拟服装中各个服装顶点的顶点位置信息和所述虚拟服装的属性信息，渲染出所述虚拟对象在执行所述动作数据时穿着的虚拟服装，包括：获取所述虚拟对象对应的胶囊体模型；基于所述虚拟服装中各个服装顶点的顶点位置信息和所述胶囊体模型，对所述虚拟服装中各个服装顶点进行碰撞检测修正，得到各个服装顶点修正后的顶点位置信息；获取所述各个服装顶点的顶点法线；基于所述各个服装顶点修正后的顶点位置信息、所述顶点法线和所述纹理坐标，渲染出所述虚拟对象在执行所述动作数据时穿着的虚拟服装。8.根据权利要求7中所述的方法，其特征在于，所述基于所述虚拟服装中各个服装顶点的顶点位置信息和所述胶囊体模型，对所述虚拟服装中各个服装顶点进行碰撞检测修正，得到各个服装顶点修正后的顶点位置信息，包括：确定所述胶囊体的中线，基于所述各个服装顶点的顶点位置信息确定所述各个服装顶点与所述中线的垂直距离；将垂直距离小于参考距离的服装顶点确定为发生碰撞的待修正顶点；将所述参考距离与所述垂直距离的差值，确定为所述待修正顶点的偏移距离；将所述待修正顶点的顶点位置信息，沿所述待修正顶点到所述中线的垂线的反方向移动所述偏移距离，得到所述待修正顶点的修正后的顶点位置信息。9.根据权利要求7中所述的方法，特征在于，所述获取所述各个服装顶点的顶点法线，包括：确定所述各个服装顶点所在的三角面片；当服装顶点仅存在于一个三角面片中，基于所述三角面片的...

【专利技术属性】
技术研发人员：刘蕊，郭林杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：