一种虚拟对象的动作图像数据生成方法、装置及相关设备制造方法及图纸

本申请公开了应用于计算机技术领域的一种虚拟对象的动作图像数据生成方法、装置及相关设备。在该方法中，获取目标音乐、形象参考图像以及乐器类型，将目标音乐、形象参考图像以及乐器类型作为手势驱动模型的输入数据，得到手势驱动模型输出的虚拟对象的乐器演奏动作图像数据。手势驱动模型能够支持多种乐器类型。目标乐器类型是手势驱动模型支持的多种乐器类型中的一种。利用手势驱动模型能够生成多种乐器类型中，指定的目标乐器类型对应的虚拟对象的乐器演奏动作图像数据。如此无需训练多个驱动模型，降低成本。降低成本。降低成本。

【技术实现步骤摘要】
一种虚拟对象的动作图像数据生成方法、装置及相关设备


[0001]本申请涉及计算机
，特别是涉及一种虚拟对象的动作图像数据生成方法、装置及相关设备。

技术介绍

[0002]随着计算机技术的发展，虚拟对象被更多的用户所接受。在虚拟场景中，例如元宇宙场景或者影视场景中，能够基于真实的人物或者动物形象生成虚拟对象，并且利用虚拟对象执行特定的动作，实现对真实的人物或者动物模拟。
[0003]在一些应用场景中，使用预先完成训练的驱动模型生成乐器演奏动作图像数据。利用乐器演奏动作图像数据实现虚拟对象执行乐器演奏动作。但是，驱动模型所支持乐器类型较为单一。对于需要虚拟对象执行多种乐器的乐器演奏动作的情况下，需要训练多个驱动模型，成本较高。

技术实现思路

[0004]有鉴于此，本申请提供了一种虚拟对象的动作图像数据生成方法，用于基于支持多种乐器类型的手势驱动模型生成虚拟对象的乐器演奏动作图像数据，无需训练多个驱动模型，降低成本。本申请还提供了对应的装置、计算设备集群、计算机可读存储介质以及计算机程序产品。
[0005]第一方面，本申请提供了一种虚拟对象的动作图像数据生成方法。具体实现时，先获取目标音乐、形象参考图像以及目标乐器类型。其中，形象参考图像包括虚拟对象的参考形象。目标乐器类型为手势驱动模型支持的多种乐器类型中的一种。再将目标音乐、形象参考图像以及目标乐器类型输入手势驱动模型，得到手势驱动模型输出的虚拟对象的乐器演奏动作图像数据。虚拟对象的乐器演奏动作图像数据用于描述虚拟对象利用目标乐器类型的乐器演奏目标音乐的乐器演奏动作。利用手势驱动模型能够生成多种乐器类型的虚拟对象的乐器演奏动作图像数据。如此能够降低训练驱动模型的成本。也便于利用手势驱动模型向用户展示虚拟对象的多种乐器类型的乐器演奏动作。
[0006]在一种可能的实施方式中，利用嘴型驱动模型，基于目标音乐和形象参考图片，生成虚拟对象的脸部演唱动作图像数据。虚拟对象的脸部演唱动作图像数据用于描述所述虚拟对象演唱所述目标音乐的脸部演唱动作。再将虚拟对象的乐器演奏动作图像数据和虚拟对象的脸部演唱动作图像数据进行组合，得到所述虚拟对象的表演动作图像数据。表演动作图像数据用于描述虚拟对象演唱目标音乐以及利用目标乐器类型的乐器演奏目标音乐的表演动作。表演动作图像数据能够实现虚拟对象同时执行演唱动作和演奏动作，便于控制虚拟对象，丰富虚拟对象与用户的互动过程。
[0007]在一种可能的实施方式中，根据目标音乐对乐器演奏动作图像数据和脸部演唱动作图像数据进行组合。具体的，依次将与目标音乐相同时刻对应的乐器演奏动作图像数据和脸部演唱动作图像数据进行组合，得到虚拟对象的表演动作图像数据。
[0008]在一种可能的实施方式中，所述方法还包括根据虚拟对象的表演动作图像数据，显示虚拟对象的表演动作。如此能够利用虚拟对象的表演动作图像数据向用户展示虚拟对象的表演动作，实现与用户的交互。
[0009]在一种可能的实施方式中，所述方法还包括：根据虚拟对象的乐器演奏动作图像数据，显示虚拟对象的乐器演奏动作。如此能够利用虚拟对象的乐器演奏动作图像数据，向用户展示虚拟对象的乐器演奏动作，实现与用户的交互。
[0010]在一种可能的实施方式中，获取训练数据集合。训练数据集合包括多个训练数据以及各个训练数据对应的训练乐器演奏动作图像数。训练数据包括训练音乐、训练形象图像以及训练乐器类型。训练数据集合包括的训练数据的训练乐器类型为多种。训练形象图像包括参考形象。训练数据对应的训练乐器演奏动作图像数据，用于描述所述参考形象的人物利用所述训练数据包括的训练乐器类型的乐器演奏所述训练音乐的动作。利用训练数据以及训练乐器演奏动作图像数据，训练待训练手势驱动模型，得到完成训练的手势驱动模型。
[0011]第二方面，本申请提供了一种虚拟对象的动作图像数据生成装置，所述装置包括：
[0012]获取模块，用于获取目标音乐、形象参考图像以及目标乐器类型，所述形象参考图像包括虚拟对象的参考形象，所述目标乐器类型为手势驱动模型支持的多种乐器类型中的一种；
[0013]第一生成模块，用于利用所述手势驱动模型，基于所述目标音乐、所述形象参考图像以及所述目标乐器类型，生成所述虚拟对象的乐器演奏动作图像数据，所述虚拟对象的乐器演奏动作图像数据用于描述所述虚拟对象利用所述目标乐器类型的乐器演奏所述目标音乐的乐器演奏动作。
[0014]在一种可能的实施方式中，所述装置还包括：
[0015]第二生成模块，用于利用嘴型驱动模型，基于所述目标音乐和所述形象参考图片，生成所述虚拟对象的脸部演唱动作图像数据，所述虚拟对象的脸部演唱动作图像数据用于描述所述虚拟对象演唱所述目标音乐的脸部演唱动作；
[0016]组合模块，用于将所述虚拟对象的乐器演奏动作图像数据和所述虚拟对象的脸部演唱动作图像数据进行组合，得到所述虚拟对象的表演动作图像数据，所述表演动作图像数据用于描述所述虚拟对象演唱所述目标音乐以及利用所述目标乐器类型的乐器演奏所述目标音乐的表演动作。
[0017]在一种可能的实施方式中，所述组合模块，具体用于依次将与目标音乐相同时刻对应的所述乐器演奏动作图像数据和所述脸部演唱动作图像数据进行组合，得到所述虚拟对象的表演动作图像数据。
[0018]在一种可能的实施方式中，所述装置还包括：
[0019]第一显示模块，用于根据所述虚拟对象的表演动作图像数据，显示所述虚拟对象的表演动作。
[0020]在一种可能的实施方式中，所述装置还包括：
[0021]第二显示模块，用于根据所述虚拟对象的乐器演奏动作图像数据，显示所述虚拟对象的乐器演奏动作。
[0022]在一种可能的实施方式中，所述手势驱动模型是采用以下方法训练得到的：
[0023]获取训练数据集合，所述训练数据集合包括多个训练数据以及各个所述训练数据对应的训练乐器演奏动作图像数据，所述训练数据包括训练音乐、训练形象图像以及训练乐器类型，所述训练数据集合包括的所述训练数据的所述训练乐器类型为多种，所述训练形象图像包括参考形象，所述训练数据对应的训练乐器演奏动作图像数据，用于描述所述参考形象的人物利用所述训练数据包括的训练乐器类型的乐器演奏所述训练音乐的动作；
[0024]利用所述训练数据以及所述训练乐器演奏动作图像数据，训练待训练手势驱动模型，得到完成训练的手势驱动模型。
[0025]值得注意的是，第二方面提供的虚拟对象的动作图像数据生成装置，对应于第一方面提供的虚拟对象的动作图像数据生成方法，故第二方面以及第二方面中任一实施方式所具有的技术效果，可参见第一方面或者第一方面的相应实施方式所具有的技术效果。
[0026]第三方面，本申请提供一种计算设备集群，所述计算设备包括至少一个计算设备，所述至少一个计算设备包括至少一个处理器和至少一个存储器；所述至少一个存储器用于存储指令，所述至少一个处理器执行所述至少一个存储器存储的该指令，以使所述计算设备集群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟对象的动作图像数据生成方法，其特征在于，所述方法包括：获取目标音乐、形象参考图像以及目标乐器类型，所述形象参考图像包括虚拟对象的参考形象，所述目标乐器类型为手势驱动模型支持的多种乐器类型中的一种；利用所述手势驱动模型，基于所述目标音乐、所述形象参考图像以及所述目标乐器类型，生成所述虚拟对象的乐器演奏动作图像数据，所述虚拟对象的乐器演奏动作图像数据用于描述所述虚拟对象利用所述目标乐器类型的乐器演奏所述目标音乐的乐器演奏动作。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用嘴型驱动模型，基于所述目标音乐和所述形象参考图片，生成所述虚拟对象的脸部演唱动作图像数据，所述虚拟对象的脸部演唱动作图像数据用于描述所述虚拟对象演唱所述目标音乐的脸部演唱动作；将所述虚拟对象的乐器演奏动作图像数据和所述虚拟对象的脸部演唱动作图像数据进行组合，得到所述虚拟对象的表演动作图像数据，所述表演动作图像数据用于描述所述虚拟对象演唱所述目标音乐以及利用所述目标乐器类型的乐器演奏所述目标音乐的表演动作。3.根据权利要求2所述的方法，其特征在于，所述将所述虚拟对象的乐器演奏动作图像数据和所述虚拟对象的脸部演唱动作图像数据进行组合，得到所述虚拟对象的表演动作图像数据，包括：依次将与目标音乐相同时刻对应的所述乐器演奏动作图像数据和所述脸部演唱动作图像数据进行组合，得到所述虚拟对象的表演动作图像数据。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述虚拟对象的表演动作图像数据，显示所述虚拟对象的表演动作。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述虚拟对象的乐器演奏动作图像数据，显示所述虚拟对象的乐器演奏动作。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述手势驱动模型是采用以下方法训练得到的：获取训练数据集合，所述训练数据集合包括多个训练数据以及各个所述训练数据对应的训练乐器演奏动作图像数据，所述训练数据包括训练音乐、训练形象图像以及训练乐器类型，所述训练数据集合包括的所述训练数据的所述训练乐器类型为多种，所述训练形象图像包括参考形象，所述训练数据对应的训练乐器演奏动作图像数据，用于描述所述参考形象的人物利用所述训练数据包括的训练乐器类型的乐器演奏所述训练音乐的动作；利用所述训练数据以及所述训练乐器演奏动作图像数据，训练待训练手势驱动模型，得到完成训练的手势驱动模型。7.一种虚拟对象的动作图像数据生成装置，其特征在于，所述装置包括：获取模块，用于获取目标音乐、形象参考图像以及目标乐器类型，所述形象参考图像包括虚拟对象的参考形象，所述目标乐器类型为手势驱动模型支持的多种乐器类型中的一种；第一生成模块，用于利用所述手势驱动模型，基于所...

【专利技术属性】
技术研发人员：彭亮，马飞，李明磊，怀宝兴，
申请(专利权)人：深圳华为云计算技术有限公司，
类型：发明
国别省市：