一种虚拟角色动画生成方法和系统技术方案

本说明书实施例提供一种虚拟角色动画生成方法，该方法包括获取音乐帧序列，所述音乐帧序列中各个音乐帧包括音乐帧信息；通过动作生成模型，基于所述音乐帧序列生成对应的骨骼动作序列以及基于所述骨骼动作序列和对应的骨骼模型，生成虚拟角色动画。生成虚拟角色动画。生成虚拟角色动画。

【技术实现步骤摘要】
一种虚拟角色动画生成方法和系统


[0001]本说明书涉及动画
，特别涉及一种虚拟角色动画生成方法和系统。

技术介绍

[0002]虚拟角色一般指游戏、动画等作品中出现的虚拟形象，随着5G技术、图像处理技术的发展，虚拟角色已广泛应用于直播、即时通信服务等各种领域。虚拟角色动画中包括大量的虚拟角色动作，且在一些场景中需要虚拟角色根据音乐做出相应的动作，例如根据音乐跳舞、做出角色的打斗招式等，这些都使得生成虚拟角色动画比较复杂(例如建模师需要先将动作捕捉设备与真人绑定，通过捕捉真人的动作来对应生成虚拟角色动画，需要大量且复杂的人工操作)且不易生成高质量的虚拟角色动画。
[0003]因此，亟需虚拟角色动画生成的方法和系统来实现自动、高效地生成高质量的虚拟角色动画。

技术实现思路

[0004]本说明书实施例之一提供一种虚拟角色动画生成方法。所述虚拟角色动画生成方法包括：获取音乐帧序列，所述音乐帧序列中的各个音乐帧包括音乐帧信息；通过动作生成模型，基于所述音乐帧序列生成对应的骨骼动作序列；以及基于所述骨骼动作序列和对应的骨骼模型，生成虚拟角色动画。
[0005]在一些实施例中，所述音乐帧信息包括以下中的一种或多种：音乐帧的拍子信息、音量信息以及音频信息。
[0006]在一些实施例中，所述骨骼动作序列中的骨骼动作包括与音乐帧对应的至少一个骨骼的骨骼位置以及骨骼旋转参数。
[0007]在一些实施例中，所述基于所述音乐帧序列生成对应的骨骼动作序列包括：根据所述音乐帧序列生成音乐帧编码向量序列；以及根据所述音乐帧编码向量序列生成所述骨骼动作序列。
[0008]在一些实施例中，所述根据所述音乐帧编码向量序列生成所述骨骼动作序列动作包括：获取所述音乐帧序列的起始骨骼动作和停止骨骼动作；以及根据所述音乐帧编码向量序列、起始骨骼动作和停止骨骼动作得到所述骨骼动作序列。
[0009]在一些实施例中，所述动作生成模型包括编码网络、双向循环神经网络和解码网络；所述基于所述音乐帧序列生成对应的骨骼动作序列包括：通过所述编码网络，根据所述音乐帧序列生成所述音乐帧编码向量序列；通过所述双向循环神经网络，基于所述音乐帧编码向量序列、所述起始骨骼动作和所述停止骨骼动作得到初始骨骼动作序列；以及通过所述解码网络，基于所述音乐帧编码向量序列和所述初始骨骼动作序列，得到所述骨骼动作序列。
[0010]在一些实施例中，所述基于所述骨骼动作序列和对应的骨骼模型，生成虚拟角色动画包括：通过数据拟合方法获取骨骼动作序列中两个骨骼动作之间的至少一个拟合骨骼
动作；基于所述骨骼动作序列和所述拟合骨骼动作得到骨骼动作动画；以及基于所述骨骼动作动画和所述骨骼模型生成所述虚拟角色动画。
[0011]在一些实施例中，所述动作生成模型的获得方法包括：获取至少一个训练样本以及初始动作生成模型，其中，训练样本包括音乐样本及其对应的动作样本；以及基于所述至少一个训练样本迭代更新所述初始动作生成模型的参数以得到所述动作生成模型。
[0012]本说明书实施例之一提供一种虚拟角色动画生成系统，所述系统包括：获取模块，用于获取音乐帧序列，所述音乐帧序列中的各个音乐帧包括音乐帧信息；动作生成模块，用于通过动作生成模型，基于所述音乐帧序列生成对应的骨骼动作序列；以及动画生成模块，用于基于所述骨骼动作序列和对应的骨骼模型，生成虚拟角色动画。
[0013]本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行本说明书实施例所提供的虚拟角色动画生成方法。
附图说明
[0014]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
[0015]图1是根据本说明书一些实施例所示的虚拟角色动画生成系统的应用场景示意图；
[0016]图2是根据本说明书一些实施例所示的处理设备的模块示意图；
[0017]图3是根据本说明书一些实施例所示的虚拟角色动画生成方法的示例性流程图；
[0018]图4是根据本说明书一些实施例所示的虚拟角色动画生成模型的示例性结构框图；
[0019]图5是根据本说明书一些实施例所示的虚拟角色动画生成模型训练方法的结构化流程图；
[0020]图6是根据本说明书一些实施例所示的骨骼模型关键节点的结构示意图。
具体实施方式
[0021]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0022]应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0023]如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者
设备也可能包含其它的步骤或元素。
[0024]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0025]图1是根据本说明书一些实施例所示的虚拟角色动画生成系统的应用场景的示例性示意图。
[0026]如图1所示，在应用场景中可以包括服务器110、网络120、终端设备130以及存储设备140。
[0027]虚拟角色动画生成系统100主要用于涉及虚拟角色动画的生成。虚拟角色可以指游戏、动画等作品中出现的虚拟形象。在一些实施例中，虚拟角色可以是二维人物动画和/或三维人物模型。例如，虚拟角色可以是通过live2D技术生成的二维虚拟直播形象。再例如，虚拟角色可以是通过3D建模技术生成的三维虚拟形象。虚拟角色动画指虚拟角色的连续动作，其呈现方式与虚拟角色类型对应，例如，虚拟角色为二维形象时，虚拟角色动画可以指虚拟角色的图像帧序列。虚拟角色为三维形象时，虚拟角色动画可以指三维模型的连续动作。虚拟角色动画生成系统100已被广泛应用于各种虚拟角色的制作场景中，例如：动画剧、电影动画、虚拟偶像直播或者3D游戏等。在一些实施例中，虚拟角色动画生成系统100可以通过实施本说明书中披露的虚拟角色动画生成的方法和/或过程来基于音乐生成虚拟角色的动画。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟角色动画生成方法，包括：获取音乐帧序列，所述音乐帧序列中的各个音乐帧包括音乐帧信息；通过动作生成模型，基于所述音乐帧序列生成对应的骨骼动作序列；以及基于所述骨骼动作序列和对应的骨骼模型，生成虚拟角色动画。2.根据权利要求1所述的方法，所述音乐帧信息包括以下中的一种或多种：音乐帧的拍子信息、音量信息以及音频信息。3.根据权利要求1所述的方法，所述骨骼动作序列中的骨骼动作包括与音乐帧对应的至少一个骨骼的骨骼位置以及骨骼旋转参数。4.根据权利要求1所述的方法，所述基于所述音乐帧序列生成对应的骨骼动作序列包括：根据所述音乐帧序列生成音乐帧编码向量序列；以及根据所述音乐帧编码向量序列生成所述骨骼动作序列。5.根据权利要求4所述的方法，所述根据所述音乐帧编码向量序列生成所述骨骼动作序列动作包括：获取所述音乐帧序列的起始骨骼动作和停止骨骼动作；以及根据所述音乐帧编码向量序列、起始骨骼动作和停止骨骼动作得到所述骨骼动作序列。6.根据权利要求5所述的方法，所述动作生成模型包括编码网络、双向循环神经网络和解码网络；所述基于所述音乐帧序列生成对应的骨骼动作序列包括：通过所述编码网络，根据所述音乐帧序列生成所述音乐帧编码向量序列；通过所述双向循环神经网络，基于所述音乐帧编码向量序列、所述起始...

【专利技术属性】
技术研发人员：渠思源，
申请(专利权)人：北京慧夜科技有限公司，
类型：发明
国别省市：