一种舞蹈动作生成方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种舞蹈动作生成方法、装置、电子设备及存储介质；通过对音乐文件包含的音频特征信息进行提取分析，能够量化描述所获取音乐文件的音频特征；基于此音频特征进行音乐驱动舞蹈生成，引入具有舞蹈者个人表演风格的舞蹈者激活向量，运用卷积神经网络算法利用舞蹈者激活向量与提取的音频特征信息进行舞蹈动作预测，得到舞蹈者在表演中可能展示的所有舞蹈动作，如此能够在同一背景音乐文件下针对不同舞蹈者生成具有个人风格的完整舞蹈动作；最终通过动作拼接将多名舞蹈者的动作单元完整整合起来，即可得到混合多种风格并具有丰富层次的多人群体舞蹈。丰富层次的多人群体舞蹈。丰富层次的多人群体舞蹈。

【技术实现步骤摘要】
一种舞蹈动作生成方法、装置、电子设备及存储介质


[0001]本申请涉及运动仿真
，特别涉及一种舞蹈动作生成方法、装置、电子设备及存储介质。

技术介绍

[0002]音乐和舞蹈的多元契合带来的艺术效果是难得的视听享受，随着互联与计算机技术的飞速发展，使得精彩的音乐舞蹈创作不只局限于艺术工作者本身；由此音乐驱动舞蹈生成技术应运而生，现如今在虚拟现实、人机交互等领域有着非常广泛的应用。
[0003]相关技术中，音乐驱动舞蹈生成通过获取音频特征信息，进行相关编码得到深度音频特征向量，之后与舞蹈动作向量相结合，生成新的舞蹈动作单元；再通过动作拼接模型将生成的舞蹈动作单元进行拼接获得完整且自然的舞蹈。
[0004]但是，现有的音乐驱动舞蹈生成一般只专注于对单人单舞的动作生成，造成舞蹈效果单一。

技术实现思路

[0005]基于此，本专利技术提供了一种舞蹈动作生成方法。以解决现有音乐驱动舞蹈生成技术中，只能专注于单人的舞蹈动作生成，造成舞蹈效果单一的问题。
[0006]本专利技术还提供了一种舞蹈动作生成装置，用于保证上述方法在实际中的实现和应用。
[0007]本专利技术实施例提供的一种舞蹈动作生成方法，该方法包括：
[0008]获取音乐文件，提取所述音乐文件的混合音频特征，所述混合音频特征用于表征所述音乐文件的风格；所述音乐文件按照播放时间被划分为多个片段；
[0009]针对每个当前片段，根据所述混合音频特征和上一片段舞蹈者的舞蹈者激活向量，预测每个所述当前片段舞蹈者的舞蹈者激活向量；所述舞蹈者激活向量用于表征片段内每个舞蹈者分别是否表演舞蹈动作；
[0010]根据所述混合音频特征、上一片段舞蹈者的舞蹈动作集合以及当前片段舞蹈者的舞蹈者激活向量进行动作预测，获得所述当前片段中每个舞蹈者的舞蹈动作集合；所述舞蹈动作集合包括所述舞蹈者在片段中所要做的所有动作姿态；
[0011]针对每个所述片段，将所述舞蹈者的所述舞蹈动作集合所包含的舞蹈动作姿态进行拼接，得到所述舞蹈者的舞蹈姿态序列，并将所有片段中舞蹈者的舞蹈姿态序列汇总，获得群舞动作姿态集合。
[0012]本专利技术实施例还提供了一种舞蹈动作生成装置，该装置包括：
[0013]音频特征提取模块，用于获取音乐文件，提取所述音乐文件的混合音频特征，所述混合音频特征用于表征所述音乐文件的风格；所述音乐文件按照播放时间被划分为多个片段；
[0014]第一预测模块，用于针对每个当前片段，根据所述混合音频特征和上一片段舞蹈
者的舞蹈者激活向量，预测每个所述当前片段舞蹈者的舞蹈者激活向量；所述舞蹈者激活向量用于表征片段内每个舞蹈者分别是否表演舞蹈动作；
[0015]第二预测模块，用于根据所述混合音频特征、上一片段舞蹈者的舞蹈动作集合以及当前片段舞蹈者的舞蹈者激活向量进行动作预测，获得所述当前片段中每个舞蹈者的舞蹈动作集合；所述舞蹈动作集合包括所述舞蹈者在片段中所要做的所有动作姿态；
[0016]序列汇总模块，用于针对每个所述片段，将所述舞蹈者的所述舞蹈动作集合所包含的舞蹈动作姿态进行拼接，得到所述舞蹈者的舞蹈姿态序列，并将所有片段中舞蹈者的舞蹈姿态序列汇总，获得群舞动作姿态集合。
[0017]本专利技术实施例还提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述的方法。
[0018]本专利技术实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的方法。
[0019]本专利技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0020]在本专利技术实施例中，通过对音乐文件包含的音频特征信息进行提取分析，能够量化描述所获取音乐文件的音频特征；基于此音频特征进行音乐驱动舞蹈生成，引入具有舞蹈者个人表演风格的舞蹈者激活向量，运用卷积神经网络算法利用舞蹈者激活向量与提取的音频特征信息进行舞蹈动作预测，得到舞蹈者在表演中可能展示的所有舞蹈动作，如此能够在同一背景音乐文件下针对不同舞蹈者生成具有个人风格的完整舞蹈动作；最终通过动作拼接将多名舞蹈者的动作单元完整整合起来，即可得到混合多种风格并具有丰富层次的多人群体舞蹈。
附图说明
[0021]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术实施例提供的一种舞蹈动作生成方法的简单步骤流程图；
[0023]图2是本专利技术实施例提供的一种舞蹈动作生成方法的具体实施步骤关系流图；
[0024]图3是本专利技术实施例提供的一种音频参数信息的提取结果图；
[0025]图4是本专利技术实施例提供的一种完整音乐驱动舞蹈生成步骤关系展示图；
[0026]图5是本专利技术实施例提供的一种舞蹈动作生成装置组成框图；
[0027]图6是本专利技术实施例提供的一种电子设备的硬件结构示意图；
[0028]图7是本专利技术实施例提供的一种电子设备的框图。
具体实施例
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本专利技术保护的范围。
[0030]本专利技术可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
[0031]本专利技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本专利技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0032]如参照图1，图1是本专利技术实施例提供的一种舞蹈动作生成方法的简单步骤流程图，所述方法如图1所述，该方法可以包括：
[0033]步骤101、获取音乐文件，提取所述音乐文件的混合音频特征，所述混合音频特征用于表征所述音乐文件的风格；所述音乐文件按照播放时间被划分为多个片段。
[0034]在本专利技术实施例中，音乐文件作为音乐驱动舞蹈生成的重要信息依据，通过量化分析音乐的内容风格并提取相应的特征信息来生成匹配该风格的舞蹈动作；通过音频建模进行舞蹈动作序列映射，能够加强音频特征与舞蹈动作之间的匹配联系。
[0035]具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种舞蹈动作生成方法，其特征在于，所述方法包括：获取音乐文件，提取所述音乐文件的混合音频特征，所述混合音频特征用于表征所述音乐文件的风格；所述音乐文件按照播放时间被划分为多个片段；针对每个当前片段，根据所述混合音频特征和上一片段舞蹈者的舞蹈者激活向量，预测每个所述当前片段舞蹈者的舞蹈者激活向量；所述舞蹈者激活向量用于表征片段内每个舞蹈者分别是否表演舞蹈动作；根据所述混合音频特征、上一片段舞蹈者的舞蹈动作集合以及当前片段舞蹈者的舞蹈者激活向量进行动作预测，获得所述当前片段中每个舞蹈者的舞蹈动作集合；所述舞蹈动作集合包括所述舞蹈者在片段中所要做的所有动作姿态；针对每个所述片段，将所述舞蹈者的所述舞蹈动作集合所包含的舞蹈动作姿态进行拼接，得到所述舞蹈者的舞蹈姿态序列，并将所有片段中舞蹈者的舞蹈姿态序列汇总，获得群舞动作姿态集合。2.根据权利要求1所述方法，其特征在于，所述获取音乐文件，提取所述音乐文件的混合音频特征，包括：从所述音乐文件中提取音频参数；其中，所述音频参数包括：色度频谱、基本节奏单元以及起始音符；将提取得到的所述音频参数进行拼接，得到所述混合音频特征。3.根据权利要求1所述方法，其特征在于，所述针对每个当前片段，根据所述混合音频特征和上一片段舞蹈者的舞蹈者激活向量，预测每个所述当前片段舞蹈者的舞蹈者激活向量，包括：将获得的所述混合音频特征与上一片段舞蹈者的舞蹈者激活向量输入解码器进行门解码，获得门解码结果；其中，所述解码器为基于门控制循环单元的解码器；依据所述门解码结果进行预测，得到当前片段舞蹈者的舞蹈者激活向量。4.根据权利要求1所述方法，其特征在于，所述根据所述混合音频特征、上一片段舞蹈者的舞蹈动作集合以及当前片段舞蹈者的舞蹈者激活向量进行动作预测，获得所述当前片段中每个舞蹈者的舞蹈动作集合，包括：根据所述混合音频特征和上一片段舞蹈者的舞蹈动作合集，预测每个所述舞蹈者在当前片段的备选舞蹈动作向量；根据当前片段中所述舞蹈者的备选舞蹈动作向量和所述舞蹈者的舞蹈者激活向量进行动作预测，得到当前片段中舞蹈者的舞蹈动作集合。5.根据权利要求4所述方法，其特征在于，所述根据所述混合音频特征和上一片段舞蹈者的舞蹈动作合集，预测每个所述舞蹈者在当前片段的备选舞蹈动作向量，包括：对所述混合音频特征进行本地音乐编码，得到深度音频特征向量；结合所述深度音频特征向量与上一片段舞蹈者的舞蹈动作信息，进行门解码，获得门解码结果；将所述门解码结果进行多层感知数据映射，得到当前片段中舞蹈者的备选舞蹈动作向量。6.根据权利要求4所述方法，其特征在于，所述根据当前片段中所述舞蹈者的备选舞蹈动作向量和所述舞蹈者的舞蹈者激活向量进行动作预测，得到当前片段中舞蹈者的舞蹈动
作集合，包括：针对当前片段，建立所述舞蹈者的舞蹈动作向量与所述舞蹈者的舞蹈者激活向量之间的对应关系；根据所述对应关系进行动作选择操作，得到当前片段中舞蹈者的舞蹈动作集合。7.根据权利要求5所述方法，其特征在于，所述对所述混合音频特征进行本地音乐编码，得到深度音频特征向量，包括：基于卷积神经网络结构的编码方式对所述混合音频特征进行本地音乐编码，以抽取所述混合音频特征的深层信息得到所述深度音频特征向量。8.根据权利要求1所述方法，其特征在于，所述针对每个所述片段，将所述舞蹈者的所述舞蹈动作集合所包含的舞蹈动作姿态进行拼接，得到所述舞蹈者的舞蹈姿态序列，并将所有片段中舞蹈者的舞蹈姿态序列汇总，获得群舞动作姿态集合，包括：针对每个所述片段，通过舞蹈动作拼接模型对每个舞蹈者的舞蹈动作集合所包含的舞蹈动作姿态进行拼接，得到所述舞蹈者的舞蹈姿态序列；将所有片段中舞蹈者的舞蹈姿态序列汇总，得到所述音乐文件对应的群舞动作姿态集合，所述群舞动作姿态集合用于表征在所述音乐文件播放的每个片段中，每个所述舞蹈者所做的一系列舞蹈动作。9.根据权利要求1所述方法，其特征在于，在所述针对每个所述片段，将所述舞蹈者的所述舞蹈动作集合所包含的舞蹈动作姿态进行拼接，得到所述舞蹈者的舞蹈姿态序列，并将所有片段中舞蹈者的舞蹈姿态序列汇总，获得群舞动作姿态集合之后，还包括：在播放所述音乐文件的同时，按照所述音乐文件的时间...

【专利技术属性】
技术研发人员：王子轩，贾珈，兴军亮，孟凡博，陈国文，王砚峰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：