视频生成方法和装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种视频生成方法和装置、存储介质及电子设备。其中，该方法包括：获取待展示的音乐片段和将要根据音乐片段进行表演的虚拟形象的图片；提取音乐片段的内容特征以及风格特征，其中，内容特征用于指示音乐片段中每个音频帧的词曲特征，风格特征用于指示当前演绎音乐片段的表演对象在每个音频帧的表演风格特征；提取虚拟形象的身体标签信息；根据内容特征、风格特征以及身体标签信息生成虚拟形象演绎音乐片段的表演视频，其中，虚拟形象与表演对象的表演相似度大于目标阈值。本发明专利技术解决了现有方法中音乐表演视频的制作成本较高的技术问题。高的技术问题。高的技术问题。

【技术实现步骤摘要】
视频生成方法和装置、存储介质及电子设备


[0001]本专利技术涉及计算机领域，具体而言，涉及一种视频生成方法和装置、存储介质及电子设备。

技术介绍

[0002]如今用户在欣赏音乐的同时，通常也有欣赏与音乐相匹配的MV (Music Video，音乐短片)的需求。现有的生成与音乐相匹配的MV的方式通常是在制作音乐的同时拍摄与音乐相匹配的歌手演唱MV，然后将 MV与音乐同时发布在音乐平台上，从而使得用户可以欣赏与音乐相匹配的MV。
[0003]随着音乐市场的越来越多元化，越来越多的小众歌手开始在音乐平台上发布原创音乐，但是没有足够的经费拍摄MV，因而无法满足用户欣赏 MV的需求。也就是说，现有技术存在音乐视频制作成本较高的技术问题。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种视频生成方法和装置、存储介质及电子设备，以至少解决现有方法中音乐表演视频的制作成本较高的技术问题。
[0006]根据本申请实施例的一个方面，提供了一种视频生成方法，包括：获取待展示的音乐片段和将要根据音乐片段进行表演的虚拟形象的图片；提取音乐片段的内容特征以及风格特征，其中，内容特征用于指示音乐片段中每个音频帧的词曲特征，风格特征用于指示当前演绎音乐片段的表演对象在每个音频帧的表演风格特征；提取虚拟形象的身体标签信息，其中，身体标签信息用于指示虚拟形象的多个身体关键点各自的位置坐标；根据内容特征、风格特征以及身体标签信息生成虚拟形象演绎音乐片段的表演视频，其中，虚拟形象与表演对象的表演相似度大于目标阈值。
[0007]根据本申请实施例的另一方面，还提供了一种视频生成装置，包括：获取单元，用于获取待展示的音乐片段和将要根据音乐片段进行表演的虚拟形象的图片；特征提取单元，用于提取音乐片段的内容特征以及风格特征，其中，内容特征用于指示音乐片段中每个音频帧的词曲特征，风格特征用于指示当前演绎音乐片段的表演对象在每个音频帧的表演风格特征；标签提取单元，用于提取虚拟形象的身体标签信息，其中，身体标签信息用于指示虚拟形象的多个身体关键点各自的位置坐标；视频生成单元，根据内容特征、风格特征以及身体标签信息生成虚拟形象演绎音乐片段的表演视频，其中，虚拟形象与表演对象的表演相似度大于目标阈值。
[0008]根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述视频生成方法。
[0009]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上
述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的视频生成方法。
[0010]在本专利技术实施例中，通过获取待展示的音乐片段和将要根据音乐片段进行表演的虚拟形象的图片；提取音乐片段的内容特征以及风格特征，其中，内容特征用于指示音乐片段中每个音频帧的词曲特征，风格特征用于指示当前演绎音乐片段的表演对象在每个音频帧的表演风格特征；提取虚拟形象的身体标签信息，其中，身体标签信息用于指示虚拟形象的多个身体关键点各自的位置坐标；根据内容特征、风格特征以及身体标签信息生成虚拟形象演绎音乐片段的表演视频，其中，虚拟形象与表演对象的表演相似度大于目标阈值，从而直接根据选择的虚拟形象图片和选择的音乐生成与音乐演唱者风格对应的表演视频，解决了现有技术中音乐表演视频制作成本较高的技术问题。
附图说明
[0011]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0012]图1是根据本专利技术实施例的一种可选的视频生成方法的应用环境的示意图；
[0013]图2是根据本专利技术实施例的一种可选的视频生成方法的流程图；
[0014]图3是根据本专利技术实施例的一种可选的视频生成方法的示意图；
[0015]图4是根据本专利技术实施例的另一种可选的视频生成方法的示意图；
[0016]图5是根据本专利技术实施例的另一种可选的视频生成方法的流程图；
[0017]图6是根据本专利技术实施例的一种可选的视频生成装置的结构示意图；
[0018]图7是根据本专利技术实施例的一种可选的电子设备的结构示意图。
具体实施方式
[0019]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0020]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0021]根据本专利技术实施例的一个方面，提供了一种视频生成方法，可选地，作为一种可选的实施方式，上述视频生成方法可以但不限于应用于如图1所示的环境中。
[0022]根据本专利技术实施例的一个方面，提供了一种视频生成方法，可选地，作为一种可选的实施方式，上述视频生成方法可以但不限于应用于如图1所示的硬件环境中的视频生成
系统。其中，该视频生成系统可以包括但不限于终端设备102、网络104、服务器106、数据库108及终端设备109。终端设备102中运行有目标客户端(如图1所示的音乐播放器界面)。上述终端设备102包括人机交互屏幕，处理器及存储器。人机交互屏幕用于显示音乐播放器的播放界面；还用于提供人机交互接口以接收用于用户使用音乐播放软件进行音乐播放相关的人机交互操作。处理器用于响应上述人机交互操作生成交互指令，并将该交互指令发送给服务器106。存储器用于存储相关属性数据，如候选的虚拟形象图片以及音乐风格数据等信息。上述终端设备109同样包括人机交互屏幕，处理器及存储器，其中，人机交互屏幕用于显示播放音乐视频的音乐播放器的软件界面。
[0023]此外，服务器106用于与数据库108进行数据交互，从而实现基于从数据库108获取的音乐MV数据集合对表演视频生成网络进行训练。
[0024]具体过程如以下步骤：如步骤S102
‑
S104，在终端设备102内运行的客户端中获取待展示的音乐片段；获取将要根据音乐片段进行表演的虚拟形象的图片。接着，执行步骤S106，即终端设备102通过网络104发送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表演视频的生成方法，其特征在于，包括：获取待展示的音乐片段和将要根据所述音乐片段进行表演的虚拟形象的图片；提取所述音乐片段的内容特征以及风格特征，其中，所述内容特征用于指示所述音乐片段中每个音频帧的词曲特征，所述风格特征用于指示当前演绎所述音乐片段的表演对象在每个音频帧的表演风格特征；提取所述虚拟形象的身体标签信息，其中，所述身体标签信息用于指示所述虚拟形象的多个身体关键点各自的位置坐标；根据所述内容特征、所述风格特征以及所述身体标签信息生成所述虚拟形象演绎所述音乐片段的表演视频，其中，所述虚拟形象与所述表演对象的表演相似度大于目标阈值。2.根据权利要求1所述的方法，其特征在于，根据所述内容特征、所述风格特征以及所述身体标签信息生成所述虚拟形象演绎所述音乐片段的表演视频包括：将所述内容特征输入表演视频生成网络中的时间递归子网络，得到时序结果，其中，所述时间递归子网络用于获取所述内容特征中的时序关系；基于所述时序结果与所述虚拟形象的所述身体标签信息，得到内容偏移量，其中，所述内容偏移量用于指示所述虚拟形象上的身体关键点根据所述音频帧的词曲特征确定出的位置偏移变化量；基于所述时序结果和所述风格特征与所述虚拟形象的所述身体标签信息，得到风格偏移量，其中，所述风格偏移量用于指示所述虚拟形象上的身体关键点根据所述表演对象的表演风格特征确定出的位置偏移变化量；根据所述内容偏移量和所述风格偏移量与所述虚拟形象的所述身体标签信息，生成所述表演视频。3.根据权利要求2所述的方法，其特征在于，根据所述内容偏移量和所述风格偏移量与所述虚拟形象的所述身体标签信息，生成所述表演视频包括：根据所述内容偏移量和所述风格偏移量，调整所述虚拟形象的图片中所述身体标签信息所指示的所述虚拟形象的所述多个身体关键点各自的位置坐标，得到表演视频帧；对所述表演视频帧进行缩放调整，以生成所述表演视频。4.根据权利要求2所述的方法，其特征在于，提取所述虚拟形象的身体标签信息包括以下至少之一：提取所述虚拟形象的面部关键点的位置坐标；提取所述虚拟形象的身体关节关键点的位置坐标。5.根据权利要求1所述的方法，其特征在于，获取待展示的音乐片段和将要根据所述音乐片段进行表演的虚拟形象的图片之前，还包括：获取多个样本表演视频，其中，所述样本表演视频中包括样本音乐以及与所述样本音乐对应的表演对象所演绎的表演视频；提取所述样本音乐的...

【专利技术属性】
技术研发人员：黄志鹏，蔡海军，金绍港，
申请(专利权)人：广州繁星互娱信息科技有限公司，
类型：发明
国别省市：