一种视频生成方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种视频生成方法、装置、设备及存储介质。视频生成方法包括：获取目标歌曲片段对应的歌词文本数据和音频数据；对歌词文本数据进行语义分析，得到目标歌曲片段的语义属性信息；并基于音频数据，得到目标歌曲片段对应的音乐情绪信息；基于语义属性信息和音乐情绪信息，从预设视频素材库中确定与目标歌曲片段匹配的目标视频素材；基于目标视频素材生成目标歌曲片段对应的目标视频。本申请实施例，视频制作效率较高，并且，成本较低。另外，由于在确定目标视频素材时，同时考虑了歌曲片段的语义以及音乐情绪，因此，确定出的目标视频素材与目标歌曲片段的匹配度更高，进而，基于该目标视频素材生成的目标视频也更优质。质。质。

【技术实现步骤摘要】
一种视频生成方法、装置、设备及存储介质


[0001]本申请实施例涉及计算机
，尤其涉及一种视频生成方法、装置、设备及存储介质。

技术介绍

[0002]随着多媒体技术的不断发展，短视频的消费需求也在不断增长。在众多类型的多视频中，围绕目标音乐歌曲进行关联视频内容展示的音乐类短视频受到了消费者的广泛喜爱。
[0003]传统的音乐类短视频，其剪辑创作过程完全依赖人工完成，具体地：主要依赖人工进行关联视频素材的查找，以及，后续的剪辑合成等后处理操作。制作周期通常需要一周，甚至更久，因此，视频制作效率较低，且成本较高。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种视频生成方法、装置、设备及存储介质，以至少部分解决上述问题。
[0005]根据本申请实施例的第一方面，提供了一种视频生成方法，包括：
[0006]获取目标歌曲片段对应的歌词文本数据和音频数据；
[0007]对所述歌词文本数据进行语义分析，得到所述目标歌曲片段的语义属性信息；并基于所述音频数据，得到所述目标歌曲片段对应的音乐情绪信息；
[0008]基于所述语义属性信息和所述音乐情绪信息，从预设视频素材库中确定与所述目标歌曲片段匹配的目标视频素材；
[0009]基于所述目标视频素材生成所述目标歌曲片段对应的目标视频。
[0010]根据本申请实施例的第二方面，提供了一种视频生成装置，包括：
[0011]数据获取模块，用于获取目标歌曲片段对应的歌词文本数据和音频数据；
[0012]信息得到模块，用于对所述歌词文本数据进行语义分析，得到所述目标歌曲片段的语义属性信息；并基于所述音频数据，得到所述目标歌曲片段对应的音乐情绪信息；
[0013]匹配模块，用于基于所述语义属性信息和所述音乐情绪信息，从预设视频素材库中确定与所述目标歌曲片段匹配的目标视频素材；
[0014]目标视频生成模块，用于基于所述目标视频素材生成所述目标歌曲片段对应的目标视频。
[0015]根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的视频生成方法对应的操作。
[0016]根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的视频生成方法。
[0017]根据本申请实施例提供的视频生成方法，基于目标歌曲片段对应的歌词文本数据和音频数据，分别获取了目标歌曲片段中包含的语义属性信息和目标歌曲片段所要传达的音乐情绪信息，之后，综合考虑歌曲片段语义和歌曲片段音乐情绪这两方面因素，从而确定出与目标歌曲片段在上述两方面均匹配的目标视频素材，最终生成目标歌曲对应的目标视频。本申请实施例，可以自动生成歌曲片段对应的视频，与依赖人工的传统视频生成方式相比，视频制作效率较高，并且，成本较低。另外，由于在确定目标视频素材时，同时考虑了歌曲片段的语义以及音乐情绪，因此，确定出的目标视频素材与目标歌曲片段的匹配度更高，进而，基于该目标视频素材生成的目标视频也更优质。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0019]图1为根据本申请实施例一的一种视频生成方法的步骤流程图；
[0020]图2为图1所示实施例中的一种场景示例的示意图；
[0021]图3为根据本申请实施例二的一种视频生成方法的步骤流程图；
[0022]图4为根据本申请实施例三的一种视频生成装置的结构框图；
[0023]图5为根据本申请实施例四的一种电子设备的结构示意图。
具体实施方式
[0024]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0025]下面结合本申请实施例附图进一步说明本申请实施例具体实现。
[0026]实施例一、
[0027]参照图1，图1为根据本申请实施例一的一种视频生成方法的步骤流程图。具体地，本实施例提供的视频生成方法包括以下步骤：
[0028]步骤102，获取目标歌曲片段对应的歌词文本数据和音频数据。
[0029]本申请实施例中的目标歌曲片段可以为任意的待生成与其对应的视频的歌曲片段，该歌曲片段可以为一首完整的歌曲，也可以为完整歌曲中的部分片段，如：按照歌词的完整性对歌曲进行拆分，得到多个歌曲片段，每个歌曲片段分别对应一句完整的歌词，等等。本申请实施例中，对于目标歌曲片段的具体内容不做限定，可以根据实际需要进行选择。
[0030]步骤104，对歌词文本数据进行语义分析，得到目标歌曲片段的语义属性信息；并基于音频数据，得到目标歌曲片段对应的音乐情绪信息。
[0031]本步骤中，可以采用任意的自然语言处理算法进行语义分析，以得到对应的语义属性信息，例如：传统的语义分析算法，或者机器学习模型，等等。语义属性信息可以是单个
维度的，例如：目标歌曲片段的主题信息(如：爱情、武侠、悬疑、搞笑等等)、场景信息(如：自然、古代、现代等等)、人物信息(如：男主角、女主角等)、动作信息、事件信息等中的任一项；也可以是多维度的，例如：可以为上述主题信息、场景信息、人物信息、动作信息、事件信息等中的任意两项或者两项以上。此处，对于语义分析所采用的具体分析方式，以及，语义属性信息的具体内容不做限定，可以根据实际情况选择和设定。
[0032]本步骤中，还可以对音频数据进行特征提取，进而基于提取到的特征进行音乐情绪预测，得到目标歌曲片段对应的音乐情绪信息。其中，音乐情绪信息用于表征目标歌曲所表达的情绪状态，具体地，例如：平静、放松、憧憬、振奋、愤怒、恐惧等等。
[0033]步骤106，基于语义属性信息和音乐情绪信息，从预设视频素材库中确定与目标歌曲片段匹配的目标视频素材。
[0034]具体地，可以对应于步骤104得到的语义属性信息和音乐情绪信息的具体类别，预先对视频素材库中的各视频素材进行标注，也就是说，可以按照语义属性信息和音乐情绪信息的具体类别，对应地生成每个视频素材的标签，如，每个视频素材可以包括两类标签：语义属性标签和音乐情绪标签。之后，基于语义属性信息和语义属性标签的匹配程度，以及，音乐情绪信息和音乐情绪标签的匹配程度，得到各视频素材的匹配度，进而得到从视频素材库中确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，包括：获取目标歌曲片段对应的歌词文本数据和音频数据；对所述歌词文本数据进行语义分析，得到所述目标歌曲片段的语义属性信息；并基于所述音频数据，得到所述目标歌曲片段对应的音乐情绪信息；基于所述语义属性信息和所述音乐情绪信息，从预设视频素材库中确定与所述目标歌曲片段匹配的目标视频素材；基于所述目标视频素材生成所述目标歌曲片段对应的目标视频。2.根据权利要求1所述的方法，其中，所述基于所述语义属性信息和所述音乐情绪信息，从预设视频素材库中确定与所述目标歌曲片段匹配的目标视频素材，包括：获取预设视频素材库中各视频素材的语义属性标签和音乐情绪标签；基于所述语义属性信息与所述音乐情绪标签匹配，并且，所述音乐情绪信息与所述音乐情绪标签匹配，从所述视频素材库中确定与所述目标歌曲片段匹配的目标视频素材。3.根据权利要求1所述的方法，其中，所述基于所述语义属性信息和所述音乐情绪信息，从预设视频素材库中确定与所述目标歌曲片段匹配的目标视频素材，包括：对所述语义属性信息和所述音乐情绪信息进行信息融合，得到视频脚本信息；获取预设视频素材库中各视频素材的语义属性标签和音乐情绪标签，并对所述语义属性标签和所述音乐情绪标签进行信息融合，得到各视频素材的属性信息；基于所述视频脚本信息与各视频素材的属性信息间的相似度，从预设视频素材库中确定与所述目标歌曲片段匹配的目标视频素材。4.根据权利要求1所述的方法，其中，所述基于所述语义属性信息和所述音乐情绪信息，从预设视频素材库中确定与所述目标歌曲片段匹配的目标视频素材，包括：对所述语义属性信息和所述音乐情绪信息进行信息融合，得到视频脚本信息；并对所述视频脚本信息进行文本特征提取，得到所述视频脚本信息对应的第一特征向量；对预设视频素材库中的各视频素材分别进行特征提取，得到各视频素材对应的第二特征向量；基于所述第一特征向量和所述第二特征向量间的相似度，从预设视频素材库中确定与所述目标歌曲片段匹配的目标视频素材。5.根据权利要求1所述的方法，其中，所述基于所述语义属性信息和所述音乐情绪信息，从预设视频素材库中确定与所述目标歌曲片段匹配的目标视频素材，包括：获取预设视频素材库中各视频素材的语义属性标签和音乐情绪标签；基于所述语义属性信息与所述音乐情绪标签是否匹配，以及，所述音乐情绪信息与所述音乐情绪标签是否匹配，得到各视频素材的第一匹配度信息；对所述语义属性信息和所述音乐情绪信息进行信息融合，得到视频脚本信息；对所述语义属性标签和所述音乐情绪标签进行信息融合，得到各视频素材的属性信息；基于所述视频脚本信息与各视频素材的属性信息间的相似度，得到各视频素材的第二匹配度信息；对所述视频脚本信息进行文本特征提取，得到所述视频脚本信息对应的第一特征向量；对各视频素材分别进行特征提取，得到各视频素材对应的第二特征向量；基于所述第一特征向量和所述第二特征向量间的相似度，得到各视频素材的第三匹配度信息；基于各视频素材的第一匹配度信息、第二匹配度信息以及第三匹配度信息，得到各视
频素材的综合匹配度信息；并基于各视频素材的综合匹配度信息确定与所述目标歌曲片段匹配的目标视频素材。6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：丁飞，梁军，王崇晓，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：