【技术实现步骤摘要】
本申请实施例涉及人工智能，尤其涉及一种基于数字人的视频生成方法、装置、设备、介质和产品。
技术介绍
1、现有技术中，在制作视频内容简介时，往往通过文本进行内容的描述以进行展示，文字内容多且枯燥，无法吸引观众；或者通过人工手动裁取视频的片段并拼接并配上语音以制作简介视频，然而制作简介视频费时费力且依赖人工，效率低。
技术实现思路
1、本申请实施例提供一种基于数字人的视频生成方法、装置、设备、介质和产品，以解决现有的视频简介枯燥并且依赖人工的问题。
2、为了解决上述技术问题，本申请是这样实现的：
3、第一方面，本申请实施例提供了一种基于数字人的视频生成方法，包括：
4、获取目标视频；
5、获取与所述目标视频中至少一个目标人物对应的数字人形象；
6、将所述目标视频划分为至少一个目标视频片段，并根据所述目标视频片段得到对应的目标视频片段信息，所述目标视频片段信息包括所述目标视频片段的文字内容简介；
7、通过所述数字人形象对目标视频片段的文字内容简介进行演绎，得到数字人视频片段。
8、可选的，所述根据所述目标视频片段得到对应的目标视频片段信息，包括：
9、根据所述目标视频中的各个镜头的镜头时间，将所述目标视频拆分为至少一个所述目标视频片段，并去除所述目标视频片段中帧数低于预设的帧数阈值的目标视频片段，得到第一目标视频片段集合；
10、对所述第一目标视频片段集合中的目标视频片段中的实体信
11、提取所述第二目标视频片段集合中的目标视频片段的文字内容，得到所述目标视频片段对应的文字内容简介。
12、可选的，所述提取所述第二目标视频片段集合中的目标视频片段的文字内容，得到所述目标视频片段对应的文字内容简介，包括：
13、将所述第二目标视频片段集合中的目标视频片段中所有的音频和/或字幕转化为文字，得到语料数据集；
14、根据所述语料数据集中的语料中相邻两个词出现的概率，得到语料合理性概率，并将所述语料合理性概率满足预设要求的目标视频片段作为主要目标视频片段；
15、提取所述主要目标视频片段的文字内容，得到对应的目标视频片段的文字内容简介。
16、可选的，所述目标视频片段信息还包括：所述目标视频片段的节奏频率；
17、所述根据所述第二目标视频片段集合中的目标视频片段，得到所述目标视频片段对应的文字内容简介之后，还包括：
18、提取所述第二目标视频片段集合中的所述目标视频片段中音频的节奏频率和所述目标视频片段中与所述音频相关的人物的动作变化；
19、根据所述音频的节奏频率和所述音频相关的人物的动作变化得到所述目标视频片段的节奏频率；
20、根据所述目标视频片段的节奏频率，预测得到所述数字人形象对应的肢体位置和位置变化速度的节奏频率。
21、可选的，所述通过所述数字人形象对目标视频片段的文字内容简介进行演绎，得到数字人视频片段，包括：
22、根据所述目标视频片段的文字内容简介和所述目标视频片段的节奏频率，对所述数字人形象对应的肢体位置和位置变化速度进行调整，得到与目标视频片段对应的数字人动画；
23、根据所述目标视频片段的文字内容简介，将具有目标视频片段风格的数字人形象的动态画面加载进对应的场景中，得到对应的数字人视频片段。
24、可选的，所述获取与所述目标视频中至少一个目标人物对应的数字人形象，包括：
25、识别所述目标视频，将所述目标视频中的所有人物或满足预设的出镜要求的人物作为所述目标人物，对所述目标人物进行建模，得到所述至少一个目标人物对应的数字人形象。
26、第二方面，本申请实施例提供了一种基于数字人的视频生成装置，包括：
27、第一获取模块，用于获取目标视频；
28、第二获取模块，用于获取与所述目标视频中至少一个目标人物对应的数字人形象；
29、第一处理模块，用于将所述目标视频划分为至少一个目标视频片段，并根据所述目标视频片段得到对应的目标视频片段信息，所述目标视频片段信息包括所述目标视频片段的文字内容简介；
30、第二处理模块，用于通过所述数字人形象对目标视频片段的文字内容简介进行演绎，得到数字人视频片段。
31、可选的，所述第一处理模块，包括：
32、第一处理子模块，用于根据所述目标视频中的各个镜头的镜头时间，将所述目标视频拆分为至少一个所述目标视频片段，并去除所述目标视频片段中帧数低于预设的帧数阈值的目标视频片段，得到第一目标视频片段集合；
33、第二处理子模块，用于对所述第一目标视频片段集合中的目标视频片段中的实体信息进行识别，并去除不包含人物的目标视频片段，得到第二目标视频片段集合；
34、第三处理子模块，用于提取所述第二目标视频片段集合中的目标视频片段的文字内容，得到所述目标视频片段对应的文字内容简介。
35、可选的，所述第三处理子模块，包括：
36、转化子模块，用于将所述第二目标视频片段集合中的目标视频片段中所有的音频和/或字幕转化为文字，得到语料数据集；
37、第四处理子模块，用于根据所述语料数据集中的语料中相邻两个词出现的概率，得到语料合理性概率，并将所述语料合理性概率满足预设要求的目标视频片段作为主要目标视频片段；
38、第五处理子模块，用于提取所述主要目标视频片段的文字内容，得到对应的目标视频片段的文字内容简介。
39、可选的，所述目标视频片段信息还包括所述目标视频片段的节奏频率；
40、还包括：
41、第六处理子模块，用于提取所述第二目标视频片段集合中的所述目标视频片段中音频的节奏频率和所述目标视频片段中与所述音频相关的人物的动作变化；
42、第七处理子模块，用于根据所述音频的节奏频率和所述音频相关的人物的动作变化得到所述目标视频片段的节奏频率；
43、第八处理子模块，用于根据所述目标视频片段的节奏频率，预测得到所述数字人形象对应的肢体位置和位置变化速度的节奏频率。
44、可选的，所述第二处理模块，包括：
45、建模子模块，用于根据所述目标视频片段的文字内容简介和所述目标视频片段的节奏频率，对所述数字人形象对应的肢体位置和位置变化速度进行调整，得到与目标视频片段对应的数字人动画；
46、视频生成子模块，用于根据所述目标视频片段的文字内容简介，将具有目标视频片段风格的数字人形象的动态画面加载进对应的场景中，得到对应的数字人视频片段。
47、可选的，所述第二获取模块，包括：
48、第九处理子模块，用于识别所述目标视频，将所述目标视频中的所有人物或满足预设的出镜要求的人物作为所述目本文档来自技高网...
【技术保护点】
1.一种基于数字人的视频生成方法，其特征在于，包括：
2.根据权利要求1所述的基于数字人的视频生成方法，其特征在于，所述根据所述目标视频片段得到对应的目标视频片段信息，包括：
3.根据权利要求2所述的基于数字人的视频生成方法，其特征在于，所述提取所述第二目标视频片段集合中的目标视频片段的文字内容，得到所述目标视频片段对应的文字内容简介，包括：
4.根据权利要求2所述的基于数字人的视频生成方法，其特征在于，所述目标视频片段信息还包括：所述目标视频片段的节奏频率；
5.根据权利要求4所述的基于数字人的视频生成方法，其特征在于，所述通过所述数字人形象对目标视频片段的文字内容简介进行演绎，得到数字人视频片段，包括：
6.根据权利要求1-5中任一项所述的基于数字人的视频生成方法，其特征在于，所述获取与所述目标视频中至少一个目标人物对应的数字人形象，包括：
7.一种基于数字人的视频生成装置，其特征在于，包括：
8.一种电子设备，其特征在于：包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指
9.一种可读存储介质，其特征在于：所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的基于数字人的视频生成方法中的步骤。
10.一种计算机程序产品，其特征在于，包括计算机指令，该计算机指令被处理器执行时实现如权利要求1至6中任一项所述的基于数字人的视频生成方法中的步骤。
...【技术特征摘要】
1.一种基于数字人的视频生成方法，其特征在于，包括：
2.根据权利要求1所述的基于数字人的视频生成方法，其特征在于，所述根据所述目标视频片段得到对应的目标视频片段信息，包括：
3.根据权利要求2所述的基于数字人的视频生成方法，其特征在于，所述提取所述第二目标视频片段集合中的目标视频片段的文字内容，得到所述目标视频片段对应的文字内容简介，包括：
4.根据权利要求2所述的基于数字人的视频生成方法，其特征在于，所述目标视频片段信息还包括：所述目标视频片段的节奏频率；
5.根据权利要求4所述的基于数字人的视频生成方法，其特征在于，所述通过所述数字人形象对目标视频片段的文字内容简介进行演绎，得到数字人视频片段，包括：
6.根据权利要求1-5中任一项所述的基于数字...
【专利技术属性】
技术研发人员：吴庆双，马兵，邵传贤，赵胜永，卞卡，
申请(专利权)人：咪咕文化科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。