本申请是关于一种视频生成方法、装置、电子设备及可读存储介质，涉及视频处理技术领域，该方法包括：获取每个音频子片段对应的若干候选视频子片段；根据音频子片段和候选视频子片段，构建目标候选网格；根据目标候选网格进行全局动态规划，得到每个音频子片段对应的目标视频子片段；根据每个音频子片段以及目标视频子片段，生成目标视频。通过根据目标候选网格进行全局动态规划，使选出的目标视频子片段既考虑到与相应的音频子片段的近似性，也兼顾选出的目标视频子片段前后之间的连贯性。进而解决了现有技术中存在的相邻两个视频片段在相接处连贯性差的技术问题。在相接处连贯性差的技术问题。在相接处连贯性差的技术问题。
【技术实现步骤摘要】
视频生成方法、装置、电子设备及可读存储介质
[0001]本申请涉及视频处理
，尤其涉及一种视频生成方法、装置、电子设备及可读存储介质。
技术介绍
[0002]随着虚拟主播技术的发展，人们在根据音频修改图像序列时，需要根据音频对现有图像序列做局部修改，音频与图像序列中某帧图像的对应关系是根据音频和图像序列的播放顺序配置的，如果音频期望的画面与原图像对应的画面差距太大，则修改幅度较大，容易出现修改不到位，修改后的效果不理想的问题。
[0003]为了解决上述存在的问题，现有的技术方案在执行核心算法之前，先根据音频，预选出与期望动作相近的视频片段，以减小核心算法的修改幅度，从而使得生成的新图像更容易贴近发音的内容。
[0004]然而，现有的技术方案虽然为每段音频分别预选出最接近的视频片段，但并未考虑选出的视频片段前后之间的连贯性，可能存在跳变，例如：上一个视频片段头向左摆动，到下一个视频片段突然切边到右边。因此，现有的技术方案中相邻两个视频片段在相接处存在连贯性差的技术问题。
技术实现思路
[0005]为克服相关技术中存在的问题，本申请提供一种视频生成方法、装置、电子设备及可读存储介质。
[0006]根据本申请实施例的第一方面，提供一种视频生成方法，所述方法包括：
[0007]获取每个音频子片段对应的若干候选视频子片段，若干所述候选视频子片段根据目标距离获得，其中，所述目标距离用于确定每个候选视频子片段和每个所述候选视频子片段对应的音频子片段的近似性；
[0008]根据所述音频子片段和所述候选视频子片段，构建目标候选网格；
[0009]根据所述目标候选网格进行全局动态规划，得到每个所述音频子片段对应的目标视频子片段；
[0010]根据每个所述音频子片段以及所述目标视频子片段，生成目标视频。
[0011]可选地，所述根据所述音频子片段和所述候选视频子片段，构建目标候选网格，包括：
[0012]将所述每个音频子片段确定为目标候选网格中的每列；
[0013]将每个所述音频子片段对应的若干所述候选视频子片段确定为所述目标候选网格中的每行；
[0014]根据所述目标候选网格中的每列和所述目标候选网格中的每行进行组合，得到所述目标候选网格。
[0015]可选地，所述根据所述目标候选网格进行全局动态规划，得到每个所述音频子片
段对应的目标视频子片段，包括：
[0016]获取所述目标候选网格n
‑
1列中若干所述候选视频子片段对应的所述目标距离，其中，n为大于或者等于2的整数。
[0017]可选地，在所述获取所述目标候选网格n
‑
1列中若干所述候选视频子片段对应的所述目标距离，其中，n为大于或者等于2的整数的步骤之后，还包括：
[0018]根据所述目标候选网格n
‑
1列中若干所述候选视频子片段和所述目标候选网格n列中若干所述候选视频子片段进行运算，得到所述目标候选网格n列中若干所述候选视频子片段对应的衔接距离，其中，所述衔接距离用于确定相邻两个所述候选视频子片段在相接处的近似性；
[0019]根据所述目标距离和所述衔接距离进行运算，得到若干所述候选视频子片段对应的总距离；
[0020]根据若干所述候选视频子片段对应的总距离进行排序，得到目标总距离；
[0021]将所述目标总距离对应的候选视频子片段确定为目标视频子片段。
[0022]可选地，所述根据每个所述音频子片段以及所述目标视频子片段，生成目标视频，包括：
[0023]将每个所述音频子片段和所述目标视频子片段输入至预先生成的人脸修改模型，得到目标图像序列；
[0024]组合每个所述音频子片段和所述目标图像序列，生成目标视频。
[0025]根据本申请实施例的第二方面，提供一种视频生成装置，所述装置包括：
[0026]数据获取模块，用于获取每个音频子片段对应的若干候选视频子片段，若干所述候选视频子片段根据目标距离获得，其中，所述目标距离用于确定每个候选视频子片段和每个所述候选视频子片段对应的音频子片段的近似性；
[0027]数据构建模块，用于根据所述音频子片段和所述候选视频子片段，构建目标候选网格；
[0028]数据全局动态规划模块，用于根据所述目标候选网格进行全局动态规划，得到每个所述音频子片段对应的目标视频子片段；
[0029]数据生成模块，用于根据每个所述音频子片段以及所述目标视频子片段，生成目标视频。
[0030]可选地，所述数据构建模块，包括：
[0031]第一确定子模块，用于将所述每个音频子片段确定为目标候选网格中的每列；
[0032]第二确定子模块，用于将每个所述音频子片段对应的若干所述候选视频子片段确定为所述目标候选网格中的每行；
[0033]数据组合子模块，用于根据所述目标候选网格中的每列和所述目标候选网格中的每行进行组合，得到所述目标候选网格。
[0034]可选地，所述数据全局动态规划模块，包括：
[0035]目标距离获取子模块，用于获取所述目标候选网格n
‑
1列中若干所述候选视频子片段对应的所述目标距离，其中，n为大于或者等于2的整数。
[0036]可选地，所述数据全局动态规划模块，还包括：
[0037]衔接距离获取子模块，用于根据所述目标候选网格n
‑
1列中若干所述候选视频子
片段和所述目标候选网格n列中若干所述候选视频子片段进行运算，得到所述目标候选网格n列中若干所述候选视频子片段对应的衔接距离，其中，所述衔接距离用于确定相邻两个所述候选视频子片段在相接处的近似性；
[0038]总距离获取子模块，用于根据所述目标距离和所述衔接距离进行运算，得到若干所述候选视频子片段对应的总距离；
[0039]目标总距离获取子模块，用于根据所述若干所述候选视频子片段对应的总距离进行排序，得到目标总距离；
[0040]确定目标视频子片段子模块，用于将所述目标总距离对应的候选视频子片段确定为目标视频子片段。
[0041]可选地，所述数据生成模块包括：
[0042]目标图像序列获取子模块，用于将每个所述音频子片段和所述目标视频子片段输入至预先生成的人脸修改模型，得到目标图像序列；
[0043]目标视频生成子模块，用于组合每个所述音频子片段和所述目标图像序列，生成目标视频。
[0044]根据本申请实施例的第三方面，提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述视频生成方法。
[0045]根据本申请实施例的第四方面，提供一种计算机可读存储介质，存储有计算机程序，当所述计算机程序被处理器执行时实现所述视频生成方法。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频生成方法，其特征在于，所述方法包括：获取每个音频子片段对应的若干候选视频子片段，若干所述候选视频子片段根据目标距离获得，其中，所述目标距离用于确定每个候选视频子片段和每个所述候选视频子片段对应的音频子片段的近似性；根据所述音频子片段和所述候选视频子片段，构建目标候选网格；根据所述目标候选网格进行全局动态规划，得到每个所述音频子片段对应的目标视频子片段；根据每个所述音频子片段以及所述目标视频子片段，生成目标视频。2.根据权利要求1所述的视频生成方法，其特征在于，所述根据所述音频子片段和所述候选视频子片段，构建目标候选网格，包括：将所述每个音频子片段确定为目标候选网格中的每列；将每个所述音频子片段对应的若干所述候选视频子片段确定为所述目标候选网格中的每行；根据所述目标候选网格中的每列和所述目标候选网格中的每行进行组合，得到所述目标候选网格。3.根据权利要求1所述的视频生成方法，其特征在于，所述根据所述目标候选网格进行全局动态规划，得到每个所述音频子片段对应的目标视频子片段，包括：获取所述目标候选网格n
‑
1列中若干所述候选视频子片段对应的所述目标距离，其中，n为大于或者等于2的整数。4.根据权利要求1所述的视频生成方法，其特征在于，在所述获取所述目标候选网格n
‑
1列中若干所述候选视频子片段对应的所述目标距离，其中，n为大于或者等于2的整数的步骤之后，还包括：根据所述目标候选网格n
‑
1列中若干所述候选视频子片段和所述目标候选网格n列中若干所述候选视频子片段进行运算，得到所述目标候选网格n列中若干所述候选视频子片段对应的衔接距离，其中，所述衔接距离用于确定相邻两个所述候选视频子片段在相接处的近似性；根据所述目标距离和所述衔接距离进行运算，得到若干所述候选视频子片段对应的总距离；根据若干所述候选视频子片段对应的总距离进行排序，得到目标总距离；将所述目标总距离对应的候选视频子片段确定为目标视频子片段。5.根据权利要求1所述的视频生成方...
【专利技术属性】
技术研发人员：王愈，李健，陈明，武卫东，
申请(专利权)人：北京捷通华声科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。