【技术实现步骤摘要】
本公开的示例性实现方式总体涉及计算机视觉，特别地涉及使用机器学习模型来生成视频的方法、装置、设备和计算机可读存储介质。
技术介绍
1、机器学习技术已经被广泛地用于多个
，在计算机视觉领域中，已经提出了利用机器学习模型来自动生成视频的多种技术方案。例如，可以基于预先指定的图像和用于描述视频内容的文本来生成相应的视频。然而，目前所生成的视频中的画面通常动态性较差，例如视频中的对象缺乏明显动作和动态效果等，因而难以达到真实的运动视觉效果。此时，期望可以以更为方便并且有效的方式来生成包括期望内容的视频。
技术实现思路
1、在本公开的第一方面，提供了一种用于生成视频的方法。在该方法中，从参考视频中的多个参考图像中确定第一参考图像和第二参考图像。接收用于描述参考视频的参考文本。基于第一参考图像、第二参考图像和参考文本，获取生成模型，生成模型用于基于第一图像、第二图像和文本来生成目标视频。
2、在本公开的第二方面，提供了一种用于生成视频的装置。该装置包括：图像确定模块，被配置用于从参考视频中的多个参考图像中确定第一参考图像和第二参考图像；文本确定模块，被配置用于接收用于描述参考视频的参考文本；以及获取模块，被配置用于基于第一参考图像、第二参考图像和参考文本，获取生成模型，生成模型用于基于第一图像、第二图像和文本来生成目标视频。
3、在本公开的第三方面，提供了一种电子设备。该电子设备包括：至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且
4、在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时使处理器实现根据本公开第一方面的方法。
5、应当理解，本内容部分中所描述的内容并非旨在限定本公开的实现方式的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种用于生成视频的方法，包括：
2.根据权利要求1所述的方法，其中确定所述第一参考图像包括：将位于所述参考视频的头部的参考图像确定为所述第一参考图像。
3.根据权利要求1所述的方法，其中确定所述第二参考图像包括：从位于所述参考视频的尾部的预定范围内的一组参考图像中，确定所述第二参考图像。
4.根据权利要求1所述的方法，其中所述生成模型包括编码器模型和扩散模型，以及基于所述第一参考图像、所述第二参考图像和所述参考文本来获取所述生成模型包括：
5.根据权利要求4所述的方法，其中所述第一参考图像特征在所述第二参考特征中的第一位置对应于所述第一参考图像在所述参考视频中的位置，并且所述第二参考图像特征在所述第二参考特征中的第二位置对应于所述第二参考图像在所述参考视频中的位置。
6.根据权利要求5所述的方法，其中所述第二参考特征的维度等于所述第一参考特征的维度，并且所述第二参考特征中的所述第一位置和所述第二位置以外的其他位置处的特征被设置为空。
7.根据权利要求5所述的方法，进一步包括：按照预定条件来将所述第二参考图
8.根据权利要求4所述的方法，其中基于所述第一参考特征、所述第二参考特征、以及所述参考文本来确定所述扩散模型包括：
9.根据权利要求4所述的方法，其中所述生成模型进一步包括解码器模型，以及所述方法进一步包括：
10.根据权利要求9所述的方法，其中生成所述目标视频的重建特征进一步包括：
11.根据权利要求10所述的方法，其中生成所述目标视频的重建特征包括：
12.根据权利要求11所述的方法，其中获取所述目标视频的重建特征包括：
13.根据权利要求12所述的方法，进一步包括：在所述多个步骤中的一组步骤中，将所述第二特征中的与所述第二图像相对应的部分设置为空。
14.根据权利要求9所述的方法，其中所述第二图像包括以下至少任一项：用于指定所述目标视频的结束图像的图像、以及用于指定所述目标视频的结束图像的内容的草图。
15.根据权利要求10所述的方法，进一步包括：
16.根据权利要求15所述的方法，进一步包括：连接所述目标视频和所述另一目标视频。
17.一种用于生成视频的装置，包括：
18.一种电子设备，包括：
19.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时使所述处理器实现根据权利要求1至15中任一项所述的方法。
...【技术特征摘要】
1.一种用于生成视频的方法，包括：
2.根据权利要求1所述的方法，其中确定所述第一参考图像包括：将位于所述参考视频的头部的参考图像确定为所述第一参考图像。
3.根据权利要求1所述的方法，其中确定所述第二参考图像包括：从位于所述参考视频的尾部的预定范围内的一组参考图像中，确定所述第二参考图像。
4.根据权利要求1所述的方法，其中所述生成模型包括编码器模型和扩散模型，以及基于所述第一参考图像、所述第二参考图像和所述参考文本来获取所述生成模型包括：
5.根据权利要求4所述的方法，其中所述第一参考图像特征在所述第二参考特征中的第一位置对应于所述第一参考图像在所述参考视频中的位置，并且所述第二参考图像特征在所述第二参考特征中的第二位置对应于所述第二参考图像在所述参考视频中的位置。
6.根据权利要求5所述的方法，其中所述第二参考特征的维度等于所述第一参考特征的维度，并且所述第二参考特征中的所述第一位置和所述第二位置以外的其他位置处的特征被设置为空。
7.根据权利要求5所述的方法，进一步包括：按照预定条件来将所述第二参考图像特征设置为空。
8.根据权利要求4所述的方法，其中基于所述第一参考特征、所述第二参考特征、以及所述...
【专利技术属性】
技术研发人员：曾妍，魏国强，邹嘉欣，张雨辰，李航，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。