视频生成方法、装置、终端、存储介质及产品制造方法及图纸

本申请提供了一种视频生成方法、装置、终端、存储介质及产品，属于图像处理技术领域。方法包括：确定第一主题的多个第一图像；基于多个第一图像，训练第一主题的图像生成模型，图像生成模型用于生成第一主题的图像；基于图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，图像生成模型用于生成多个第二图像，姿势确定模型用于约束多个第二图像的骨架姿势；基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的多个第二图像生成视频。本申请不仅能够控制视频的主题一致性，还能够控制视频的动作连贯性，也即能够从多个角度对视频进行控制，从而能够实现高度可控的视频生成，进而能够提高视频生成的质量。进而能够提高视频生成的质量。进而能够提高视频生成的质量。

【技术实现步骤摘要】
视频生成方法、装置、终端、存储介质及产品


[0001]本申请涉及图像处理
，特别涉及一种视频生成方法、装置、终端、存储介质及产品。

技术介绍

[0002]目前，短视频应用很火，很多用户在碎片时间浏览短视频，并且用户还可以在短视频应用发布短视频，此时就需要制作短视频。相关技术中，是用户将拍摄的多张图像一键生成短视频。

技术实现思路

[0003]本申请实施例提供了一种视频生成方法、装置、终端、存储介质及产品，能够提高生成的视频的质量。所述技术方案如下：
[0004]一方面，提供了一种视频生成方法，所述方法包括：
[0005]确定第一主题的多个第一图像；
[0006]基于所述多个第一图像，训练所述第一主题的图像生成模型，所述图像生成模型用于生成所述第一主题的图像；
[0007]基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，所述图像生成模型用于生成所述多个第二图像，所述姿势确定模型用于约束所述多个第二图像的骨架姿势；
[0008]基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的所述多个第二图像生成视频。
[0009]另一方面，提供了一种视频生成装置，所述装置包括：
[0010]确定模块，用于确定第一主题的多个第一图像；
[0011]训练模块，用于基于所述多个第一图像，训练所述第一主题的图像生成模型，所述图像生成模型用于生成所述第一主题的图像；
[0012]生成模块，用于基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，所述图像生成模型用于生成所述多个第二图像，所述姿势确定模型用于约束所述多个第二图像的骨架姿势；
[0013]插帧模块，用于基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的所述多个第二图像生成视频。
[0014]另一方面，提供了一种终端，所述终端包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行，以实现上述任一实现方式所述的视频生成方法。
[0015]另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现上述任一实现方式所述的视频生成方法。
[0016]另一方面，提供了一种计算机程序产品，所述计算机程序产品存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如上述任一实现方式所述的视频生成方法。
[0017]在本申请实施例中，一方面，由于图像生成模型是基于同一主题的第一图像训练得到的，因此，图像生成模型生成的多个第二图像也是该主题的图像，从而保证了基于多个第二图像生成视频的主题一致性；另一方面，通过姿势确定模型来约束图像生成模型生成第二图像的骨架姿势，从而使得生成的多个第二图像的骨架姿势是相同的，这样能够保证多个第二图像的动作连贯性；并且，通过视频插帧模型在相邻两个第二图像之间进行插帧，能够提高基于插帧后的视频的动作连贯性。基于以上分析可知，本申请不仅能够控制视频的主题一致性，还能够控制视频的动作连贯性，也即能够从多个角度对视频进行控制，从而能够实现高度可控的视频生成，进而能够提高视频生成的质量。
附图说明
[0018]图1示出了本申请一个示例性实施例示出的视频生成方法的实施环境的示意图；
[0019]图2示出了本申请一个示例性实施例示出的视频生成方法的流程图；
[0020]图3示出了本申请一个示例性实施例示出的视频生成方法的流程图；
[0021]图4示出了本申请一个示例性实施例示出的视频生成方法的流程图；
[0022]图5示出了本申请一个示例性实施例示出的视频生成方法的流程图；
[0023]图6示出了本申请一个示例性实施例示出的基于参考骨架姿势生成第二图像的示意图；
[0024]图7示出了本申请一个示例性实施例示出的视频生成方法的流程图；
[0025]图8示出了本申请一个示例性实施例示出的视频生成方法的流程图；
[0026]图9示出了本申请一个示例性实施例示出的视频生成装置的框图；
[0027]图10示出了本申请一个示例性实施例示出的终端的框图。
具体实施方式
[0028]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0029]在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0030]需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的姿势参考图像、第一图像和第二图像等都是在充分授权的情况下获取的。
[0031]请参考图1，其示出了本申请一个示例性实施例示出的视频生成方法的实施环境的示意图。该实施环境包括：终端101和服务器102；终端101中安装图像处理应用，终端101通过图像处理应用与服务器102实现例如数据传输、信息交互等功能，从而终端101请求服
务器102来生成视频；或者，终端101离线生成视频。其中，图像处理应用可以为相册应用、美图应用或者图像处理软件(Adobe Photoshop，PS)等。
[0032]在一些实施例中，终端101可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互、车载终端等，但并不局限于此。服务器102是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
[0033]请参考图2，其示出了本申请一个示例性实施例示出的视频生成方法的流程图。本申请实施例中的执行主体为终端。参见图2，该方法包括：
[0034]步骤201：确定第一主题的多个第一图像。
[0035]第一主题可以为人物或者动物，人物可以为游戏人物、真人模特、动漫人物等。动物可以为狗、猫、兔子等。并且，多个第一图像为第一主题的多个拍摄角度的图像。在一些实施例中，直接找已有图像；相应的，确定第一主题的多个第一图像的步骤可以为：从图像库中确定第一主题的多个拍摄角度的多个第一图像，从而降低获取多个第一图像的成本。在另一些实施例中，基于三维模型来生成多个第一图像；相应的，确定第一主题的多个第一图像的步骤可以为：基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，所述方法包括：确定第一主题的多个第一图像；基于所述多个第一图像，训练所述第一主题的图像生成模型，所述图像生成模型用于生成所述第一主题的图像；基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，所述图像生成模型用于生成所述多个第二图像，所述姿势确定模型用于约束所述多个第二图像的骨架姿势；基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的所述多个第二图像生成视频。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，包括：基于所述姿势确定模型，确定参考骨架姿势；将所述参考骨架姿势输入所述图像生成模型中，输出所述多个第二图像，所述图像生成模型用于生成骨架姿势为所述参考骨架姿势的多个第二图像。3.根据权利要求2所述的方法，其特征在于，所述基于所述姿势确定模型，确定参考骨架姿势，包括：确定姿势参考图像，通过所述姿势确定模型确定所述姿势参考图像的骨架姿势，得到所述参考骨架姿势；或者，从所述姿势确定模型中预设的多个骨架姿势中确定所述参考骨架姿势。4.根据权利要求1所述的方法，其特征在于，所述基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，包括：基于所述图像生成模型、所述姿势确定模型和风格控制模型，生成骨架姿势相同且风格一致的所述多个第二图像，所述风格控制模型用于约束所述多个第二图像的风格。5.根据权利要求4所述的方法，其特征在于，所述基于所述图像生成模型、所述姿势确定模型和风格控制模型，生成骨架姿势相同且风格一致的所述多个第二图像，包括：基于所述姿势确定模型，确定参考骨架姿势；基于所述风格控制模型，确定风格控制信息；将所述参考骨架姿势和所述风格控制信息输入所述图像生成模型中，输出所述多个第二图像，所述图像生成模型用于生成骨架姿势为所述参考骨架姿势，且风格为所述风格控制信息控制的风格的多个第二图像。6.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一图像，训练所述第一主题的图像生成模型，包括：确定所述多...

【专利技术属性】
技术研发人员：王凡祎，苏婧文，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：