一种生成动态图像的方法、电子设备和存储介质技术

本发明专利技术实施例提供了一种生成动态图像的方法、电子设备和存储介质，对三维模型动态变化过程的图像集，将图像集中的至少一帧图像进行风格转换，得到以目标图像的风格进行展示的动态图像。实现了以自定义的图像风格快速生成动态图像。

A method, electronic device and storage medium for dynamic image generation

【技术实现步骤摘要】
一种生成动态图像的方法、电子设备和存储介质
本专利技术涉及图像处理
，尤其是涉及一种生成动态图像的方法、电子设备和存储介质。
技术介绍
动态图像可以是多帧静态的图像连续播放的效果。相较于静态的图像，动态图像能够更为生动形象的表达物体的动态变化过程。动态图像应用于动画制作或者需要展示物体动态变化过程的场景中。通常动态图像的生成需要根据动态变化过程制作每一帧图像，制作过程复杂且耗时较长。例如，当需要展示车辆车门从关闭到打开的动态变化过程时，对车门从关闭到打开的运动轨迹中，需要制作车门在运动轨迹的每一点停留的图像，进而形成车门打开过程的动态图像。可见，通过现有方法将静态的图像动态化或者展示物体动态变化过程，需要通过复杂且漫长的动画制作过程，且动态图像只能以特定的图像风格展示，无法以自定义的图像风格快速生成动态图像。
技术实现思路
本专利技术实施例提供一种生成动态图像的方法、电子设备和存储介质，用以解决现有技术中无法以自定义的图像风格快速生成动态图像的问题。针对以上技术问题，第一方面，本专利技术实施例提供一种生成动态图像的方法，包括：确定与目标图像匹配的三维模型；获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化；将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。第二方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述的生成动态图像的方法的步骤。第三方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上任一项所述的生成动态图像的方法的步骤。本专利技术的实施例提供的生成动态图像的方法、电子设备和存储介质，对三维模型动态变化过程的图像集，将图像集中的至少一帧图像进行风格转换，得到以目标图像的风格进行展示的动态图像。实现了以自定义的图像风格快速生成动态图像。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的生成动态图像的方法的流程示意图；图2是本专利技术另一实施例提供的按照手绘图的图像风格输出的，对应云梯抬升的动态图像中的几帧；图3是本专利技术另一实施例提供的对手绘图的整体执行第一操作指令的示意图；图4是本专利技术另一实施例提供的控制三维模型执行第一操作指令的示意图；图5是本专利技术另一实施例提供的三维模型中的云梯抬高后，以手绘图的图像风格展示的图像；图6是本专利技术另一实施例提供的第二活动部位调整示意图；图7是本专利技术另一实施例提供的车辆前进过程的动态图像中的几帧；图8是本专利技术另一实施例提供的生成动态图像的装置的结构框图；图9是本专利技术另一实施例提供的电子设备的实体结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本实施例提供一种生成动态图像的方法，应用于动画制作领域，或者展示某一物体动态变化过程的场景中，在这些应用中，通过本实施例的方法能够快速地，以用户自定义的图像风格生成动态图像。例如，在动画制作领域，以动漫风格展示某一物体的动态变化过程，或者，在教学过程中，用学生的绘画风格展示某一物体的动态变化过程。该方法可以由任一设备执行，例如，计算机、服务器、手机等。图1为本实施例提供的生成动态图像的方法的流程示意图，参见图1，该方法包括：步骤101：确定与目标图像匹配的三维模型。目标图像为用户输入的图像、存储的图像或者通过网络获取的图像，例如，用户输入的手绘图、存储的图像或者从网络抓取的图像。三维模型为预先存储在三维模型库中的模型或者通过网络获取的模型。在该步骤中，通过对目标图像进行识别的图像内容确定匹配的三维模型，或者，通过将目标图像与各模型的映射图像进行匹配，根据匹配的映射图确定三维模型，本实施例对此不做具体限制。步骤102：获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化。图像集是三维模型动态变化过程中，确定的多帧平面图像的集合，包括三维图像整体动态变化时，以多个视角展示该动态变化过程时，各视角下的三维图像在平面内对应图像的集合，和/或，三维图像中第一活动部位动态变化时，以某一视角展示该动态变化过程时，该视角下的三维图像在平面内对应图像的集合。第一活动部位是三维模型中可活动的组成部位，例如，三维模型为出租车，第一活动部位包括车轮、车门等。三维模型整体动态变化包括三维模型整体的旋转、翻转等动态变化的方式。步骤103：将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。进一步地，风格转换模型为对DDPG(DeepDeterministicPolicyGradient，深度确定策略梯度)算法进行训练得到的模型，或者对GAN(GenerativeAdversarialNetworks，对抗网络)进行训练得到的模型。三维图像所展示的视角，指的是三维图像所展示的，能够被用户看到的视角，例如，三维模型为出租车，三维模型在屏幕中展示出租车的车头正面，则三维模型所展示的视角为出租车车头正面的视角。平面图像的生成方法包括：将三维图像所展示的视角中每一像素点投影到平面内，得到平面图像，或者，对三维图像所展示的视角中的画面截图，得到平面图像，本实施例对此不做具体限制。在该步骤中，将图像集中，能够体现所述动态变化过程的每一帧图像均通过风格转换模型进行转换，得到动态图像。或者，为了降低计算量，提高生成动态图像的效率，还可以从图像集中选取若干帧能够体现所述动态变化过程的图像，将选取的图像通过风格转换模型进行转换，得到动态图像。举例来说，目标图像为手绘图，对于消防车的三维模型，控制三维模型的云梯抬升，将三维模型中“云梯”这一第一活动部位的动态变化过程记录本文档来自技高网...

【技术保护点】
1.一种生成动态图像的方法，其特征在于，包括：/n确定与目标图像匹配的三维模型；/n获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化；/n将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；/n其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。/n

【技术特征摘要】
1.一种生成动态图像的方法，其特征在于，包括：
确定与目标图像匹配的三维模型；
获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化；
将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；
其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。


2.根据权利要求1所述的生成动态图像的方法，其特征在于，还包括：
若接收到对所述目标图像整体执行的第一操作指令，则控制所述三维模型整体动态变化，和/或，若接收到对所述目标图像中的第二活动部位执行的第二操作指令，则根据映射关系控制所述三维模型中的第一活动部位动态变化；
其中，所述映射关系包括所述目标图像中的第二活动部位与所述三维模型中的第一活动部位的对应关系。


3.根据权利要求1所述的生成动态图像的方法，其特征在于，所述确定与目标图像匹配的三维模型，包括：
将所述目标图像输入到识别模型中，获取由所述识别模型识别的图像内容；
获取三维模型库中与所述图像内容匹配的匹配模型，从匹配模型对应的平面图像中确定与所述目标图像匹配的目标平面图像；
将所述目标平面图像对应的匹配模型，作为所述三维模型。


4.根据权利要求3所述的生成动态图像的方法，其特征在于，还包括：
在所述目标平面图像中划分出多个第一识别区域，在所述目标图像中划分出多个第二识别区域，其中，对应位置处的第一识别区域和第二识别区域的面积比值为设定值；
对所述识别模型从所述目标图像识别的第二活动部位，根据第二活动部位所在的第二识别区域，以及各第二识别区域与各第一识别区域的对应位置，确定与第二活动部位对应的第一活动部位，建立第二活动部位与第一活动部位的映射关系。


5.根据权利要求4所述的生成动态图像的方法，其特征在于，所述根据第二活动部位所在的第二识别区域，以及各第二识别区域与各第一识别区域的对应位置，确定与第二活动部位对应的第一活动部位，包括：
获取所述识别模型识别的各第二活动部位的位置关系；

【专利技术属性】
技术研发人员：李立锋，白保军，徐丽莉，
申请(专利权)人：咪咕视讯科技有限公司，咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：上海;31