延时摄影视频的生成方法及设备技术

本发明专利技术公开一种延时摄影视频的生成方法及设备。该方案涉及人工智能技术，如，计算机视觉和机器学习中的模型训练等。其中，延时摄影视频的方法包括：获取原始图片；复制原始图片，生成包括第一预设数目张原始图片的原始图片集；将原始图片集输入至用于生成延时摄影视频的神经网络模型；通过神经网络模型重构第二预设数目张各原始图片的内容，输出包括第三预设数目帧图像的延时摄影视频；第二预设数目等于第一预设数目减1，第三预设数目小于或等于第一预设数目。本发明专利技术的方案，能够基于一张原始图片，通过神经网络模型输出预测的延时摄影视频，该原始图片可以由用户提供，从而方便用户很容易便能够制作延时摄影视频，能够有效提升用户体验。

Generation method and equipment of delay photographic video

The invention discloses a generation method and a device of delay photography video. This scheme involves artificial intelligence technology, such as computer vision and model training in machine learning. Among them, the method of delay photography video includes: obtaining the original picture; copying the original picture, generating the original picture set including the first preset number of original pictures; inputting the original picture set to the neural network model for generating delay photography video; reconstructing the content of the second preset number of original pictures through the neural network model, outputting the frame picture including the third preset number The second preset number is equal to the first preset number minus 1, and the third preset number is less than or equal to the first preset number. The scheme of the invention can output the predicted delay photography video through the neural network model based on an original picture, the original picture can be provided by the user, so that the user can easily make the delay photography video, and can effectively improve the user experience.

【技术实现步骤摘要】
延时摄影视频的生成方法及设备本申请是针对2018年03月26日提交的、申请号为201810253848.3，专利技术名称为“神经网络模型的训练、延时摄影视频的生成方法及设备”的专利申请，所提交的分案申请。
本专利技术涉及人工智能
，尤其涉及一种延时摄影视频的生成方法及设备。
技术介绍
延时摄影又叫缩时摄影(Time-lapsephotography)或缩时录影，是以一种将时间压缩的拍摄技术。其拍摄的是一组照片，后期通过照片串联，把几分钟、几小时甚至是几天或者几年的过程压缩在一个较短的时间内以视频的方式播放。在一段延时摄影视频中，物体或者景物缓慢变化的过程被压缩到一个较短的时间内，呈现出平时用肉眼无法察觉的奇异精彩的景象。延时摄影通常应用在拍摄自然风景、天文现象、城市风光、生物演变等题材上。譬如花蕾的开放约需3天3夜，即72小时，每半小时拍它的一个画幅，以顺序记录开花动作的微变，共计拍摄144个画幅，再通过放映机按正常频率放映(如每秒24幅)，则可以在6秒钟之内重现3天3夜的开花过程。目前的技术中，主要是将摄影装置(如相机)固定在一个位置，每隔一定的时间拍摄一次当前画面的图片，在拍摄得到一定数量(该数量一般与待拍摄场景对应的时空周期有关)的图片后，将这些图片压缩为一个在较短的时间内播放的视频，即延时摄影视频。但是，目前的技术需要耗费大量的时间来专门拍摄多张图片，对人力和时间资源要求都比较高，用户想要制作一个延时摄影视频比较困难。
技术实现思路
有鉴于此，本专利技术实施例提供了一种神经网络模型的训练、延时摄影视频的生成方法及设备，能够方便用户很容易便能够制作延时摄影视频，从而能够有效提升用户体验。为实现上述目的，本专利技术实施例提供如下技术方案：一种神经网络模型的训练方法，包括：获取多个训练视频；其中，各训练视频包括第一预设数目帧图像；对于每个训练视频，提取并复制第N帧图像，生成包括第一预设数目张所述第N帧图像的第N帧图像集；其中，1≤N≤P，P表示所述第一预设数目；以所述训练视频和所述第N帧图像集训练预先建立的基础生成对抗网络；其中，所述基础生成对抗网络包括基础生成器网络和基础判别器网络；所述训练之后的基础生成器网络作为备选的用于生成延时摄影视频的神经网络模型。进一步的，所述神经网络模型的训练方法还包括：将所述第N帧图像集输入至所述训练之后的基础生成器网络，得到所述训练之后的基础生成器网络输出的第一基础延时摄影视频；以所述第一基础延时摄影视频和所述第N帧图像集对应的训练视频训练预先建立的优化生成对抗网络；其中，所述优化生成对抗网络包括优化生成器网络和优化判别器网络；所述训练之后的基础生成器网络和所述训练之后的优化生成器网络组合形成的神经网络模型，作为备选的所述用于生成延时摄影视频的神经网络模型。一种延时摄影视频的生成方法，所述方法使用上述训练生成的用于生成延时摄影视频的神经网络模型，所述方法包括：获取原始图片；复制所述原始图片，生成包括第一预设数目张所述原始图片的原始图片集；将所述原始图片集输入至所述用于生成延时摄影视频的神经网络模型；通过所述神经网络模型重构第二预设数目张各原始图片的内容，输出包括第三预设数目帧图像的延时摄影视频；所述第二预设数目等于所述第一预设数目减1，所述第三预设数目小于或等于所述第一预设数目。一种神经网络模型的训练装置，包括：基础生成对抗网络训练模块，用于：获取多个训练视频；其中，各训练视频包括第一预设数目帧图像；对于每个训练视频，提取并复制第N帧图像，生成包括第一预设数目张所述第N帧图像的第N帧图像集；其中，1≤N≤P，P表示所述第一预设数目；以所述训练视频和所述第N帧图像集训练预先建立的基础生成对抗网络；其中，所述基础生成对抗网络包括基础生成器网络和基础判别器网络；所述训练之后的基础生成器网络作为备选的用于生成延时摄影视频的神经网络模型。进一步的，所述神经网络模型的训练装置还包括：优化生成对抗网络训练模块，用于：将所述第N帧图像集输入至所述训练之后的基础生成器网络，得到所述训练之后的基础生成器网络输出的第一基础延时摄影视频；以所述第一基础延时摄影视频和所述第N帧图像集对应的训练视频训练预先建立的优化生成对抗网络；其中，所述优化生成对抗网络包括优化生成器网络和优化判别器网络；所述训练之后的基础生成器网络和所述训练之后的优化生成器网络组合形成的神经网络模型，作为备选的所述用于生成延时摄影视频的神经网络模型。一种延时摄影视频的生成装置，所述装置使用上述训练生成的用于生成延时摄影视频的神经网络模型，所述装置包括：原始图片获取模块，用于获取原始图片；原始图片复制模块，用于复制所述原始图片，生成包括第一预设数目张所述原始图片的原始图片集；输入模块，用于将所述原始图片集输入至所述用于生成延时摄影视频的神经网络模型；输出模块，用于通过所述神经网络模型重构第二预设数目张各原始图片的内容，输出包括第三预设数目帧图像的延时摄影视频；所述第二预设数目等于所述第一预设数目减1，所述第三预设数目小于或等于所述第一预设数目。一种延时摄影视频的生成系统，包括：本地终端，以及与所述本地终端相连接的远程服务器；所述远程服务器用于：接收所述本地终端发送的获取原始图片；复制所述原始图片，生成包括第一预设数目张所述原始图片的原始图片集；将所述原始图片集输入至用于生成延时摄影视频的神经网络模型；通过所述神经网络模型重构第二预设数目张各原始图片的内容，输出包括第三预设数目帧图像的延时摄影视频；所述第二预设数目等于所述第一预设数目减1；所述第三预设数目小于或等于所述第一预设数目；将所述输出的延时摄影视频发送至所述本地终端。一种智能设备，包括：处理器和存储器，所述处理器与存储器通过通信总线相连接：其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序至少用于执行：上述所述的用于生成延时摄影视频的神经网络模型的训练方法；和/或上述所述的延时摄影视频的生成方法。一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现：如上述所述的用于生成延时摄影视频的神经网络模型的训练方法的各个步骤；和/或如上述所述的延时摄影视频的生成方法的各个步骤。经由上述的技术方案可知，与现有技术相比，本专利技术提供了一种神经网络模型的训练方法、延时摄影视频的生成方法及设备。本专利技术提供的技术方案，通过训练预先建立的基础生成对抗网络，其中，所述基础生成对抗网络包括基础生成器网络和基础判别器网络，以所述训练之后的基础生成器网络作为备选的用于生成延时摄影视频的神经网络模型，从而基于该用于生成延时摄影视频的神经网络模型便能够制作延时摄影视频，该用于生成延时摄影视频的神经网络模型的输入仅是本文档来自技高网...

【技术保护点】
1.一种延时摄影视频的生成方法，其特征在于，包括：/n获取终端发送的原始图片；/n复制所述原始图片，生成包括第一预设数目张所述原始图片的原始图片集；/n将所述原始图片集输入至预先训练出的神经网络模型，所述神经网络模型包括：预先训练出的基础生成对抗网络中的基础生成器网络，所述基础生成对抗网络为利用多个作为训练视频的延时摄影视频训练得到的；/n通过所述神经网络模型重构第二预设数目张各原始图片的内容，输出包括第三预设数目帧图像的延时摄影视频；所述第二预设数目等于所述第一预设数目减1，所述第三预设数目小于或等于所述第一预设数目；/n将所述包括第三预设数目帧图像的延时摄影视频发送给所述终端。/n

【技术特征摘要】
1.一种延时摄影视频的生成方法，其特征在于，包括：
获取终端发送的原始图片；
复制所述原始图片，生成包括第一预设数目张所述原始图片的原始图片集；
将所述原始图片集输入至预先训练出的神经网络模型，所述神经网络模型包括：预先训练出的基础生成对抗网络中的基础生成器网络，所述基础生成对抗网络为利用多个作为训练视频的延时摄影视频训练得到的；
通过所述神经网络模型重构第二预设数目张各原始图片的内容，输出包括第三预设数目帧图像的延时摄影视频；所述第二预设数目等于所述第一预设数目减1，所述第三预设数目小于或等于所述第一预设数目；
将所述包括第三预设数目帧图像的延时摄影视频发送给所述终端。


2.根据权利要求1所述的方法，其特征在于，所述基础生成器网络为卷积神经网络模型，该卷积神经网络模型由设定数量个卷积层和所述设定数量个反卷积层构成，且所述设定数量个卷积层与所述设定数量个反卷积层呈对称结构。


3.根据权利要求2所述的方法，其特征在于，所述基础生成器对应的卷积神经网络模型中相互对称的卷积层和反卷积层之间通过跳接相连。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述神经网络模型通过如下方式训练得到：
获取多个所述训练视频；
对于每个训练视频，提取并复制第N帧图像，生成包括第一预设数目张所述第N帧图像的第N帧图像集；其中，1≤N≤P，P表示所述第一预设数目；
以所述训练视频和所述第N帧图像集训练预先建立的基础生成对抗网络；其中，所述基础生成对抗网络包括基础生成器网络和基础判别器网络；
将所述训练之后的基础生成器网络作为用于生成延时摄影视频的所述神经网络模型。


5.根据权利要求1至3任一项所述的方法，其特征在于，所述神经网络模型还包括：预先训练出的优化生成对抗网络中的优化生成器网络，其中，所述神经网络模型为由所述基础生成器网络以及所述优化生成器网络组合形成的神经网络模型。


6.根据权利要求5所述的方法，其特征在于，所述优化生成器网络为卷积神经网络模型，该卷积神经网络模型由设定数量个卷积层和所述设定数量个反卷积层构成，且所述设定数量个卷积层与所述设定数量个反卷积层呈对称结构。


7.根据权利要求6所述的方法，其特征在于，所述优化生成器对应的卷积神经网络模型中存在至少...

【专利技术属性】
技术研发人员：罗文寒，马林，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44