【技术实现步骤摘要】
本专利技术属于计算机视觉以及图像处理领域，更具体地，涉及一种基于生成对抗网络的四季风格延时摄影视频生成方法。
技术介绍
1、延时摄影视频中，物体或者景物缓慢变化的过程被压缩到一个较短的时间内，呈现出平时用肉眼无法察觉的奇异精彩的景象。延时摄影极其耗时，如一段四季变换的景象需要拍摄一年时间。因此，可以使用图像风格迁移的方法，通过将原图风格转换为连续的一年四季的风格，达到生成四季延时摄影的效果。
2、基于深度卷积神经网络在风格迁移领域取得了比传统图像风格迁移方法更好的效果，同时能够实现真实感图像的风格迁移。目前基于深度卷积神经网络的图像风格迁移方法主要分为两类：基于风格域的图像风格转换方法和基于参考图的图像风格转换方法。基于风格域的风格迁移方法只能在训练的两种风格中进行迁移，当转换到另外其他风格时需要收集其他风格的数据集并重新训练；同时在风格转换时是直接从原风格域图片到目标风格域图片，中间难以进行连续变换。
3、基于参考图的风格迁移方法可以实现图片风格的连续变换，但是，目前生成四季风格延迟摄影视频的风格迁移方法仍存在以下问题：1)目前的风格迁移在图像真实感图像风格迁移时无法很好地解耦图像内容和风格，从而无法保持图像内容结构的一致性，在连续插值生成视频容易产生伪影导致生成质量不佳；2)四季风格延迟摄影视频时四季的变换，难以实现春夏秋多个季节风格之间的连续变换；3)在模型训练时，几乎没有同种四季风格的训练图片或视频，无法通过有监督的方法实现较好的四季风格迁移。
4、总体而言，目前的方案由于无法保持图像
技术实现思路
1、针对现有技术的缺陷和改进需求，本专利技术提供了一种基于生成对抗网络的四季风格延时摄影视频生成方法，其目的在于提高四季风格延时摄影视频生成的真实性。
2、为实现上述目的，按照本专利技术的一个方面，提供了一种基于生成对抗网络的四季风格延时摄影视频生成方法，包括：模型建立训练阶段s1-s2以及生成阶段s3-s4；s1，建立包含图像生成器、图像判别器、局部纹理判别器、预训练语义提取模块和空间语义融合模块的图像生成模型；s2，利用包含风景图片的数据集，结合对抗损失、重建损失和局部纹理辨别损失对所述图像生成模型进行训练；s3，将源图输入训练后的图像生成模型，所述预训练语义提取模块提取所述源图的语义特征，所述语义特征经所述空间语义融合模块得到归一化参数，所述图像生成器的编码单元提取所述源图的图像特征并编码为结构编码和纹理编码；s4，将不同季节变化的纹理编码增量分别与所述纹理编码相加，相加所得结果与所述结构编码输入所述图像生成器的解码单元，以基于所述归一化参数进行融合解码，得到四季风格变化的图片序列，并将所述图片序列组合成视频。
3、更进一步地，不同季节变化的纹理编码增量分别为：
4、zadd1＝αza+(α-1)zb
5、zadd2＝(1-α)za+αzb
6、zadd3＝(-α)za+(1-α)zb
7、zadd4＝(α-1)za+(-α)zb
8、其中，zadd1为春季到夏季变化的纹理编码增量，zadd2为夏季到秋季变化的纹理编码增量，zadd3为秋季到冬季变化的纹理编码增量，zadd4为冬季到春季变化的纹理编码增量，α为插值系数，za为夏季和冬季之间的季节编码增量，zb为春季和秋季之间的季节编码增量。
9、更进一步地，za等于夏季纹理编码与冬季纹理编码之差，zb等于春季纹理编码与秋季纹理编码之差，各季纹理编码为：
10、
11、其中，zs为s季纹理编码，s∈{春、夏、秋、冬}，ns为s季图片集中图片的数量，xs为s季图片集，xi为s季图片集中第i个图片，et(xi)为将xi输入所述图像生成器的编码单元后得到的纹理编码。
12、更进一步地，所述对抗损失为：
13、
14、
15、其中，lgan,rec()为重建对抗损失；lgan,swap()为交换对抗损失；所述对抗损失包括lgan,rec(e,g,d)和lgan,swap(e,g,d)；e()、g()分别为所述图像生成器的编码单元、解码单元，d()为所述图像判别器，为关于下标中指定分布的期望值，x、s分别为输入的训练图、对应的空间语义图，x为数据集，x1、x2为从数据集中随机采样的两个样本，表示x1经过编码单元后的结构编码，表示x2经过编码单元后的纹理编码，s1表示x1的语义图。
16、更进一步地，所述重建损失为：
17、lrec(e,g)＝‖x-g(e(x),s)‖1
18、其中，lrec()为所述重建损失，x、s分别为输入的训练图、对应的空间语义图，e()、g()分别为所述图像生成器的编码单元、解码单元，‖‖1为最小绝对值误差。
19、更进一步地，所述局部纹理辨别损失为：
20、
21、其中，lpatch()为所述局部纹理辨别损失，e()、g()分别为所述图像生成器的编码单元、解码单元，dpatch()为所述局部纹理判别器，为关于下标中指定分布的期望值，x为数据集，x1、x2为从数据集中随机采样的两个样本，表示x1经过编码单元后的结构编码，表示x2经过编码单元后的纹理编码，s1表示x1的语义图，s2表示x2的语义图，crop(x2,s2)表示从x2、s2的相同位置上取随机裁剪的局部图像块。
22、更进一步地，所述s2中对所述图像生成模型进行训练具体包括：结合所述重建损失对所述图像生成器进行训练；结合所述对抗损失对所述图像生成器和所述图像判别器进行对抗训练；结合所述局部纹理辨别损失对所述图像生成器和所述局部纹理判别器进行对抗训练。
23、按照本专利技术的另一个方面，提供了一种基于生成对抗网络的四季风格延时摄影视频生成系统，包括：处理器；存储器，其存储有计算机可执行程序，所述程序在被所述处理器执行时，使得所述处理器执行如上所述的基于生成对抗网络的四季风格延时摄影视频生成方法。
24、按照本专利技术的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的基于生成对抗网络的四季风格延时摄影视频生成方法。
25、总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：
26、(1)提供一种基于生成对抗网络的四季风格延时摄影视频生成方法，设计的带有空间语义融合模块的整体生成框架，可以保持风格生成图与源图在空间结构和语义上的一致性，从而辅助网络更好地解耦图像内容和图像风格，同时保持输出的中间连续插值图图像内容结构的一致性；只需要输入一张自然风景图片，就可以得到该自然场景下一年四季不同季节风格连续变化的延迟摄影视频；
27、(2)针对目前在季节风格之间连续变换会发生突变的情况，提出在推理时对季节本文档来自技高网...
【技术保护点】
1.一种基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，包括：模型建立训练阶段S1-S2以及生成阶段S3-S4；
2.如权利要求1所述的基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，不同季节变化的纹理编码增量分别为：
3.如权利要求2所述的基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，za等于夏季纹理编码与冬季纹理编码之差，zb等于春季纹理编码与秋季纹理编码之差，各季纹理编码为：
4.如权利要求1所述的基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，所述对抗损失为：
5.如权利要求1所述的基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，所述重建损失为：
6.如权利要求1所述的基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，所述局部纹理辨别损失为：
7.如权利要求1-6任一项所述的基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，所述S2中对所述图像生成模型进行训练具体包括：
8.一种基于生成对抗网络的四季风格延时
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的基于生成对抗网络的四季风格延时摄影视频生成方法。
...【技术特征摘要】
1.一种基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，包括：模型建立训练阶段s1-s2以及生成阶段s3-s4；
2.如权利要求1所述的基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，不同季节变化的纹理编码增量分别为：
3.如权利要求2所述的基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，za等于夏季纹理编码与冬季纹理编码之差，zb等于春季纹理编码与秋季纹理编码之差，各季纹理编码为：
4.如权利要求1所述的基于生成对抗网络的四季风格延时摄影视频生成方法，其特征在于，所述对抗损失为：
5.如权利要求1所述的基于生成对抗...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。