图像生成视频的方法、装置及电子设备制造方法及图纸

本公开涉及一种图像生成视频的方法、装置及电子设备，涉及图像处理技术领域。包括：获取第一图像；将第一图像输入至目标图像处理模型，获取目标图像处理模型输出的针对第一图像的第一流动参数，基于第一流动参数对第一图像进行流动处理，以生成多帧第二图像，组合多帧第二图像得到视频；其中，第一流动参数包括：至少一个区域、每个区域的流动方向，目标图像处理模型为神经网络模型。理模型为神经网络模型。理模型为神经网络模型。

【技术实现步骤摘要】
图像生成视频的方法、装置及电子设备


[0001]本公开涉及图像处理
，尤其涉及一种图像生成视频的方法、装置及电子设备。

技术介绍

[0002]目前，一些图像中会存在头发、衣服等对象，这些对象在实际场景中是处于流动状态的，在需要呈现这些对象的流动效果时，亟需一种生成具有流动效果的视频的方法。

技术实现思路

[0003]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像生成视频的方法、装置及电子设备。可以通过静态图像生成具有流动效果的视频。
[0004]为了实现上述目的，本公开实施例提供的技术方案如下：
[0005]第一方面，提供一种图像生成视频的方法，包括：
[0006]获取第一图像；
[0007]将第一图像输入至目标图像处理模型，获取目标图像处理模型输出的针对第一图像的第一流动参数；其中，第一流动参数包括：至少一个区域、每个区域的流动方向，目标图像处理模型为神经网络模型；
[0008]基于第一流动参数对第一图像进行处理，以生成多帧第二图像，组合多帧第二图像得到视频。
[0009]作为本公开实施例一种可选的实施方式，处理参数还包括：每个区域的流动速度。
[0010]作为本公开实施例一种可选的实施方式，所述目标图像处理模型为基于样本信息训练得到的神经网络模型，所述样本信息包括：多个样本图像，以及每个样本图像的标准流动参数；
[0011]将第一图像输入至目标图像处理模型，获取目标图像处理模型输出的针对第一图像的第一流动参数之前，还包括：
[0012]获取样本信息；
[0013]循环执行以下步骤至少一次，以得到目标图像处理模型：
[0014]从多个样本图像中获取目标样本图像，将目标样本图像输入至初始图像处理模型；
[0015]获取初始图像处理模型输出的目标样本图像的第二流动参数；
[0016]根据第二流动参数与标准流动参数，确定目标损失函数；
[0017]基于目标损失函数，修正初始图像处理模型。
[0018]作为本公开实施例一种可选的实施方式，目标损失函数包括以下至少一项：
[0019]交叉熵损失函数、全变分损失函数、dice损失函数、focal损失函数、L1正则损失函数。
[0020]作为本公开实施例一种可选的实施方式，获取样本信息，包括：
[0021]获取原始图像；
[0022]针对原始图像进行几何变换，和/或，颜色变换，以得到至少一个变换图像；
[0023]将原始图像和至少一个变换图像作为样本信息中的样本图像。
[0024]作为本公开实施例一种可选的实施方式，几何变换包括：翻转，旋转，裁剪，变形，缩放中的至少一种；
[0025]作为本公开实施例一种可选的实施方式，颜色变换包括：添加噪声、颜色扰动中的至少一种。
[0026]作为本公开实施例一种可选的实施方式，将第一图像输入至目标图像处理模型，包括：
[0027]对第一图像进行下采样操作，得到下采样后的第一图像；
[0028]将下采样后的第一图像输入至目标图像处理模型。
[0029]作为本公开实施例一种可选的实施方式，每个区域中边缘区域的流动速度小于中心区域的流动速度。
[0030]作为本公开实施例一种可选的实施方式，目标图像处理模型中包括：多次下采样操作，和/或，多次卷积操作，
[0031]针对相邻下采样操作，和/或，相邻卷积操作的操作相关参数不同；
[0032]其中，操作相关参数包括以下至少一项：
[0033]核大小、膨胀系数、步长。
[0034]作为本公开实施例一种可选的实施方式，目标图像处理模型为基于高分辨率网络模型的语义分割模型。
[0035]第二方面，提供一种图像生成视频的装置，包括：
[0036]获取模块，用于获取第一图像；将第一图像输入至目标图像处理模型，获取目标图像处理模型输出的针对第一图像的第一流动参数；其中，第一流动参数包括：至少一个区域、每个区域的流动方向，目标图像处理模型为神经网络模型；
[0037]生成模块，用于基于第一流动参数对第一图像进行流动处理，以生成多帧第二图像，组合多帧第二图像得到视频。
[0038]作为本公开实施例一种可选的实施方式，处理参数还包括：每个区域的流动速度。
[0039]作为本公开实施例一种可选的实施方式，所述目标图像处理模型为基于样本信息训练得到的神经网络模型，所述样本信息包括：多个样本图像，以及每个样本图像的标准流动参数；
[0040]获取模块，还用于：将第一图像输入至目标图像处理模型，获取目标图像处理模型输出的针对第一图像的第一流动参数之前，获取样本信息；
[0041]循环执行以下步骤至少一次，以得到目标图像处理模型：
[0042]从多个样本图像中获取目标样本图像，将目标样本图像输入至初始图像处理模型；
[0043]获取初始图像处理模型输出的目标样本图像的第二流动参数；
[0044]根据第二流动参数与标准流动参数，确定目标损失函数；
[0045]基于目标损失函数，修正初始图像处理模型。
[0046]作为本公开实施例一种可选的实施方式，目标损失函数包括以下至少一项：
[0047]交叉熵损失函数、全变分损失函数、dice损失函数、focal损失函数、L1正则损失函数。
[0048]作为本公开实施例一种可选的实施方式，获取模块，具体用于：
[0049]获取原始图像；
[0050]针对原始图像进行几何变换，和/或，颜色变换，以得到至少一个变换图像；
[0051]将原始图像和至少一个变换图像作为样本信息中的样本图像。
[0052]作为本公开实施例一种可选的实施方式，几何变换包括：翻转，旋转，裁剪，变形，缩放中的至少一种；
[0053]作为本公开实施例一种可选的实施方式，颜色变换包括：添加噪声、颜色扰动中的至少一种。
[0054]作为本公开实施例一种可选的实施方式，获取模块，具体用于：
[0055]对第一图像进行下采样操作，得到下采样后的第一图像；
[0056]将下采样后的第一图像输入至目标图像处理模型。
[0057]作为本公开实施例一种可选的实施方式，每个区域中边缘区域的流动速度小于中心区域的流动速度。
[0058]作为本公开实施例一种可选的实施方式，目标图像处理模型中包括：多次下采样操作，和/或，多次卷积操作，
[0059]针对相邻下采样操作，和/或，相邻卷积操作的操作相关参数不同；
[0060]其中，操作相关参数包括以下至少一项：
[0061]核大小、膨胀系数、步长。
[0062]作为本公开实施例一种可选的实施方式，目标图像处理模型为基于高分辨率网络模型的语义分割模型。
[0063]第三方面，提供一种电子设备，包括：处理器、存储器及存储在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成视频的方法，其特征在于，包括：获取第一图像；将所述第一图像输入至目标图像处理模型，获取所述目标图像处理模型输出的针对所述第一图像的第一流动参数；其中，所述第一流动参数包括：至少一个区域、每个区域的流动方向，所述目标图像处理模型为神经网络模型；基于所述第一流动参数对所述第一图像进行处理，以生成多帧第二图像，组合所述多帧第二图像得到视频。2.根据权利要求1所述的方法，其特征在于，所述处理参数还包括：每个区域的流动速度。3.根据权利要求2所述的方法，其特征在于，所述目标图像处理模型为基于样本信息训练得到的神经网络模型，所述样本信息包括：多个样本图像，以及每个样本图像的标准流动参数；所述将所述第一图像输入至目标图像处理模型，获取所述目标图像处理模型输出的针对所述第一图像的第一流动参数之前，还包括：获取所述样本信息；循环执行以下步骤至少一次，以得到所述目标图像处理模型：从所述多个样本图像中获取目标样本图像，将所述目标样本图像输入至初始图像处理模型；获取所述初始图像处理模型输出的所述目标样本图像的第二流动参数；根据所述第二流动参数与所述标准流动参数，确定目标损失函数；基于所述目标损失函数，修正所述初始图像处理模型。4.根据权利要求3所述的方法，其特征在于，所述目标损失函数包括以下至少一项：交叉熵损失函数、全变分损失函数、dice损失函数、focal损失函数、L1正则损失函数。5.根据权利要求3所述的方法，其特征在于，所述获取样本信息，包括：获取原始图像；针对所述原始图像进行几何变换，和/或，颜色变换，以得到至少一个变换图像；将所述原始图像和所述至少一个变换图像作为所述样本信息中的样本图像。6.根据权利要求5所述的方法，其特征在于，所述几何变换包括：翻转，...

【专利技术属性】
技术研发人员：王小倩，刘宇龙，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：