基于多尺度运动信息分离动画特效和背景内容的方法技术

本发明专利技术公开了一种基于多尺度运动信息分离动画特效和背景内容的方法，包括：1)获取动画视频中带有特效片段的序列帧；2)计算序列帧中每一帧与其它帧之间的单尺度特效预测图集合；3)合并每一帧的单尺度特效预测图集合作为多尺度特效预测；4)通过自注意力机制得到自注意力多尺度特效集合特征；5)通过三维卷积神经网络层提取输入序列帧的特征；6)联合序列帧的特征和自注意力多尺度特效集合特征；7)通过三维残差卷积神经网络分离特效序列帧和透明通道信息；8)将序列帧和特效序列帧作差，得到残损背景序列帧；9)通过三维卷积神经网络得到修复的背景序列帧。本发明专利技术可应用在特效迁移，以及提升在动画中分割以及识别特定对象的准确率。率。率。

【技术实现步骤摘要】
基于多尺度运动信息分离动画特效和背景内容的方法


[0001]本专利技术涉及视频分离的
，尤其是指一种基于多尺度运动信息分离动画特效和背景内容的方法。

技术介绍

[0002]卡通作为一种视觉相关的艺术表现形式已经广泛应用于动画领域。为了呈现动画中的天气条件和环境，画家通常使用各种卡通特效展现效果，例如雨，雪，落叶，落花等特效。这些特效不仅用于表现环境，还有助于丰富动画中的视觉表现力。尽管近年来基于动画的卡通视觉研究已经得到了广泛的关注，但是由于动画场景中的卡通特效往往会遮挡一部分背景信息，这导致在分析动画背景时往往会丢失一部分信息，这不利于动画特定对象分割，动画背景分析等方向的研究。同时，动画中的卡通特效作为一种视觉展现的特效，其分层和迁移也有广泛的应用，这使得分离动画中的卡通特效和背景也成为了一种迫切的研究方向。
[0003]但是，由于动画中卡通特效本身移动较无规律，且卡通特效种类复杂，大小不一，这加大了传统规则方法分离特效的难度。同时，动画卡通特效数据集较为稀少，这也加大了深度学习方法分离特效的难度。目前已经有一些方法通过深度学习或传统时序的方法分离前景和背景，但是这些方法都不适用于分离动画中的卡通特效，因为它们往往考虑的视频是自然视频，而且自然视频中的前景分布和卡通动画中特效分布往往不一致，例如动画中特效的大小形状变化多端且出现位置更加无法预测。所以，如何准确分离动画中的卡通特效和背景就成为了一个关键问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足与缺点，提出了一种基于多尺度运动信息分离动画特效和背景内容的方法，能将动画视频片段分离为精细的特效效果和干净的背景内容，可有效适用于动画中不同特效的分离，同时，在有效分离特效后，能够进一步修复特效背后的背景内容，对于下游应用如分割、识别和特效迁移都有极大的提升。
[0005]为实现上述目的，本专利技术所提供的技术方案为：基于多尺度运动信息分离动画特效和背景内容的方法，包括以下步骤：
[0006]1)获取数据，包括动画视频中带有特效片段的序列帧作为输入；
[0007]2)计算输入的序列帧中每一帧与其它帧之间的单尺度特效预测图集合；
[0008]3)合并每一帧的单尺度特效预测图集合作为多尺度特效预测；
[0009]4)通过自注意力机制调整多尺度特效预测，得到自注意力多尺度特效集合特征；
[0010]5)通过一个三维卷积神经网络层提取输入序列帧的特征；
[0011]6)联合输入序列帧的特征和自注意力多尺度特效集合特征；
[0012]7)通过三维残差卷积神经网络，每个残差模块加入非局部Non
‑
local模块来强化时序信息关联，接着输出分离的特效序列帧和透明通道信息；
[0013]8)通过将输入序列帧和分离得到的特效序列帧作差，得到残损背景序列帧；
[0014]9)合并残损背景序列帧和透明通道信息，输入到三维卷积神经网络中，所有卷积层替换成门卷积进行动态特征选择，中间层替换为不同膨胀率的膨胀卷积，最终输出得到修复的背景序列帧。
[0015]在步骤1)中，动画视频中带有特效片段是指通过专业制图软件Adobe Premier在收集到的包含特效的动画视频中裁剪获取的视频片段，其中特效种类包含雨、雪、飘落的花瓣和飘落的树叶；序列帧是指以25帧每秒在视频片段中进行采样得到的连续图像帧，通过数据预处理，将连续图像划分为以5为数量单位的序列帧：
[0016][0017]式中，I表示输入是一个大小为连续5帧的序列帧，其中I1表示第一帧，I2表示第二帧，I5表示第五帧；为实数集，C为通道数量，H和W表示帧的长度和宽度。
[0018]在步骤2)中，计算输入的序列帧中每一帧与其它帧之间的单尺度特效预测图集合，包括以下步骤：
[0019]2.1)由光流估计神经网络FlowNet2计算得到每一帧I
i
与序列帧中其它帧I
j|j≠i
的光流估计，并通过光流仿射变换回
[0020][0021]式中，V表示光流估计神经网络FlowNet2，I
i
表示第i帧，I
j|j≠i
表示第j帧且j不等于i，V(I
i
,I
j|j≠i
)表示计算从第i帧到第j帧的光流估计；W表示仿射变换，即将I
j|j≠i
通过估计到的光流仿射变换回I
i
，表示计算从第i帧到第j帧仿射变换的结果；
[0022]2.2)根据特效和背景内容运动场上速度和方向上差异的特点，计算得到每一帧I
i
的单尺度特效预测图为：
[0023][0024]式中，I
i
表示第i帧，表示从第i帧到第j帧仿射变换的结果，表示I
i
与仿射变换后的结果逐C通道计算欧式距离并累计求和得到的结果，D
i
→
j
表示计算得到的I
i
来自第j帧的单尺度特效预测图，为实数集，1为向量通道大小，H和W表示单尺度特效预测图的长度和宽度；
[0025]2.3)计算第i帧I
i
到输入序列帧中所有其它帧I
j|j≠i
的单尺度特效预测图后，得到I
i
的单尺度特效预测图的集合D
i
→
j
表示计算得到的第i帧来自第j帧的单尺度特效预测图，表示第i帧来自所有其它帧I
j
的单尺度特效预测图的集合，其中j不等于i，i,j∈[1,5]表示i和j的取值在1到5的闭合区间。
[0026]在步骤3)中，合并每一帧中计算得到的单尺度特效预测图集合，充分利用输入时序内的不同时间尺度信息辅助不同速率的特效预测，计算得到的多尺度特效预测为：
[0027][0028]式中，D
i
→
j
表示计算得到的第i帧来自第j帧的单尺度特效预测图，表示第i帧来自所有其它第j帧的单尺度特效预测图集合，其中j不等于i，i,j∈[1,5]表示i和j的取值在1到5的闭合区间；Max指将得到的4种不同时间跨度的单尺度特效预测图D
i
→
j
在时间维度上取最大值进行合并；D
i
表示得到的属于I
i
的多尺度特效预测，为实数集，1为向量通道大小，H和W表示多尺度特效预测的长度和宽度。
[0029]在步骤4)中，通过自注意力机制调整多尺度特效预测，即通过权重调整并压制非特效区域的噪声，包括以下步骤：
[0030]4.1)分别将每一帧的多尺度特效预测通过自注意力机制，得到新的权重，通过权重来再次平衡多尺度特效预测中每个特征的响应大小：
[0031]M
i
＝Sigmoid(H(D
i
))
[0032]式中，D
i
表示属于I
i<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度运动信息分离动画特效和背景内容的方法，其特征在于，包括以下步骤：1)获取数据，包括动画视频中带有特效片段的序列帧作为输入；2)计算输入的序列帧中每一帧与其它帧之间的单尺度特效预测图集合；3)合并每一帧的单尺度特效预测图集合作为多尺度特效预测；4)通过自注意力机制调整多尺度特效预测，得到自注意力多尺度特效集合特征；5)通过一个三维卷积神经网络层提取输入序列帧的特征；6)联合输入序列帧的特征和自注意力多尺度特效集合特征；7)通过三维残差卷积神经网络，每个残差模块加入非局部Non
‑
local模块来强化时序信息关联，接着输出分离的特效序列帧和透明通道信息；8)通过将输入序列帧和分离得到的特效序列帧作差，得到残损背景序列帧；9)合并残损背景序列帧和透明通道信息，输入到三维卷积神经网络中，所有卷积层替换成门卷积进行动态特征选择，中间层替换为不同膨胀率的膨胀卷积，最终输出得到修复的背景序列帧。2.根据权利要求1所述的基于多尺度运动信息分离动画特效和背景内容的方法，其特征在于：在步骤1)中，动画视频中带有特效片段是指通过专业制图软件Adobe Premier在收集到的包含特效的动画视频中裁剪获取的视频片段，其中特效种类包含雨、雪、飘落的花瓣和飘落的树叶；序列帧是指以25帧每秒在视频片段中进行采样得到的连续图像帧，通过数据预处理，将连续图像划分为以5为数量单位的序列帧：式中，I表示输入是一个大小为连续5帧的序列帧，其中I1表示第一帧，I2表示第二帧，I5表示第五帧；为实数集，C为通道数量，H和W表示帧的长度和宽度。3.根据权利要求1所述的基于多尺度运动信息分离动画特效和背景内容的方法，其特征在于：在步骤2)中，计算输入的序列帧中每一帧与其它帧之间的单尺度特效预测图集合，包括以下步骤：2.1)由光流估计神经网络FlowNet2计算得到每一帧I
i
与序列帧中其它帧I
j|j≠i
的光流估计，并通过光流仿射变换回估计，并通过光流仿射变换回式中，V表示光流估计神经网络FlowNet2，I
i
表示第i帧，I
j|j≠i
表示第j帧且j不等于i，V(I
i
,I
j|j≠i
)表示计算从第i帧到第j帧的光流估计；W表示仿射变换，即将I
j|j≠i
通过估计到的光流仿射变换回I
i
，表示计算从第i帧到第j帧仿射变换的结果；2.2)根据特效和背景内容运动场上速度和方向上差异的特点，计算得到每一帧I
i
的单尺度特效预测图为：式中，I
i
表示第i帧，表示从第i帧到第j帧仿射变换的结果，表示I
i
与仿射变换后的结果逐C通道计算欧式距离并累计求和得到的结果，D
i
→
j
表示计算得到的I
i
来自第j帧的单尺度特效预测图，为实数集，1为向量通道大小，H和W表示单尺度特效预测图的长度和宽度；2.3)计算第i帧I
i
到输入序列帧中所有其它帧I
j|j≠i
的单尺度特效预测图后，得到I
i
的单尺度特效预测图的集合D
i
→
j
表示计算得到的第i帧来自第j帧的单尺度特效预测图，表示第i帧来自所有其它帧I
j
的单尺度特效预测图的集合，其中j不等于i，i,j∈[1,5]表示i和j的取值在1到5的闭合区间。4.根据权利要求1所述的基于多尺度运动信息分离动画特效和背景内容的方法，其特征在于：在步骤3)中，合并每一帧中计算得到的单尺度特效预测图集合，充分利用输入时序内的不同时间尺度信息辅助不同速率的特效预测，计算得到的多尺度特效预测为：式中，D
i
→
j
表示计算得到的第i帧来自第j帧的单尺度特效预测图，表示第i帧来自所有其它第j帧的单尺度特效预测图集合，其中j不等于i，i,j∈[1,5]表示i和j的取值在1到5的闭合区间；Max指将得到的4种不同时间跨度的单尺度特效预测图D
i
→
j
在时间维度上取最大值进行合并；D
i
表示得到的属于I
i
的多尺度特效预测，为实数集，1为向量通道大小，H和W表示多尺度特效预测的长度和宽度。5.根据权利要求1所述的基于多尺度运动信息分离动画特效和背景内容的方法，其特征在于：在步骤4)中，通过自注意力机制调整多尺度特效预测，即通过权重调整并压制非特效区域的噪声，包括以下步骤...

【专利技术属性】
技术研发人员：徐雪妙，屈玮，韩楚，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：