一种基于时序网络预测与金字塔融合的视频图像修复方法技术

本发明专利技术公开了一种基于时序网络预测与金字塔融合的视频图像修复方法用于修复缺损图像并用于优化视频稳像中图像补偿环节后的视觉效果。首先自适应判断当前帧是否需要填充修复。然后对于待修复帧送入组合了CNN和GRU的模型进行待填充部分的预测。随后将当前帧和待填充的完整图像帧带入金字塔融合模型进行重构，在融合时采用改进的加权最佳缝合线进行拼接，视频帧重构完成后根据最终确定的有效像素点区域统一裁剪所有帧，完成视频修复。本发明专利技术公开的视频稳像图像修复方法提升了视频图像整体结构完整性并提升了纹理细节修复效果与拼接细节修复效果，能广泛应用于不同拍摄设备所摄视频的稳像修复中。

【技术实现步骤摘要】
一种基于时序网络预测与金字塔融合的视频图像修复方法
本专利技术属于视频图像处理
，涉及一种视频稳像图像修复方法，可广泛应用于移动拍摄设备中。
技术介绍
视频稳像的主要目的是对视频中的由于外部因素干扰或自身移动性带来的抖动、模糊等进行矫正和消除，改善视频质量和观赏感受。稳像技术可用于科研测绘、执法记录仪、手机相机等领域，其灵活性高、成本低、易维护等优势使得视频稳像技术具有乐观的商业价值和广泛的应用前景。视频稳像技术在运动补偿中的图像位置调整环节后会留下大小不等的缺损区域，一般都使用黑色进行填充，也称为图像黑边。要消除黑边区域对视频内容产生的观感影响来改善视频平稳性，对黑边表示的缺损区域填充必不可少。现有的视频图像修复方法主要可以分为视频图像填充修复类和视频图像重建类这两类方法。视频图像填充修复类方法利用图像有效区域中的边缘像素点向外拓展填充未知信息的区域，从而让视频帧信息完整。视频图像重建类方法利用视频帧间的时域信息对视频帧进行重建来达到修复的目的。现有的这两类视频图像修复方法在修复时都能取得一定效果，但是都存在有不足。第一类方法存在填充图像时并没有考虑填入缺损部分的时序连续性问题，缺损填充部分与原始图像存在较为明显的界线等问题，而第二类方法存在对于缺损填充部分的细节纹理等不太理想，缺损部分填充不完整等问题。因此，需要一种能兼顾纹理细节与结构完整的修复方法，较好的提升视频稳像中缺损图像的修复效果。
技术实现思路
本专利技术的目的是为了解决现有视频图像修复方法存在的填充图像时序不一致、纹理细节与原图像差距较大以及填充部分分界明显等问题，提出了一种基于时序网络预测与金字塔融合的视频图像修复方法，该方法包括：(1)利用额外设定的蒙版帧与原始帧中的有效区域对比以确定是否需要对当前帧图像进行修复；(2)利用神经网络CNN和时序网络GRU对当前帧的应包含的完整图像进行预测并生成；(3)将可用于修复填充的完整图像和原始图像通过金字塔分解、最优缝合线融合、图像重构的步骤进行修复；(4)对每一帧重构完成的图像进行有效区域检测并刷新蒙版帧待修复区域。循环进行步骤(1)到步骤(4)直接最终帧重构完成；(5)根据最终确定的蒙版帧有效区域像素点统一裁剪所有帧完成修复。较佳地，所述的步骤(1)具体为：将当前帧在图像位置调整后的画面划分为有效像素点区域Ω和空白像素点区域D，事先设定的蒙版帧会在每次循环更新其有效区域面积Et-1。在预处理阶段需要将当前帧带入一种用于优化修复流程的判断检测机制中。该判断检测机制结合蒙版帧的有效像素点区域进行。在蒙版帧有效区域内完全包含当前帧内的非空白像素点则可触发修复流程优化机制，跳过视频图像的填充修补过程，直接进行图像的初步裁剪。较佳地，所述步骤(2)具体为：(2-1)输入当前时刻对应图像，对图像进行预处理；(2-2)对预处理后的图像带入CNN联合GRU构建的当前帧预测模型中进行特征点的卷积和池化。其中，构建的模型中CNN在卷积池化部分有三层，反卷积部分两层；GRU为计算单元占一层，位于卷积池化部分与反卷积部分之间。经过大量实验选用的是3×3规格卷积核，以兼顾计算效率和生成图像效果，步长设置为1；卷积池化层一共设置了3层，将最后一层得到的池化图像表示成矩阵变量，以便后续的时序网络计算；(2-3)将卷积池化层得到的矩阵变量送入时序神经网络中进行计算，得到一个预测的参数矩阵；(2-4)将得到的预测参数矩阵送入反卷积层进行上采样，反卷积核采用和卷积池化时使用的卷积核对应的9×9规格，步长设置为3，完成将预测的参数矩阵经反卷积后得到可视化的预测帧。较佳地，所述步骤(3)具体为：(3-1)对原始图像帧以及待填入的预测图像帧统一规格后，利用二维离散高斯卷积核进行高斯金字塔分解，得到两个尺寸规格一样的高斯金字塔图像模型；(3-2)在高斯金字塔基础上，对金字塔内相邻上册图像进行上采样并进行一次卷积，得到高斯-拉普拉斯金字塔图像模型；(3-3)将两个图像金字塔模型融合时，使用加权最优缝合线对处于同一层的两个图像金字塔内对应图像进行逐层融合，该步骤结束后得到一个图像金字塔模型；(3-4)对得到的图像金字塔模型进行重构，从顶层至底层进行反卷积。重构过程即构建图像金字塔的反过程，最终得到的图像即为融合修复完整的图像帧。其中所述加权最优缝合线具体为：在计算最优缝合线时引入3×3的Sobel算子模板用于计算图像的梯度，大致确定缝合线的位置以及走向；再引入2×2的Canny算子模板用于将计算出的梯度值转换成权重，用于确定缝合线的细节以及避免将物体分割在缝合线两边。在对缝合线加权时，边缘区域节点需设置权值为∞，非边缘连接区域节点需带入上述联合算子模板计算得出权值。较佳地，所述步骤(4)具体为：(4-1)在第一帧图像p1完成重构填充过程后，设定复用蒙板帧并将有效面积E1更新为第一帧图像中的有效像素点区域Ω1，将E1区域外的点置为无效点且不可翻转；(4-2)对当前时刻t对应的尚未完成重构填充后的帧，对于Et-1部分外的像素点置为空白；(4-3)生成第t帧图像后更新实际当前蒙版帧有效区域Et，重复(4-2)至(4-3)步骤直至确定出最后一帧对应蒙版帧有效像素点区域En。较佳地，所述步骤(5)具体为：在得到最后一帧对应蒙版帧有效像素点区域En后，按照输入视频长宽尺寸比例，先在En中以最大限度保留原则确定一个面积最大的矩形。然后对确定出的矩形按照长宽增加0.5％的尺寸从第n帧至第1帧倒序裁剪，以最大程度保留视频有效信息，形成稳像修复完成的视频。本专利技术的有益效果包括：(1)本专利技术所述方法步骤2中，提出模型充分考虑并解决了原有图像与缺损填充部分时序不一致的问题，解决了现有方法中可能存在的修复后图像信息仍不完整的问题。(2)本专利技术所述方法步骤3中，该方法有效淡化缺损填充部分与原始部分拼接处的界线，图像填充的更加自然。(3)本专利技术所述方法步骤4中，该方法保证了图像边缘信息的完整性，提升了修复效率。(4)本专利技术消除了现有视频稳像领域中图像修复部分技术的缺陷，可获得更好的稳像效果，实用性较强。附图说明图1是本专利技术所述一种基于时序网络预测与金字塔融合的视频图像修复方法流程示意图。具体实施方式下面结合附图和具体的实施例对本专利技术技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。如图1所示，本专利技术所述基于时序网络预测与金字塔融合的视频稳像图像修复方法主要包括图像预处理部分、时序网络预测部分、金字塔融合部分以及视频裁剪修复部分一共四个部分。下面是本专利技术的所涉及四个部分的具体实现步骤。图像预处理部分：利用额外设定的蒙版帧与原始帧中的有效区域对比以确定是否需要对当前帧视频图像进行修复。在一种较佳的实施方式中，所述图像预本文档来自技高网...

【技术保护点】
1.一种基于时序网络预测与金字塔融合的视频图像修复方法，其特征在于，包括如下步骤：/n(1)利用额外设定的蒙版帧与原始帧中的有效区域对比以确定是否需要对当前帧视频图像进行修复；/n(2)利用神经网络CNN和时序网络GRU对当前帧的应包含的完整图像进行预测并生成；/n(3)将可用于修复填充的完整图像和原始图像通过金字塔分解、最优缝合线融合、图像重构的步骤进行修复；/n(4)对每一帧重构完成的图像进行有效区域检测并刷新蒙版帧待修复区域。循环进行步骤(1)到步骤(4)直接最终帧重构完成；/n(5)根据最终确定的蒙版帧有效区域像素点统一裁剪所有帧完成修复。/n

【技术特征摘要】
1.一种基于时序网络预测与金字塔融合的视频图像修复方法，其特征在于，包括如下步骤：
(1)利用额外设定的蒙版帧与原始帧中的有效区域对比以确定是否需要对当前帧视频图像进行修复；
(2)利用神经网络CNN和时序网络GRU对当前帧的应包含的完整图像进行预测并生成；
(3)将可用于修复填充的完整图像和原始图像通过金字塔分解、最优缝合线融合、图像重构的步骤进行修复；
(4)对每一帧重构完成的图像进行有效区域检测并刷新蒙版帧待修复区域。循环进行步骤(1)到步骤(4)直接最终帧重构完成；
(5)根据最终确定的蒙版帧有效区域像素点统一裁剪所有帧完成修复。


2.根据权利要求1所述的一种基于时序网络预测与金字塔融合的视频图像修复方法，其特征在于，所述步骤(1)具体为：
提出了一种用于优化修复流程的判断检测机制。该判断检测机制结合蒙版帧的有效像素点区域进行。在蒙版帧有效区域内完全包含当前帧内的非空白像素点则可触发修复流程优化机制，跳过视频图像的填充修补过程，直接进行图像的初步裁剪。


3.根据权利要求1所述的一种基于时序网络预测与金字塔融合的视频图像修复方法，其特征在于，所述步骤(2)具体为：
(2-1)输入当前帧图像，对图像进行预处理；
(2-2)对预处理后的图像带入CNN联合GRU构建的当前帧预测模型中进行特征点的卷积和池化。其中，构建的模型中CNN在卷积池化部分有三层，反卷积部分两层；GRU一层，位于卷积池化部分与反卷积部分之间。经过大量实验选用的是3×3规格卷积核，以兼顾计算效率和生成图像效果，步长设置为1；卷积池化层一共设置了3层，将最后一层得到的池化图像表示成矩阵变量，以便后续的时序网络计算；
(2-3)将卷积池化部分得到的矩阵变量送入GRU计算单元中进行计算，得到一个预测的参数矩阵；
(2-4)将得到的预测参数矩阵送入反卷积部分进行上采样，反卷积核采用和卷积池化时使用的卷积核对应的9×9规格，步长设置为3，完成将预测的参数矩阵经反卷积后得到可视化的预测帧。


4.根据权利要求1所述的一种基于时序网络预测与金字塔融合的视频图像修复方法，其特征在于，所述步骤(3)具体为：
(3-1)对...

【专利技术属性】
技术研发人员：成科扬，李世超，
申请(专利权)人：成科扬，李世超，
类型：发明
国别省市：江苏;32