一种融合多种正则化方法提升视频恢复的时域稳定性方法技术

本发明专利技术公开了一种融合多种正则化方法提升视频恢复的时域稳定性方法，属于视频恢复技术领域。所述方法包括以下内容：在使用深度学习做视频恢复时，一个常见的问题就是单帧处理后的图像在时域上出现不一致，针对这个问题，本发明专利技术提出融合多种正则化方法，提高算法鲁棒性。为CNN视频恢复模型加入微变换不变正则化方法、单色图像正则化方法、线性变换一致正则化方法和二次处理不变损失正则化方法，通过以上方法优化和调整神经网络的损失函数，得到更加鲁棒的视频恢复模型，以解决单帧处理后的图像在时域上出现的不一致问题。

A time-domain stability improvement method for video restoration by combining multiple regularization methods

【技术实现步骤摘要】
一种融合多种正则化方法提升视频恢复的时域稳定性方法
本专利技术涉及视频恢复
，尤其涉及一种融合多种正则化方法提升视频恢复的时域稳定性方法。
技术介绍
近些年来，随着互联网的发展和智能终端的普及，图像和视频已成为人类活动中最常用的信息载体。然而，在图像的获取、传输、储存和处理的过程中，总会受到各种退化因素的影响，造成图像质量的退化，对于后续的图像理解和使用造成了极大影响，所以，为了获取高质量图像，需要对视频图像进行恢复处理，尽可能的保持原始信息完整性。所以，视频恢复一直是图像处理和计算机视觉研究的热点。目前做法的局限性在于：目前使用深度学习的方法来减弱或消除退化因素对图像质量的影响，提高图像的清晰度、信噪比和分辨率，已是很常见的做法，然而往往恢复结果在时域稳定性方面不是很理想，往往会出现相邻帧闪动的现象，要解决这一问题，就必须要将反映图像视频本真性质的先验信息融入到复原过程中，以便约束复原方法在本真信号附近的合理区域内寻找最终的恢复结果。
技术实现思路
本专利技术从图像视频复原的正则化优化建模出发，通过加入特定的训练样本和加入不变损失项来优化和调整视频恢复模型的损失函数，提高算法鲁棒性，从而提升图像视频恢复的时域稳定性。1、一种融合多种正则化方法提升视频恢复的时域稳定性方法，具体包括以下内容：（1）给CNN的损失函数加入微变换不变正则项：（1.1）首先筛选一批高清图片，对这批高清图片进行调整。（1.2）然后将调整后的高清图片集加入某种目标失真，得到一批失真的图片集，这批失真的图片集作为神经网络的输入，标签即无噪声的图片。（1.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE（MeanSquareError）为均方误差，Ii为原始高清图片，Yi为输出的无噪图片：。（2）给CNN的损失函数加入单色图像正则项：（2.1）首先筛选一批单色图片，作为CNN的训练集。（2.2）然后为单色图片集加入目标失真，该图片集作为神经网络的输入对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE（MeanSquareError）为均方误差，Y是输出的无噪图片，BW是输入的单色图片：。（3）给CNN的损失函数加入线性变换一致正则项：（3.1）首先筛选一批高清图片作为CNN的训练集，对这批高清图片加入线性变换。（3.2）然后对变换后的图片集加入目标失真，将该图片集作为神经网络的输入。（3.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE(MeanSquareError)为均方误差，其中I0为原始高清图片，Y0为输出的高清图片，It为进行线性变换的图片，Yt为进行线性变换恢复后的图片，L2为L2范数：矩阵中每个元素的平方和的平方根，也可理解为一个大向量的欧式距离：。（4）CNN加入二次处理不变损失项:（4.1）首先筛选一批高清图片作为CNN的训练集，对高清图片加入目标失真，得到一批失真的图片集。（4.2）然后对失真的图片集进行恢复，经过CNN视频恢复模型输出去除失真的高清图片集。（4.3）将这批高清的图片作为输入再次通过相同的视频恢复模型，得到二次处理后的图片,对同一张失真图片两次进行恢复所得到的输出应该相同或相似，即二次处理不变正则项，即Y0和Y'相同或相似。CNN的损失函数如下式：。其中I0为原始高清图片，Y0为输出的高清图片，Y'为二次处理后输出的图片。（5）将需要恢复的图像输入已经训练好的CNN视频恢复模型，所述已经训练好的CNN视频恢复模型是融合了微变换不变正则项、单色图像正则项、线性变换一致正则项和二次处理不变损失项。（6）输出恢复后的高清图片，然后将所有帧融合，得到恢复后的高清视频。本专利技术通过加入特定的训练样本和加入不变损失项来优化和调整视频恢复模型的损失函数，提高算法鲁棒性，从而提升图像视频恢复的时域稳定性。附图说明图1为本专利技术一种融合多种正则化方法提升视频恢复的时域稳定性方法的应用流程图。图2为本专利技术方法（1）的流程图。图3为本专利技术方法（2）的流程图。图4为本专利技术方法（3）的流程图。图5为本专利技术方法（4）的流程图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。下面结合附图对本专利技术作更进一步的说明。1、如图2所示，给CNN的损失函数加入微变换不变正则项：（1）首先筛选一批高清图片，对这批高清图片进行调整，例如给高清图像加入高斯噪声，调整亮度/饱和度等微幅操作。（2）然后将调整后的高清图片集加入某种目标失真，得到一批失真的图片集，这批失真的图片集作为神经网络的输入，标签即无噪声的图片。（3）最后使用这批失真的图片集对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE（MeanSquareError）为均方误差，Ii为原始高清图片，Yi为输出的无噪图片：。2、如图3所示，给CNN的损失函数加入单色图像正则项：（1）首先筛选一批单色图片，例如纯白和纯黑图片，作为CNN的训练集。（2）然后为单色图片集加入目标失真，该图片集作为神经网络的输入对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE(MeanSquareError)为均方误差，Y是输出的无噪图片，BW是输入的单色图片：。3、如图4所示，给CNN的损失函数加入线性变换一致正则项：（1）首先筛选一批高清图片作为CNN的训练集，对这批高清图片加入平移/旋转/缩放等线性变换。（2）然后对变换后的图片集加入目标失真，将该图片集作为神经网络的输入。（3）最后使用这批失真的图片集对CNN视频恢复模型进行训练，CNN的损失函数如下式，其中MSE(MeanSquareError)为均方误差，其中I0为原始高清图片，Y0为输出的高清图片，It为进行线性变换的图片，Yt为进行线性变换恢复后的图片，L2为L2范数：矩阵中每个元素的平方和的平方根，也可理解为一个大向量的欧式距离：。4、如图5所示，CNN加入二次处理不变损失项：（1）首先筛选一批高清图片作为CNN的训练集，对高清图片加入目标失真，得到一批失真的图片集。（2）然后对失真的图片集进行恢复，经过CNN视频恢复模型输出去除失真的高清图片集。（3）将这批高清的图片作为输入再次通过相同的视频恢复模型，得到二次处理后的图片,对同一张失真图片两次进行恢复所得到的输出应该相同或相似本文档来自技高网...

【技术保护点】
1.一种融合多种正则化方法提升视频恢复的时域稳定性方法，针对CNN视频恢复模型的训练数据加入一些先验性质的约束来优化模型的损失函数，以提高相邻图像帧在时域上的一致性，其特征在于，包括以下内容：/n（1）给CNN的损失函数加入微变换不变正则项：/n（1.1）首先筛选一批高清图片，对这批高清图片进行微幅操作，包括加入高斯噪声，调整亮度/饱和度；/n（1.2）然后将微幅操作后的高清图片集加入某种目标失真，得到一批失真的图片集，这批失真的图片集作为神经网络的输入，标签即无噪声的图片；/n（1.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练；/n（2）给CNN的损失函数加入单色图像正则项：/n（2.1）首先筛选一批单色图片，作为CNN的训练集；/n（2.2）然后为单色图片集加入目标失真，该图片集作为神经网络的输入对CNN视频恢复模型进行训练；/n（3）给CNN的损失函数加入线性变换一致正则项：/n（3.1）首先筛选一批高清图片作为CNN的训练集，对这批高清图片加入平移/旋转/缩放等线性变换；/n（3.2）然后对变换后的图片集加入目标失真，将该图片集作为神经网络的输入；/n（3.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练；/n（4）CNN加入二次处理不变损失项：/n（4.1）首先筛选一批高清图片作为CNN的训练集，对高清图片加入目标失真，得到一批失真的图片集；/n（4.2）然后对失真的图片集输入CNN视频恢复模型进行恢复，输出一批高清图片；/n（4.3）将这批高清的图片作为输入再次通过相同的神经网络，得到二次处理后的图片,同一张失真图片两次进行恢复所得到的输出相同或相似，即二次处理不变正则项；/n（5）将需要恢复的图像输入已经训练好的CNN视频恢复模型，所述已经训练好的CNN视频恢复模型是融合了微变换不变正则项、单色图像正则项、线性变换一致正则项和二次处理不变损失项；/n（6）输出恢复后的高清图片，然后将所有帧融合，得到恢复后的高清视频。/n...

【技术特征摘要】
1.一种融合多种正则化方法提升视频恢复的时域稳定性方法，针对CNN视频恢复模型的训练数据加入一些先验性质的约束来优化模型的损失函数，以提高相邻图像帧在时域上的一致性，其特征在于，包括以下内容：
（1）给CNN的损失函数加入微变换不变正则项：
（1.1）首先筛选一批高清图片，对这批高清图片进行微幅操作，包括加入高斯噪声，调整亮度/饱和度；
（1.2）然后将微幅操作后的高清图片集加入某种目标失真，得到一批失真的图片集，这批失真的图片集作为神经网络的输入，标签即无噪声的图片；
（1.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练；
（2）给CNN的损失函数加入单色图像正则项：
（2.1）首先筛选一批单色图片，作为CNN的训练集；
（2.2）然后为单色图片集加入目标失真，该图片集作为神经网络的输入对CNN视频恢复模型进行训练；
（3）给CNN的损失函数加入线性变换一致正则项：
（3.1）首先筛选一批高清图...

【专利技术属性】
技术研发人员：刘佳扬，田超博，刘宇新，朱政，
申请(专利权)人：杭州微帧信息科技有限公司，
类型：发明
国别省市：浙江;33