基于深度残差收缩网络和生成对抗网络的去图像运动模糊制造技术

本发明专利技术公开了一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法。该方法包括选取训练数据集并对其进行预处理；基于训练数据集中的模糊图像利用生成网络得到生成图像；将生成图像及其对应清晰图像输入判别网络，得到生成图像属于清晰图像的概率；通过得到的概率来训练判别网络达到预设次数，判断生成网络和判别网络是否达到纳什均衡，若是，生成网络训练完成，采用训练好的生成网络去图像运动模糊，否则训练生成网络后，返回判别网络训练步骤。本发明专利技术为了解决现有技术中去模糊效果不理想、计算开销大、振铃效应明显和泛化能力不足的问题，结合了深度残差收缩网络和生成对抗网络，在解决上述问题的同时还明显提升了去图像运动模糊性能。

【技术实现步骤摘要】
基于深度残差收缩网络和生成对抗网络的去图像运动模糊
本专利技术涉及图像处理领域，尤其涉及一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法。
技术介绍
图像作为重要的信息载体，让受众得到更加直观、高效、客观的视觉化信息。鉴于图像在传播信息时的优点与重要性，图像在各行各业中都扮演着重要的角色。例如：医学图像领域、交通监控领域、军事侦察领域、航天航空领域等等。在这些领域，清晰的图像难以获得，但是往往对决策判断有至关重要的作用。然而，由于各种不确定因素的影响，我们通过设备采集到的图像难免会产生不同程度的失真，通常将这些失真称为图像退化，图像的运动模糊就是一种典型的图像退化现象。运动模糊是指由于在拍摄时相机与被拍摄物体之间发生了相对位移，图像上就会出现运动模糊。恢复运动模糊图像并从中提取有效运动信息有着重要的意义，但实施起来却非常困难，因此图像去运动模糊算法的研究有重要价值。为了提高图像的质量，可以通过硬件和软件这两方面去改进。由于在硬件方面改进花费的成本太高而且技术上难以实现，所以大多都从软件算法方面对图像进行处理。国内外研究者在图像去运动模糊的研究方面已开展了大量的工作并取得了较大的进展,但是仍存在以下问题：第一：去模糊效果不理想。去模糊效果由主观评价指标和客观评价指标来体现。目前有研究将生成对抗网络与残差网络相结合，但是该算法没有对图像的噪声进行处理，使得去模糊的结果受噪声的影响较大，所以最终得到的去运动模糊图像无论在主观评价指标还是客观评价指标上表现都很一般。第二：计算开销较大。在图像去运动模糊算法的研究中，很多学者通过加深网络来提升算法去模糊的效果，取得了不错的效果。然而，这使得网络算法复杂度较高，需要大量的计算，需要消耗大量的时间，尽管图像的去模糊效果得到了一定的提升，但忽视了算法的运行速度，实用价值较低。第三：振铃效应明显。有大量研究者使用深度学习的方法先对模糊核进行估计，然后再利用经典算法结合估计好的模糊核来得到去模糊图像。此类算法不仅步骤繁琐，而且会因为模糊核估计不准确而出现振铃效应。因为在进行经典算法时，输出信号在输入信号快速转换的边缘附近出现了有一定衰减速度的震荡。第四：泛化能力不足。有大量研究者用的数据集是自己生成的数据集，他们将自己制造的运动模糊核卷积上清晰图像，形成清晰-模糊图像对，所以会存在许多人为制造的先验信息，并且人为制造的数据集很难模仿实际生活中产生的运动模糊，从而使得所训练出来的网络只是针对某一类模糊图像的复原效果较好，但是泛化能力低。
技术实现思路
针对现有技术中的上述不足，本专利技术提供了一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法。为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，包括以下步骤：S1、选取训练数据集并对其进行预处理；S2、基于步骤S1预处理后的训练数据集中的模糊图像，利用生成网络得到生成图像；S3、将步骤S2得到的生成图像及其对应清晰图像输入判别网络，得到生成图像属于清晰图像的概率；S4、通过步骤S3得到的概率来训练判别网络，判断判别网络训练次数是否达到预设次数，若是，执行步骤S5，否则返回步骤S3；S5、利用步骤S4训练好的判别网络得到生成图像属于清晰图像的概率；S6、判断生成网络和判别网络是否达到纳什均衡，若是，执行步骤S8，否则执行步骤S7；S7、通过步骤S5得到的概率来训练生成网络，将判别网络训练次数清零后返回步骤S2；S8、采用训练好的生成网络去图像运动模糊。本专利技术具有以下有益效果：本专利技术结合了深度残差收缩网络和生成对抗网络，采用了“端到端”的深度学习算法实现去图像运动模糊，即输入一张模糊图像，输出对应的去运动模糊图像，这一过程避免了估计模糊核，也不需要做逆卷积操作，能够有效规避振铃效应，同时使算法步骤更简单，相较于现有技术中的去图像运动模糊方法，在运行时间差不多的同时，拥有了更好的性能，在训练网络时采用了交替训练的方法，这样的设计就使得判别网络与生成网络都在不断地更新，直到生成网络生成的数据与真实样本无差别,判别网络也无法正确的区分生成数据和真实数据。生成网络的参数更新不是直接来自数据样本,而是使用来自判别网络的反向传播。优选地，步骤S1具体包括：选取GoPro数据集作为训练数据集，将其中的模糊-清晰图像对按预设比例分为训练集和测试集，采用最邻近图像插值法将所有图像分辨率从1280×720转化为256×256。该优选方案具有以下有益效果：本专利技术采用公开数据集-GoPro数据集来对模型进行训练。为了使图像更真实、贴切，该数据集是通过真实拍摄的形式来模拟模糊图像的产生过程，并非是以清晰图像卷积上模糊核的传统方法来对模糊图像进行算法合成。具体是通过一个高速摄像头来快速捕捉拍摄一系列的清晰图像，每张图片之间的拍摄间隔都非常短，拍摄完成后将这些一连串的清晰图像融合后得到模糊的图像，对应的清晰图像就取中间那一帧。解决了现有技术中的去图像运动模糊方法泛化能力不强的问题。优选地，步骤S2包括以下分步骤：S21、随机采样步骤S1预处理后的训练数据集中的模糊图像得到输入图像IB，并将其输入生成网络；S22、对输入图像IB进行边缘镜像填充；S23、通过1个7×7卷积块、2个3×3卷积块和深度残差收缩网络对镜像填充后的输入图像IB进行输入图像特征提取；S24、对步骤S23得到的特征图进行上采样后，再进行边缘镜像填充；S25、使二次边缘镜像填充后的输入图像IB经过1个7×7卷积层，得到图像IR；S26、通过全局连接使输入图像IB和图像IR相加得到生成图像IS。该优选方案具有以下有益效果：现有技术中的许多图像去运动模糊算法，大多为了提高客观评价指标，而忽略了主观评价。许多去运动模糊结果虽然在客观评价指标上表现较好，但是并不符合人眼的审美标准。由于人眼对于纹理信息比较敏感，所以本专利技术采用了生成对抗网络，该网络在保留图像纹理信息上表现很好。同时结合深度残差收缩网络，与深度残差网络相比，该网络能够自动设置阈值，再软阈值化去除冗余信息和噪声信息。同时结合了深度残差网络学习残差的特性，而不是学习一个完整的输出，这样就更容易优化网络。使得去运动模糊的效果在客观评价指标上依然表现优异。优选地，步骤S23中的深度残差收缩网络的处理过程包括以下分步骤：S231、将输入通过两个由批归一层、ReLU激活函数层和卷积层构成的卷积块后，对其求绝对值；S232、对求绝对值后的输入通过全局均值池化得到特征A；S233、将全局均值池化后的特征图输入到一个以Sigmod函数为最后一层的小型全连接网络中，将输出归一化到0和1之间，获得系数α；S234、将阈值表示为α×A，基于阈值采用软阈值处理去掉步骤S231求绝对值后的输入的部分冗余信息和噪声信息；S235、将输入与去掉冗余信息后的步骤S231的输出本文档来自技高网...

【技术保护点】
1.一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，包括以下步骤：/nS1、选取训练数据集并对其进行预处理；/nS2、基于步骤S1预处理后的训练数据集中的模糊图像，利用生成网络得到生成图像；/nS3、将步骤S2得到的生成图像及其对应清晰图像输入判别网络，得到生成图像属于清晰图像的概率；/nS4、通过步骤S3得到的概率来训练判别网络，判断判别网络训练次数是否达到预设次数，若是，执行步骤S5，否则返回步骤S3；/nS5、利用步骤S4训练好的判别网络得到生成图像属于清晰图像的概率；/nS6、判断生成网络和判别网络是否达到纳什均衡，若是，执行步骤S8，否则执行步骤S7；/nS7、通过步骤S5得到的概率来训练生成网络，将判别网络训练次数清零后返回步骤S2；/nS8、采用训练好的生成网络去图像运动模糊。/n

【技术特征摘要】
1.一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，包括以下步骤：
S1、选取训练数据集并对其进行预处理；
S2、基于步骤S1预处理后的训练数据集中的模糊图像，利用生成网络得到生成图像；
S3、将步骤S2得到的生成图像及其对应清晰图像输入判别网络，得到生成图像属于清晰图像的概率；
S4、通过步骤S3得到的概率来训练判别网络，判断判别网络训练次数是否达到预设次数，若是，执行步骤S5，否则返回步骤S3；
S5、利用步骤S4训练好的判别网络得到生成图像属于清晰图像的概率；
S6、判断生成网络和判别网络是否达到纳什均衡，若是，执行步骤S8，否则执行步骤S7；
S7、通过步骤S5得到的概率来训练生成网络，将判别网络训练次数清零后返回步骤S2；
S8、采用训练好的生成网络去图像运动模糊。


2.如权利要求1所述的一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，所述步骤S1具体包括：
选取GoPro数据集作为训练数据集，将其中的模糊-清晰图像对按预设比例分为训练集和测试集，采用最邻近图像插值法将所有图像分辨率从1280×720转化为256×256。


3.如权利要求2所述的一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，所述步骤S2包括以下分步骤：
S21、随机采样所述步骤S1预处理后的训练数据集中的模糊图像得到输入图像IB，并将其输入生成网络；
S22、对输入图像IB进行边缘镜像填充；
S23、通过1个7×7卷积块、2个3×3卷积块和深度残差收缩网络对镜像填充后的输入图像IB进行输入图像特征提取；
S24、对步骤S23得到的特征图进行上采样后，再进行边缘镜像填充；
S25、使二次边缘镜像填充后的输入图像IB经过1个7×7卷积层，得到图像IR；
S26、通过全局连接使输入图像IB和图像IR相加得到生成图像IS。


4.如权利要求3所述的一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，所述步骤S23中的深度残差收缩网络的处理过程包括以下分步骤：
S231、将输入通过两个由批归一层、ReLU激活函数层和卷积层构成的卷积块后，对其求绝对值；
S232、对求绝对值后的输入通过全局均值池化得到...

【专利技术属性】
技术研发人员：蒋文波，刘安顺，李潘，卜云，宋潇潇，郭奕，刘霞，付钱华，黄永茂，
申请(专利权)人：西华大学，
类型：发明
国别省市：四川;51