超分辨率图像重构方法、系统、计算机设备及存储介质技术方案

本发明专利技术公开了一种超分辨率图像重构方法、系统、计算机设备及存储介质，所述方法包括：将轻量化网络的倒置残差块中的批量归一化层移除，并使用Swish函数作为激活函数，倒置残差块包括扩张卷积层、深度可分离卷积层和压缩卷积层；根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络；根据稠密网络，构建判别器网络；根据生成器网络和判别器网络，构建生成对抗神经网络；利用训练集对生成对抗神经网络进行训练；利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。本发明专利技术可以解决在实时检测算法中加入基于生成对抗神经网络超分辨率图像重构技术，造成严重延时和模型占用空间大等问题。

Super-resolution image reconstruction method, system, computer equipment and storage medium

【技术实现步骤摘要】
超分辨率图像重构方法、系统、计算机设备及存储介质
本专利技术涉及一种超分辨率图像重构方法、系统、计算机设备及存储介质，属于深度学习和图像处理领域。
技术介绍
超分辨率图像重构技术,是指从一副或多幅低分辨率图像中重构出相应的高分辨率图像，该技术可以在现有硬件环境不改变的情况下，在低分辨率图像基础上，利用图像的先验信息重构出相对清晰的高分辨率图像，在刑事侦查、医学影像、天文观测和影视娱乐等领域都具有十分重要的应用价值，同时该技术也可用于马赛克图片的恢复和相关人脸识别的应用场景中。目前运用相对广泛的超分辨率图像重构技术主要有以下三类：基于图像插值的方法、基于图像重建的方法以及基于学习的方法。基于图像插值的方法，主要有双线性插值(Bilinear)、最近邻插值(NearestNeighbor)和双三次插值(Bicubic)及其衍生，此类方法虽然处理速度快，同时能有效增加图像的分辨率，但是生成的图像过于模糊，细节丢失严重；基于图像重建的方法在恢复图像高频信息方面取得了良好的进展，但是此类方法在处理一些复杂图像(例如人脸)时效果不佳；基于学习的方法能够利用训练样本所提供的先验信息推导从低分辨率图像重构出高分辨率图像所需要的高频细节信息，例如稀疏表达、局部线性嵌入和基于主成分分析的线性约束等，此类方法相较于前面两类在图像重构的质量上有所提高。随着2012年，深度学习模型Alexnt的问世，基于深度学习的方法目前已经在众多领域都得到了广泛的应用，同时在超分辨率图像重构领域运用深度学习的方法也越来越受到了人们的重视。在基于卷积神经网络的方法中，SRCNN方法将基于深度学习的方法与超分辨率图像重构技术相结合，先使用双三次插值将低分辨率图像放大成目标尺寸，再通过三层卷积层拟合非线性映射，最后输出高分辨率图像结果。FSRCNN的方法对图像在低分辨率空间进行重构，相比SRCNN的方法，FSRCNN的网络复杂度有所下降，同时也提高了网络的训练速度。基于卷积神经网络的超分辨率图像重构方法所得的结果虽然有较高的信噪比，但图像缺少高频信息，在细节上缺乏真实感，所以会出现过度平滑的纹理。近几年，生成对抗神经网络(GenerativeAdversarialNetworks，GAN)在图像修复领域取得了重大突破，由生成对抗网络产生的图像具有更加逼真的视觉效果，但现有大部分基于生成对抗神经网络的超分辨率图像重构算法运用在一些实时观测相关场景中，比如实时人脸识别考勤，容易造成严重延时、卡顿厉害和模型占用空间大等问题。
技术实现思路
有鉴于此，本专利技术提供了一种超分辨率图像重构方法、系统、计算机设备及存储介质，其通过将改进的轻量化网络的倒置残差块作为生成器网络主体，以及将稠密网络的稠密连接块作为判别器网络核心，以解决在实时检测算法中加入基于生成对抗神经网络超分辨率图像重构技术，造成严重延时和模型占用空间大等问题。本专利技术的第一个目的在于提供一种超分辨率图像重构方法。本专利技术的第二个目的在于提供一种超分辨率图像重构系统。本专利技术的第三个目的在于提供一种计算机设备。本专利技术的第四个目的在于提供一种存储介质。本专利技术的第一个目的可以通过采取如下技术方案达到：一种超分辨率图像重构方法，所述方法包括：将轻量化网络的倒置残差块中的批量归一化层移除，并使用Swish函数作为激活函数；其中，所述倒置残差块包括依次连接的扩张卷积层、深度可分离卷积层和压缩卷积层；根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络；根据稠密网络，构建判别器网络；其中，所述稠密网络包括多组依次连接的稠密连接块；根据生成器网络和判别器网络，构建生成对抗神经网络；获取多张样本图像作为训练集；利用训练集对生成对抗神经网络进行训练；利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。进一步的，所述利用训练集对生成对抗神经网络进行训练，具体包括：对训练集的样本图像使用双三次插值下采样，获得低分辨率图像；将低分辨率图像输入生成对抗神经网络的生成器网络，对生成对抗神经网络进行训练。进一步的，所述生成对抗神经网络的训练损失函数包括生成器损失函数和判别器损失函数。进一步的，所述生成器损失函数的表达式如下：LG＝Lmse+Ladv其中，LG表示生成器网络总体损失，Lmse表示均方误差损失，Ladv表示对抗损失；所述均方误差损失的表达式如下：其中，W和H分别表示图像的宽和高，IHR表示原始高分辨率图像，ILR表示低分辨率图像，表示生成器得到的高分辨率图像，θG表示生成器的模型参数，即权重和偏置值，x和y表示对应像素位置坐标；所述对抗损失的表达式如下：其中，N表示训练样本数量，表示判别器判定生成器得到的图像表示高分辨率图像的概率值，θG表示生成器的模型参数，θD表示判别器的模型参数。进一步的，所述判别器损失函数的表达式如下：其中，W和H分别表示特征图的宽和高，IHR表示原始高分辨率图像，ILR表示低分辨率图像，表示生成器得到的高分辨率图像，θG表示生成器的模型参数，即权重和偏置值，x和y表示对应像素位置坐标，φ表示稠密网络最后一组稠密连接块输出的特征图。进一步的，所述深度可分离卷积层包括深度卷积层和逐点卷积层，其中深度卷积层对每个输入通道应用单通道的轻量级滤波器，所述逐点卷积层负责计算输入通道的线性组合，构成新的特征。进一步的，每组稠密连接块中的一个稠密连接块包括依次连接的1X1卷积层、第一Swish函数层、第一批量归一化层、3X3卷积层、第二Swish函数层和第二批量归一化层，其中1X1卷积层用于对上层输出数据压缩。本专利技术的第二个目的可以通过采取如下技术方案达到：一种超分辨率图像重构系统，所述系统包括：倒置残差块处理模块，用于将轻量化网络的倒置残差块中的批量归一化卷积层移除，并使用Swish函数作为激活函数；其中，所述倒置残差块包括依次连接的扩张卷积层、深度可分离卷积层和压缩卷积层；生成器网络构建模块，用于根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络；判别器网络构建模块，用于根据稠密网络，构建判别器网络；其中，所述稠密网络包括多组依次连接的稠密连接块；神经网络构建模块，用于根据生成器网络和判别器网络，构建生成对抗神经网络；获取模块，用于获取多张样本图像作为训练集；训练模块，用于利用训练集对生成对抗神经网络进行训练；图像重构模块，用于利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。本专利技术的第三个目的可以通过采取如下技术方案达到：一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的超分辨率图像重构方法。本专利技术的第四个目的可以通过采取如下技术方案达本文档来自技高网...

【技术保护点】
1.一种超分辨率图像重构方法，其特征在于，所述方法包括：/n将轻量化网络的倒置残差块中的批量归一化层移除，并使用Swish函数作为激活函数；其中，所述倒置残差块包括依次连接的扩张卷积层、深度可分离卷积层和压缩卷积层；/n根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络；/n根据稠密网络，构建判别器网络；其中，所述稠密网络包括多组依次连接的稠密连接块；/n根据生成器网络和判别器网络，构建生成对抗神经网络；/n获取多张样本图像作为训练集；/n利用训练集对生成对抗神经网络进行训练；/n利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。/n

【技术特征摘要】
1.一种超分辨率图像重构方法，其特征在于，所述方法包括：
将轻量化网络的倒置残差块中的批量归一化层移除，并使用Swish函数作为激活函数；其中，所述倒置残差块包括依次连接的扩张卷积层、深度可分离卷积层和压缩卷积层；
根据处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网络；
根据稠密网络，构建判别器网络；其中，所述稠密网络包括多组依次连接的稠密连接块；
根据生成器网络和判别器网络，构建生成对抗神经网络；
获取多张样本图像作为训练集；
利用训练集对生成对抗神经网络进行训练；
利用训练后的生成对抗神经网络对待处理图像进行超分辨率图像重构。


2.根据权利要求1所述的超分辨率图像重构方法，其特征在于，所述利用训练集对生成对抗神经网络进行训练，具体包括：
对训练集的样本图像使用双三次插值下采样，获得低分辨率图像；
将低分辨率图像输入生成对抗神经网络的生成器网络，对生成对抗神经网络进行训练。


3.根据权利要求1所述的超分辨率图像重构方法，其特征在于，所述生成对抗神经网络的训练损失函数包括生成器损失函数和判别器损失函数。


4.根据权利要求3所述的超分辨率图像重构方法，其特征在于，所述生成器损失函数的表达式如下：
LG＝Lmse+Ladv
其中，LG表示生成器网络总体损失，Lmse表示均方误差损失，Ladv表示对抗损失；
所述均方误差损失的表达式如下：



其中，W和H分别表示图像的宽和高，IHR表示原始高分辨率图像，ILR表示低分辨率图像，表示生成器得到的高分辨率图像，θG表示生成器的模型参数，即权重和偏置值，x和y表示对应像素位置坐标；
所述对抗损失的表达式如下：



其中，N表示训练样本数量，表示判别器判定生成器得到的图像表示高分辨率图像的概率值，θG表示生成器的模型参数，θD表示判别器的模型参数。


5.根据权利要求3所述的超分辨率图像重构方法，其特征在于，所述判别器损失函数的表达式如下：

【专利技术属性】
技术研发人员：曾凡智，邹磊，周燕，邱腾达，陈嘉文，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东;44