一种基于生成对抗网络的图像超分辨率算法制造技术

一种基于生成对抗网络的图像超分辨率算法，具有两个主要模块：生成网络与判别网络，生成网络要将模糊的低分辨率图像作为输入，并输出一个高分辨率的清晰图像。判别网络则要判断输入图像是真实图像还是生成网络生成的图像，生成网络得到判别网络的反馈之后继续进行图像生成，直到判别网络无法准确区分真实图像与生成图像，即达到理想的纳什均衡状态。从而实现将低分辨率图像转化为高分辨率图像。现将低分辨率图像转化为高分辨率图像。现将低分辨率图像转化为高分辨率图像。

【技术实现步骤摘要】
一种基于生成对抗网络的图像超分辨率算法


[0001]本专利技术涉及图像超分辨率领域，尤其涉及一种基于GAN(生成对抗网络)的图像超分辨率算法。

技术介绍

[0002]图像超分辨率（Super Resolution, SR）是将低分辨率（Low Resolution，LR）图像通过一定算法提升到高分辨率（High Resolution，HR）的技术。随着数字成像技术在卫星遥感、生物医疗、公共安全等领域的广泛应用，人们对数字图像质量的要求也越来越高，现有成像设备的分辨率往往不能满足实际需求。图像超分辨率重建技术能够在不改变现有成像设备的前提下，只采用合适的数字信号处理方法，即可提升图像的分辨率，在成本和易用性上具有很大的优势，因此近年来受到了广泛的关注。如今，神经网络技术的应用范围不断扩大，使用神经网络技术进行超分辨率重建具有较为重大的理论意义。
[0003]图像超分辨重建技术于 20 世纪 60 年代由 Harris 首次提出，传统图像超分辨率方法有基于插值的方法、基于重建的方法与基于学习的方法。其中基于插值的方法具有最简单的计算过程与最低的计算复杂度，经典方法包括最近邻插值、双线性插值和双三次插值；基于重建的方法也称为基于模型的方法，通常分为建模与重建两个步骤，经典方法包括迭代反投影法、凸集投影法与最大后验概率估计法。Dong 最早提出基于深度网络学习的方法，基于卷积神经网络的图像超分辨率方法：SRCNN（超分辨率卷积神经网络），这是首次使用深度学习解决图像超分辨率问题，之后不断有学者对其进行优化与改进。r/>[0004]但是，现有的利用卷积神经网络对图像进行超分辨率重建的方法在一定程度上损失了图像的信息,而损失掉的图像信息使得重建效果受到限制，影响了重建效果。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术一种基于生成对抗网络的图像超分辨率算法，本算法具有两个主要模块：生成网络与判别网络，生成网络要将模糊的低分辨率图像作为输入，并输出一个高分辨率的清晰图像。判别网络则要判断输入图像是真实图像还是生成网络生成的图像，生成网络得到判别网络的反馈之后继续进行图像生成，直到判别网络无法准确区分真实图像与生成图像，即达到理想的纳什均衡状态。从而实现将低分辨率图像转化为高分辨率图像。
[0006]一种基于生成对抗网络的图像超分辨率算法，具体步骤为：（1）生成网络模块设计：输入的LR图像先经过一个采用ReLU函数做激活函数的卷积层，之后使用三个密集模块即dense block；在dense block 之间分别加入结构为BN层即批量归一化层，卷积核大小为1x1的卷积层，以及一个2x2的全局池化层，这三个层组成传输层，传输层可以优化dense block输出的通道的数量；在第三个dense block 之后加上两个上采样层，上采样层采用亚像素卷积层来实现，每层将图像放大两倍，共放大四倍，最后通过一层卷积层将输出通道变
block输出的通道的数量；在第三个dense block 之后加上两个上采样层，上采样层采用亚像素卷积层来实现，每层将图像放大两倍，共放大四倍，最后通过一层卷积层将输出通道变为3，输出最终图像；（2）判别网络模块设计：判别网络相当于一个特征提取模块，激活函数选用 leak ReLU 函数，由四层卷积层组成；除在输入层之后不添加BN 层外，在之后的三层卷积之后都添加 BN 层，最后卷积降维到1，接入 sigmoid激活函数即s型函数，输出对输入图像的判断结果；判别网络能够准确判断输出，对于输入的真实图像输出判别概率为真（1），对输入的生成图像判别概率为假（0）；随着训练的进行；(3) 损失函数的设计与优化：对生成网络定义的损失函数采用 GAN 网络的通用方法，生成网络损失函数见公式(1)：其分为两部分之和，是重建损失，也即 MSE函数，是对抗损失，其计算方法是计算判别网络返回的概率（0~1之间的值）与理想值1 之间的交叉熵，并在后者之前添加一个权值，以控制两类损失对于总损失的影响，初始值设为；判别网络损失函数见公式（2），其中是对输入真实图像（real）输出概率与理想值（1）的交叉熵，是输入生成图像（fake）输出概率与理想值（0）的交叉熵。
[0010] 图3与图4中展示了生成模块与判别模块的网络结构，图2中的dense block 的细节如图1中所示，图4中在经过三个卷积层与BN层后，利用密集层（dense层）来降低数据的维度，最后得到判别网络的输出。
[0011]将训练数据输入到生成网络中，将得到的输出数据与真实数据一起放入到判别网络中，如图1所示。Loss函数的优化可以采用Adam算法，初始学习率设为0.0001，训练过程中学习率的下降可以采用余弦函数下降法来得到较好的结果。
[0012]根据现有的数据集，可采用将现有的高清图片数据降低分辨率，或者直接使用128
×
128分辨率的图像进行训练，在神经网络搭建过程中，选择谷歌开源的Tensorflow实现。由于由于 GAN 网络本身存在的缺陷，在实现过程中很难达到最理想状态，也即纳什均衡状态，具体表现为其在训练中十分不稳定，计算损失时高时低，而且训练最终也不一定能达到最低点，收敛不是很彻底，并且还可能出现模式崩溃（model collapse）问题，导致训练效果非常差，即使增加训练时间也无法改善，可以尝试使用转置卷积替换亚像素卷积进行上采样，亚像素卷积虽然被称为卷积，实际上没有卷积操作，而卷积在提取图像特征方面发挥着重要作用，所以使用转置卷积进行上采样也许会达到更好的效果。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的图像超分辨率算法，其特征在于：具体步骤为：（1）生成网络模块设计：输入的LR图像先经过一个采用ReLU函数做激活函数的卷积层，之后使用三个密集模块即dense block；在dense block 之间分别加入结构为BN层即批量归一化层，卷积核大小为1x1的卷积层，以及一个2x2的全局池化层，这三个层组成传输层，传输层可以优化dense block输出的通道的数量；在第三个dense block 之后加上两个上采样层，上采样层采用亚像素卷积层来实现，每层将图像放大两倍，共放大四倍，最后通过一层卷积层将输出通道变3，输出最终图像；（2）判别网络模块设计：判别网络相当于一个特征提取模块，激活函数选用 leak ReLU 函数，由四层卷积层组成；除在输入层之后不添加BN 层外，在之后的三层卷积之后都添加 ...

【专利技术属性】
技术研发人员：徐江涛，路凯歌，史兴萍，常宇慧，于子涵，
申请(专利权)人：天津大学青岛海洋技术研究院，
类型：发明
国别省市：