本发明专利技术属于图像超分辨率技术领域，公开了一种基于信息增益注意力机制实现图像超分辨率方法、系统及介质，采集高分辨率图像，对采集的高分辨率的图像进行下采样得到对应低分辨率图像，并构建训练数据集；构建基于信息增益注意力机制的超分辨率网络，并使用残差块输入前和输入后的特征图之间的差分构建信息增益；利用构建的训练数据集训练基于信息增益注意力机制的超分辨率网络；将任意大小的低分辨率图像输入到训练好的基于信息增益注意力机制的超分辨率网络，进行特定倍率的超分辨率。本发明专利技术提升了超分辨率图像的质量，运行效率更高，因此具有较强的泛用性，可应用到各个有需求的领域。求的领域。求的领域。
【技术实现步骤摘要】
基于信息增益注意力机制实现图像超分辨率方法、系统及介质
[0001]本专利技术属于图像超分辨率
，尤其涉及一种基于信息增益注意力机制实现图像超分辨率方法、系统及介质。
技术介绍
[0002]目前，图像超分辨率是计算机视觉中的经典任务之一，其目标是通过对输入的低分辨率图像进行重建并得到高分辨率图像。它在一些特定的重要领域有广泛的应用价值，比如车牌图像和医学图像的图像超分辨率等。然而，图像超分辨率是一个不适定性的问题，即对于任何低分辨率的像素都有多个可能的高分辨率的解。而基于深度学习的超分辨率方法则可以通过其强大的学习能力来拟合这种复杂的映射过程，在超分辨率任务当中取得了突破性的进展。随着早期的SRCNN算法的提出，后续的一些工作为了更强大的函数映射不断地加强网络的深度。而研究者们发现，对于超分辨率任务，高频细节(纹理和边缘等)的重建的质量往往是超分辨率结果的关键。因此针对高频细节的重建产生了以下两个方面的改进：
[0003]第一种是基于残差学习的方法。这种方法对于低频信息部分直接绕过，迫使网络学习高频信息。具体来说，这种方法会将网络输入得低分辨率图像与网络的输出的结果进行相加。这样在相同训练损失的情况下，网络的训练将视为学习残差项。通过此方法来对高频细节进行针对性的学习，以此提升超分辨率结果的质量。
[0004]另一种方法是基于注意力机制的方法。这种方法通过生成一组注意力权重来提高网络当中富含高频信息的特征图。这种方法会先对输入特征图进行全局池化，然后将池化的特征输入到多层感知机当中并得到一组权重。接下来对这组权重进行归一化压缩可得到对应特征图的注意力。将注意力与对应特征图相乘就可以得到注意力后的结果，而拥有较高注意力的特征图往往富含了更多的高频信息。
[0005]而基于注意力机制的方法存在着一些问题，即注意力生成时的输入是当前的特征图，并且注意力权重作用到的特征图也是当前特征图本身。这种注意力模式称之为自注意力机制。它不能去捕获网络其它多个角度的信息，尤其是从底层级特征图到高层级特征图之间的信息增益，这往往会带来在权重学习上的一些局限，因此也不能为网络整体的超分辨率受益产生更加准确的高频重建结果。此外，由于现有方法是对于特征图注意力的生成往往需要直接对特征图进行全局池化平均，这种直接全局平均会在学习生成中的注意力权重表达时缺乏对高频信息利用；而现有的SAN的方法利用了二阶段注意力模块，这种方法需要引入并迭代计算特征图的协方差矩阵以及特征值，导致运行效率不高。
[0006]通过上述分析，现有技术存在的问题及缺陷为：
[0007]超分辨率网络中的注意力模块只关注当前特征图本身，缺乏对增益信息的利用，进而导致超分辨率后得图象质量不佳，二阶段注意力模块会导致运行效率不高，在实际应用当中不具备普适性。
[0008]解决以上问题及缺陷的难度为：
[0009]1、如何获得这种信息增益使其应用到注意力的生成中。
[0010]2、如何提高基于注意力机制的超分辨率网络的运行效率。
[0011]解决以上问题及缺陷的意义为：
[0012]可以进一步提高注意力机制的准确性，给与超分辨率网络不同频率特征图更准确的权重；在保证优秀超分辨率效果的同时，使得运行效率进一步提高。
技术实现思路
[0013]针对现有技术存在的问题，本专利技术提供了一种基于信息增益注意力机制实现图像超分辨率方法、系统及介质。
[0014]本专利技术是这样实现的，一种基于信息增益注意力机制实现图像超分辨率方法，包括：
[0015]考虑将信息论理论构建信息增益注意力机制的超分辨率网络，通过计算发现低层级特征图信息熵较低高层级特征图信息熵较高。考虑到这一特性，本专利技术将信息增益注意力机制与深度网络结合用于图像超分辨率中；使所述超分辨率网络关注与具有信息增益潜力的特征图，对输入低分辨率图像可进行特定倍率的上采样。
[0016]具体包括：
[0017]步骤一，采集高分辨率图像，对采集的高分辨率的图像进行下采样得到对应低分辨率图像，并构建训练数据集；
[0018]步骤二，构建基于信息增益注意力机制的超分辨率网络，并使用残差块输入前和输入后的特征图之间的差分构建信息增益；
[0019]步骤三，利用构建的训练数据集训练基于信息增益注意力机制的超分辨率网络；
[0020]步骤四，将任意大小的低分辨率图像输入到训练好的基于信息增益注意力机制的超分辨率网络，进行特定倍率的超分辨率。
[0021]进一步，步骤一中，所述采集高分辨率图像，对采集的高分辨率的图像进行下采样得到对应低分辨率图像，并构建训练数据集包括：
[0022]将图像数据集的图像随机裁剪一个固定大小的正方形区域，使用双三次插值法对所述裁剪的图像进行缩小固定倍数，产生小图像用作训练数据，而原始的未被缩小正方形图像块用作标签数据。
[0023]进一步，所述构建基于信息增益注意力机制的超分辨率网络还包括：
[0024]构建一个尺度衰减结构的注意力生成模块，用于不断衰减输入特征图的尺寸大小。
[0025]进一步，所述尺度衰减结构的注意力生成模块包括：卷积层、池化层、卷积层、全局池化层、全连接层以及压缩函数。
[0026]进一步，所述基于信息增益注意力机制的超分辨率网络包括：卷积层、20个残差组、基于子像素卷积的上采样层、卷积层；
[0027]所述每个残差组都包含一个基于信息增益的注意力模块，所述注意力模块用于在每个残差组的第一个残差块的输入即原始特征图以及最后一个残差块的输出即当前特征图之间建立信息增益。
[0028]进一步，步骤三中，所述利用构建的训练数据集训练基于信息增益注意力机制的超分辨率网络包括：
[0029]基于训练数据集用L1损失对超分辨率网络进行训练，采样Adam算法对其进行优化。
[0030]进一步，所述损失函数如下：
[0031]L＝||P
HR
‑
G
θ
(P
LR
)||1；
[0032]其中，G
θ
表示超分辨率网络，P
LR
表示输入的训练图像块，P
HR
表示标签图像块。
[0033]进一步，步骤四中，所述将任意大小的低分辨率图像输入到训练好的基于信息增益注意力机制的超分辨率网络，进行特定倍率的超分辨率包括：
[0034]利用多个残差块对原始特征图进行处理得到当前特征图，对残差块输入前和输出后的特征图之间进行差分得到信息增益；将信息增益输入尺度衰减的注意力生产模块，该模块基于卷积神经网络架构，可以根据输入的信息增益的特征图生成注意力。将生成的注意力与对应特征图相乘提高相应特征图的权重，进行特征图的上采样、卷积处理得到超分辨率图像。
[0035]本专利技术的另一目的在于提供一种实施所述基于信息增益注意力机制实现图像超分辨率方法的基于信息增益注意力机制的图像超分辨率系统，所述基于信息增益注本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.如权利要求1所述基于信息增益注意力机制实现图像超分辨率方法，其特征在于，所述基于信息增益注意力机制实现图像超分辨率方法具体包括：步骤一，采集高分辨率图像，对采集的高分辨率的图像进行下采样得到对应低分辨率图像，并构建训练数据集；步骤二，构建基于信息增益注意力机制的超分辨率网络，并使用残差块输入前和输入后的特征图之间的差分构建信息增益；步骤三，利用构建的训练数据集训练基于信息增益注意力机制的超分辨率网络；步骤四，将任意大小的低分辨率图像输入到训练好的基于信息增益注意力机制的超分辨率网络，进行特定倍率的超分辨率。2.如权利要求1所述基于信息增益注意力机制实现图像超分辨率方法，其特征在于，步骤一中，所述采集高分辨率图像，对采集的高分辨率的图像进行下采样得到对应低分辨率图像，并构建训练数据集包括：将图像数据集的图像随机裁剪一个固定大小的正方形区域，使用双三次插值法对所述裁剪的图像进行缩小固定倍数，产生小图像用作训练数据，而原始的未被缩小正方形图像块用作标签数据；所述构建基于信息增益注意力机制的超分辨率网络还包括：构建一个尺度衰减结构的注意力生成模块，用于不断衰减输入图的尺寸大小。3.如权利要求3所述基于信息增益注意力机制实现图像超分辨率方法，其特征在于，所述尺度衰减结构的注意力生成模块包括：卷积层、池化层、卷积层、全局池化层、全连接层以及压缩函数。4.如权利要求1所述基于信息增益注意力机制实现图像超分辨率方法，其特征在于，所述基于信息增益注意力机制的超分辨率网络包括：卷积层、20个残差组、基于子像素卷积的上采样层、卷积层；所述每个残差组都包含一个基于信息增益的注意力模块，所述注意力模块用于在每个残差组的第一个残差块的输入即原始特征图以及最后一个残差块的输出即当前特征图之间建立信息连接。5.如权利要求1所述基于信息增益注意力机制实现图像超分辨率方法，其特征在于，步骤三中，所述利用构建的训练数据集训练基于信息增益注意力机制的超分辨率网络包括：基于训练数据集用L1损失对超分辨率网络进行训练，采样Adam...
【专利技术属性】
技术研发人员：李革，李庄子，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。