一种基于图表示学习的图像超分辨率重建装置及方法制造方法及图纸

本发明专利技术涉及人工智能技术领域，具体而言，一种基于图表示学习的图像超分辨率重建装置及方法本发明专利技术将图表示学习与通道空间注意力结合起来，该网络利用自注意机制自适应地学习不同深度、通道和位置之间的全局依赖关系；具体来说，层特征注意力模块捕获了层与层之间的长距离依赖关系；同时，通道空间注意力模块将通道和上下文信息整合到每层中；将这两个注意模块协同应用于多层次特征，然后可以捕获更多信息丰富的特征，从而提高网络对特征的辨析学习能力，进而提高了通道注意力残差组图像超分辨率重建质量。辨率重建质量。

【技术实现步骤摘要】
一种基于图表示学习的图像超分辨率重建装置及方法


[0001]本专利技术涉及人工智能
，具体而言，涉及一种基于图表示学习的图像超分辨率重建装置及方法。

技术介绍

[0002]图像超分辨率重建技术旨在克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下等问题。目前常见的超分辨率重建方法有三类：基于插值、基于重建和基于学习的方法。基于学习的方法在效率与重建质量上明显优于其他两类方法，获得了学术界和工业界的广泛关注。
[0003]现有的基于深度学习的图像超分辨率重建方法主要集中于更广泛或更深层次的架构设计上，忽略了图像本身的细节信息以及特征之间的潜在关系。近年来，一些研究人员开始用图表示学习探索图像超分辨率重建问题。但是，近年来运用图表示学习处理超分辨率重建问题局限于对整个图像进行信息处理或者是同一层不同特征图像之间的关系处理，忽略了不同层提取特征之间的相互依赖关系，并且传统的卷积神经网络模型中，没有同时兼顾通道维度信息和空间尺度信息，不利于提取更深层次的图像特征。
[0004]基于此，提出了层特征图注意力模块用来捕捉不同层特征之间的相互依赖关系，同时在模型中嵌入了空间聚合模块与通道注意力残差模块，使模型在考虑到不同层提取特征之间相互依赖关系的基础上还兼顾到了通道维度信息与空间尺度信息，从而提高了模型的表达能力，使得重建出的高分辨率图像具有更好的图像细节。

技术实现思路

[0005]本专利技术的目的在于提供一种基于图表示学习的图像超分辨率重建装置及方法，用以实现提高图像超分辨率重建质量的技术效果。
[0006]一种基于图表示学习的图像超分辨率重建装置，包括：
[0007]S1.输入模块，准备数据集，根据图像退化模型建立训练集，得到m个低分辨率图像和m个高分辨率图像，其中m个高分辨率图像对应真实高分辨率图像；m为大于1的整数；
[0008]S2.浅层特征提取模块(100)，将所述低分辨率图像输入到浅层特征提取模块提取图像的浅层特征；
[0009]S3.深层特征提取模块(200)，将浅层特征输入到深层特征提取模块提取深层特征；
[0010]S4.重建模块(300)，将所述深层特征输入重建模块，进行亚像素卷积完成上采样处理并重建出高分辨率图像；
[0011]S5.装置优化模块，通过损失函数对所述图像超分辨率重建装置进行优化，使用所述S1中的数据集，计算m个重建出的高分辨率图像与对应的真实高分辨率图像间的平均L1误差，表达式为：
[0012][0013]式中，L(Θ)表示损失函数，H
FSGCN
表示所述图像超分辨率重建装置的功能函数；
[0014]S6.输出模块，根据S5训练得到的最优模型，输入低分辨率图像后，系统输出最终的高分辨率图像。
[0015]进一步，所述深层特征提取模块包括若干个通道注意力残差块组成的残差组、一个层特征图注意力模块、一个空间注意力模块以及一个特征融合模块，所述S3包括：
[0016]S31.通过若干个串联的通道注意力残差块(211)组成的残差组(210)对所述浅层特征进行提取，得到不同深度的特征；
[0017]S32.通过所述层特征图注意力模块(220)学习不同层特征之间的相互关系；
[0018]S33.通过所述空间注意力模块(230)使得感兴趣的区域更显著；
[0019]S34.通过特征融合模块将所述浅层特征和所述融合特征进行相加，得到对应的深层特征。
[0020]所述层特征图注意力模块包括特征组合模块、计算特征关系构图以及特征更新模块，
[0021]所述S32包括：
[0022]通过所述S31得到的不同深度的特征进行组合；
[0023]通过特征关系计算不同特征之间的关系，通过设定阈值来构建残差特征之间的图结构，再经过图注意力更新特征。
[0024]所述空间注意力模块包括特征降维模块、特征处理模块、特征更新模块，所述33包括：
[0025]通过所述S31得到的不同深度的特征进行降维处理；
[0026]通过特征处理提取特征信息，然后进行特征升维处理；
[0027]通过特征更新模块，计算不同特征的注意力系数，赋予特征新的表示。
[0028]所述特征更新模块包括计算注意力系数与加权求和(240)；所述特征更新模块的步骤包括：
[0029]通过所述计算特征关系构图得出图结构以及各个节点之间边的系数；
[0030]通过Softmax对各个节点之间边的系数做注意力系数归一化；
[0031]通过计算好的注意力系数，把特征加权求和，完成对特征的更新，用Concat层拼接后，与S31得到的特征、S33得到的特征和浅层特征相加，最后经过一个1
×
1的卷积层进行降维。
[0032]一种基于图表示学习的图像超分辨率重建方法，包括：浅层特征提取模块、深层特征提取模块和重建模块；
[0033]所述浅层特征提取模块用于从输入的低分辨率图像中提取浅层特征；
[0034]所述深层特征提取模块包括由若干个通道注意力残差块组成的残差组、一个层特征图注意力模块、一个空间注意力模块和一个特征融合模块；所述残差组从所述浅层特征中提取不同深度的特征，然后对所述特征进行融合，得到对应的融合特征；所述层特征图注意力模块通过获取每一块残差组的特征用来构图，计算得到不同块特征之间的相关性；所述空间注意力模块是对前面若干个残差组提取特征的空间聚合，使图像感兴趣的区域更受
关注；通过特征融合模块将所述浅层特征与残差组特征、层特征图注意力模块特征、空间注意力模块特征融合相加得到对应的深层特征；
[0035]所述重建模块用于将所述深层特征进行上采样和特征重构输出最终的高分辨率图像；
[0036]所述基于图表示学习的图像超分辨率重建方法包括若干个所述残差组，每个所述残差组包括若干个通道注意力残差块，所述通道注意力残差块输出通道为64个特征图；且各个所述通道注意力残差块串联设置；所述残差组中各个通道注意力残差块的输出为下一个通道注意力残差块的输入；所述通道注意力残差块包括两个3
×
3的卷积层、一个计算层、一个全局池化层和一个Sigmoid层，旨在为对应的特征图获取注意力权重；所述卷积层是为了提取特征；所述计算层将各个通道的输出进行累加；然后通过所述全局池化层，与所述Sigmoid层进行相乘，得到对应的特征；最终输入到下一个通道注意力残差块进行特征提取。
[0037]所述基于图表示学习的图像超分辨率重建方法包括层特征图注意力模块；所述层特征图注意力模块的输入为若干个不同残差组提取的特征；不同组提取的特征作为输入经过图注意力为不同组提取的特征分配一个权重并与之相乘，最终输出一个多维向量与模型尾部的输出进行特征融合。
[0038]所述基于图表示学习的图像超分辨率重建方法包括空间注意力模块；所述空间注意力模块的输入为若干个不同残差组提取的特征，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图表示学习的图像超分辨率重建装置，其特征在于，包括：S1.输入模块，准备数据集，根据图像退化模型建立训练集，得到m个低分辨率图像和m个高分辨率图像，其中m个高分辨率图像对应真实高分辨率图像；m为大于1的整数；S2.浅层特征提取模块(100)，将所述低分辨率图像输入到浅层特征提取模块提取图像的浅层特征；S3.深层特征提取模块(200)，将浅层特征输入到深层特征提取模块提取深层特征；S4.重建模块(300)，将所述深层特征输入重建模块，进行亚像素卷积完成上采样处理并重建出高分辨率图像；S5.装置优化模块，通过损失函数对所述图像超分辨率重建装置进行优化，使用所述S1中的数据集，计算m个重建出的高分辨率图像与对应的真实高分辨率图像间的平均L1误差，表达式为：式中，L(Θ)表示损失函数，H
FSGCN
表示所述图像超分辨率重建装置的功能函数；S6.输出模块，根据S5训练得到的最优模型，输入低分辨率图像后，系统输出最终的高分辨率图像。2.根据权利要求1所述的装置，其特征在于，所述深层特征提取模块包括若干个通道注意力残差块组成的残差组、一个层特征图注意力模块、一个空间注意力模块以及一个特征融合模块，所述S3包括：S31.通过若干个串联的通道注意力残差块(211)组成的残差组(210)对所述浅层特征进行提取，得到不同深度的特征；S32.通过所述层特征图注意力模块(220)学习不同层特征之间的相互关系；S33.通过所述空间注意力模块(230)使得感兴趣的区域更显著；S34.通过特征融合模块将所述浅层特征和所述融合特征进行相加，得到对应的深层特征。3.根据权利要求1所述的装置，其特征在于，所述层特征图注意力模块包括特征组合模块、计算特征关系构图以及特征更新模块，所述S32包括：通过所述S31得到的不同深度的特征进行组合；通过特征关系计算不同特征之间的关系，通过设定阈值来构建残差特征之间的图结构，再经过图注意力更新特征。4.根据权利要求2所述的装置，其特征在于，所述空间注意力模块包括特征降维模块、特征处理模块、特征更新模块，所述33包括：通过所述S31得到的不同深度的特征进行降维处理；通过特征处理提取特征信息，然后进行特征升维处理；通过特征更新模块，计算不同特征的注意力系数，赋予特征新的表示。5.根据权利要求3所述的装置，其特征在于，所述特征更新模块包括计算注意力系数与加权求和(240)；所述特征更新模块的步骤包括：通过所述计算特征关系构图得出图结构以及各个节点之间边的系数；通过Softmax对各个节点之间边的系数做注意力系数归一化；
通过计算好的注意力系数，把特征加权求和，完成对特征的更新，用Concat层拼接后，与S31得到的特征、S33得到的特征和...

【专利技术属性】
技术研发人员：梁吉业，唐胜贵，姚凯旋，王智强，
申请(专利权)人：山西大学，
类型：发明
国别省市：