基于卷积神经网络的图像超分辨率重建方法技术

本发明专利技术提供的一种卷积神经网络的图像超分辨率重建方法，包括：对图像数据进行预处理；构建多尺度通道注意力特征提取模块，对预处理后的图像数据进行特征提取，输出特征图；构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维；构建自适应上采样模块，所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层，通过对这三个层的排列组合来实现对特征图进行任意系数的上采样处理；构建基于Charbonnier Loss的损失函数模块，由损失函数模块对自适应上采样模块输出的采样数据进行处理；构建基于卷积神经网络的超分辨率重建模型，将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练；将待处理图像输入到超分辨率重建模型中，输出进行超分辨率重建的图像信息，能够有效的对图像边缘等高频细节进行恢复，避免超分辨率任务中图像边缘模糊。

【技术实现步骤摘要】
基于卷积神经网络的图像超分辨率重建方法
本专利技术涉及一种图像处理方法，尤其涉及一种基于卷积神经网络的图像超分辨率重建方法。
技术介绍
现有超分辨率网络存在变更放大系数时需要更改网络结构的问题。另外，大部分网络对结构的变化非常敏感，修改网络结构会直接导致网络失效。因此，直接修改放大系数以使一个网络适配多个放大系数的方法并不可行。另外，随着网络的加深以及核动态上采样方法的使用，导致网络的训练变得十分困难，训练技巧的重要性甚至超过了网络结构。因此，为了解决上述技术问题，亟需提出一种新的技术手段。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于卷积神经网络的图像超分辨率重建方法，能够有效的对图像边缘等高频细节进行恢复，避免超分辨率任务中图像边缘模糊，而且在非整数放大系数下无需训练多个上采样系数，从而在确保最终的处理结果的准确性的同时降低训练的复杂度。本专利技术提供的一种卷积神经网络的图像超分辨率重建方法，包括：S1.对图像数据进行预处理：将不同色彩空间的图像转换为RGB颜色空间的图像，并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对；S2.构建多尺度通道注意力特征提取模块，对预处理后的图像数据进行特征提取，输出特征图；S3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维；S4.构建自适应上采样模块，所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层；由自适应上采样模块对特征图进行采样处理；S5.构建基于CharbonnierLoss的损失函数模块，由损失函数模块对自适应上采样模块输出的采样数据进行处理；S6.构建基于卷积神经网络的超分辨率重建模型，将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练；S7.将待处理图像输入到超分辨率重建模型中，输出进行超分辨率重建的图像信息。进一步，步骤S2中，图像特征提取模块基于如下公式执行特征提取：σ(x)＝max(ax,x)；X＝vec(GAP(Mn'))；Mask＝W5*σ(W4*X+b4)+b5；Mn'＝Mn'*Sigmoid(Mask)；Mn＝Mn'+Mn-1；其中：σ(x)表示PReLU函数，a为学习常数，W表示权重，b表示偏置参数，b的上标表示当前所在的层数，W的下标表示卷积核的大小，W的上标中第一参数表示当前权重所在层数，第二参数表示当前权重在所在层的卷积的位置；[]表示级联运算，Mn'为自适应特征提取模块提取的特征图，⊙表示哈达玛积，Att表示掩码，X表示经过全局平均池化的通道维度向量，GAP表示全局平均池化操作，vec表示向量化操作，将全局平均池化后的特征图转换为向量，向量中的每一个值表示每个通道的全局信息，*表示哈达玛积，Sigmoid表示Sigmoid函数，Mask表示掩码。进一步，步骤S3中，瓶颈层基于如下公式执行降维操作：其中，FLR为最终输出经所有多尺度通道注意力特征提取模块输出的特征图，W表示权重，b表示偏置参数，Mi表示第i个多尺度通道注意力特征提取模块的输出，[]表示级联运算。进一步，步骤S4中，自适应上采样模块通过如下方法进行上采样处理：S41.向自适应上采样模块输入放大系数scale_factor和特征图FLR；S42.分别计算放大系数scale_factor和2、3的因数，并生成只包含2和3的上采样系数数组scalelist和实际放大系数target_scale；S43.遍历scalelist数组并以此获得该数组中的元素值，并将各元素值与2和3进行对比，并输出中间采样结果如元素值为2，则输出中间采样结果F'：若元素值为2，则：F'＝UpTo2(FLR)；若元素值为3，则：F'＝UpTo3(FLR)；其中，UpTo2()表示2倍放大模块，UpTo3()表示3倍放大模块；S44.对中间采样结果F'进行一次卷积操作；S45.根据输入放大系数scale_factor和实际放大系数target_scale的比值ratio，判断比值ratio是否为1，如为1，则直接将当前中间输出结果作为最终输出结果FSR；如不为1，则通过Bicubic(F',ratio)再次计算中间输出结果F'，并将最终的中间输出结果作为最终的输出结果,其中，Bicubic(F',ratio)表示双三次插值层。进一步，步骤S4中，损失函数模块采用如下损失：其中，表示网络生成的图像；I为真实图像，i，j和k分别表示图像长、宽、色彩通道中对应的像素，ε为常量，置为0.01，h、w和c分别表示图像的长度、宽度和色彩通道。进一步，超分辨率重建模型为：超分辨率重建模型为：FSR＝F(FLR,θ)其中，F()表示超分辨率网络模型，θ表示超分辨率模型中的参数。本专利技术的有益效果：通过本专利技术，能够有效的对图像边缘等高频细节进行恢复，避免超分辨率任务中图像边缘模糊，而且在非整数放大系数下无需训练多个上采样系数，从而在确保最终的处理结果的准确性的同时降低训练的复杂度。附图说明下面结合附图和实施例对本专利技术作进一步描述：图1为本专利技术的流程图。图2为本专利技术的自适应上采样模块结构示意图。图3为本专利技术的超分辨率网络结构示意图。具体实施方式以下结合说明书附图对本专利技术做出进一步详细说明：本专利技术提供的一种卷积神经网络的图像超分辨率重建方法，包括：S1.对图像数据进行预处理：将不同色彩空间的图像转换为RGB颜色空间的图像，并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对；S2.构建多尺度通道注意力特征提取模块，对预处理后的图像数据进行特征提取，输出特征图；S3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维；S4.构建自适应上采样模块，所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层；由自适应上采样模块对特征图进行采样处理；S5.构建基于CharbonnierLoss的损失函数模块，由损失函数模块对自适应上采样模块输出的采样数据进行处理；S6.构建基于卷积神经网络的超分辨率重建模型，将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练；S7.将待处理图像输入到超分辨率重建模型中，输出进行超分辨率重建的图像信息，通过本专利技术，能够有效的对图像边缘等高频细节进行恢复，避免超分辨率任务中图像边缘模糊，而且在非整数放大系数下无需训练多个上采样系数，从而在确保最终的处理结果的准确性的同时降低训练的复杂度。本实施例中，步骤S2中，图像特征提取模块基于如下公式执行特征提取：σ(x)＝max(ax,x)；本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的图像超分辨率重建方法，其特征在于：包括：/nS1.对图像数据进行预处理：将不同色彩空间的图像转换为RGB颜色空间的图像，并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对；/nS2.构建多尺度通道注意力特征提取模块，对预处理后的图像数据进行特征提取，输出特征图；/nS3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维；/nS4.构建自适应上采样模块，所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层；由自适应上采样模块对特征图进行采样处理；/nS5.构建基于Charbonnier Loss的损失函数模块，由损失函数模块对自适应上采样模块输出的采样数据进行处理；/nS6.构建基于卷积神经网络的超分辨率重建模型，将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练；/nS7.将待处理图像输入到超分辨率重建模型中，输出进行超分辨率重建的图像信息。/n

【技术特征摘要】
1.一种基于卷积神经网络的图像超分辨率重建方法，其特征在于：包括：
S1.对图像数据进行预处理：将不同色彩空间的图像转换为RGB颜色空间的图像，并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对；
S2.构建多尺度通道注意力特征提取模块，对预处理后的图像数据进行特征提取，输出特征图；
S3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维；
S4.构建自适应上采样模块，所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层；由自适应上采样模块对特征图进行采样处理；
S5.构建基于CharbonnierLoss的损失函数模块，由损失函数模块对自适应上采样模块输出的采样数据进行处理；
S6.构建基于卷积神经网络的超分辨率重建模型，将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练；
S7.将待处理图像输入到超分辨率重建模型中，输出进行超分辨率重建的图像信息。


2.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法，其特征在于：步骤S2中，图像特征提取模块基于如下公式执行特征提取：
σ(x)＝max(ax,x)；





















X＝vec(GAP(Mn'))；
Mask＝W5*σ(W4*X+b4)+b5；
Mn'＝Mn'*Sigmoid(Mask)；
Mn＝Mn'+Mn-1；
其中：σ(x)表示PReLU函数，a为学习常数，W表示权重，b表示偏置参数，b的上标表示当前所在的层数，W的下标表示卷积核的大小，W的上标中第一参数表示当前权重所在层数，第二参数表示当前权重在所在层的卷积的位置；[]表示级联运算，Mn'为自适应特征提取模块提取的特征图，⊙表示哈达玛积，Att表示掩码，X表示经过全局平均池化的通道维度向量，GAP表示全局平均池化操作，vec表示向量化操作，将全局平均池化后的特征图转换为向量，向量中的每一个值表示每个通道的全局信息，*表示哈达玛积，Sigmoid表示Sigmoid函数，Mask表示掩码。


3.根据权利要求1所述基于卷积...

【专利技术属性】
技术研发人员：吕佳，许鹏程，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：重庆;50