一种基于双边上采样网络的任意倍数图像超分辨率重建方法技术

本发明专利技术涉及一种基于双边上采样网络的任意倍数图像超分辨率重建方法，输入待处理的低分辨率图像和放大倍数，待处理的输入图像称为低分辨率图像，使用超分辨率重建方法放大的图像称为高分辨率图像；首先使用位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重；通过卷积神经网络特征提取模块提取低分辨率图像特征作为双边上采样卷积核的值域权重；预测得到的空域权重和值域权重，通过双边上采样参数计算模块，计算双边上采卷积核参数；进行上采样处理，得到超分辨率特征图；将超分辨率特征图的通道数转换到输入图像的通道大小，输出重建的超分辨率图像。本发明专利技术可以应用于任意倍数低分辨率图像超分辨率重建，可以有效提高低分辨率图像超分辨率重建准确度。辨率重建准确度。辨率重建准确度。

【技术实现步骤摘要】
一种基于双边上采样网络的任意倍数图像超分辨率重建方法


[0001]本专利技术涉及图像重建方法领域，具体涉及一种基于双边上采样网络的任意倍数图像超分辨率重建方法。

技术介绍

[0002]随着智能移动设备的普及，人们越来越倾向于从图像中获取信息。图像分辨率是衡量图像信息量的一个关键指标。图像分辨率越高，所包含的信息量也就越丰富，越能够更加真实详细的描述客观场景。但是现实生活中受到网络传输速度以及传感器水平等硬件条件的制约，呈现出的图像分辨率一般较低，很难满足人们的实际使用需求，因此需要使用基于软件的图像超分辨率重建方法来有效的解决这一问题。
[0003]单张图像超分辨率重建方法旨在使用低分辨率图像恢复重建尽可能真实的高分辨率图像。它在安防、监控成像、医学成像以及卫星和遥感成像中具有非常广泛的应用。目前，大多数基于卷积神经网络的单张图像超分辨率重建方法仅仅使用固定放大倍数(2倍、3倍、4倍或者8倍)对低分辨率图像进行超分辨率重建。但是现实生活中人们往往需要对图像进行任意倍数的放大以查看图像的局部细节。因此，解决任意放大倍数的图像超分辨率重建问题对于图像超分辨率重建投入实际使用有非常重大的意义。
[0004]现有的图像超分辨率重建方法可以分为三种类型：基于插值的方法，基于统计的方法和基于学习的方法。在早期，前两类方法因其计算效率优势而得到广泛的关注。但是，这两类方法总是局限于较小的超分辨率倍数(2倍超分辨)，超分辨率倍数增大时(4倍或者8倍超分辨)效果较差。基于学习的方法【1】使用大量的低分辨率-高分辨率图像对来训练图像超分辨率重建模型，使得训练好的模型可以根据输入数据来推断出低分辨率图片所缺失的高频信息，并且在较大放大倍数时也可以得到较好的超分辨率重建效果。基于深度学习的方法具有从大规模数据库中学习知识的强大能力，因而被引入到图像超分辨率重建问题。但是这些基于卷积神经网络的方法仅仅使用固定的整数放大倍数【2】来学习低分辨率图像到高分辨率图像之间的映射关系，当需要任意放大倍数或者非整数放大倍数时这些方法并不适用。
[0005]目前图像超分辨率重建领域主要有三种方法来应对任意放大倍数问题。第一种是使用双线性插值方法对低分辨率特征图进行上采样。董等人【3】初次提出使用卷积神经网络学习端到端的单张图像超分辨率重建任务，并使用双线性插值方法将低分辨特征图上采样到高分辨率特征图，但是使用双线性插值的方法无法自适应的学习上采样参数，因此超分辨率重建效果较差。赖等人【4】使用拉普拉斯金字塔网络对低分辨率特征图进行逐级上采样以此改善超分辨率重建效果，但是这种在高分辨率图像上进行特征提取的方法计算量较大。第二种方法是针对不同的上采样倍数学习不同的上采样模块。施等人【5】提出使用使用子像素卷积的方法对低分辨率特征图进行上采样处理，以此加快上采样网络的运行速度，但是子像素卷积只适用于整数倍的放大倍数，无法处理非整数倍的放大倍数。林等人【6】使用共享特征提取模块训练不同的上采样模块的方法学习不同的放大倍数，但是这种
方法同样只适用于整数倍放大倍数。第三中方法是根据不同的放大倍数自适应的学习上采样模块的参数。胡等人【7】引入元学习的思想构造上采样模块，首次实现低分辨率图像通过单模型进行任意尺度的上采样，通过动态预测上采样卷积参数，在应用上达成类似在图片查看器中滚动滑轮查看图片的效果。但是这种方法只使用放大倍数估计上采样卷积参数，没有用到图像的内容信息【8】，使得超分辨率重建结果比较模糊，因此需要针对这一问题加以改进。
[0006]【1】Ledig C,Theis L,Husz
á
r F,et al.Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2017:4681-4690.
[0007]【2】Kim J,Kwon Lee J,Mu Lee K.Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016:1646-1654.
[0008]【3】Dong C,Loy C C,He K,et al.Image super-resolution using deep convolutional networks[J].IEEE transactions on pattern analysis and machine intelligence,2015,
[0009]38(2):295-307.
[0010]【4】Lai W S,Huang J B,Ahuja N,et al.Fast and accurate image super-resolution with deep laplacian pyramid networks[J].IEEE transactions on pattern analysis and machine intelligence,2018,41(11):2599-2613.
[0011]【5】Shi W,Caballero J,Husz
á
r F,et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016:1874-1883.
[0012]【6】Lim B,Son S,Kim H,et al.Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognition workshops.2017:136-144.
[0013]【7】Hu X,Mu H,Zhang X,et al.Meta-SR:A magnification-arbitrary network for super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Reco本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双边上采样网络的任意倍数图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：输入待处理的低分辨率图像和放大倍数，待处理的输入图像称为低分辨率图像，使用超分辨率重建方法放大的图像称为高分辨率图像；步骤2：使用步骤1中输入的放大倍数通过位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重；步骤3：使用步骤1中输入的低分辨率图像通过卷积神经网络特征提取模块提取低分辨率图像特征作为双边上采样卷积核的值域权重；步骤4：使用步骤3中提取的低分辨率特征图作为值域权重和步骤2中位置图预测得到的空域权重，通过双边上采样参数计算模块，计算双边上采卷积核参数；步骤5：使用步骤4计算得到的双边上采样卷积核参数对低分辨率特征图进行上采样处理，得到超分辨率特征图；步骤6：将步骤5得到的超分辨率特征图的通道数转换到输入图像的通道大小，输出重建的超分辨率图像。2.根据权利要求1所述的基于双边上采样网络的任意倍数图像超分辨率重建方法，其特征在于：所述步骤2：使用步骤1中输入的放大倍数通过位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重，具体实现如下：(1)将高分辨率图像的每个像素映射到低分辨率图像空间，然后得到每个高分辨率像素在低分辨率图像空间中所对应的2
×
2邻域像素，超分辨率图像上每个位置的像素值就由低分辨率图像上的2
×
2邻域像素值和超分辨率像素与低分辨率像素之间的位置关系决定；(2)根据超分辨率图像坐标和放大倍数构造位置图，其中P为构造的位置图，r为放大倍数，(i,j)为位置图对应的超分辨率像素坐标，P
h，i，j
为坐标(i,j)像素所对应位置图上的第h个通道的值；h＝1时，P
h，i，j
就是P
1，i，j
，h＝2同理；(3)构造得到位置图之后，采用全连接层+ReLU层+全连接层结构作为空域权重预测模块，隐藏层特征通道数设为256，利用构造的位置图自适应预测双边上采样卷积核的空域权重。3.根据权利要求1所述的基于双边上采样网络的任意倍数图像超分辨率重建方法，其特征在于：所述步骤3：使用步骤1输入的低分辨率图像通过卷积神经网络特征提取模块提取低分辨率图像特征作为双边上采样卷积核的值域权重，具体实现如下：(1)使用步骤1输入的低分辨率图像通过卷...

【专利技术属性】
技术研发人员：凌强，张梦磊，李峰，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：