一种基于深度学习的图像超分辨率重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的图像超分辨率重建方法及装置，所述方法包括如下步骤：步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；步骤S2，利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像，通过本发明专利技术，可使重建的超分辨率图像更接近真实的图像。

An image super resolution reconstruction method and device based on deep learning

The invention discloses an image super-resolution reconstruction method and device based on depth learning. The method comprises the following steps: 1. Constructing a multi-scale residual convolution neural network and training a multi-scale residual convolution neural network using training samples to obtain a non-linear correspondence relationship between low and high resolution image blocks. (2) Using the trained multi-scale residual convolution neural network, the input low-resolution image is mapped nonlinearly to obtain the reconstructed high-resolution image. By the present invention, the reconstructed super-resolution image can be closer to the real image.

【技术实现步骤摘要】
一种基于深度学习的图像超分辨率重建方法及装置
本专利技术涉及数字图像处理、深度学习以及人工智能领域，特别是涉及一种基于深度学习的图像超分辨率重建方法及装置。
技术介绍
图像的超分辨率重建是指利用信号处理和计算机软件的方法消除由于成像系统聚焦不准、运动模糊以及非理想采样等因素引起的图像质量退化，从而得到高分辨率的清晰图像。它在视频监控、卫星图像、医学影像和一些高清晰显示领域等都有重要的应用价值。由于深度神经网络有着超强非线性特征表示能力，基于深度学习的超分辨技术能够很好地提高图像超分辨率的效果，现阶段，基于深度学习的超分辨率图像重建效果已经超越了以前的非深度学习超分辨率技术。但是，现阶段的分辨率重建的图像与真实的图像仍然存在较大的差距，因此，实有必要提出一种技术手段，以使重建的超分辨率图像更接近真实的图像。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种基于深度学习的图像超分辨率重建方法及装置，通过结合残差网络和多尺度卷积优点，使用对称多卷积核，使重建的超分辨率图像更接近真实的图像。为达上述及其它目的，本专利技术提出一种基于深度学习的图像超分辨率重建方法，包括如下步骤：步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；步骤S2，利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。优选地，步骤S1进一步包括：步骤S100，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本；步骤S101，构建多尺度残差卷积神经网络，利用获得的训练样本进行多尺度残差卷积神经网络学习，以建立低分辨率图像块和高分辨率图像块之间的非线性对应关系。优选地，于步骤S100中，获取多幅包含有完全相同内容的高、低分辨率图像，对每幅低分辨率图像提取低分辨率图像块，在对应的高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块，以获得训练样本。优选地，于步骤S100中，先选取高质量的高分辨率图像，然后对该高分辨率图像先下采样再上采样，得到与该高分辨率图像同样尺寸的低分辨率图像。优选地，于步骤S101中，所述多尺度残差卷积神经网络的输入为与高分辨率图像同样大小的低分辨率图像块，输出为重构的高分辨率图像块，所述多尺度残差卷积神经网络包括若干层，第1层和最后一层为卷积层，中间若干层为多尺度残差层，第1层的输出与最后一层的输出相加即为重构的高分辨率结果。优选地，所述多尺度残差卷积神经网络的中间若干层为具有相同结构的多尺度残差单元，每个多尺度残差单元包括两个多尺度卷积单元，中间为激活函数，每个多尺度卷积单元包括3个尺度的卷积网络，第一个尺度为核大小为1×1的卷积网络，第二个尺度为核大小为3×3的卷积网络，第三个尺度为3×3池化和3×3卷积网络，三个尺度的通道图通过级联方式组成特征图。优选地，所述多尺度残差卷积神经网络采用如下损失函数进行训练学习：其中，N为训练样本个数，Yi为高分辨率图像块，为网络重建的图像块，||·||1表示L1范数。优选地，于步骤S101中，利用随机梯度下降法和网络的反向传播来最小化所述损失函数，对多尺度残差卷积神经网络的卷积核参数进行优化调整。优选地，步骤S2进一步包括：步骤S200，对输入的低分辨率图像进行预处理，以得到目标图像大小的低分辨率图像；步骤S201，将所述低分辨率图像分割成待重构的低分辨率图像块；步骤S202，利用训练好的多尺度残差卷积神经网络对各待重构的低分辨率图像块进行分辨率重构；步骤S203，对获得的所有的重构的高分辨率图像块进行进行融合处理，得到输入图像的重构高分辨率图像。为达到上述目的，本专利技术还提供一种基于深度学习的图像超分辨率重建装置，包括：训练单元，用于构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；重建单元，用于利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。现有技术相比，本专利技术一种基于深度学习的图像超分辨率重建方法及装置通过构建多尺度残差卷积神经网络，并结合残差网络和多尺度卷积优点，通过利用对称多卷积核，取得了更接近真实高分辨率图像的超分辨率重构效果，以达到重建的超分辨率图像更接近真实的图像的目的。附图说明图1为本专利技术一种基于深度学习的图像超分辨率重建方法的步骤流程图；图2为本专利技术具体实施例中步骤S1的细部流程图；图3为本专利技术具体实施例中所构建的多尺度残差卷积神经网络的架构示意图；图4为本专利技术具体实施例中多尺度残差单元的结构示意图；图5为本专利技术具体实施例中多尺度卷积单元的结构示意图；图6为本专利技术具体实施例中步骤S2的细部流程图；图7为本专利技术一种基于深度学习的图像超分辨率重建装置的系统架构图；图8为本专利技术具体实施例中训练单元的细部结构图；图9为本专利技术具体实施例中重建单元的细部结构图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。深度卷积神经网络结构是图像超分辨率的核心，它对最终的重构效果有着最关键的影响。本专利技术针对核心问题，提出了利用多尺度残差卷积神经网络，使得超分辨率重构效果接近真实高分辨率图像的水平。图1为本专利技术一种基于深度学习的图像超分辨率重建方法的步骤流程图。如图1所示，本专利技术一种基于深度学习的图像超分辨率重建方法，包括如下步骤：步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系。在本专利技术具体实施例中，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行多尺度残差卷积神经网络学习，以获得低、高分辨率图像块的非线性对应关系。具体地，如图2所示，步骤S1进一步包括：步骤S100，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本。在本专利技术具体实施例中，获取多幅包含有完全相同内容的高、低分辨率图像，对每幅低分辨率图像通过滑动窗口的方法提取低分辨率图像块，在对应图像高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块，以获得训练样本。实际上，由于往往无法同时获得同一场景的高分辨率图像和对应的低分辨率图像，本专利技术采取模拟方式得到。具体地，先选取高质量的高分辨率图像，比如可选取1000幅大小为1920×1080的高分辨率图像；然后对高分辨图像先下采样再上采样，得到与高分辨率图像同样尺寸的低分辨率图像。上下采样的方法可以是双线性、三次样条、迭代后向投影(IBP，iterativeback-projection)等。最后采用一定大小的步长(比如60)将对应的高低分辨率图像分别分割成64×64大小的图像块，作为训练图像块样本步骤S101，构建多尺度残差卷积神经网络，利用获得的训练样本进行多尺度残差卷积神经网络学习，以建立低分辨率图像块和高分辨率图像块之间的非线性对应关系。由于残差网络能避免梯度消失，从而能设计出更深层数的网络，更好地表示非本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像超分辨率重建方法，包括如下步骤：步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；步骤S2，利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。

【技术特征摘要】
1.一种基于深度学习的图像超分辨率重建方法，包括如下步骤：步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；步骤S2，利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。2.如权利要求1所述的一种基于深度学习的图像超分辨率重建方法，其特征在于，步骤S1进一步包括：步骤S100，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本；步骤S101，构建多尺度残差卷积神经网络，利用获得的训练样本进行多尺度残差卷积神经网络学习，以建立低分辨率图像块和高分辨率图像块之间的非线性对应关系。3.如权利要求2所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：于步骤S100中，获取多幅包含有完全相同内容的高、低分辨率图像，对每幅低分辨率图像提取低分辨率图像块，在对应的高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块，以获得训练样本。4.如权利要求3所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：于步骤S100中，先选取高质量的高分辨率图像，然后对该高分辨率图像先下采样再上采样，得到与该高分辨率图像同样尺寸的低分辨率图像。5.如权利要求2所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：于步骤S101中，所述多尺度残差卷积神经网络的输入为与高分辨率图像同样大小的低分辨率图像块，输出为重构的高分辨率图像块，所述多尺度残差卷积神经网络包括若干层，第1层和最后一层为卷积层，中间若干层为多尺度残差层，第1层的输出与最后一层的输出相加即为重构的高分辨率结果。6.如权利要求5所述的一种基于深度学习的图像超分辨率重建方法，其...

【专利技术属性】
技术研发人员：陈涛，王洪剑，林江，
申请(专利权)人：上海通途半导体科技有限公司，
类型：发明
国别省市：上海,31