基于深度学习的超分辨率图像重建方法和装置制造方法及图纸

本发明专利技术提供一种基于深度学习的超分辨率图像重建方法和装置，包括：根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，组合网络用于对多个特征提取网络提取到的多组特征进行组合，使用训练得到的多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。通过多个网络深度不同的特征提取网络对图像进行特征提取，并进行多特征组合，能够获得更好的重建效果。

Super-resolution image reconstruction method and device based on depth learning

The invention provides a super-resolution image reconstruction method and device based on in-depth learning, which includes: establishing training sets corresponding to high-resolution images and low-resolution images according to image sets and target magnification multiples, carrying out network training according to training sets and pre-constructed multi-scale network model, and obtaining model parameters, in which multi-scale network model includes multiple features. Extraction network and a combination network, the network depth of multiple feature extraction networks is different, multiple feature extraction networks are used to extract image features, combination network is used to extract multi-group features from multiple feature extraction networks, using the multi-scale network model obtained by training, the input low-resolution images are reconstructed to obtain high-resolution images. The image can be reconstructed better by feature extraction network with different network depth and multi-feature combination.

【技术实现步骤摘要】
基于深度学习的超分辨率图像重建方法和装置
本专利技术涉及图像处理
，尤其涉及一种基于深度学习的超分辨率图像重建方法和装置。
技术介绍
超分辨率(Super-Resolution)是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率在视频压缩与传输、医学图像辅助诊断，安防监控以及卫星成像等领域有着广泛的应用前景。超分辨率主要有以下两个评价标准：(1)图像的重建效果，重建的目标是恢复图像的高频信息，提高图像的质量，尽可能地提升重建图像的视觉效果；(2)图像的重建效率，目的就是在保证重建效果的同时，尽可能的提高重建速度。超分辨率重建根据技术原理的不同可以被划分为以下三种类型：基于差值的方法、基于重建的方法、基于学习的方法。其中，基于学习的方法是目前比较热门的方法，基于学习的方法通常是通过一个数据集学习高分辨率图像与低分辨图像之间的映射关系，然后，利用学习到的映射关系重建高分辨率图像。目前常用的学习方法包括SRCNN、ESPCN、VDSR等。但是，现有的学习方法中，针对不同尺度的图像，超分辨率的增强效果不一致。
技术实现思路
本专利技术提供一种基于深度学习的超分辨率图像重建方法和装置，通过获取不同尺度的特征进行超分辨率重建，能够获得更好的重建效果。本专利技术第一方面提供一种基于深度学习的超分辨率图像重建方法，包括：根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。可选的，每个特征提取网络包括至少一个卷积层。可选的，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。可选的，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：其中，为低分辨率图像；为所述低分辨图像对应的高分辨率图像；θ为所述模型参数。可选的，所述多尺度网络模型的损失函数如下：其中，m和n表示图像的尺寸；为低分辨率图像；为所述低分辨图像对应的高分辨率图像；为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。可选的，所述根据图像集和图像放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，包括：对所述图像集中的每张高分辨率图像进行高斯滤波；对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。可选的，使用训练得到的模型参数和所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像，包括：使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；使用训练得到所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。可选的，所述多个特征提取网络的网络深度呈阶梯状递增或递减。本专利技术第二方面提供一种基于深度学习的超分辨率图像重建装置，包括：预处理模块，用于根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；训练模块，用于根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；重建模块，用于使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。可选的，每个特征提取网络包括至少一个卷积层。可选的，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。可选的，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：其中，为低分辨率图像；为所述低分辨图像对应的高分辨率图像；θ为所述模型参数。可选的，所述多尺度网络模型的损失函数如下：其中，m和n表示图像的尺寸；为低分辨率图像；为所述低分辨图像对应的高分辨率图像；为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。可选的，所述预处理模块具体用于：对所述图像集中的每张高分辨率图像进行高斯滤波；对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。可选的，所述重建模块具体用于：使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。可选的，所述多个特征提取网络的网络深度呈阶梯状递增或递减。本专利技术第三方面提供一种终端设备，包括：处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述终端设备执行如本专利技术第一方面所述的基于深度学习的超分辨率图像重建方法。本专利技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如本专利技术第一方面所述的基于深度学习的超分辨率图像重建方法。本专利技术提供的基于深度学习的超分辨率图像重建方法和装置，根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合，使用训练得到多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。通过多个网络深度不同的特征提取网络对图像进行特征提取，并进行多特征组合，实现了对图像的多尺度特征提取，使用不同尺度的特征进行超分辨率图像重建，能够获得更好的重建效果。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1为本专利技术实施例一提供的基于深度学习的超分辨率图像重建方法的流程图；图2为多尺度网络模型的一种示意图；图3为图2所示的多尺度网络模型的特征提取网络的一种结构示意图；图4为图2所示的多尺度网络模型的特征提取网络的又一种结构示意图；图5为图3所示的残差学习块的一种示意图；图6为本专利技术实施例二提供的基于深度学习的超分辨率图像重建装置的结构示意图；图7为本专利技术实施例三提供的终端设备的结构示意图。通过上述附图，已示出本专利技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本专利技术构思的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的超分辨率图像重建方法，其特征在于，包括：根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。

【技术特征摘要】
1.一种基于深度学习的超分辨率图像重建方法，其特征在于，包括：根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。2.根据权利要求1所述的方法，其特征在于，每个特征提取网络包括至少一个卷积层。3.根据权利要求1所述的方法，其特征在于，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。4.根据权利要求1-3所述的方法，其特征在于，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：其中，为低分辨率图像；为所述低分辨图像对应的高分辨率图像；θ为所述模型参数。5.根据权利要求4所述的方法，其特征在于，所述多尺度网络模型的损失函数如下：其中，m和n表示图像的尺寸；为低分辨率图像；为所述低分辨图像对应的高分辨率图像；为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据图像集和图像放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，包括：对所述图像集中的每张高分辨率图像进行高斯滤波；对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。7.根据权利要求1-3任一项所述的方法，其特征在于，使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像，包括：使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。8.根据权利要求1-3任一项所述的方法，其特征在于，所述多个特征提取网络的网络深度呈阶梯状递增或递减。9.一种基于深度学习的超分辨率图像重建装置，其特征在于，包括：预处理模块，用于根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；训练模块，用于根据所述训练集和预先构建...

【专利技术属性】
技术研发人员：邹超洋，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东,44