基于噪声水平的图像超分方法技术

本发明专利技术涉及图像处理技术，公开了基于噪声水平的图像超分方法，其包括预处理模块、图像增强模块和重建模块，方法包括：构建图像超分数据库，对图像进行图像块采样，并对图像块进行处理得到低分辨率图像块；通过多尺度的图像预处理模块对低分辨率图像块进行处理；通过图像增强模块，对预处理后的图像块进行增强；通过重建模块，残差网络结构对图像块进行重建；对于预处理后的图像、增强的图像和重建后的图像进行拼接构成超分模型，并同时模型的训练预处理模块、图像增强模块和重建模块三个模块。本发明专利技术通过预处理模块、增强模块、重建模块，可以实现更好的超分效果，让用户在高清设备端观看有清晰的视觉感受。看有清晰的视觉感受。看有清晰的视觉感受。

【技术实现步骤摘要】
基于噪声水平的图像超分方法


[0001]本专利技术涉及图像处理技术，尤其涉及了基于噪声水平的图像超分方法。

技术介绍

[0002]图像超分辨率就是通过低分辨率图像恢复出高分辨率图像，例如将一幅图片的分辨率由960*540扩大2倍到1920*1080，方便用户在大尺寸的显示设备上观看。图像的超分辨率，是图像处理相关问题中的基础问题之一，并具有广泛的实际需求和应用场景。特别是在医疗图像、卫星图像和视频等领域，同样场景的低分辨率图像很容易得到的情况下，利用超分辨率重建技术得到高分辨率图像，能更好的帮助后续的图像处理操作。
[0003]近些年，随着深度学习技术的不断发展，卷积神经网络(CNNS)在计算机视觉方向受到了广泛的关注，并取得了显著的效果。在图像超分辨率领域，CNNS也做出了巨大贡献。
[0004]目前，大部分基于深度学习的超分方法都展现了出色的性能，能得到较高的客观图像质量评估指标，比如峰值信噪比(PSNR)和结构相似指标(SSIM)。但从人的主观来看，这些模型超分出来的图像往往都过于平滑，在实际应用中，尤其在一些高清设备端，这样的图像无法给人们清晰的视觉感受。

技术实现思路

[0005]本专利技术针对现有技术中超分出来的图像过于平滑，对于一些高清设备端图像显示不清晰的问题，提供了基于噪声水平的图像超分方法。
[0006]为了解决上述技术问题，本专利技术通过下述技术方案得以解决：
[0007]基于噪声水平的图像超分方法，包括预处理模块、图像增强模块和重建模块，方法包括：
[0008]图像数据准备，构建图像超分数据库，对图像进行图像块采样，并对图像块进行处理得到低分辨率图像块；
[0009]图像预处理，通过多尺度的图像预处理模块对低分辨率图像块进行处理；
[0010]图像的增强，通过图像增强模块，对预处理后的图像块进行增强；
[0011]图像重建，通过重建模块，对图像块进行重建；
[0012]模型的训练，将预处理模块、图像增强模块和重建模块进行连接构成超分模型，并同时训练这三个模块。
[0013]作为优选，数据准备包括，
[0014]获取高分辨率的图像，通过图像数据库获取高分辨率的图像；
[0015]图像块的获取，对于获取的高分辨率的图像，通过设置的图像块大小进行图像块的采样，获取多个图像块；
[0016]低分辨率图像的获取，对图像块进行模糊、加噪和下采样处理得到低分辨率的图像块。
[0017]作为优选，图像预处理模块包括1个卷积层，9个DoubleConv2d模块，4个下采样层，
4个上采样层和4个拼接层；其中，第一个卷积层的内核大小为3*3，数量为16，填充模式是SAME，步长为1；DoubleConv2d模块的卷积层的内核大小均为3*3，数量与输入特征图一样，填充模式是SAME，步长为1；下采样采用的步长为2的卷积层，内核大小均为3*3，数量是输入特征图的2倍，填充模式是SAME；上采样采用双线性插值方法进行采样；拼接层是将2个输入特征图在通道维度进行拼接。
[0018]作为优选，增强模块为噪声水平增强模块，包括3个卷积层、2个上采样层、1个LeakyReLU激活层和1个变换操作；其中，卷积层的内核大小均为3*3，填充模式是SAME，步长为1，内核数量分别为3、3、16；
[0019]上采样均采用双线性插值方法；
[0020]LeakyReLU激活层的负斜率参数为0.1；
[0021]变换操作的输入是低分辨率图像对应的噪声水平参数组成的向量，与随机初始化可训练的正态分布的矩阵参数进行线性变换。
[0022]作为优选，重建模块为基于残差模块的图像重建模块，包括1个卷积层，6个ResBlock模块，2个卷积层，1个ADD层，输入为图像增强模块后的特征图，输出为重建后的超分结果；
[0023]ResBlock由1个卷积层，1个LeakyReLU激活层，1个卷积层构成；
[0024]卷积层的内核大小均为3*3，除了最后一个卷积层的内核数量为3，其余数量均为64，且卷积步长均为1；
[0025]LeakyReLU激活层的负斜率参数为0.1。
[0026]作为优选，模型的训练包括损失函数的计算，损失函数为：
[0027][0028]其中，表示清晰的高分辨率图像在位置(x,y)的像素值，表示低分辨率图像I
LR
经过超分模型G超分后的图像在位置(x,y)的像素值，W，H分别是图像的宽度和高度；
[0029]训练参数
[0030]通过Adam算法对训练参数进行优化，其中设置训练参数，初始学习率设为10
‑4，训练迭代次数设定为200个epoch，每训练50个epoch，学习率降1/2。
[0031]本专利技术由于采用了以上技术方案，具有显著的技术效果：
[0032]本专利技术模型的输入是低分辨率图像，通过预处理模块对图像提取特征，在增强模块中得到初步的超分图像，并引入基于对应的噪声水平的先验信息，最后通过重建模块将其调整为高频信息，得到更清晰的超分图像。
[0033]本专利技术通过构造增强模块，引入了基于噪声水平的先验信息，可以得到更清晰的超分图像。
附图说明
[0034]图1是本专利技术的超分模型的框架
[0035]其中，PreProcess表示预处理模块，Enhance表示增强模块，Reconstruction表示重建模块。该框架的输入是低分辨率图像，输出是超分后的高分辨率图像；
[0036]图2是本专利技术的预处理模块的结构图
[0037]其中，Conv2d表示卷积层，DoubleConv2d表示图3所示的双层卷积结构，Downsampling表示下采样层，Upsampling表示上采样层，Concate表示拼接层；I
LR
表示低分辨率图像，X
out
表示预处理模块的输出。
[0038]图3是本专利技术的DoubleConv2d模块的结构图
[0039]其中，Conv2d表示卷积层，LeakyReLU表示LeakyReLU激活层；
[0040]图4是本专利技术的增强模块的结构图
[0041]其中，I
LR
表示低分辨率图像，X
mid_out
表示增强模块中输出的初步超分结果，P
noise
表示低分辨率图像对应的噪声水平参数，Transform表示对噪声水平参数进行的变换操作；
[0042]图5是本专利技术的重建模块的结构图
[0043]其中，ResBlock表示图6所示的残差结构，X
mid_out
表示增强模块中输出的初步超分结果，表示像素相加层，G(I
LR
)表示超分后的高分辨率图像；
[0044]图6是本专利技术的残差模块(residualblock)的结构图
[0045]其中，X
in<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于噪声水平的图像超分方法，其特征在于，包括预处理模块、图像增强模块和重建模块，方法包括：图像数据准备，构建图像超分数据库，对图像进行图像块采样，并对图像块进行处理得到低分辨率图像块；图像预处理，通过多尺度的图像预处理模块对低分辨率图像块进行处理；图像的增强，通过图像增强模块，对预处理后的图像块进行增强；图像重建，通过重建模块，对图像块进行重建；模型的训练，将预处理模块、图像增强模块和重建模块进行连接构成超分模型，并同时训练这三个模块。2.根据权利要求1所述的基于噪声水平的图像超分方法，其特征在于，数据准备包括，获取高分辨率的图像，通过图像数据库获取高分辨率的图像；图像块的获取，对于获取的高分辨率的图像，通过设置的图像块大小进行图像块的采样，获取多个图像块；低分辨率图像的获取，对图像块进行模糊、加噪和下采样处理得到低分辨率的图像块。3.根据权利要求1所述的基于噪声水平的图像超分方法，其特征在于，图像预处理模块包括1个卷积层，9个DoubleConv2d模块，4个下采样层，4个上采样层和4个拼接层；其中，第一个卷积层的内核大小为3*3，数量为16，填充模式是SAME，步长为1；DoubleConv2d模块的卷积层的内核大小均为3*3，数量与输入特征图一样，填充模式是SAME，步长为1；下采样采用的步长为2的卷积层，内核大小均为3*3，数量是输入特征图的2倍，填充模式是SAME；上采样采用双线性插值方法进行采样；拼接层是将2个输入特征图在通道维度进行拼接。4.根据权利要求1所述的基于噪声水平的图像超分方法，其...

【专利技术属性】
技术研发人员：徐烂烂，陈梅丽，谢亚光，孙彦龙，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：