基于编解码器结构的超分辨图像重建方法技术

本发明专利技术提出了一种基于编解码器结构的超分辨图像重建方法，用于解决现有技术中存在的重建后的高分辨率图像峰值信噪比和结构相似性较低的技术问题。实现步骤为：构建编解码器网络；获取由高低分辨率图像块对组成的训练样本集；对编解码器进行训练；用编解码器网络对待重建RGB图像进行超分辨率图像重建。本发明专利技术在多尺度特征融合网络中采用多个依次层叠连接的降采样模块提取低分辨图像的多尺度特征，并利用上采样重建模块进行非线性映射，有利于提高重建后的高分辨率图像峰值信噪比和结构相似性。

Super-resolution image reconstruction method based on codec structure

The invention proposes a super-resolution image reconstruction method based on the codec structure, which is used to solve the technical problems of low peak signal-to-noise ratio and structure similarity of the reconstructed high-resolution image in the prior art. The implementation steps are: building codec network; obtaining training sample set composed of high and low resolution image block pairs; training codec; using codec network to reconstruct RGB image for super-resolution image reconstruction. In the multi-scale feature fusion network, the multi-scale features of the low-resolution image are extracted by a plurality of successively cascading down sampling modules, and the non-linear mapping is carried out by using the up sampling reconstruction module, which is conducive to improving the peak signal-to-noise ratio and structural similarity of the reconstructed high-resolution image.

【技术实现步骤摘要】
基于编解码器结构的超分辨图像重建方法
本专利技术属于图像处理
，更进一步涉及超分辨图像处理
的一种基于编解码器结构的超分辨图像重建方法。本专利技术可用于利用低分辨图像生成对应的高分辨图像，以便为图像后续的处理提供更加全面、准确的信息。
技术介绍
超分辨率图像重建是指结合图像中有限的先验知识，利用数字图像处理技术，从单幅或多幅低分辨率的图像中重新构建出一幅细节丰富的高分辨率图像的过程。由于高分辨率图像传感器和光学元件的制造工艺和生产成本较高，在许多场合和大规模部署时难以实现。因此，利用超分辨率图像重建技术获取高分辨率具有非常重要的现实意义。超分辨图像重建的目的是为了得到高分辨图像，增强和丰富了景物的细节内容，以便为后续的图像解译、目标检测、目标跟踪提供更准确、全面的信息。南京理工大学在其申请的专利文献“一种基于层级递进网络的单图像超分辨重建方法”(专利申请专利号：201910146330.4，公开号：CN110047038A)中提出了一种基于层级递进网络的图像超分辨重建方法。该方法将高倍超分辨任务分解为多个子任务，每个子任务可以由一个超分辨单元网络单独完成，且每个子任务对应重建不同尺寸的高分辨率图像，最终多个超分辨单元网络级联形成整个网络。该方法可以使用同一个训练模型对图像做多种倍数的超分辨重建处理，且采用了局部残差、密集连接等结构改善信息流传递效率，避免梯度消失。但是，该方法仍然存在的不足之处是：该方法通过多个超分辨单元网络级联的方式来逐级提升特征图的空间分辨率，限制了特征图的感受野，无法充分挖掘图像数据中的内部特性，抑制了网络对于多尺度信息的学习能力和特征表达能力，使得该方法无法利用训练图像中包含的所有特征信息，从而影响了图像的重建效果。Kim,Jiwon，Lee,JungKwon，Lee,KyoungMu等人在其发表的论文“AccurateImageSuper-ResolutionUsingVeryDeepConvolutionalNetworks.”(IEEEConferenceonComputerVisionandPatternRecognition，June2016)中公开了一种基于深度学习的极深网络超分辨图像重建方法。该方法使用了20层网络单元直接级联而成的网络结构，使得后面的网络层拥有更大的感受野，从而可以根据更多的像素点去推断结果像素点，获得了较好的图像重建效果。但是，该方法仍然存在的不足之处是：由于通过大量相同的网络单元直接级联的方法构建了网络模型，未能充分利用每一层训练所得到的特征信息，该方法非常容易引入累计误差导致过拟合，使得重建得到的整体效果有所下降，同时20层的网络深度使得网络的训练时间增大，增加了时间成本和计算资源成本。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出了一种基于编解码器结构的超分辨图像重建方法，解决了由于特征图的感受野受到限制而导致无法充分利用训练图像中包含的所有特征信息问题和级联网络的深度过深而导致累计误差引起的过拟合问题，提升超分辨图像重建的效果。实现本专利技术上述目的的思路是：采用编解码器网络中的降采样模块提取低分辨率图像块的多个尺度的特征以拓宽感受野，表征低分辨率图像中更丰富的细节信息以及更完整的结构信息，并且将多个上采样重建模块依次层叠连接以减少网络深度，并进一步提高网络对高低图像分辨率图像特征之间非线性映射关系的拟合能力，从而提升了重建的高分辨率图像的峰值信噪比和结构相似性。为实现上述目的，本专利技术采取的技术方案包括如下步骤：步骤1，构建上采样模块：搭建一个7层的上采样模块，其结构依次为：输入层→第1卷积层→第1反卷积层→第2卷积层→第1融合层→第2反卷积层→第2融合层；设置上采样模块各层的参数：将输入层的输入特征映射图大小设置为d，其中d表示特征张量通道的总数；将第1、2卷积层的卷积核大小分别设置为1×1、(2mup+1)×(2mup+1)，步长分别设置为1、mup，输出特征图大小均设置为d，其中mup表示上采样模块的重建倍数；将第1、2反卷积层卷积核大小均设置为(2mup+1)×(2mup+1)，步长均设置为mup，输出特征图大小均设置为d；步骤2，构建降采样模块：搭建一个4层的降采样模块，其结构依次为：输入层→第1卷积层→第2个卷积层→第3个卷积层；设置降采样模块各层的参数：将输入层输入特征映射图大小设置为d；将第1、2、3个卷积层卷积核大小分别设置为1×1、1×1、(2mdown+1)×(2mdown+1)，步长分别设置为1、1、mdown，输出特征图大小分别设置为d×2、d、d，其中，mdown表示降采样模块重建倍数；步骤3，构建编解码器子网络：搭建一个由一个输入层、H层降采样模块、H层上采样重建模块组成的编解码器子网络，每个上采样重建模块由一个上采样子模块和一个全连接层组成，其中，H为预先设定的数值；设置编解码器子网络各层的参数：将输入层输入特征映射图大小设置为d；降采样模块的各层参数、上采样重建模块各层的参数与超分辨图像重建的倍数s相关；步骤4，构建编解码器网络：搭建一个6层的编解码器网络，其结构依次为：输入层→第1卷积层→上采样模块→编解码器子网络→第2卷积层→损失层；设置编解码器网络各层的参数：将第1、2卷积层的卷积核大小分别设置为5×5、3×3，步长均设置为1，输出的特征图大小分别设置为d和1；将上采样模块的重建倍数设置为超分辨图像重建的倍数s；将损失层的损失函数设置为L2Loss函数；步骤5，生成训练数据集：从一个高分辨率图像数据集中随机选取至少500幅高分辨率RGB图像；将所选的每张格式为RGB的高分辨率图像的转换成格式为YCbCr的高分辨率图像，提取每张YCbCr图像中的Y通道图像；将每张Y通道图像裁剪成尺寸为W×H的高分辨率Y通道图像，分别进行s倍下采样处理，得到对应尺寸为的低分辨率图像，其中W、H分别表示裁剪后每张图像的宽度、高度；将每张高分辨率Y通道图像与其对应的低分辨率图像组成高低分辨率图像对；对所有高低分辨率图像对进行裁剪，将高分辨率Y通道图像裁剪成尺寸为c×c高分辨率图像块Xi，将低分辨率图像裁剪成尺寸为低分辨率图像块Yi，将高分辨率图像块和与其对应的低分辨率图像块组合成高低分辨率图像块对，得到训练数据集；步骤6，训练编解码器网络：将训练数据集中的低分辨率图像块与其对应的高分辨率图像块输入到编解码器网络中，利用梯度下降法，对网络参数进行迭代更新，直至损失函数的J(θ)≤0.013，得到训练好的编解码器网络；步骤7，对待重建的低分辨率RGB图像进行超分辨率重建：将待重建的每张低分辨率RGB图像转换成格式为YCbCr的低分辨率图像；提取每张YCbCr图像中的Y通道图像、Cb通道图像和Cr通道图像；将Y通道图像输入到训练好的编解码器网络中，输出重建的本文档来自技高网...

【技术保护点】
1.一种基于编解码器结构的超分辨图像重建方法，其特征在于，构建上采样模块，构建降采样模块，构建编解码器子网络，该方法的具体步骤包括如下：/n将低分辨率的图像输入进行多尺度特征提取的降采样模块，将多尺度特征进行图像重构的上采样模块，按图像重建的倍数要求使用不同个数的上采样模块和降采样模块进行级联和旁路连接生成编解码器网络，该方法的具体步骤包括如下：/n步骤1，构建上采样模块：/n搭建一个7层的上采样模块，其结构依次为：输入层→第1卷积层→第1反卷积层→第2卷积层→第1融合层→第2反卷积层→第2融合层；/n设置上采样模块各层的参数：/n将输入层的输入特征映射图大小设置为d，其中d表示特征张量通道的总数；/n将第1、2卷积层的卷积核大小分别设置为1×1、(2m

【技术特征摘要】
1.一种基于编解码器结构的超分辨图像重建方法，其特征在于，构建上采样模块，构建降采样模块，构建编解码器子网络，该方法的具体步骤包括如下：
将低分辨率的图像输入进行多尺度特征提取的降采样模块，将多尺度特征进行图像重构的上采样模块，按图像重建的倍数要求使用不同个数的上采样模块和降采样模块进行级联和旁路连接生成编解码器网络，该方法的具体步骤包括如下：
步骤1，构建上采样模块：
搭建一个7层的上采样模块，其结构依次为：输入层→第1卷积层→第1反卷积层→第2卷积层→第1融合层→第2反卷积层→第2融合层；
设置上采样模块各层的参数：
将输入层的输入特征映射图大小设置为d，其中d表示特征张量通道的总数；
将第1、2卷积层的卷积核大小分别设置为1×1、(2mup+1)×(2mup+1)，步长分别设置为1、mup，输出特征图大小均设置为d，其中mup表示上采样模块的重建倍数；
将第1、2反卷积层卷积核大小均设置为(2mup+1)×(2mup+1)，步长均设置为mup，输出特征图大小均设置为d；
步骤2，构建降采样模块：
搭建一个4层的降采样模块，其结构依次为：输入层→第1卷积层→第2个卷积层→第3个卷积层；
设置降采样模块各层的参数：
将输入层输入特征映射图大小设置为d；
将第1、2、3个卷积层卷积核大小分别设置为1×1、1×1、(2mdown+1)×(2mdown+1)，步长分别设置为1、1、mdown，输出特征图大小分别设置为d×2、d、d，其中，mdown表示降采样模块重建倍数；
步骤3，构建编解码器子网络：
搭建一个由一个输入层、H层降采样模块、H层上采样重建模块组成的编解码器子网络，每个上采样重建模块由一个上采样子模块和一个全连接层组成，其中，H为预先设定的数值；
设置编解码器子网络各层的参数：
将输入层输入特征映射图大小设置为d；
降采样模块的各层参数、上采样重建模块各层的参数与超分辨图像重建的倍数s相关；
步骤4，构建编解码器网络：
搭建一个6层的编解码器网络，其结构依次为：输入层→第1卷积层→上采样模块→编解码器子网络→第2卷积层→损失层；
设置编解码器网络各层的参数：
将第1、2卷积层的卷积核大小分别设置为5×5、3×3，步长均设置为1，输出的特征图大小分别设置为d和1；
将上采样模块的重建倍数设置为超分辨图像重建的倍数s；
将损失层的损失函数设置为L2Loss函数；
步骤5，生成训练数据集：
从一个高分辨率图像数据集中随机选取至少500幅高分辨率RGB图像；
将所选的每张格式为RGB的高分辨率图像的转换成格式为YCbCr的高分辨率图像，提取每张YCbCr图像中的Y通道图像；
将每张Y通道图像裁剪成尺寸为W×H的高分辨率Y通道图像，分别进行s倍下采样处理，得到对应尺寸为的低分辨率图像，其中W、H分别表示裁剪后每张图像的宽度、高度；
将每张高分辨率Y通道图像与其对应的低分辨率图像组成高低分辨率图像对；
对所有高低分辨率图像对进行裁剪，将高分辨率Y通道图像裁剪成尺寸为c×c高分辨率图像块Xi，将低分辨率图像裁剪成尺寸为低分辨率图像块Yi，将高分辨率图像块和与其对应的低分辨率图像块组合成高低分辨率图像块对，得到训练数据集；
步骤6，训练编解码器网络：
将训练数据集中的低分辨率图像块与其对应的高分辨率图像块输入到编解码器网络中，利用梯度下降法，对网络参数进行迭代更新，直至损失函数的J(θ)≤0.013，得到训练好的编解码器网络；
步骤7，对待重建的低分辨率RGB图像进行超分辨率重建：
将待重建的每张低分辨率RGB图像转换成...

【专利技术属性】
技术研发人员：张静，邵旻昊，孔孟行，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61