【技术实现步骤摘要】
本专利技术属于图像处理，涉及一种图像超分辨率重建方法。
技术介绍
1、图像超分辨率重建是图像翻译任务中的一种，旨在将单幅低分辨率的图像重建转换为高分辨图像，增强图像细节信息，提高原始图像质量。在过去的几年中，深度学习的应用使超分辨率重建(super resolution，sr)算法的性能有了巨大的飞跃。然而，由于有监督学习的限制，这些sr算法被限制在特定的训练集中，需要训练集中同时存在高分辨率图像和对应的低分辨率图像。然而，在现实中采集配对的高低分辨率图像是十分困难的工作，红外数据集的采集更为困难，因此利用传统有监督学习的超分辨率算法对红外图像进行超分辨率重建的效果并不理想。
2、监督训练过于关注大量数据之间的差异，无法恢复这些特定于图像的信息。相比一般自然图像集合中区域块的外部熵，单个图像内部区域块的内部熵要小得多。根据信息论，熵低的部分信息更丰富，因此内部图像的统计信息往往比从一般图像集合中获得的外部信息具有更强的预测能力。
技术实现思路
1、(一)专利技术目的
2、本专利技术的目的是：为了解决传统的图像超分辨模型需要大量训练集的问题，同时可以对单幅图像进行轻量化的模型训练，本专利技术提供一种图像超分辨率重建方法，设计并构建一个单幅图像超分辨率模型，利用单个图像信息的内部递归，同时训练并测试一个残差网络，其训练集从待超分图像本身进行提取。
3、(二)技术方案
4、为了解决上述技术问题，本专利技术提供一种图像超分辨率重建方法，其包括
5、步骤1：对输入的单张图像进行数据扩充和图像增强，接着将图像分割为分辨率比输入的单张图像分辨率小的多张图像，将这些分割后的图像作为高分辨率样本；
6、步骤2：接着将高分辨率样本送入退化模型，构建低分辨率样本数据集，得到特定的hr-lr图像对；
7、步骤3：将lr图像送入网络进行超分辨，生成hr图像；
8、步骤4：将生成的hr图像和数据集中的hr图像对比计算损失；
9、步骤5：反向传播，由步骤4得到的损失值向前传递以更新网络的参数；
10、步骤6：循环步骤4、5，直到损失趋近最低值并收敛，此时认为网络生成的图像最接近hr图像；
11、步骤7：将原始图像送入网络，获得分辨率放大n倍的高分辨率图像。
12、步骤2中，高分辨率样本送入退化模型，依次经过模糊核处理、噪声处理、下采样处理、振铃过冲处理，得到退化后的图像样本。
13、步骤2中，模糊核处理的过程表示为真实图像与模糊核的卷积，如式(1)所示：
14、
15、其中，y为生成的模糊图像，x为清晰原图，h为模糊核，n为噪声。
16、步骤2中，模糊核采用高斯模糊核，基于高斯的正态分布函数构建，如式(2)所示：
17、
18、其中，μ是x的均值，σ是x的标准差。
19、步骤2中，噪声处理采用高斯噪声和泊松噪声，高斯噪声是概率分布服从高斯分布的噪声，属于加性噪声，施加在图像上的过程如式(3)所示：
20、y＝x+n (3)
21、其中，y为受到噪声干扰后的图像，x为原始的清晰的图像，n为叠加的高斯噪声；
22、泊松噪声符合泊松分布，如式(4)所示：
23、
24、步骤2中，下采样处理常用的下采样模型为双三次下采样。
25、步骤2中，振铃过冲处理中，对图像应用sinc滤波器，进行振铃和过冲现象的模拟，sinc滤波器的构造如式(5)所示：
26、
27、其中，(i,j)为内核的坐标，ωc为截止频率，j1是一阶贝塞尔函数。
28、步骤3中，lr图像进行超分辨使用的网络模块包括一个卷积层、三个残差块和一个上采样层；残差块为bottleneck结构，其中第一层的1×1卷积核对输入特征进行降维操作，将矩阵的通道数缩减为四分之一，第二层进行特征学习，第三层的1×1卷积对特征矩阵进行升维操作，将特征矩阵的深度恢复为输入残差块的通道数；上采样层根据缩放因子n对图像进行n倍上采样，恢复为高分辨图像，上采样层后为tanh激活函数确保输出的像素值在[0,255]之间；所有的卷积操作均使用3×3的卷积核。
29、步骤4中，网络的损失函数使用smooth l1函数，mae损失和mse损失如式(6)和式(7)所示：
30、
31、
32、其中，yi为生成图像的像素值，为真实图像的像素值；
33、smooth l1函数作为内容损失函数，如式(8)所示：
34、
35、其中，
36、(三)有益效果
37、上述技术方案所提供的图像超分辨率重建方法，具有以下有益效果：
38、1.本专利技术的超分辨模型相较于传统的对抗生成模型，不受数据集限制，得益于对单张图像进行训练，以及使用了更轻量化的模型，其训练时间及训练资源消耗更少，并且可以根据场景实时进行训练。
39、2.通过由更接近真实图像退化模式的下采样核训练得到的训练完成的超分辨率模型重建原始图像，能够更好的模拟真实图像的退化模式，优化得到的超分辨率图像的效果。
本文档来自技高网...【技术保护点】
1.一种图像超分辨率重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的图像超分辨率重建方法，其特征在于，步骤2中，高分辨率样本送入退化模型，依次经过模糊核处理、噪声处理、下采样处理、振铃过冲处理，得到退化后的图像样本。
3.如权利要求2所述的图像超分辨率重建方法，其特征在于，步骤2中，模糊核处理的过程表示为真实图像与模糊核的卷积，如式(1)所示：
4.如权利要求3所述的图像超分辨率重建方法，其特征在于，步骤2中，模糊核采用高斯模糊核，基于高斯的正态分布函数构建，如式(2)所示：
5.如权利要求4所述的图像超分辨率重建方法，其特征在于，步骤2中，噪声处理采用高斯噪声和泊松噪声，高斯噪声是概率分布服从高斯分布的噪声，属于加性噪声，施加在图像上的过程如式(3)所示：
6.如权利要求5所述的图像超分辨率重建方法，其特征在于，步骤2中，下采样处理常用的下采样模型为双三次下采样。
7.如权利要求6所述的图像超分辨率重建方法，其特征在于，步骤2中，振铃过冲处理中，对图像应用sinc滤波器，进行振铃和过冲现象的模拟
8.如权利要求7所述的图像超分辨率重建方法，其特征在于，步骤3中，LR图像进行超分辨使用的网络模块包括一个卷积层、三个残差块和一个上采样层；残差块为Bottleneck结构，其中第一层的1×1卷积核对输入特征进行降维操作，将矩阵的通道数缩减为四分之一，第二层进行特征学习，第三层的1×1卷积对特征矩阵进行升维操作，将特征矩阵的深度恢复为输入残差块的通道数；上采样层根据缩放因子n对图像进行n倍上采样，恢复为高分辨图像，上采样层后为Tanh激活函数确保输出的像素值在[0,255]之间；所有的卷积操作均使用3×3的卷积核。
9.如权利要求8所述的图像超分辨率重建方法，其特征在于，步骤4中，网络的损失函数使用Smooth L1函数，MAE损失和MSE损失如式(6)和式(7)所示：
10.一种基于权利要求1-9中任一项所述图像超分辨率重建方法在图像处理技术领域中的应用。
...【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的图像超分辨率重建方法，其特征在于，步骤2中，高分辨率样本送入退化模型，依次经过模糊核处理、噪声处理、下采样处理、振铃过冲处理，得到退化后的图像样本。
3.如权利要求2所述的图像超分辨率重建方法，其特征在于，步骤2中，模糊核处理的过程表示为真实图像与模糊核的卷积，如式(1)所示：
4.如权利要求3所述的图像超分辨率重建方法，其特征在于，步骤2中，模糊核采用高斯模糊核，基于高斯的正态分布函数构建，如式(2)所示：
5.如权利要求4所述的图像超分辨率重建方法，其特征在于，步骤2中，噪声处理采用高斯噪声和泊松噪声，高斯噪声是概率分布服从高斯分布的噪声，属于加性噪声，施加在图像上的过程如式(3)所示：
6.如权利要求5所述的图像超分辨率重建方法，其特征在于，步骤2中，下采样处理常用的下采样模型为双三次下采样。
7.如权利要求6所述的图像超分辨率重建方法，其特征在于，步...
【专利技术属性】
技术研发人员：潘柏林，汤磊，龙波，辜欣悦，刘乐，
申请(专利权)人：西南技术物理研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。