适用于多模糊核的两阶段深度网络图像超分辨率重建方法技术

本发明专利技术提出一种适用于多模糊核的两阶段深度网络图像超分辨率重建方法，包括S1、构造数据集，以原始高分辨率图像为基础，生成对应的低分辨率模糊图像，并划分训练集、验证集和测试集；S2：构建适用于多模糊核的融合语义特征和空间特征的两阶段深度超分辨率重建模型；S3：初始化S2中所述模型，选取优化器，设置网络训练参数；S4：利用损失函数优化模型直至其收敛，并保存训练过程中生成的网络模型，用于图像超分辨率重建。本发明专利技术使图像中的关键区域得到更多的关注，从而显著减少计算量；同时有效利用多个模糊核的先验信息，以减少模糊核不匹配的可能性，提高图像恢复质量。提高图像恢复质量。提高图像恢复质量。

【技术实现步骤摘要】
适用于多模糊核的两阶段深度网络图像超分辨率重建方法


[0001]本专利技术属于计算机视觉领域,特别是涉及到一种适用于多模糊核的两阶段深度网络图像超分辨率重建方法。

技术介绍

[0002]单图像超分辨率指从单幅低分辨率图像重建高分辨率图像。作为计算机视觉和图像处理领域的一种重要技术，在越来越多领域得到了广泛的应用，如医学成像、遥感军事、视频监控等。
[0003]近年来，随着卷积神经网络的兴起，单图像超分辨率的研究也得到了迅速发展。在使用双三次插值合成低分辨率图像的基于卷积神经网络的超分辨率模型出现后，应用双三次插值作为退化模型的深度神经网络超分辨率方法陆续涌现。例如：现有技术中基于深度密集残差网络设计了一种金字塔结构的深度图超分辨模型，通过金字塔结构，所提出的模型利用从不同层提取的特征，并使用密集的残差块来模拟高频残差和低分辨率深度图之间的映射。又例如：现有技术中通过结合残差块、长短跳跃连接和通道注意力，提出残差通道注意力网络(RCAN)能够从输入图像中学习更有效的信息。另外，为了实现快速准确的图像超分辨率，现有技术中提出了深度拉普拉斯金字塔超分辨率网络(LapSRN)，在多个金字塔级别逐步重建HR图像的子带残差，并利用递归层在金字塔层之间和金字塔层内共享参数。尽管基于卷积神经网络的超分辨率方法取得了重大进展，但复杂的图像退化过程导致双三次插值退化模型的实际应用场景有限，这使得高质量的超分辨率恢复成为一项艰巨的任务。
[0004]图像超分辨率的最新发展见证了更多超越双三次退化的超分辨率方法的到来，例如模糊、下采样和噪声。通过判别学习，将快速有效的卷积神经网络去噪器集成到基于模型的优化中，以解决高斯去噪问题。DeblurGAN
‑
v2是一种新的端到端生成对抗网络(GAN)，首次引入了特征金字塔网络作为生成器的核心构建模块，并且配备了双尺度鉴别器，实现了灵活高效的单图像运动去模糊。ZSSR是第一个无监督的零样本图像超分辨率方法，它利用单张图片的内部重复信息，通过小型卷积神经网络进行无监督训练，对低分辨率图像进行去模糊和去噪。GFN是一个双分支卷积神经网络，分别进行基本特征提取和特征恢复，然后通过递归门模块融合基本特征和恢复特征，以获得超分辨率的清晰特征。SFTMD是一种非盲去模糊超分辨率方法，通过空间特征变换层对特征图进行仿射变换以处理高斯模糊。
[0005]Transformer在自然语言处理领域大放异彩，在计算机视觉也应用广泛。现有方案中将Transformer处理的低阶词素和卷积神经网络处理的高阶语义信息相结合，采用网络预训练、微调的方法，通过分工合作提高超分辨率结果。SwinIR是一种基于Swin Transformer并结合局部注意力和跨窗口交互的强大图像恢复基线模型，比流行的基于卷积神经网络的超分辨率模型具有更好的性能和更少的参数。显然，Transformer有可能成为计算机视觉任务的强大“通用”模型。
[0006]尽管基于卷积神经网络的方法通过不同的网络结构和训练策略，不断的提高单图
像超分辨率的性能。但现有超分辨率模型平等地对待所有视觉信息，而不关注图像中相对重要的区域，例如，在视频监控图像中，人类应该比天空更受关注。然而，基于卷积神经网络的超分辨率方法统一处理所有图像块，从而导致计算和表示的空间效率低下。此外，低分辨率图像中的退化通常由模糊核建模，包括广泛采用的各向同性高斯模糊内核、运动模糊和失焦模糊等。但是，大多数现有的超分辨方法不考虑模糊核，或者只针对单一类型的模糊核，它们不能处理由其他模糊核生成的低分辨率图像。因此模糊核不匹配会使恢复后的图像出现锐化、模糊、失焦等现象，从而导致恢复性能不佳。

技术实现思路

[0007]本专利技术的目的在于克服现有技术的不足，提出适用于多模糊核的两阶段深度网络图像超分辨率重建方法，使图像中的关键区域得到更多的关注，从而显著减少计算量；同时有效利用多个模糊核的先验信息，以减少模糊核不匹配的可能性，提高图像恢复质量。
[0008]为达到上述目的，本专利技术的技术方案是这样实现的：
[0009]一种适用于多模糊核的两阶段深度网络图像超分辨率重建方法，包括：
[0010]S1、构造数据集，以原始高分辨率图像为基础，生成对应的低分辨率模糊图像，并划分训练集、验证集和测试集；
[0011]S2：构建适用于多模糊核的融合语义特征和空间特征的两阶段深度超分辨率重建模型；
[0012]S3：初始化S2中所述模型，选取优化器，设置网络训练参数；
[0013]S4：利用损失函数优化模型直至其收敛，并保存训练过程中生成的网络模型，用于图像超分辨率重建。
[0014]进一步的，还包括：
[0015]S5：加载所述网络模型，在测试集上进行测试；
[0016]S6：根据评价指标和视觉对比结果，评估模型的图像恢复性能。
[0017]更进一步的，步骤S6中计算步骤S5测试生成的重建后的超分辨率图像与原始高分辨率图像之间的峰值信噪比PSNR和结构相似性SSIM，并结合图像的视觉对比结果，评估模型的图像恢复性能。
[0018]进一步的，步骤S1中所述低分辨率模糊图像的生成方法包括使用多模糊核对所述原始高分辨率图像进行模糊处理。
[0019]进一步的，步骤S2中所述语义特征的提取包括：
[0020]S201、通过空间注意力将含有H*W个像素的特征图转换为L个紧凑的视觉语义标记，其中H和W是图像的高和宽，L小于H*W；
[0021]S202、应用Transformer模型对所述视觉语义标记之间的交互关系进行建模；
[0022]S203、将视觉语义标记转换为语义特征图。
[0023]更进一步的，步骤S2中所述空间特征的融合包括：
[0024]S211、利用主成分分析法将模糊核投影到线性空间上进行降维，再将降维核拉伸到与所述语义特征图相同的维度，得到模糊核图；
[0025]S212、使用仿射变换建模模糊核图的先验信息对语义特征图的影响；
[0026]S213、利用输入语义特征图的空间关系生成空间注意特征；使用最大池化和平均
池化操作来收集语义特征图的通道信息，并计算出注意权重；根据注意权重，得到具有空间注意信息的空间特征图。
[0027]进一步的，步骤S3中选取ADAM优化器优化模型。
[0028]进一步的，步骤S4中采用均方误差损失函数来实现对模型的优化。
[0029]本专利技术另一方面还提出了一种适用于多模糊核的两阶段深度网络图像超分辨率重建装置，包括：
[0030]数据集单元：构造数据集，以原始高分辨率图像为基础，生成对应的低分辨率模糊图像，并划分训练集、验证集和测试集；
[0031]模型构建单元：构建适用于多模糊核的融合语义特征和空间特征的两阶段深度超分辨率重建模型；
[0032]初始化单元，初始化模型构建单元构建的模型，选取优化器，设置网络训练参数；
[0033]模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于多模糊核的两阶段深度网络图像超分辨率重建方法，其特征在于，包括：S1、构造数据集，以原始高分辨率图像为基础，生成对应的低分辨率模糊图像，并划分训练集、验证集和测试集；S2：构建适用于多模糊核的融合语义特征和空间特征的两阶段深度超分辨率重建模型；S3：初始化S2中所述模型，选取优化器，设置网络训练参数；S4：利用损失函数优化模型直至其收敛，并保存训练过程中生成的网络模型，用于图像超分辨率重建。2.根据权利要求1所述的适用于多模糊核的两阶段深度网络图像超分辨率重建方法，其特征在于，还包括：S5：加载所述网络模型，在测试集上进行测试；S6：根据评价指标和视觉对比结果，评估模型的图像恢复性能。3.根据权利要求2所述的适用于多模糊核的两阶段深度网络图像超分辨率重建方法，其特征在于，步骤S6中计算步骤S5测试生成的重建后的超分辨率图像与原始高分辨率图像之间的峰值信噪比PSNR和结构相似性SSIM，并结合图像的视觉对比结果，评估模型的图像恢复性能。4.根据权利要求1所述的适用于多模糊核的两阶段深度网络图像超分辨率重建方法，其特征在于，步骤S1中所述低分辨率模糊图像的生成方法包括使用多模糊核对所述原始高分辨率图像进行模糊处理。5.根据权利要求1所述的适用于多模糊核的两阶段深度网络图像超分辨率重建方法，其特征在于，步骤S2中所述语义特征的提取包括：S201、通过空间注意力将含有H*W个像素的特征图转换为L个紧凑的视觉语义标记，其中H和W是图像的高和宽，L小于H*W；S202、应用Transformer模型对所述视觉语义标记之间的交互关系进行建模；S203、将视觉语义标记转换为语义特征图。6.根据权利要求5所述的适用于多模糊核的两阶段深度网络图像超分辨率重建方法，其特征在于，步骤S2中所述空间特征的融合包括：S211、利用主成分分析法将模糊核投影到线性空间上进行降维，再将降维核拉伸到与所述语义特征图相同的维度，得到模糊核图；S212、使用仿射变换建模模糊核图的先验信息对...

【专利技术属性】
技术研发人员：庞志刚，王波，杨巨成，王伟，国英龙，孙笑，贾智洋，魏峰，徐振宇，王嫄，刘建征，
申请(专利权)人：包头市易慧信息科技有限公司，
类型：发明
国别省市：