一种图像超分辨率重建方法、系统及设备技术方案

本发明专利技术公开了一种图像超分辨率重建方法、系统及设备，所述方法包括：通过第一参考图像获取第一图像和输入图像；利用卷积结构下采样提取输入图像浅层特征，得到第二参考图像；通过组合操作处理第二参考图像，得到融合特征图像；将融合特征图像进行迭代上下采样操作，得到第一图像的超分辨率图像；将第一图像超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；采用上述方案，可以使超分辨率图像具有丰富纹理，提高了图像超分辨率的性能，实现了充分利用浅层深层图像特征完成图像超分辨率重建。征完成图像超分辨率重建。征完成图像超分辨率重建。

【技术实现步骤摘要】
一种图像超分辨率重建方法、系统及设备


[0001]本专利技术涉及一种图像超分辨率重建方法、系统及设备，尤其涉及一种基于深度学习的图像超分辨率重建方法、系统及设备。

技术介绍

[0002]图像超分辨率重建是指由一张低分辨率(Low
‑
resolution，LR)图像或者图像序列恢复出高分辨率(High
‑
resolution，HR)图像的技术；高分辨率图像在科学、医学和工程等领域应用广泛，但制作高分辨率图像需要耗费大量时间和资源；因此，通过图像超分辨率重建技术可以从现有的低分辨率图像中获取更多的细节信息，实现高分辨率图像的生成；超分辨率重建技术可分为两类：一种是通过多张低分辨率图像来提高图像分辨率，另一种是仅使用单张低分辨率图像进行超分辨率重建；其中，单图像超分辨率技术因其简便易行而被广泛关注；这种技术通常基于重构方法、基于样例方法或深度学习方法，对输入的低分辨率图像进行处理，并推断出高分辨率图像的细节信息；图像超分辨率重建技术对于提高图像质量、增强图像特征表达能力以及改善视觉效果具有重要意义。
[0003]近年来，基于深度学习的图像超分辨率重建方法备受关注；卷积神经网络(Convolution Neural Network,CNN)是一种有效的学习模型，可以通过传统梯度下降法训练模型学习图像特征，适合应用于图像特征的学习与表达；因此，自开创性工作SRCNN被提出以来，许多基于CNN的超分辨率模型被提出，包括使用残差块、密集块等更精细的神经网络架构设计，以及通道注意力、非局部注意力和自适应块聚合等注意力机制；使用基于CNN的图像超分辨率重建方法可以有效提高图像质量；但是，目前现有技术中，卷积核对图像内容的建模效果并不好，尤其是在处理长期依赖关系时，CNN其固定的局部感受野在处理长序列时可能丢失一些上下文信息，且参数量较大，增加模型容量可以改善结果，但通常会导致图像细节和纹理细节的恢复不足。

技术实现思路

[0004]专利技术目的：本专利技术的目的是提供一种可以精确重建纹理细节的基于深度学习的图像超分辨率重建方法、系统及设备。
[0005]技术方案：本专利技术所述的图像超分辨率重建方法，包括以下步骤：
[0006](1)将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；
[0007](2)利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；
[0008](3)通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；
[0009](4)将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；
[0010](5)将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降
采样图像；
[0011](6)通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像。
[0012]步骤(1)所述的第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到。
[0013]步骤(1)所述的输入图像由第一图像通过卷积结构放大4倍分辨率得到。
[0014]步骤(3)所述的组合操作，具体包括依次执行的：多次由若干个剩余通道注意力处理操作、一次转换器操作和一次上采样操作。
[0015]步骤(3)所述的融合操作具体为，将第二参考图像的放大特征图与输入图像的浅层特征进行融合操作。
[0016]步骤(6)所述的通过训练得到图像超分辨率重建模型，具体方法为将超分辨率图像与第一参考图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，以及将超分辨率降采样图像与所述第一图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。
[0017]本专利技术还提供了一种图像超分辨率重建系统，包括发送单元和接收单元。
[0018]所述发送单元，包含图像预处理模块和发送模块，其中：所述图像预处理模块，用于通过第一参考图像获取第一图像和输入图像；所述发送模块，用于将第一图像和输入图像发送到接收单元。
[0019]所述接收单元，包含接收模块、特征提取模块、图像重建模块和输出模块，其中：所述接收模块，用于接收发送单元输出的结果；所述特征提取模块，用于利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；所述图像重建模块，用于通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；所述输出模块，用于将得到的重建完成的超分辨率图像输出到指定位置。
[0020]本专利技术还提供了一种图像超分辨率重建设备，包括存储器、处理器、接口装置和通信装置，其中：所述存储器，用于存储程序指令；所述处理器，用于调用存储器中存储的程序指令，执行所述图像超分辨率重建方法的步骤(1)
‑
(6)；所述接口装置，用于提供有线或无线通讯的接口；所述通信装置，用于进行短程或远程通信。
[0021]有益效果：与现有技术相比，本专利技术具有如下显著优点：1、去除多余伪影保留高频细节的同时获得更清晰的边缘与纹理，重建的超分辨率图像更加逼真；2、减少了重建LR图像时额外映射空间，提高了图像超分辨率重建模型性能，更加充分利用所述第一图像的浅层及深层特征。
附图说明
[0022]图1为本专利技术实施例提供的图像超分辨率重建方法的流程示意图；
[0023]图2为本专利技术实施例图像接收后应用图像超分辨率重建方法的具体流程图；
[0024]图3为本专利技术实施例的特征提取模块的图像处理过程示意图；
[0025]图4为本专利技术实施例的图像重建模块中残差转换网络图像处理过程示意图；
[0026]图5为本专利技术实施例的图像重建模块的图像处理过程示意图；
[0027]图6为本专利技术实施例的对偶回归模块的图像处理过程示意图；
[0028]图7为本专利技术实施例的图像超分辨率重建方法的全过程示意图；
[0029]图8为本专利技术实施例提供的图像超分辨率重建系统的示意图；
[0030]图9为本专利技术实施例提供的图像超分辨率重建设备的示意图。
具体实施方式
[0031]下面结合附图与实施例对本专利技术的技术方案作进一步说明。
[0032]如附图1所示，本专利技术实施例供的图像超分辨率重建方法的流程图，具体步骤包括：
[0033]步骤S101：将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到，再将第一图像通过卷积结构放大4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括以下步骤：(1)将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；(2)利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；(3)通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；(4)将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；(5)将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；(6)通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(1)所述的第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到。3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(1)所述的输入图像由第一图像通过卷积结构放大4倍分辨率得到。4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(3)所述的组合操作，具体包括依次执行的：多次由若干个剩余通道注意力处理操作、一次转换器操作和一次上采样操作。5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(3)所述的融合操作具体为，将第二参考图像的放大特征图与输入图像的浅层特征进行融合操作。6.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(6)所述的通过训练得到图像超分辨率重建模型，具体方法为将超分辨率图像与第一参考图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，以及将超分辨率降采样图像与所述第一图像进行迭代更新运算，采...

【专利技术属性】
技术研发人员：李佩珊，张永宏，王丽华，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：