基于图像特征快速拼接的图像超分辨率方法和系统技术方案

本发明专利技术公开了一种基于图像特征快速拼接的图像超分辨率方法和系统，属于图像超分辨率技术领域。图像超分辨率方法包括获取原始图像，获取训练完成的差分式图像重建网络；将原始图像输入差分式图像重建网络，差分式特征提取模块提取原始图像的特征信息后，生成得到映射特征图；将映射特征图输入分辨率提升模块，然后生成得到分辨率大于原始图像的强化图像。本发明专利技术通过作差抵消掉大量在分辨率变化时具有弱变性或不变性的特征信息，还利用差分校准模块学习高低分辨率特征图之间的差异化特征，并把学习到的结果去校准特征提取模块尾部的特征图，模型具有计算量小和重建图像质量高的优点。优点。优点。

【技术实现步骤摘要】
基于图像特征快速拼接的图像超分辨率方法和系统


[0001]本专利技术属于图像超分辨率
，具体地说，涉及一种基于图像特征快速拼接的图像超分辨率方法和系统。

技术介绍

[0002]图像中所包含的信息量与其分辨率大小成正比，分辨率越高，呈现的细节特征越多。在天文、医疗和地理信息系统等诸多领域，获取的图像分辨率大小直接影响了输出结果的可靠性。近年来，人工神经网络由于其强大的非线性拟合能力，在提升图像分辨率任务上取得了较大的进步。但是，现有的用于图像超分辨率的神经网络中，对不同的特征都是同等对待、一并处理，需要比较复杂的计算才能实现较好的输出，其计算效率和重建图像的质量都具有较大的改进空间。

技术实现思路

[0003]针对现有技术中上述的不足，本专利技术提供一种基于图像特征快速拼接的图像超分辨率方法和系统，以提升图像超分辨率重建效果。
[0004]为了达到上述目的，本专利技术采用的解决方案是：一种基于图像特征快速拼接的图像超分辨率方法，包括以下步骤：S100、获取原始图像，获取训练完成的差分式图像重建网络，所述差分式图像重建网络中设有差分式特征提取模块和分辨率提升模块；S200、将所述原始图像输入所述差分式图像重建网络，所述差分式特征提取模块提取所述原始图像的特征信息后，生成得到映射特征图；S300、将所述映射特征图输入所述分辨率提升模块，利用所述分辨率提升模块对所述映射特征图进行超分辨率重建，然后生成得到分辨率大于所述原始图像的强化图像，完成图像超分辨率重建；所述差分式特征提取模块的内部运算过程表示为如下数学模型：；
其中，表示输入差分式特征提取模块的特征图，表示差分式特征提取模块末端输出的特征图，、和均表示卷积核大小为3*3的普通卷积层，和均表示卷积核大小为5*5的普通卷积层，表示卷积核大小为3*3、且步长为2的跨步卷积层，表示卷积核大小为1*1的普通卷积层，、、、、、、和均代表ReLU函数，表示亚像素卷积层，表示拼接操作，表示差分校准模块，表示激活后输出的特征图，表示激活后输出的特征图，表示激活后输出的特征图，表示激活后输出的特征图，表示激活后输出的特征图，表示差分校准模块生成输出的差分校准图，表示元素对应乘积运算，表示激活后输出的特征图，表示激活后输出的特征图。
[0005]进一步地，所述差分式图像重建网络中设有多个差分式特征提取模块，多个差分式特征提取模块首尾依次连接。
[0006]进一步地，所述差分式图像重建网络中设有特征融合模块，所述特征融合模块将各个所述差分式特征提取模块输出的映射特征图融合后再输入所述分辨率提升模块。
[0007]进一步地，所述差分校准模块内部运算过程表示为如下数学模型：；其中，和表示输入所述差分校准模块的特征图，表示沿着通道方向对特征图做全局最大池化操作，表示沿着通道方向对特征图做全局平均池化操作，表示沿着通道方向对特征图做全局中值池化操作，表示对特征图做池化窗口尺寸为2*2、且步长为2的平均池化操作，表示对特征图做池化窗口尺寸为2*2、且步长为2的最大池化操作；表示拼接操作，表示元素对应乘积运算；和均表示卷积核大小为1*1的普通卷积层，和均表示sigmoid函数，表示对先沿着通道方向做全局最大池化、再经过池化操作后输出的特征图，表示对先沿着通道方向做全局平均池化、再经过池化操作后输出的特征图，表示对先沿着通道方向做全局中值池化、再经过池化操作后输出的特征图，表示激活后输出的特征图，表示拼接操作后得到的特征图，表示差分校准模块生成输出的差分校准图。
[0008]本专利技术还提供了基于图像特征快速拼接的图像超分辨率系统，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的图像超分辨率方法。
[0009]本专利技术的有益效果是：
（1）目前的共识是，对于基于卷积神经网络的图像超分辨率算法而言，决定重建图像质量的一个重要因素是要能够很好地学习和提取到原始输入图像中的高频信息；在本专利技术中，对多尺度特征提取结构整合后的特征图（特征图）进行上采样，然后再利用跨步卷积进行下采样，经过尺寸变换后得到的特征图分别与前面的特征图和特征图作差，这样能够抵消掉大量在分辨率变化时具有弱变性或不变性的特征信息（这些信息几乎都是低频信息），作差后得到的差分特征信息中高频信息比例高，在后续的拼接、卷积和激活过程中，实现了基于图像特征快速拼接的效果，以相对简单的运算实现了高质量的特征提取；（2）现有技术中，通常都是前端为特征提取模块，低分辨率到高分辨率的学习和映射操作仅在网络的尾部通过一个超分辨率重建模块来完成，而单一的重建模块难以同时充分地学习不同尺度和不同层级的高低分辨率特征关系；本专利技术将上采样和下采样后得到的特征图输入差分校准模块，利用差分校准模块从中学习高低分辨率特征图之间的差异化特征，并把学习到的结果去校准特征提取模块尾部的特征图，这样实现了分散地在不同尺度下分别对高低分辨率特征之间的映射关系进行预学习和预校准，网络通过简单的特征提取操作，就能实现很好的超分辨率重建效果，模型具有计算量小和图像重建质量高的优点。
附图说明
[0010]图1为本专利技术的差分式图像重建网络结构示意图；图2为实施例的差分式特征提取模块结构示意图；图3为实施例的差分校准模块结构示意图；图4为实施例的特征融合模块结构示意图；图5为实施例的分辨率提升模块结构示意图；图6为对比例的差分式特征提取模块结构示意图；附图中：1
‑
初次卷积层，2
‑
差分式特征提取模块，3
‑
特征融合模块，4
‑
分辨率提升模块，5
‑
原始图像，6
‑
强化图像，7
‑
差分校准模块。
具体实施方式
[0011]以下结合附图对本专利技术作进一步描述：实施例：本专利技术提供一种基于图像特征快速拼接的图像超分辨率方法，包括以下步骤：S100、获取原始图像5，获取训练完成的差分式图像重建网络；如图1所示，差分式图像重建网络中依次设有初次卷积层1（卷积核尺寸为3*3，步长为1）、五个差分式特征提取模块2、一个特征融合模块3和一个分辨率提升模块4，五个差分式特征提取模块2首尾顺次连接；S200、将原始图像5输入差分式图像重建网络，图像信息顺次经过初次卷积层1和各个差分式特征提取模块2后，提取各个差分式特征提取模块2输出的映射特征图并输入特征融合模块3，利用特征融合模块3将各个映射特征图融合；S300、将各个映射特征图融合后的结果输入分辨率提升模块4，利用分辨率提升模块4进行超分辨率重建，然后生成得到分辨率大于原始图像5的强化图像6，完成图像超分辨
率重建。
[0012]下面对差分式图像重建网络内部的运行过程进行较为详细的示例性说明。
[0013]假设输入差分式图像重建网络的某个原始图像5的宽度、高度和通道尺寸分别为T、P和3，本实施例中，初次卷积层1输出特征图尺寸为T*P*64（宽度*高度*通道，下同）。如图2所示，在每个差分式特征提取模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像特征快速拼接的图像超分辨率方法，其特征是：包括以下步骤：S100、获取原始图像，获取训练完成的差分式图像重建网络，所述差分式图像重建网络中设有差分式特征提取模块和分辨率提升模块；S200、将所述原始图像输入所述差分式图像重建网络，所述差分式特征提取模块提取所述原始图像的特征信息后，生成得到映射特征图；S300、将所述映射特征图输入所述分辨率提升模块，利用所述分辨率提升模块对所述映射特征图进行超分辨率重建，然后生成得到分辨率大于所述原始图像的强化图像，完成图像超分辨率重建；所述差分式特征提取模块的内部运算过程表示为如下数学模型：；其中，表示输入差分式特征提取模块的特征图，表示差分式特征提取模块末端输出的特征图，、和均表示卷积核大小为3*3的普通卷积层，和均表示卷积核大小为5*5的普通卷积层，表示卷积核大小为3*3、且步长为2的跨步卷积层，表示卷积核大小为1*1的普通卷积层，、、、、、、和均代表ReLU函数，表示亚像素卷积层，表示拼接操作，表示差分校准模块，表示激活后输出的特征图，表示激活后输出的特征图，表示激活后输出的特征图，表示激活后输出的特征图，表示激活后输出的特征图，表示差分校准模块生成输出的差分校准图，表示元素对应乘积运算，表示激活后输出的特征图，表示激活后输出的特征图。2.根据权利要求1所述的基于图像特征快速拼接的图像超分辨率方法，其特征是：所述差分式图像重建网络中设有多个差分式特征提取模块，多个差分式特征提取模块...

【专利技术属性】
技术研发人员：朱文忠，刘峪，张智柯，李杰，尹鑫淼，何鑫，包德帅，何海东，潘磊，
申请(专利权)人：四川轻化工大学，
类型：发明
国别省市：