一种基于边缘增强的红外图像超分辨率重建方法技术

本发明专利技术公开了一种基于边缘增强的红外图像超分辨率重建方法，涉及图像处理方法技术领域。本发明专利技术利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS

【技术实现步骤摘要】
一种基于边缘增强的红外图像超分辨率重建方法


[0001]本专利技术涉及图像处理
，特别涉及一种基于边缘增强的红外图像超分辨率重建方法。

技术介绍

[0002]由于微电子技术的迅猛发展，基于可见光的光学相机凭借其较快的成像速度和较好的成像质量，迅速在安防监控、无人机、军事和农业等领域得到了广泛的应用。然而，由于其成像原理的限制，在夜间和极端恶劣天气条件场景下，基于可见光的RGB相机成像质量直线下降。此时，红外相机由于穿透烟、雾等能力较强，在上述场景下可替代传统的可见光相机用于捕获图像。但是，一般民用红外相机的传感器分辨率较低，与动辄百万像素的RGB光学相机难以比拟，导致其最终捕获的红外图像分辨率较低。因而，采用新技术高效而又经济的提高红外图像的分辨率成为亟待解决的问题。相较于花费大量时间和资金投入研发高分辨率红外传感器，从图像处理算法这一技术路径来提升红外图像分辨率成为目前主流发展方向。
[0003]单一图像超分辨率重建是图像处理领域中一个经典的研究问题，其旨在通过低分辨率图像重建具有精细细节的高分辨率图像。为了生成高质量的超分辨率图像，图像处理领域的研究学者提出了许多超分辨率方法，目前单一图像超分辨率重建方法可分为三种类型：基于插值的方法、基于重构的方法和基于学习的方法。基于插值的方法主要有最近邻近插值、双线性插值和双三次插值等。这类方法计算较为简单、易于实现和理解，但是重建结果容易出现振铃效应，无法恢复图像中的纹理细节信息。基于重构的方法有迭代反向投影法、非均匀内插法和最大后验概率法等。该类方法对图像的获取过程建立观测模型，然后通过求解观测模型的逆问题来实现超分辨重建，但是该类方法实现过程相对复杂，计算量较大，并且十分耗时。基于深度学习的方法主要有SRCNN、FSRCNN、ESPCNN、VDSR、EDSR、RDN和RCAN等算法。该类算法利用在低分辨率图像块与高分辨率图像块之间建立端到端的映射，对高频信息进行复原，重建出了很不错的高分辨率图像，但是上述方法在提取高频特征时，提取方式比较单一，并没有考虑多尺度特征信息，并且重建出的图像缺乏清晰的边缘结构。

技术实现思路

[0004]为了克服上述所述的不足，本专利技术的目的是提供一种基于边缘增强的红外图像超分辨率重建方法，以使重建的超分辨率红外图像边缘更加清晰，纹理细节更加丰富，且适用范围广。
[0005]本专利技术解决其技术问题的技术方案是：一种基于边缘增强的红外图像超分辨率重建方法，利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS
‑
RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对
浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。
[0006]进一步优选，所述边缘特征提取是指将低分辨率红外图像通过追踪损失优化预训练好的强边缘特征提取模块，提取输入的低分辨红外图像边缘特征，得到边缘特征。
[0007]进一步优选，所述边缘特征提取：将输入的低分辨率红外图像输入最大值池化坐标注意力模块，通过引入最大值池化操作以关注变化明显的图像边缘区域，增强输入低分辨率红外图像的边缘权重，将增强边缘权重的低分辨率红外图像输入CATS
‑
RCF边缘提取网络进行边缘特征提取，得到准确清晰的边缘特征。
[0008]进一步优选，在最大值池化坐标注意力模块中，低分辨率红外图像分别进行X方向最大值池化和Y方向最大值池化，然后连接，经过卷积层卷积并非线性激活后分离，分离之后再分别通过卷积层卷积并sigmoid激活，之后与X、Y方向权值分别加强相乘，输出增强边缘权重的低分辨率红外图像。
[0009]进一步优选，CATS
‑
RCF边缘提取网络包括依次设置的阶段1、阶段2、阶段3、阶段4和阶段5，每个阶段设有卷积层，5个阶段的阶段边缘特征输出进行通道拼接，然后经过上下文感知融合模块处理并sigmoid激活，输出最终边缘特征。
[0010]进一步优选，深层特征提取时，将浅层特征通过多个级联残差可选择核卷积组、一个边缘特征融合块、一个3
×
3卷积和全局残差连接组成的多重残差深层特征提取模块，进行多尺度特征提取和边缘特征融合，得到深层特征。
[0011]进一步优选，深层特征提取时，通过将浅层特征输入由n个级联残差可选择核卷积组、边缘特征融合块、一个3
×
3卷积和全局残差连接组成的多重残差深层特征提取模块，对浅层特征进行多尺度特征提取及边缘特征融合，得到边缘增强、层次更深的深层特征，其中级联残差可选择核卷积组包含m个级联残差可选择核卷积块，深层特征提取过程描述为：其中，表示第个多重残差可选择核卷积组，表示多重残差可选择核卷积组的数量，表示第个多重残差可选择核卷积组的多尺度中间特征，表示第个多重残差可选择核卷积组的多尺度中间特征，表示第个多重残差可选择核卷积组的多尺度中间特征，表示边缘特征融合块，表示空间和通道维度边缘增强的高频特征，表示卷积核大小为3
×
3的卷积操作，表示深层特征，表示浅层特征，表示最终边缘特征。
[0012]进一步优选，所述残差可选择核卷积块包含两个3
×
3卷积层、一个激活函数、残差连接和一个注意力增强的可选择核卷积模块，残差可选择核卷积块处理过程描述为：其中，表示残差可选择核卷积块的输入特征，表示残差可选择核卷积块的输出特征，表示注意力增强的可选择核卷积模块，表示可变的激活函数，表示激活函数可学习的斜率，表示激活函数可学习的截距，表示
激活函数的输入特征。
[0013]进一步优选，注意力增强的可选择核卷积模块的处理过程描述为：其中，表示可选择卷积的输入特征，为扩张率为1的3
×
3卷积，为扩张率为2的3
×
3卷积，表示LeakyReLU激活函数为扩张率为1的3
×
3卷积输出特征，为扩张率为2的3
×
3卷积输出特征，表示三重注意力机制，为经三重注意力权重增强的特征输出，为经三重注意力权重增强的特征输出，表示不同尺度融合的特征，表示融合特征在位置的值，表示全局平均池化，表示通道统计信息，表示训练权重，表示全连接层，表示压缩特征，表示Softmax激活函数，表示的软注意力向量，表示的软注意力向量，表示经核注意力权重二次分配的特征输出，表示经核注意力权重二次分配的特征输出，表示经多种核注意力权重分配输出的最终特征图。
[0014]进一步优选，边缘特征融合块将边缘特征经过一层3
×
3卷积进行特征维度转换，然后将转换维度后的边缘特征和多尺度纹理特征通过特征相加操作进行空间维度边缘增强得到空间维度边缘增强的纹理特征，继而将空间维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘增强的红外图像超分辨率重建方法，其特征在于，利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS
‑
RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。2.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，所述边缘特征提取是指将低分辨率红外图像通过追踪损失优化预训练好的强边缘特征提取模块，提取输入的低分辨红外图像边缘特征，得到边缘特征。3.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，所述边缘特征提取：将输入的低分辨率红外图像输入最大值池化坐标注意力模块，通过引入最大值池化操作以关注变化明显的图像边缘区域，增强输入低分辨率红外图像的边缘权重，将增强边缘权重的低分辨率红外图像输入CATS
‑
RCF边缘提取网络进行边缘特征提取，得到准确清晰的边缘特征。4.根据权利要求3所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，在最大值池化坐标注意力模块中，低分辨率红外图像分别进行X方向最大值池化和Y方向最大值池化，然后连接，经过卷积层卷积并非线性激活后分离，分离之后再分别通过卷积层卷积并sigmoid激活，之后与X、Y方向权值分别加强相乘，输出增强边缘权重的低分辨率红外图像。5.根据权利要求3所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，CATS
‑
RCF边缘提取网络包括依次设置的阶段1、阶段2、阶段3、阶段4和阶段5，每个阶段设有卷积层，5个阶段的阶段边缘特征输出进行通道拼接，然后经过上下文感知融合模块处理并sigmoid激活，输出最终边缘特征。6.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，深层特征提取时，将浅层特征通过多个级联残差可选择核卷积组、一个边缘特征融合块、一个3
×
3卷积和全局残差连接组成的多重残差深层特征提取模块，进行多尺度特征提取和边缘特征融合，得到深层特征。7.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，深层特征提取时，通过将浅层特征输入由n个级联残差可选择核卷积组、边缘特征融合块、一个3
×
3卷积和全局残差连接组成的多重残差深层特征提取模块，对浅层特...

【专利技术属性】
技术研发人员：阮嘉辰，胡蕾，李海燕，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：