一种轻量级红外超分辨率自适应重建方法技术

本发明专利技术属于图像处理技术领域，尤其为一种轻量级红外超分辨率自适应重建方法，包括如下步骤：步骤1，构建网络模型：红外图像超分辨率重建模型包括输入初始化层、图像特征提取模块和输出图像重建模块；步骤2，准备数据集：准备红外图像数据集，并对其进行模拟下采样和数据增广，以便后续进行网络训练；步骤3，训练网络模型：训练红外图像超分辨率重建模型。本发明专利技术提出的自适应图像特征处理单元，通过将自注意力机制限制在滑动窗口内，依赖滑动窗口内各特征本身来自适应地计算并更新窗口内的特征值，避免了在局部窗口内采用相同的卷积核，提高了表达能力，同时减少了自注意力机制训练和推理过程中产生的计算量。过程中产生的计算量。过程中产生的计算量。

【技术实现步骤摘要】
一种轻量级红外超分辨率自适应重建方法


[0001]本专利技术涉及图像处理
，具体为一种轻量级红外超分辨率自适应重建方法。

技术介绍

[0002]红外图像的成像机理是通过感应环境中物体发射的热辐射进行成像，不依赖环境光或人造光源的反射，具备很强的抗干扰和全天候工作能力；由于其出色的识别能力和被动成像的特点，被广泛用于军事、自动驾驶和安防等领域；但是，红外成像传感器的制作工艺较为复杂，密集阵列需要制冷机支持，所以其分辨率普遍较低，且价格昂贵；相比直接改良成像传感器，通过图像超分辨率的方法，恢复部分红外图像中的高频信息，提高图像的分辨率和质量，能有效提高成像质量且成本低廉，具有重要的实际意义和广阔的应用前景；红外图像超分辨率是一个高度欠定问题，丢失的细节需要通过大量的图像结构关系来估计，这导致红外图像超分辨率重建的难度较高；目前主流的方案是采用卷积神经网络来完成从低分辨率红外图像到高分辨率红外图像的映射，这会受到卷积网络中卷积核参数复用的原理的限制。
[0003]中国专利公开号为“CN112308772B”，名称为“基于深度学习局部与非局部信息的超分辨率重建方法”，该方法构建了一个深层神经网络模型，将图像输入网络后分时复用同一套特征筛选网络，包括局部网络和非局部增强网络两大模块，通过非常深层的卷积运算，恢复图像中丢失的细节；卷积运算在每一层采用固定的卷积核，这使浅层网络的表达能力很差，所以网络常常要设计得很深很宽，这使计算复杂度和存储容量占用率都居高不下；因此，如何克服卷积运算的限制，通过少量的可学习参数和乘加运算就能实现高质量超分辨率重建是本领域技术人员亟需解决的问题。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种轻量级红外超分辨率自适应重建方法，解决了上述
技术介绍
中所提出的问题。
[0006](二)技术方案
[0007]本专利技术为了实现上述目的具体采用以下技术方案：
[0008]一种轻量级红外超分辨率自适应重建方法，包括如下步骤：
[0009]步骤1，构建网络模型：红外图像超分辨率重建模型包括输入初始化层、图像特征提取模块和输出图像重建模块；
[0010]步骤2，准备数据集：准备红外图像数据集，并对其进行模拟下采样和数据增广，以便后续进行网络训练；
[0011]步骤3，训练网络模型：训练红外图像超分辨率重建模型，将步骤2中准备好的数据集进输入到步骤1中构建好的网络模型中进行训练；
[0012]步骤4，最小化损失函数和选择最优评估指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数；同时选择最优评估指标来衡量算法的精度，评估系统的性能；
[0013]步骤5，微调模型：准备多个额外的红外图像数据集，对模型进行训练和微调，得到更优的模型参数，进一步提高模型的泛化能力；最终使得模型在应对多种型号的红外成像仪时维持良好的重建质量；
[0014]步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外图像超分辨率重建操作时，直接将图像输入到网络中即可得到最终的重建图像。
[0015]上述的一种轻量级红外超分辨率自适应重建方法，所述步骤1中红外图像超分辨率重建模型中输入初始化为单层卷积层，用于将输入图像映射到特征空间中，以供后续特征的进一步细化和处理；图像特征提取模块由四层自适应图像特征处理单元组成，具体而言，自适应图像特征处理单元由卷积层一、自注意力层和卷积层二组成，其中自注意力层由线性特征拆解、自注意力机制、相对位置编码层、全连接层一、全连接层二和特征重组组成；输出图像重建模块由信道压缩层、全局跳跃连接、和像素重组层组成。
[0016]上述的一种轻量级红外超分辨率自适应重建方法，所述步骤2中训练过程中的红外图像数据集使用FLIRADAS数据集；将数据集中的红外图像分别模拟下采样2、3、4倍，用于对不同超分辨率尺度的超分辨率重建模型进行有监督的训练；
[0017]上述的一种轻量级红外超分辨率自适应重建方法，所述步骤4中在训练过程中损失函数选择使用自适应损失函数，在偏差值很高的情况下，引入像素损失以稳定、快速地优化网络参数，避免梯度爆炸的问题；在偏差值降低至阈值以下时，采用结构损失以使网络参数优化时聚焦于图像的纹理细节恢复；损失函数的选择影响着模型的好坏，能够真实地体现出预测值与真值差异，并且能够正确地反馈模型的质量。
[0018]上述的种轻量级红外超分辨率自适应重建方法，所述步骤4中在训练过程中合适的评估指标选择峰值信噪比(PSNR)、结构相似性(SSIM)，能够有效地评估算法超分辨率重建结果的质量和真实高分辨率图像之间的失真程度，衡量网络模型的性能。
[0019]上述的一种轻量级红外超分辨率自适应重建方法，所述步骤5中在微调模型参数过程中使用MFNet、TNO数据集。
[0020]本专利技术还提供了一种轻量级红外超分辨率的电子设备，所述设备包括：多功能视频流输入输出接口、一个中央处理器、多个图形处理单元、存储装置及存储在存储器上并可在处理器上运行的计算机程序；其中，中央处理器和多个图像处理单元执行计算机程序时实现上述方法的步骤。
[0021]本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法的步骤。
[0022](三)有益效果
[0023]与现有技术相比，本专利技术提供了一种轻量级红外超分辨率自适应重建方法，具备以下有益效果：
[0024]本专利技术提出的自适应图像特征处理单元，通过将自注意力机制限制在滑动窗口内，依赖滑动窗口内各特征本身来自适应地计算并更新窗口内的特征值，避免了在局部窗
口内采用相同的卷积核，提高了表达能力，同时减少了自注意力机制训练和推理过程中产生的计算量。
[0025]本专利技术在提出的自适应图像特征处理单元中，滑动窗口内加入了相对位置编码，避免重叠部分在计算自注意力时重复计算；重叠部分在重组时使用各窗口中相应区域的数学期望更新，无需再额外设计窗口间的信息交互手段。
[0026]本专利技术在自注意力计算机制中不再使用层归一化操作，确保图像结构信息和对比度信息的完整性；同时，将输入的特征向量和新特征向量拼接后输入前馈网络更新，以更好地保持图像的低频结构。
[0027]本专利技术提出了一种自适应损失函数，它可以通过训练过程中实时监控网络模型的状态，自动选择让网络学习总体相似或图像纹理细节，提高了最终获得的网络模型的重建性能。
附图说明
[0028]图1为为本专利技术流程图；
[0029]图2为为本专利技术的网络模型结构；
[0030]图3为本专利技术自适应图像处理单元的处理流程图；
[0031]图4为本专利技术滑窗自注意力机制中特征图的工作原理示意图；
[0032]图5为本专利技术像素重组的工作原理示意图；
[0033本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量级红外超分辨率自适应重建方法，其特征在于：包括如下步骤：步骤1，构建网络模型：红外图像超分辨率重建模型包括输入初始化层、图像特征提取模块和输出图像重建模块；步骤2，准备数据集：准备红外图像数据集，并对其进行模拟下采样和数据增广，以便后续进行网络训练；步骤3，训练网络模型：训练红外图像超分辨率重建模型，将步骤2中准备好的数据集进输入到步骤1中构建好的网络模型中进行训练；步骤4，最小化损失函数和选择最优评估指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数；同时选择最优评估指标来衡量算法的精度，评估系统的性能；步骤5，微调模型：准备多个额外的红外图像数据集，对模型进行训练和微调，得到更优的模型参数，进一步提高模型的泛化能力；最终使得模型在应对多种型号的红外成像仪时维持良好的重建质量；步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外图像超分辨率重建操作时，直接将图像输入到网络中即可得到最终的重建图像。2.根据权利要求1所述的一种轻量级红外超分辨率自适应重建方法，其特征在于：所述步骤1中红外图像超分辨率重建模型中输入初始化为单层卷积层，用于将输入图像映射到特征空间中，以供后续特征的进一步细化和处理；图像特征提取模块由四层自适应图像特征处理单元组成，具体而言，自适应图像特征处理单元由卷积层一、自注意力层和卷积层二组成，其中自注意力层由线性特征拆解、自注意力机制、相对位置编码层、全连接层一、全连接层二和特征重组组成；输出图像重建模块由信道压缩层、全局跳跃连接、和像素重组层组成。3.根据权利要求1所述的一种轻量级红外超分辨率自适应重建方法，其特征在于：所述步骤1中自注意力机制。4.根据权利要求1所述的一种轻量级红外超分辨率自适应重建方法，其特征在于：所述步骤1中Transformer模块由高效全局局部多头自注意(EGLMSA)和多层感知器(MLP)块组成两个层归一化层和两个加和操作组成，其中高效全局局部多头自注意层分别提取全局上下文和局部上下文，全局上下文对于复杂城市场景的语义分割至关重要，但局部信息对于保存丰...

【专利技术属性】
技术研发人员：蒋一纯，刘云清，詹伟达，陈宇，韩登，于永吉，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：