基于可见光图像训练的红外图像超分辨率重构方法及应用技术

本发明专利技术公开了基于可见光图像训练的红外图像超分辨率重构方法及应用。其中所述重构方法通过由可见光图像的高分辨率图像块及其低分辨率图像块组成的训练集对含有注意力机制的密集残差卷积神经网络模型进行训练，由训练完成的模型对红外图像进行超分辨率重构，其模型收敛速度快、可高效准确地提取图像深层特征，由低分辨率红外图像得到细节及边缘清晰、丰富，图像分辨率高的高分辨率红外图像。

【技术实现步骤摘要】
基于可见光图像训练的红外图像超分辨率重构方法及应用
本专利技术涉及图像处理方法的

技术介绍
红外图像依靠红外辐射感受和反映目标及背景向外辐射能量的差异，红外辐射有着穿透云、雾的能力，能够克服部分视觉上的阻碍而探测到目标，具有较大的作用距离和较强的抗干扰能力，可以全天时、全天候工作。但在成像过程中，图像会因光学透镜扭曲变形，并因大气模糊、传感器模糊，光学模糊和运动模糊以及噪声等一系列干扰因素的影响，通常只能得到分辨率相对较低的图像。解决该问题的一种方式是通过超分辨率对图像进行重构，实现从低分辨率图像获得高分辨率图像的目的。另一方面，在红外和可见光融合图像方面，受限于传感器发展现状和成本约束，可见光传感器的分辨率往往明显高于红外传感器，若直接将红外图像放大到与可见光图像相同的分辨率后再进行两者融合，会使红外图像放大和插值产生的马赛克或图像模糊传递到融合图像中，影响融合图像质量和观察效果，因此也有必要利用超分辨率技术，生成高质量的高分辨率红外图像。超分辨率图像在多个领域有广泛的应用，如医学影像、遥感影像和安防监控等领域。现有的图像超分辨率方法中，基于插值的方法通常利用低分辨率图像栅格上已知像素值来估计高分辨率图像栅格上的未知像素值，常见的插值方法如多项式插值和基于边缘驱动的插值，这些方法的计算复杂度较小，但获得的高分辨率图像易出现边缘平滑、模糊和混叠等失真现象。为了突破传统图像插值的缺陷，一些现有技术基于均衡及非均衡采样定理，通过重建方法结合图像退化过程，利用图像先验建立超分辨率模型来估计高分辨率图像，但该类方法基本未考虑光学模糊和运动模糊的影响，不能够利用任何先验信息，图像的重建效果并不理想。另一些现有技术基于学习的方法进行超分辨率图像的重构，如采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节，获得较好的图像恢复效果，但现有基于学习的红外图像超分辨率技术需要依赖于小图像区域的上下文，缺少细节信息，获得的图像过于平滑，且训练收敛速度较慢。
技术实现思路
本专利技术的目的在于提出一种新的红外图像超分辨率重构方法，其以可见光图像作为训练集，通过学习的方式对低分辨率的红外图像进行重构，可获得细节及边缘清晰、丰富，图像准确且分辨率高的红外图像，其使用的重构模型收敛速度快，可高效、准确地提取图像深层特征。本专利技术的目的还在于提出上述重构方法在机载平台上的应用。本专利技术首先公开了如下的技术方案：基于可见光图像训练的红外图像超分辨率重构方法，其通过训练完成的重构模型对红外图像进行超分辨率重构，其中所述重构模型基于含有注意力机制的密集残差卷积神经网络构建，其训练集由尺寸相等的高分辨率可见光图像块及其低分辨率图像块组成。根据本专利技术的一些具体实施方式，所述高分辨率可见光图像块及其低分辨率图像块的尺寸为120×120。根据本专利技术的一些具体实施方式，所述高分辨率图像块通过将灰度化后的可见光图像分块得到。根据本专利技术的一些具体实施方式，所述低分辨率图像块通过将所述高分辨率图像块进行双三次插值得到。根据本专利技术的一些具体实施方式，所述双三次插值为n倍双三次插值，其中n＝2、3或4。根据本专利技术的一些具体实施方式，所述重构模型包括以下结构：输入层，与所述输入层连接的由第一类卷积层与激活函数层组成的浅层特征提取模块，与所述浅层特征提取模块连接的、由密集注意力残差块组成的深层特征提取模块，与所述输入层、所述浅层特征提取模块及所述深层特征提取模块连接的、由add函数构成的融合函数层，与所述融合函数层连接的、由第一类卷积层与激活函数层组成的映射模块，与所述映射模块连接的、由第三类卷积层形成的输出模块，其中：所述第一类卷积层包括64个卷积核；所述密集注意力残差块包括5个注意力残差块，其共同构成密集注意力残差块，每个注意力残差块依次包括第一类卷积层、激活函数层、第二类卷积层及一个注意力块，所述注意力块采用CBAM注意力模型。根据本专利技术的一些具体实施方式，所述第一类卷积层的卷积核大小为64*3*3、卷积步长为1*1。根据本专利技术的一些具体实施方式，所述第二类卷积层的卷积核大小为128*3*3、卷积步长为1*1。根据本专利技术的一些具体实施方式，所述第三类卷积层的卷积核大小为1*3*3、卷积步长为1*1。根据本专利技术的一些具体实施方式，所述激活函数层由ReLU激活函数构成。即，根据本专利技术的一些具体实施方式，本专利技术中可共用到三种卷积，第一种卷积核大小为64*3*3，第二种卷积核大小为128*3*3，第三种卷积核大小为1*3*3，其步长均为1*1，在这三种卷积作用下，可共进行13次卷积操作，包括浅层特征提取1次，注意力残差块10次(5个注意力残差块，每块中有2次卷积操作)，映射与重构模块各1次。根据本专利技术的一些具体实施方式，所述训练过程包括：S21：通过所述浅层特征提取模块的第一类卷积层对输入的所述低分辨率图像块进行第一卷积处理，并通过激活函数对卷积后的图像特征进行提取，输出图像的浅层特征图；S22：将提取到的浅层特征图输入至所述深层特征提取模块的多个注意力残差块中，同时每个注意力残差块的输入还包括其之前的全部注意力残差块的输出，经密集注意力残差块对特征进行深入挖掘，提取得到图像的深层特征图；S23：将所述低分辨率图像块、所述浅层特征图及所述深层特征图通过融合层进行融合，得到融合图；S24：将所得融合图输入映射模块，经映射模块的卷积层与激活函数处理后，实现由低分辨率图像到高分辨率图像映射，得到映射图；S25将所得映射图输入输出模块，经其中的第三类卷积层的处理完成超分辨率图像的重构，得到重构图像；S25将所述重构图像与其对应的所述高分辨率图像块进行对比，通过损失函数进行断迭代，得到优化后的重构模型；S26将所述重构图像与其对应的所述高分辨率图像块进行对比，通过损失函数进行断迭代，得到优化后的重构模型。根据本专利技术的一些具体实施方式，所述损失函为如下的MSE损失函数：其中，表示所述重构图像，Gi表示所述高分辨率图像块。根据本专利技术的一些具体实施方式，所述训练过程还包括：以低分辨率红外图像作为测试集对所述优化后的重构模型进行测试，并根据测试结果调整训练参数或模型参数，得到训练完成的重构模型。本专利技术进一步提供了上述重构方法的一种应用，为通过所述训练完成的重构模型对机载红外图像进行超分辨率重构。本专利技术具备以下有益效果：本专利技术中所述重构模型使用基于注意力机制的密集残差卷积神经网络，其结构简单，利用可见光图像对比度强，细节信息突出等特点辅助低分辨率红外图像进行训练，同时引入注意力机制将卷积神经网络改进为基于注意力机制的密集残差卷积神经网络，赋予模型不同区域、不同通道目标特征的不同权重，加快网络收敛速度，以更好的提取图像的深层特征。本专利技术的重构方法通过灰度化本文档来自技高网...

【技术保护点】
1.基于可见光图像训练的红外图像超分辨率重构方法，其特征在于：通过训练完成的重构模型对红外图像进行超分辨率重构，其中所述重构模型基于含有注意力机制的密集残差卷积神经网络构建，其训练集由尺寸相等的高分辨率可见光图像块及其低分辨率图像块组成。/n

【技术特征摘要】
1.基于可见光图像训练的红外图像超分辨率重构方法，其特征在于：通过训练完成的重构模型对红外图像进行超分辨率重构，其中所述重构模型基于含有注意力机制的密集残差卷积神经网络构建，其训练集由尺寸相等的高分辨率可见光图像块及其低分辨率图像块组成。


2.根据权利要求1所述的重构方法，其特征在于：所述高分辨率图像块通过将灰度化后的可见光图像分块得到。


3.根据权利要求1所述的重构方法，其特征在于：所述低分辨率图像块通过将所述高分辨率图像块进行双三次插值得到。


4.根据权利要求1所述的重构方法，其特征在于：所述双三次插值为n倍双三次插值，其中n＝2、3或4。


5.根据权利要求1所述的重构方法，其特征在于：所述重构模型包括以下结构：
输入层，与所述输入层连接的由第一类卷积层与激活函数层组成的浅层特征提取模块，与所述浅层特征提取模块连接的、由密集注意力残差块组成的深层特征提取模块，与所述输入层、所述浅层特征提取模块及所述深层特征提取模块连接的融合函数层，与所述融合函数层连接的、由第一类卷积层与激活函数层组成的映射模块，与所述映射模块连接的、由第三类卷积层形成的输出模块，其中：
所述第一类卷积层包括64个卷积核；
所述密集注意力残差块包括5个注意力残差块，其共同构成密集注意力残差块，每个注意力残差块依次包括第一类卷积层、激活函数层、第二类卷积层及一个注意力块，所述注意力块采用CBAM注意力模型；
所述融合函数层由一个add函数构成，对特征进行融合。


6.根据权利要求5所述的重构方法，其特征在于：所述重构模型中，所述第一类卷积层的卷积核大小为64*3*3、卷积步长为1*1；和/或，所述第二类卷积层的卷积核大小为128*3*3、卷积步长为1*1；和/或...

【专利技术属性】
技术研发人员：陶然，马鹏阁，杨小冬，刘兆瑜，李伟，揭斐然，
申请(专利权)人：北京理工大学，郑州航空工业管理学院，中国航空工业集团公司洛阳电光设备研究所，
类型：发明
国别省市：北京;11