【技术实现步骤摘要】
本专利技术属于红外与可见光图像融合领域，具体而言，涉及一种用于恶劣环境的红外与可见光图像融合方法。
技术介绍
1、红外传感器对热辐射敏感，易于检测隐藏的物体、热源和人体；可见光传感器擅长捕捉可见光光谱的信息，捕获的图像中包含丰富的场景细节和纹理信息。红外与可见光图像融合技术旨在集成不同模态图像中的互补信息，生成包含显著目标信息和丰富纹理信息的融合图像。然而目前国内外的大部分算法并没有针对恶劣环境下的图像融合进行研究。其研究难点在于如何避免外部物理条件的影响，自适应的挑选更适合人眼感知的信息融入至融合图像。
2、大多数方法往往基于绝对亮度越大目标越显著的假设，并不适用于恶劣条件下的图像融合任务，容易导致目标信息和纹理信息的大量丢失，进而产生并不适合人眼感知的融合图像。
技术实现思路
1、有鉴于此，本专利技术提供一种用于恶劣环境的红外与可见光图像融合方法，能解决图像融合时易受到外部物理环境影响，进而无法有效的保留适合人眼感知图像信息的技术问题。
2、本专利技术是这样实现的：
3、本专利技术第一方面提供一种用于恶劣环境下的红外与可见光图像融合方法，其中，包括以下步骤：
4、s10：对图像数据库中的红外和可见光源图像进行预处理，进行归一化；
5、s20：将预处理后的图像分为训练集和测试集；
6、s30：构建红外与可见光图像融合网络，用于特征的提取和图像的还原，所述融合网络包括：混合特征自适应提取模块、视觉感知模块、跨尺
7、s40：将所述训练集输入所述融合网络，在视觉感知损失的指导下进行训练；
8、s50：将待融合的红外与可见光图像输入到训练完成的融合网络中，得到融合图像。
9、在上述技术方案的基础上，本专利技术的一种用于恶劣环境下的红外与可见光图像融合方法还可以做如下改进：
10、其中，所述混合特征自适应提取模块首先提取输入图像的四个尺度的局部特征和全局特征，将两类特征按通道连接之后输入到squeeze excitation块中进行特征的自适应提取。
11、其中，所述视觉感知模块将输入的每对图像进行三次下采样，提取每一对图像的局部相对亮度矩阵生成视觉感知掩码，基于视觉感知掩码提取出更适合人眼感知的特征。
12、其中，所述跨尺度特征注意力模块使用基于swin transformer的注意力模块，基于不同尺度之间的互补性滤除各尺度特征的噪声信息和增强特征信息。
13、其中，所述图像还原模块使用增强后的各尺度特征进行融合图像的还原。
14、其中，所述视觉感知损失包含基于四尺度视觉感知掩码设计的强度损失函数和结构相似性损失函数。
15、进一步的，所述步骤s30中所述混合特征自适应提取模块，使用cnn提取局部特征和swin transformer提取全局特征，squeeze excitation块基于输入特征的全局平均池化的结果实现特征的自适应提取。
16、进一步的，所述步骤s30中所述基于视觉感知掩码提取更适合人眼感知特征的方式为，逐像素的比较同一尺度的红外与可见光图像的局部相对亮度，通过比较局部相对亮度数值的大小来生成掩码，使用掩码作为权重进一步处理混合特征自适应提取块输出的特征。
17、进一步，所述步骤s30中对各尺度特征进行增强的方式为，使用swin transformer同时处理四个尺度的特征，使用相邻尺度特征处理过程中产生的query来替代自身产生的query，基于交叉注意力实现滤除冗余噪声和增强特征的功能。
18、进一步的，所述步骤s30还包括：
19、第一步：对原始红外和可见光图像进行最大池化处理，卷积核分别为2×2，4×4和8×8，得到包括原图在内的四组图像；
20、第二步：使用卷积核大小为3×3，步长为1的卷积核对四组图像进行分割，计算每个图像块的局部相对亮度，生成局部相对亮度矩阵；
21、第三步：逐像素比较每一组图像的局部相对亮度矩阵，将局部对比度较大的像素对应人眼感知掩码的值设置为1，较小的设置为0；
22、第四步：将混合特征自适应提取块输出的特征直接与人眼感知掩码相乘。
23、与现有技术相比较，本专利技术提供的一种用于恶劣环境下的红外与可见光图像融合方法的有益效果是：
24、1.本专利技术尝试利用多尺度局部相对亮度制作人眼感知掩码，自适应提取更适合人眼感知的特征信息，与传统方法相比，本专利技术方法处理恶劣环境下的图像融合任务时有优异的性能。
25、2.本专利技术在处理多尺度特征时，充分考虑人眼感知掩码处理后的特征的特性，利用相邻尺度特征之间的互补性进一步增强特征，增强更适合人眼感知的特征并去除冗余噪声。
本文档来自技高网...【技术保护点】
1.一种用于恶劣环境的红外与可见光图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述混合特征自适应提取模块首先提取输入图像的四个尺度的局部特征和全局特征，将两类特征按通道连接之后输入到Squeeze Excitation块中进行特征的自适应提取。
3.根据权利要求1所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述视觉感知模块将输入的每对图像进行三次下采样，提取每一对图像的局部相对亮度矩阵生成视觉感知掩码，基于视觉感知掩码提取出更适合人眼感知的特征。
4.根据权利要求1所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述跨尺度特征注意力模块使用基于Swin Transformer的注意力模块，基于不同尺度之间的互补性滤除各尺度特征的噪声信息和增强特征信息。
5.根据权利要求1所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述图像还原模块使用增强后的各尺度特征进行融合图像的还原。
6.根据权利要
7.根据权利要求2所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述步骤S30中所述混合特征自适应提取模块，使用CNN提取局部特征和SwinTransformer提取全局特征，Squeeze Excitation块基于输入特征的全局平均池化的结果实现特征的自适应提取。
8.根据权利要求3所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述步骤S30中所述基于视觉感知掩码提取更适合人眼感知特征的方式为，逐像素的比较同一尺度的红外与可见光图像的局部相对亮度，通过比较局部相对亮度数值的大小来生成掩码，使用掩码作为权重进一步处理混合特征自适应提取块输出的特征。
9.根据权利要求4所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述步骤S30中对各尺度特征进行增强的方式为，使用Swin Transformer同时处理四个尺度的特征，使用相邻尺度特征处理过程中产生的Query来替代自身产生的Query，基于交叉注意力实现滤除冗余噪声和增强特征的功能。
...【技术特征摘要】
1.一种用于恶劣环境的红外与可见光图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述混合特征自适应提取模块首先提取输入图像的四个尺度的局部特征和全局特征，将两类特征按通道连接之后输入到squeeze excitation块中进行特征的自适应提取。
3.根据权利要求1所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述视觉感知模块将输入的每对图像进行三次下采样，提取每一对图像的局部相对亮度矩阵生成视觉感知掩码，基于视觉感知掩码提取出更适合人眼感知的特征。
4.根据权利要求1所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述跨尺度特征注意力模块使用基于swin transformer的注意力模块，基于不同尺度之间的互补性滤除各尺度特征的噪声信息和增强特征信息。
5.根据权利要求1所述的一种用于恶劣环境下的红外与可见光图像融合方法，其特征在于，所述图像还原模块使用增强后的各尺度特征进行融合图像的还原。
6.根据权利要求1所述的一种用于恶劣环境下的红外与可见光图像融...
【专利技术属性】
技术研发人员：张晓东，王鑫瑞，高绍姝，楚孟慧，祝令函，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。