【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种针对复杂照明环境下的红外可见光图像融合方法。
技术介绍
1、目前，单模态传感器拍摄的图像无法有效、全面地描述成像场景；而可见光传感器通过反射光成像，可以提供高空间分辨率的背景细节，但是当照明或伪装条件不佳时，其无法清楚地看到目标；相比之下，红外传感器通过物体发出的有区别的热辐射进行成像，不受恶劣条件的影响，并且可以全天候工作。这种互补的特性使得红外可见光图像融合应运而生，融合后的图像可以突出目标并体现丰富的纹理细节。因此，红外和可见光图像融合已被广泛用作高级视觉任务的预处理模块，如目标检测、行人重识别、语义分割。
2、现有的方法往往针对光照分布均匀的条件进行设计，红外可见光图像融合可能面临多种场景，包含白天黑夜，在白天场景中光源分布均匀，可见光图像中包含更多有意义的信息，在黑夜场景中光源分布极度不均匀，普遍存在灯光区域亮度过高的情况，即局部曝光情况，当面临点局部曝光的情况时，现有方法无法合理利用局部区域的细节信息，造成严重的细节丢失无法生成符合人类视觉和有益于下游高级视觉任务的融合图像。
技术实现思路
1、因此，本专利技术要解决的技术问题在于克服上述中提到的缺陷，从而提供一种针对复杂照明环境下的红外可见光图像融合方法。
2、为了解决上述问题，本专利技术提供一种针对复杂照明环境下的红外可见光图像融合方法，其包括以下步骤：
3、s1：分别获取多种场景下配准后的多对红外图像和可见光图像形成训练图像子集，以得到训练数据
4、s2：将标识为夜间场景的训练图像子集输入到掩膜建模算法，以生成指导网络训练的掩膜；
5、s3：构建分层式红外可见光图像融合网络；
6、s4：构建损失函数指导分层式红外可见光图像融合网络训练。
7、优选地，所述s1中，场景感知网络包括：卷积层、批归一化层、relu激活函数、最大池化层和全连接层；
8、所述训练数据集利用场景感知网络进行标识为：输出所述训练数据集属于白天场景和夜晚场景的概率。
9、优选地，所述s2中，所述掩膜建模算法为：将所述训练图像子集中的可见光图像输入场景感知网络进行标识，将标识为夜间场景的图像进行高斯滤波，并对高斯滤波的结果进行二值化后对二值化结果进行处理后，将处理后的二值化结果进与人物语义分割标签叠加生成指导网络训练的掩膜。
10、优选地，所述分层式融合网络包括：浅层特征融合层，中层梯度增强层和深层语义交互层；所述浅层特征融合层包含特征复用提取模块fmem用于对浅层特征进行强化提取，所述中层梯度增强层包含梯度增强模块gem用于对中层混合特征进行梯度增强，所述深层语义交互层包含多尺度语义交互模块msim用于集成深层特征。
11、优选地，所述s3中构建分层式红外可见光图像融合网络为：
12、将训练数据集的红外图像和可见光图像输入网络模型的编码器提取特征，分别提取i层的特征，在浅层的红外图像和可见光图像的特征在通道维度上串联后输入到特征复用模块，进行进一步的特征提取和复用；
13、在中层设计梯度增强模块用于在混合特征层面增强梯度纹理特征，将红外图像和可见光图像特征在通道维度串联；
14、在深层设计基于多尺度交叉注意力的多尺度语义交互模块用于集成深层特征；
15、将每层特征输入解码器，与前一层的特征依次在通道维度串联起来，恢复到融合图像。
16、优选地，所述在中层设计梯度增强模块具体为：
17、将输入梯度增强模块的混合特征首先经过一层卷积，然后分别使用sobel算子、laplacian算子和prewitt算子对第一层卷积输出的特征进行梯度计算，然后将三个梯度算子计算得到的梯度特征在通道维度串联后送入卷积层，再与初始输入的混合特征在通道维度串联后送入卷积层。
18、优选地，所述多尺度语义交互模块为：
19、利用三个具有不同内核大小的卷积层来捕获多尺度深度特征，随后将不同尺度下的特征在通道维度串联，部署包含卷积核重塑操作的投影函数，将多尺度的特征转换为键和值，计算每种模态x对应的模态注意力图，利用值乘以对应的注意力以获得具有全局上下文的特征，随后将全局特征添重塑操作，并且使用1×1的卷积来调整通道后在通道维度上连接，生成富含丰富语义的融合特征。
20、优选地，所述构建损失函数指导分层式红外可见光图像融合网络训练为：利用全局融合损失和局部信息补充融合损失的加权组合以得到融合网络的总损失。
21、优选地，所述全局融合损失为：强度损失、纹理损失、风格损失；
22、其中，对于白天情况，光源单一，使用像素值最大的强度损失对于从两种模态中提取显著区域是合理的；
23、对于夜间情况，由于存在局部区域曝光情况，使用掩膜建模算法生成的掩膜来构造夜间的强度损失，利用san输出的场景概率，合理指导网络规避可见光图像中的局部光源曝光区域，从红外模态中保留区域内的显著目标和纹理。
24、优选地，所述局部信息补充融合损失为：
25、考虑到可见光图像中局部曝光区域的信息丢失严重，使用局部信息补充融合损失来指导网络从红外模态中整合信息补充到融合图像中。
26、本专利技术提供的一种针对复杂照明环境下的红外可见光图像融合方法具有如下有益效果：
27、本专利技术通过用场景感知网络和掩码建模算法构造融合损失，以适应不同光照场景；还通过设计梯度增强模块在特征层面增强混合模态中的纹理信息；本专利技术还通过在深度语义层面引入多尺度语义交互模块有效利用双模态特征中的语义信息。
本文档来自技高网...【技术保护点】
1.一种针对复杂照明环境下的红外可见光图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
3.根据权利要求1所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
4.根据权利要求1所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
5.根据权利要求4所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
6.根据权利要求5所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
7.根据权利要求5所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
8.根据权利要求1所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
9.根据权利要求8所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
10.根据权利要求8所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
【技术特征摘要】
1.一种针对复杂照明环境下的红外可见光图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
3.根据权利要求1所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
4.根据权利要求1所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
5.根据权利要求4所述的针对复杂照明环境下的红外可见光图像融合方法，其特征在于：
<...【专利技术属性】
技术研发人员：彭进业，陈宇，王珺，彭盛霖，刘璐，张晓丹，汪霖，赵万青，
申请(专利权)人：西北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。