一种低照度条件下的红外与可见光图像的融合方法技术

本发明专利技术公开了一种低照度条件下的红外与可见光图像的融合方法，该方法包括：对低照度条件下的红外与可见光异源图像分别进行卷积处理，利用多层卷积、最大池化层的级联连接，获取多层级的异源双路特征图；对最深层级的特征图进行MHSA处理，对剩余的浅层特征图分别进行MHCA处理；进行标准化操作，并输入新的MHSA得到注意力矩阵之后进行逐像素求和，通过拼接方式将两路特征图融合；利用多个解码卷积块和上采样操作，完成不同层级的特征图的融合。本发明专利技术能够通过双注意力机制捕获红外与可见光图像的远程依赖的全局上下文特征，并有效融合异源图像信息，为低照度场景的目标检测、场景重建等提供有力支持。建等提供有力支持。建等提供有力支持。

【技术实现步骤摘要】
一种低照度条件下的红外与可见光图像的融合方法


[0001]本专利技术涉及红外与可见光融合，具体涉及一种基于双注意力机制的低照度条件下的融合方法，属于跨模态图像融合领域。

技术介绍

[0002]在信息爆炸的时代，传感器技术得到了迅速发展。传感器的种类不断增加，其捕获的信息也逐渐多元化。由于成像机制的不同，同一场景不同模态图像所包含的信息也有所不同。其中，红外传感器根据物体的热辐射特性成像，其对亮度变化不敏感，多缺乏场景细节。可见光摄像头是基于光的反射描述物体特征，具有高分辨率，且能捕获丰富的纹理细节信息，但面对弱光条件，信息缺失明显。为解决单一传感器成像系统在时间、空间、光谱信息存在表示不完整的问题，图像融合技术应运而生。该技术能够充分利用不同传感器成像系统的互补性，生成对场景表示更为全面的融合图像。因此，该技术被广泛应用在军事、遥感、医学、安防监控等领域。
[0003]当前已有红外与可见光融合算法可以分为两类：传统的融合算法和基于深度学习的融合方法。在传统的红外与可见光图像融合方法中，多尺度变换方法因其关注跨模态图像的多尺度特征称为其中的经典方法。但是，该类方法过分依赖手工提取的特征，难以找到通用的特征以适应不同的融合策略。据此，近年来，基于深度学习的红外与可见光图像融合方法得到了广泛关注。针对类似煤矿井下一类的低照度环境，即使运用深度学习方法自动提取红外与可见光图像的特征再实现二者融合，难度也会明显增加。

技术实现思路

[0004]本专利技术的目的在于实现低照度环境红外与可见光图像融合方法，运用双注意力机制实现红外与可见光图像特征的全局交互和融合，减少局部细节的损失，实现低对比度的空间修复。
[0005]具体来说，本专利技术提供的一种低照度条件下的红外与可见光图像的融合方法，其步骤包括：
[0006]1)对低照度条件下的红外与可见光异源图像分别进行卷积处理，再利用多层卷积、最大池化层的级联连接，获取多层级的异源双路特征图；
[0007]2)对最深层级的特征图进行多头自我注意(Multi
‑
Head Self
‑
Attention,MHSA)处理，用于提取特征图中的远程特征信息；对剩余的浅层特征图分别进行多头交叉注意(Multi
‑
Head Cross Attention,MHCA)处理，用于增强网络连接中相关区域；
[0008]3)对不同层级的特征图分别进行标准化操作，并进行MHSA处理，得到注意力矩阵之后进行逐像素求和，通过拼接方式将两路特征图融合；
[0009]4)利用多个解码卷积块和上采样操作，完成不同层级的特征图的融合，最终获得低照度红外与可见光融合图像。
[0010]进一步，步骤1)中，针对低照度背景下红外、可见光图像细节信息严重损失、对比
度明显下降等问题，对红外与可见光异源图像分别进行一层1
×
1卷积和两层3
×
3卷积处理，之后以一层最大池化和两层3
×
3卷积处理为一个单元，级联若干组该单元，每组单元提取到的特征图构成多层级的异源双路特征图。
[0011]进一步，步骤2)中，对最深层级的特征图进行MHSA处理，用于提取特征图中的远程特征信息；首先，将输入特征图进行位置编码，将张量表示为二维矩阵形式，同时捕获特征图中物体之间的绝对信息和相对信息；将当前特征矩阵与三个嵌入矩阵进行运算，分别得到查询矩阵Q、键值矩阵K、值矩阵V；计算K与Q中所有元素的相似度，并输入softmax函数中，得到结果通过值矩阵V的加权平均处理，获得注意力矩阵，其考虑了所有K与Q之间的交互信息；最后将注意力矩阵恢复为张量形式，得到MHSA输出。
[0012]进一步，步骤2)中，对剩余浅层的特征图分别进行MHCA处理，用于增强网络连接中相关区域；由上一层特征图Y计算得到本层的键值矩阵K与查询矩阵Q；由本层输入的特征图S计算值矩阵V；完成注意力矩阵A的计算，并通过1
×
1卷积、批标准化(Batch Normalization,BN)处理、Sigmoid激活、上采样的操作得到张量Z，其与本层输入的特征图S尺寸一致；之后将Z与S进行点积处理，并与上一层特征图Y经位置编码后得到结果进行卷积、上采样处理，与点积结果进行拼接，得到MHCA输出。
[0013]进一步，步骤3)具体实现过程如下：对当前输入特征图进行1
×
1卷积实现多通道特征的整合，并通过标准化处理规定特征图中每个元素的取值范围；按顺序进行MHSA处理及1
×
1卷积、标准化处理，整合后的注意力矩阵作为本处理输出；用于提取两路特征图中长程依赖关系和空间依赖关系；将输入特征图与MHSA处理后特征图进行对应像素求和，并通过拼接方式将两路特征图融合，该融合分别保留两路输入特征图所包含的依赖、空间特征。
[0014]进一步，步骤4)中不同层级的特征图的融合处理，具体实现过程如下：分别对不同层级的特征图进行两层级联卷积的操作，实现多通道特征信息的整合；通过上采样操作将深层级特征图逐步降级至低层特征图，并与实际低层级特征进行拼接，最终输出融合图像，确保其尺寸与整个网络输入的红外、可见光图像一致。
[0015]本专利技术的优点在于重点关注低照度这一特殊条件下的红外与可见光图像的融合任务，并为类似煤矿井下场景重建等领域提供可行性方案。
附图说明
[0016]图1：基于双注意力机制的低照度红外与可见光图像融合方法流程图；
[0017]图2：多层级异源双路特征图提取流程图；
[0018]图3：MHSA处理流程图；
[0019]图4：MHCA处理流程图；
[0020]图5：同层级异源双路特征图融合处理流程图；
[0021]图6：不同层级特征图融合处理流程图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。如图1所示，本实施例所揭示的基于双注意力机制的低照度红外与可见光图像的融合方法，其步骤包括：
[0023]S101，获取多层级的异源双路特征图；对最深层级的特征图进行MHSA处理，用于提取特征图中的远程特征信息；对剩余的浅层特征图分别进行MHCA处理，用于增强网络连接中相关区域；
[0024]S102，进行标准化操作，并进行新的MHSA处理，得到注意力矩阵之后进行逐像素求和，通过拼接方式将两路特征图融合；
[0025]S103，利用多个解码卷积块和上采样操作，完成不同层级的特征图的融合，最终获得低照度红外与可见光融合图像。
[0026]在S101中，利用卷积层、最大池化层、MHCA处理模块、MHSA处理模块，通过卷积、池化处理分别得到不同等级特征图，对最深层级特征图进行MHCA处理，而对非最深层特征图进行MHSA处理，其具体处理流程如图2所示。
[0027]S201：对输入图像先后进行1
×
1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低照度条件下的红外与可见光图像的融合方法，其步骤包括：1)对低照度条件下的红外与可见光异源图像分别进行卷积处理，再利用多层卷积、最大池化层的级联连接，获取多层级的异源双路特征图；2)对最深层级的特征图进行MHSA处理，用于提取特征图中的远程特征信息；对剩余的浅层特征图进行MHCA处理，用于增强网络连接中相关区域；3)对不同层级的特征图分别进行标准化操作，并进行MHSA处理，得到注意力矩阵之后进行逐像素求和，通过拼接方式将两路特征图融合；4)利用多个解码卷积块和上采样操作，完成不同层级的特征图的融合，最终获得低照度红外与可见光融合图像。2.如权利要求1所述的低照度条件下的红外与可见光图像的融合方法，其特征在于，步骤1)中对红外与可见光异源图像分别进行一层1
×
1卷积和两层3
×
3卷积处理，之后以一层最大池化和两层3
×
3卷积处理为一个单元，级联若干组该单元，每组单元提取到的特征图构成多层级的异源双路特征图。3.如权利要求1所述的低照度条件下的红外与可见光图像的融合方法，其特征在于，步骤2)中对最深层级的特征图进行MHSA处理，具体步骤包括：a)将输入的特征图进行位置编码，将张量表示为二维矩阵形式，同时捕获特征图中物体之间的绝对信息和相对信息；b)将当前特征矩阵与三个嵌入矩阵进行运算，分别得到查询矩阵Q、键值矩阵K、值矩阵V；c)计算K与Q中所有元素的相似度，并输入softmax函数中，得到结果通过值矩阵V的加权平均处理，获得注意力矩阵，其考虑了所有K与Q之间的交互信息；d)将注意力矩阵恢复为...

【专利技术属性】
技术研发人员：郑彤，厉舒南，于重重，冯文彬，
申请(专利权)人：中煤科工集团沈阳研究院有限公司，
类型：发明
国别省市：