【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种利用mamba的红外与可见光图像融合方法。
技术介绍
1、图像融合技术作为一种汇聚多种信息源以强化图像清晰度、丰富信息层次并促进更深层次图像分析与操作的策略，在计算机视觉、医疗成像和遥感等多个科技领域取得了显著进展。特别值得一提的是，通过融合红外与可见光图像的特性，实现了跨光谱信息的协同效应，极大地提升了物体检测与识别能力，增强了图像的整体质量。这为低光照乃至夜间条件下的监控活动提供了更为敏锐的观察力，确保了目标追踪的高度精确性。因此，该技术在侦察行动中的隐蔽性和准确性、安全监控系统的智能化部署、生态环境的高灵敏度监测以及诸多其他潜在领域等方面，展现出了巨大的应用潜力与战略价值。
2、目前，图像融合技术主要分为两大类：传统方法与深度学习驱动的方法。传统融合技术面临着信息损失、融合效果不理想、对人工特征选择的依赖以及较高的计算成本等问题。相比之下，基于深度学习的方法能够直接从原始数据中提取特征表示，更有效地捕捉图像内部的复杂结构。这些模型凭借其卓越的泛化能力，能够适应各种场景、光线条件和目标类型，从而提高了融合策略的灵活性和鲁棒性。利用深度学习架构，可以自适应地学习不同图像频段之间的关联与权重分布，实现动态图像融合，进而提高融合输出的一致性和质量。正因为如此，基于深度学习的图像融合策略逐渐成为研究热点。这些策略大致可分为：卷积神经网络(cnn)、自编码器(ae)、生成对抗网络(gan)、扩散模型以及基于transformer的方法。然而，每种方法都有其固有的挑战。首先，基于cnn的方
技术实现思路
1、本专利技术提出了一种利用mamba的红外与可见光图像融合方法，以便解决或部分解决上述问题。
2、本专利技术提供了一种利用mamba的红外与可见光图像融合方法，所述方法包括：
3、获取待融合的可见光图像ivi和红外图像iir；
4、分别将所述可见光图像ivi和红外图像iir输入浅层特征提取器进行浅层特征提取，获得浅层可见光图像特征和浅层红外图像特征；
5、分别将所述浅层可见光图像特征和所述浅层红外图像特征输入各自对应的深层特征提取器进行深层特征提取，获得深层可见光图像特征和深层红外图像特征，深层特征提取器包括多个层级的并行视觉mamba模块；
6、将所述深层可见光图像特征和所述深层红外图像特征进行拼接操作，并将得到的拼接图像特征输入特征解码器进行特征重构，以获得融合图像if；其中，
7、所述分别将所述可见光图像ivi和红外图像iir输入浅层特征提取器进行浅层特征提取，获得浅层可见光图像特征和浅层红外图像特征，包括：
8、分别将所述可见光图像ivi和所述红外图像iir输入各自特征提取路径中的卷积模块获得一级可见光图像特征和一级红外图像特征：
9、
10、其中，表示卷积模块，其输入通道为1，输出通道为8；
11、分别将所述一级可见光图像特征和所述一级红外图像特征输入各自特征提取路径中的第一transformer模块，其中，在两个第一transformer模块之间设置有差分放大融合特征提取模块，以在可见光图像特征中融合入红外图像特征获得二级可见光图像特征，在红外图像特征中融合入可见光图像特征获得二级红外图像特征：
12、
13、其中，表示第一transformer模块，其通道数为8，表示非线性激活函数gelu，daf2e表示差分放大融合特征提取模块；
14、分别将所述二级可见光图像特征和所述二级红外图像特征输入各自特征提取路径中的反射卷积模块，获得三级可见光图像特征和三级红外图像特征：
15、
16、其中，表示反射-卷积模块，其输入通道为8，输出通道为16；
17、分别将所述三级可见光图像特征和所述三级红外图像特征输入各自特征提取路径中的第二transformer模块，其中，在两个第二transformer模块之间设置有差分放大融合特征提取模块，以在可见光图像特征中融合入红外图像特征获得四级可见光图像特征，在红外图像特征中融合入可见光图像特征获得四级红外图像特征，将四级可见光图像特征作为浅层可见光图像特征，将四级红外图像特征作为浅层红外图像特征；
18、
19、其中，表示第二transformer模块，其通道数为16。
20、进一步地，所述第一transformer模块和所述第二transformer模块为结构相同通道数不同的transformer模块，transformer模块由级联的一个或多个多重解卷积头转置注意力机制模块和门控解卷积前馈网络模块组合，其中，
21、所述多重解卷积头转置注意力机制模块的操作表示为：
22、
23、其中，为多重解卷积头转置注意力机制模块的输入，为多重解卷积头转置注意力机制模块的输出，表示1×1点方向卷积，为查询向量，为键向量，为值向量，表示一个可学习的缩放参数；
24、所述门控解卷积前馈网络模块的操作表示为：
25、
26、其中，表示门控解卷积前馈网络模块的输入，表示门控解卷积前馈网络模块的输出，表示1×1点方向卷积，(·)表示3×3深度卷积，l=0,1,2，代表归一化操作，表示元素相乘。
27、进一步地，分别将所述浅层可见光图像特征和所述浅层红外图像特征输入各自对应的深层特征提取器进行深层特征提取，获得深层可见光图像特征和深层红外图像特征，包括：
28、分别将所述浅层可见光图像特征和所述浅层红外图像特征输入各自特征提取路径中的第一并行视觉mamba模块，其中，在两个第一并行视觉mamba模块之间设置有通道差分放大融合特征提取模块，以在可见光图像特征中融合入红外图像的通道特征获得五级可见光图像特征，在红外图像特征中融合入可见光图像的通道特征获得五级红外图像特征：
29、
30、其中，表示通道差分放大融合特征提取模块，表示第一并行视觉mamba模块，其输入通道为16，输出通道为32；
31、分别将所述五级可见光图像特征和所述五级红外图像特征输入各自特征提取路径中的第二并行视觉mamba模块，其中，在两个第二并行视觉mamba模块之间设置有位置差分放大融合特征提取模块，以在可见光图像特征中融合入红外图像的位置特征获得六级可见光图像特征，在红外图像特征中融合入可见光图像的位置特征获得六级红外图像特征：
32、
33、其中，表示位置差本文档来自技高网...
【技术保护点】
1.一种利用Mamba的红外与可见光图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一Transformer模块和所述第二Transformer模块为结构相同通道数不同的Transformer模块，Transformer模块由级联的一个或多个多重解卷积头转置注意力机制模块和门控解卷积前馈网络模块组合，其中，
3.根据权利要求1所述的方法，其特征在于，所述分别将所述浅层可见光图像特征和所述浅层红外图像特征输入各自对应的深层特征提取器进行深层特征提取，获得深层可见光图像特征和深层红外图像特征，包括：
4.根据权利要求3所述的方法，其特征在于，所述并行视觉Mamba模块用于完成如下操作：
5.根据权利要求3所述的方法，其特征在于，所述差分放大融合特征提取模块包括级联的特征融合子模块和差分放大子模块，其中，
6.根据权利要求5所述的方法，其特征在于，通道差分放大融合特征提取模块包括级联的特征融合子模块、差分放大子模块和通道加权模块，所述通道加权模块用于完成如下操作：
7.根据
8.根据权利要求5所述的方法，其特征在于，角落差分放大融合特征提取模块包括级联的特征融合子模块、差分放大子模块和角落加权模块，所述角落加权模块用于完成如下操作：
9.根据权利要求5所述的方法，其特征在于，所述二级可见光图像特征表示为：
...【技术特征摘要】
1.一种利用mamba的红外与可见光图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一transformer模块和所述第二transformer模块为结构相同通道数不同的transformer模块，transformer模块由级联的一个或多个多重解卷积头转置注意力机制模块和门控解卷积前馈网络模块组合，其中，
3.根据权利要求1所述的方法，其特征在于，所述分别将所述浅层可见光图像特征和所述浅层红外图像特征输入各自对应的深层特征提取器进行深层特征提取，获得深层可见光图像特征和深层红外图像特征，包括：
4.根据权利要求3所述的方法，其特征在于，所述并行视觉mamba模块用于完成如下操作：
5.根据权利要求3所述的...
【专利技术属性】
技术研发人员：董明利，孙一宸，祝连庆，于明鑫，白雨晨，
申请(专利权)人：广州市南沙区北科光子感知技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。