基于相关注意力引导的红外与可见光图像融合方法及系统技术方案

本发明专利技术针对现有技术的不足，提出了一种基于相关注意力引导的红外与可见光图像融合方法及系统。本发明专利技术提出了实时处理的端到端红外和可见光图像融合框架，该框架自适应地保留来自两种模态的互补信息。融合结果在保留突出的红外物体和丰富的可见纹理细节之间实现了更好的视觉效果。本发明专利技术设计了跨模态特征融合模块，它可以从全局角度保留显着特征和补充信息。本发明专利技术方法采用相关引导的注意机制作为融合规则，可以建立对多模态图像局部特征的远程依赖，进一步细化特征图，关注源图像的典型目标和细节。标和细节。标和细节。

【技术实现步骤摘要】
基于相关注意力引导的红外与可见光图像融合方法及系统


[0001]本专利技术属于图像融合领域，特别是涉及相关性引导的注意力机制和神经网络的红外和可见光图像融合方法及系统。

技术介绍

[0002]图像融合是计算机视觉中的一项重要的图像处理技术。旨在通过使用适当的特征提取方法和融合规则重建出包含源图像的显著特征和互补信息的单个图像。近年来，红外和可见光图像融合技术已广泛应用于目标检测、语义分割、识别、和跟踪等领域。由于红外和可见光图像传感器的硬件特点，在采集图像时，不同的成像方式代表了不同的模态特征。红外图像捕获物体热辐射信息，可以有效的突出图像中的热目标。但红外图像普遍存在噪声、低对比度和细节模糊。相反，可见光图像捕获物体反射信息，可以提供具有高分辨率和清晰度的纹理细节。因此，融合这两种类型的图像可以获得重要的热目标信息和丰富的纹理细节。
[0003]红外和可见光图像融合领域提出了许多方法。它们大致可以分为两类：传统方法和基于深度学习的方法。传统的方法主要包括多尺度变换的方法，基于稀疏表示的方法，混合方法和其他方法。这些方法通过复杂的变换或表示来实现图像融合，通常难以满足实时性的要求，而且需要手动设计融合规则，很难保持模态互补信息，融合性能有限。近年来，图像融合领域引入了许多基于深度学习的方法。他们使用深度网络提取特征和重建图像，利用精心设计的损失函数来约束网络，实现自适应的特征融合。这些方法受限于卷积层的感受野，忽视了远程上下文信息的提取，只能利用局部信息进行图像融合，无法利用域内或域间的远程依赖来进一步改善融合结果。

技术实现思路

[0004]本专利技术针对现有技术的不足，提出了一种基于相关引导注意力机制的新型端到端融合网络，用于红外和可见光图像融合。该网络通过计算每个特征的相关性获得模态内远程上下文信息，本专利技术整合每个模态的跨模态相关性以捕获显着特征并融合互补信息。它可以从全局角度保留显着特征和补充信息。本专利技术的方法采用相关引导的注意机制作为融合规则，可以建立对多模态图像局部特征的远程依赖，进一步细化特征图，关注源图像的典型目标和细节。 融合模块通过可学习的融合规则，充分融合跨模态的显着特征和互补信息，生成视觉效果良好的融合图像。
[0005]为了达到上述目的，本专利技术提供的技术方案是：基于相关注意力引导的红外与可见光图像融合方法，包括如下步骤：步骤1，构建基于相关注意力引导的融合网络，包括特征提取模块，相关融合模块和图像重建模块3部分；具体实现过程如下：首先，将已配准好的红外和可见光图像分别送入若干层卷积组成的特征提取模块，提取两个模态的互补特征；其次，通过相关融合模块计算特征相关性，以获得模态内和
模态间的远程全局交互，对红外和可见光图像特征进行跨模态互补融合，使融合网络在特征融合阶段能集成更多的互补信息；最后，将信息交互后的红外和可见光图像特征连接起来，通过图像重建模块来生成融合图像；步骤2，通过损失函数训练步骤1中构建的融合网络，得到训练好的融合网络，所述损失函数通过计算融合图像与输入的两种源图像之间的像素级差异和纹理差异来获得；步骤3，利用步骤2中训练好的融合网络对待融合的红外与可见光图像进行融合。
[0006]进一步的，还包括步骤4，选取评估指标定量评价融合效果。
[0007]进一步的，所述特征提取模块由5个共享权重的卷积层组成，前4个卷积层采用DenseNet结构，最后一个卷积层采用1
×
1卷积层和非线性Tanh激活函数。
[0008]进一步的，相关融合模块的具体处理过程如下；步骤1.1，将红外和可见光图像中提取的特征图表示为；特征提取模块提取的特征对特征的相关性计算为：
[0009][0010]其中，H和W表示特征图的高和宽，C表示特征图的通道数；步骤1.2，为获得每个特征的远距离上下文信息，将特征提取模块提取的红外和可见光图像的特征图生成为模板图：
[0011]这里为模板特征图，为自适应平均池化操作；
[0012]步骤1.3，为了获得两种模态的互补信息，在计算出每种模态的特征相关性后，利用如下相关融合规则来获得跨模态互补特征：
[0013][0014][0015][0016]其中是对红外图像的特征和整个红外特征模板图中的特征计算相关性所获得的相关性系数分布图，可见光图像特征对可见光特征模板图计算相关性所获得的系数分布图，为Sigmod操作，通过Sigmod和自适应平均池化操作，将和两个模板系数分布图压缩到与特征图的尺度一致，获得的权重系数分
别为和；为按通道相乘，和分别代表特征提取模块提取到的红外图像特征和可见光图像特征，和分别为获得互补信息交互后的红外图像特征与可见光图像特征。
[0017]进一步的，所述图像重建模块由5层卷积层组成，以实现特征的充分整合和图像重建，图像重建模块均采用3
×
3卷积核和ReLU激活函数。
[0018]进一步的，所述图像重建模块的具体处理过程如下；首先将信息交互后的红外和可见光图像特征连接起来：
[0019]这里为融合后的特征，为通道维度的拼接；
[0020]最后，通过图像重建模块，从融合特征中生成融合图像，定义图像重建过程为，公式如下：
[0021]。
[0022]进一步的，损失函数由强度损失和梯度损失构成，其中强度损失通过衡量融合图像和源图像在像素级别的差异，约束融合图像保持与源图像相似的强度分布，定义如下：
[0023][0024][0025]其中H和W为图像的高和宽，为L1范数，和分别表示红外和可见光图像，对融合网络生成的融合图像和每一种源图像分别求损失，并对其求和作为整体的强度损失：
[0026][0027]梯度损失通过融合图像与源图像的梯度差异来迫使融合网络学习并保留源图像中更多的纹理细节，定义如下：
[0028][0029]这里的是求图像纹理的梯度算子；
[0030]最后，为了促使融合网络整合更多的互补信息并提高图像质量，把强度损失和梯度损失进行加权组合得到最终的损失函数，其中为超参，用于平衡梯度和强度参数：
[0031]。
[0032]进一步的，评估指标包括标准差、空间频率、视觉信息保真度、边缘信息量，平均梯度和信息熵。
[0033]另一方面，本专利技术还提供一种基于相关注意力引导的红外与可见光图像融合系统，包括如下单元：融合网络构建单元，用于构建基于相关注意力引导的融合网络，包括特征提取模块，相关融合模块和图像重建模块3部分；其中特征提取模块包括若干层卷积，用于提取红外与可见光图像这两个模态的互补特征；相关融合模块用于计算特征相关性，以获得模态内和模态间的远程全局交互，对红外和可见光图像特征进行跨模态互补融合，使融合网络在特征融合阶段集成更多的互补信息；图像重建模块用于将信息交互后的红外和可见光图像特征连接起来，并生成融合图像；融合网络训练单元，用于通过损失函数训练构建的融合网络，得到训练好的融合网络，所述损失函数通过计算融合图像与输入的两种源图像之间的像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于相关注意力引导的红外与可见光图像融合方法，其特征在于，包括如下步骤：步骤1，构建基于相关注意力引导的融合网络，包括特征提取模块，相关融合模块和图像重建模块3部分；具体实现过程如下：首先，将已配准好的红外和可见光图像分别送入若干层卷积组成的特征提取模块，提取两个模态的互补特征；其次，通过相关融合模块计算特征相关性，以获得模态内和模态间的远程全局交互，对红外和可见光图像特征进行跨模态互补融合，使融合网络在特征融合阶段能集成更多的互补信息；最后，将信息交互后的红外和可见光图像特征连接起来，通过图像重建模块来生成融合图像；步骤2，通过损失函数训练步骤1中构建的融合网络，得到训练好的融合网络，所述损失函数通过计算融合图像与输入的两种源图像之间的像素级差异和纹理差异来获得；步骤3，利用步骤2中训练好的融合网络对待融合的红外与可见光图像进行融合。2.如权利要求1所述的基于相关注意力引导的红外与可见光图像融合方法，其特征在于：还包括步骤4，选取评估指标定量评价融合效果。3.如权利要求1所述的基于相关注意力引导的红外与可见光图像融合方法，其特征在于：步骤1中特征提取模块由5个共享权重的卷积层组成，前4个卷积层采用DenseNet结构，最后一个卷积层采用1
×
1卷积层和非线性Tanh激活函数。4.如权利要求1所述的基于相关注意力引导的红外与可见光图像融合方法，其特征在于：步骤1中相关融合模块的具体处理过程如下；步骤1.1，将红外和可见光图像中提取的特征图表示为；特征提取模块提取的特征对特征的相关性计算为：其中，H和W表示特征图的高和宽，C表示特征图的通道数；步骤1.2，为获得每个特征的远距离上下文信息，将特征提取模块提取的红外和可见光图像的特征图生成为模板图：这里为模板特征图，为自适应平均池化操作；步骤1.3，为了获得两种模态的互补信息，在计算出每种模态的特征相关性后，利用如下相关融合规则来获得跨模态互补特征：下相关融合规则来获得跨模态互补特征：下相关融合规则来获得跨模态互补特征：
其中是对红外图像的特征和整个红外特征模板图中的特征计算相关性所获得的相关性系数分布图，可见光图像特征对可见光特征模板图计算相关性所获得的系数分布图，
ꢀꢀ
为Sigmod操作，通过Sigmod和自适应平均池化操作，将和两个模板系数分布图压缩到与特征图的尺度一致，获得的权重系数分别为和；为按通道相乘，和分别代表特征提取模块提取到的红外图像特征和可见光图像特征，和分别为获得互补信息交互后的红...

【专利技术属性】
技术研发人员：蔡朝，马泳，樊凡，黄珺，
申请(专利权)人：武汉大学，
类型：发明
国别省市：