【技术实现步骤摘要】
本专利技术属于图像信息处理，涉及一种深度特征相关性矩阵的红外和可见光图像融合方法。
技术介绍
1、目前，与本专利技术相关的技术包括三方面：第一是基于深度学习的图像融合算法；第二是联合多任务的图像融合算法。
2、基于深度学习的图像融合算法主要分为两类：一类方法是通过构建深度层次网络结构提取特征，设计融合策略，重构融合图像。zhao等人在文献《correlation-drivendual-branch feature decompositionfor multi-modality image fusion》中提出了一种关联性驱动的双分支特征分解融合网络解决解决跨模态特征建模和分解问题。tang等人在文献《a progressive infrared and visible image fusion networkbased onillumination aware》中提出了一种基于光照感知的渐进式图像融合网络已实现自适应地保持突出目标的强度分布，并保留背景中的纹理信息。另一类方法是使用对抗性学习将不同模态的空间分布映射到相同的分布，产生有吸引力的融合结果。ma等人在文献《a dual-discriminator conditional generative adversarial network for multi-resolutionimage fusion》中提出了一种双判别器的条件生成对抗网络，通过判别融合图像和源图像之间的内容和结构差异，从而迫使融合图像保留红外图像的热辐射和可见光的纹理细节信息。rao等人在文献
3、近年来，联合多任务的图像融合算法逐渐流行，其主要利用高级视觉任务的语义信息来增强融合网络的性能。联合多任务的方法主要分为两类：级联学习的方法和交互式学习的方法。级联学习方法主要是通过将高级任务作为约束条件来训练融合网络，从而促使融合网络产生有利于下游任务的融合结果。例如，sun等人在文献《a detection-driveninfrared and visible image fusion network》中通过目标检测网络获取目标相关信息，然后利用目标定位作为先验信息指导融合网络。liu等人在文献《target-awaredual adversarial learning and a multi-scenariomulti-modality benchmark tofuse infrared and visible for objectdetection》中提出了一种对抗学习和检测网络结合的算法，并设计一种双层优化公式，从而加强融合和分割任务之间的联系。此外，交互式学习方法聚焦于在不同级别的特征图之间设计层次交互，从而消除融合任务和高级任务之间的鸿沟。例如，zhao等人在文献《infrared and visible image fusion via meta-feature embeddingfrom object detection》中提出了一种元特征嵌入方法，根据融合网络能力生成对象语义特征，使语义特征与融合特征自然兼容。wang等人在文献《multi-interactive feature learning and a full-time multi-modality benchmarkforimage fusion and segmentation》中提出了一种多交互特征学习架构，利用双任务相关性来提高双任务的性能。
4、然而，在实际应用中，联合分割任务为融合图像提供目标语义信息往往具有挑战性。原因是两个不同级别任务的特征存在语义差异性，很难使语义特征和融合特征自然兼容。针对这一问题，一个潜在的解决办法是通过构建不同层级任务之间的相关性矩阵消除语义差异，从而实现融合任务和分割任务之间的相互促进。我们提出的深度特征相关性矩阵的红外和可见图像融合方法利用相关矩阵对输入特征图的每个位置信息进行加权，从而加强融合与语义特征之间的潜在联系。简单地将两个不同层级的特征通过聚合或加法操作容易造成重要信息丢失，无法强调有价值的信息。在此过程中，为实现不同级别任务的特征能够相互兼容，我们构建相关性矩阵消除不同级别任务之间的语义差异，为融合特征提供目标语义信息，同时为语义特征提供纹理细节信息。
技术实现思路
1、针对在联合高级任务的条件下进行高质量融合任务的问题，提出了一种深度特征相关性矩阵的红外和可见图像融合框架。具体来说，我们通过构建相关性矩阵建立不同级别特征图之间的关联，使得网络能够交互单一任务内和不同任务间的语义差异信息。我们首先计算得到相关性矩阵，推断出每个像素点位置的相关性，然后乘以特征图自身完成加权操作。通过利用相关矩阵来加权输入特征图的各个位置信息，从而加强融合与语义特征之间的潜在联系。显然，通过增加具有强语义相关性的位置的权重值并降低具有弱语义相关性的位置的权重值，可以有效消除融合和语义特征之间的语义差异。这样，根据分割任务指导融合特征获得目标语义特征，使得红外和可见图像融合的性能得到提升。
2、本专利技术的技术方案：
3、一种深度特征相关性矩阵的红外和可见光图像融合方法，该红外和可见光图像融合方法对应的融合框架主要由自重构源图像任务、交叉重构源图像任务和分割任务组成；其中，源图像是红外图像和可见图像；自重构源图像任务和交叉重构源图像任务用于约束融合框架获得融合和重构能力；交叉重构源图像任务中引用动态交互融合；分割任务用于提供目标语义特征嵌入到动态交互融合过程，帮助融合特征提供目标语义信息；提出跨任务交互模块构建深度特征相关性矩阵来解决两个不同层级任务在特征融合过程中存在的语义差异问题，步骤如下：
4、（1）自重构源图像任务
5、自重构源图像任务主要由红外编码器、可见编码器以及自重构解码器组成；红外编码器和可见编码器均为三层，其中每一层均由卷积+残差块组成；自重构解码器共三层，每一层由卷积+残差块+上采样组成；红外编码器、可见编码器以及自重构解码器之间具有跳跃连接；自重构源图像任务以自监督的方式将源图像作为真值进行训练，确保红外编码器提取的红外特征包含红外图像的热辐射信息以及可见编码器提取的可见特征包含可见图像的细节纹理信息；因此，训练自重构源图像的损失函数表示为：
6、(1)
7、其中，，；表示自重构源图像和源图像的mse损失；表示自重构源图像和源图像的结构一致性损失；表示结构一致性指数；表示红外或可见图像；表示自重构的红外或可见图像；
8、（2）交叉重构源图像任务
9、交叉重构源图像任务主要由动态交互融本文档来自技高网...
【技术保护点】
1.一种深度特征相关性矩阵的红外和可见光图像融合方法，其特征在于，该红外和可见光图像融合方法对应的融合框架主要由自重构源图像任务、交叉重构源图像任务和分割任务组成；其中，源图像是红外图像和可见图像；自重构源图像任务和交叉重构源图像任务用于约束融合框架获得融合和重构能力；交叉重构源图像任务中引用动态交互融合；分割任务用于提供目标语义特征嵌入到动态交互融合过程，帮助融合特征提供目标语义信息；提出跨任务交互模块构建深度特征相关性矩阵来解决两个不同层级任务在特征融合过程中存在的语义差异问题，步骤如下：
【技术特征摘要】
1.一种深度特征相关性矩阵的红外和可见光图像融合方法，其特征在于，该红外和可见光图像融合方法对应的融合框架主要由自重构源图像任务、交叉重构源图像任务和分割任务组成；其中，源图像是红外图像和可见图像；自重构源图像任务和交叉重构源图像任务用于约束融合框架...
【专利技术属性】
技术研发人员：赵文达，崔恒帅，王海鹏，刘颢，潘新龙，孙美美，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。