【技术实现步骤摘要】
本专利技术涉及计算机视觉图像处理，更具体地说，涉及红外和可见光图像融合技术，提出了一种图像融合模型的训练方法、图像融合方法及装置。
技术介绍
1、图像融合是计算机视觉领域中一个关键的研究领域，旨在通过综合两张或多张不同图像的信息来生成一张新图像，从而提供更丰富的信息和更好的视觉表现。随着深度学习技术的迅猛发展，基于深度学习的图像融合方法已成为研究的热点，这些方法利用其强大的特征提取和泛化能力，极大地推动了图像融合技术的进步。
2、然而，传统的基于深度学习的图像融合方法，如基于卷积神经网络(convolutional neural network，cnn)、自编码器(auto encoder，ae)或生成对抗网络(generative adversarial network，gan)的方法，尽管在图像融合质量上取得了显著进步，但仍存在一些局限性。例如，cnn方法通常难以捕获图像的全局信息，而ae和gan方法在训练和特征融合策略上也存在挑战。这些限制影响了图像融合算法的性能，尤其是在涉及全局上下文和长距离依赖的高级视觉任务中。
3、此外，随着vision transformer(vit)的兴起，其在处理长范围依赖关系方面显示出巨大潜力，这为图像融合领域提供了新的视角。transformer模型通过自注意力机制处理长距离依赖关系，使其非常适合于需要全局上下文整合的任务，如图像融合。然而，目前的transformer基础的图像融合方法在适应源图像的内在特性和根据源图像之间的相关性调整transformer结构方面
技术实现思路
1、本专利技术的目的在于，提供一种图像融合模型的训练方法、图像融合方法及装置，能有效捕获图像的全局信息、适应多样化图像特性，提高融合图像在高级视觉任务中的表现。
2、本专利技术解决其技术问题所采用的技术方案是构造一种图像融合模型的训练方法，其中，图像融合模型包括图像获取模块、对比残差模块、纹理增强模块、交叉特征注意力模块和图像重建模块；图像获取模块，用于获取和预处理红外图像和可见光图像；对比残差模块，用于提取红外输出特征；纹理增强模块，用于提取可见光输出特征；交叉特征注意力模块，用于得到融合特征；图像重建模块，用于生成融合图像；训练方法包括以下步骤：s1：获取红外图像和可见光图像，将红外图像和可见光图像时间和空间对齐并转化成张量格式，得到红外张量和可见光张量；s2：利用对比残差模块对红外张量进行特征提取处理，得到红外输出特征；利用纹理增强模块对可见光张量进行特征提取处理，得到可见光输出特征；s3：利用交叉特征注意力模块对红外输出特征和可见光输出特征进行融合处理，得到融合特征；s4：利用图像重建模块对融合特征进行图像重建处理，得到融合图像；构建内容损失函数，用于计算图像融合模型内容损失；s5：获取内容损失预设值，当内容损失函数不小于内容损失预设值，返回步骤s1，继续训练图像融合模型；当内容损失函数小于内容损失预设值，停止训练，得到预训练图像融合模型；s6：获取红外图像和可见光图像，利用预训练图像融合模型生成融合图像；获取语义分割模型，根据语义分割模型和融合图像，进一步训练预训练图像融合模型，得到训练好的图像融合模型。
3、进一步地，上述图像融合模型的训练方法步骤s2包括以下步骤：利用对比残差模块对红外张量进行特征提取处理，得到红外输出特征，如公式：其中为红外输出特征，rmir(·)为对比残差模块，为红外输入特征，为3×3卷积层，为1×1卷积层，为逐元素求和操作；利用纹理增强模块对可见光张量进行特征提取处理，得到可见光输出特征，如公式：其中为可见光输出特征，rmvi(·)为纹理增强模块，为可见光输入特征，δ为拉普拉斯算子。
4、进一步地，上述对比残差模块包括第一3×3卷积层、第二3×3卷积层、激活函数、1×1卷积层及求和器；第一3×3卷积层、激活函数和第二3×3卷积层依次串联，第一3×3卷积层的输入端与1×1卷积层的输入端连接，第一3×3卷积层的输出端与求和器的第一输入端连接，1×1卷积层的输出端与求和器的第二输入端连接；第一和第二3×3卷积层用于提取3×3图像特征，激活函数用于激活第一3×3卷积层，1×1卷积层用于提取1×1图像特征，求和器用于逐元素求和操作。
5、进一步地，上述纹理增强模块包括第一3×3卷积层、第二3×3卷积层、激活函数、拉普拉斯算子、1×1卷积层及求和器；第一3×3卷积层、激活函数和第二3×3卷积层依次串联，第一3×3卷积层的输入端与拉普拉斯算子的输入端连接，拉普拉斯算子的输出端与1×1卷积层的输入端连接，第一3×3卷积层的输出端与求和器的第一输入端连接，1×1卷积层的输出端与求和器的第二输入端连接；拉普拉斯算子用于锐化图像，第一和第二3×3卷积层用于提取3×3图像特征，激活函数用于激活第一3×3卷积层，1×1卷积层用于提取1×1图像特征，求和器用于逐元素求和操作。
6、进一步地，上述交叉特征注意力模块包括红外注意力模块和可见光注意力模块；进一步地，上述图像融合模型的训练方法步骤s3包括以下步骤：利用红外意力模块对红外输出特征进行特征提取处理，得到红外注意力模块的输出，如公式：其中，为红外注意力模块的输入，为红外注意力模块的输出，tmir(·)为红外注意力模块，trans()为transformer操作，用于特征转换；利用可见光意力模块对可见光输出特征进行特征提取处理，得到可见光注意力模块的输出，如公式：其中，为可见光注意力模块的输入，为可见光注意力模块的输出，tmvi(·)为可见光注意力模块；将红外注意力模块的输出和可见光注意力模块的输出进行连接操作，得到融合特征，如公式：其中，φf为融合特征，c(·)为连接操作，用于组合不同类型图像所提取的深度特征。
7、进一步地，上述图像融合模型的训练方法步骤s4包括以下步骤：利用图像重建模块对融合特征进行图像重建处理，得到融合图像，如公式：if＝r(φf)，其中，r(·)为图像重建模块，用于对融合特征进行重建处理，φf为融合特征，if为融合图像；构建内容损失函数，如公式：
8、
9、
10、
11、
12、其中，为内容损失函数，为强度损失，为结构损失，为细节损失，α为第一调节常数，β为第二调节常数，用于调节强度损失、结构损失、细节损失的权重，h为图像的高度，w为图像的宽度，iir为红外图像，ivi为可见光图像，||·||1为1-范数，max(·)为两幅图像中像素的最大值，x和y分别代表两幅图像，c1和c2代表常数系数，μ和σ分别表示均值和标准差，σxy表示x和y之间的协方差，δ为拉普拉斯算子，用于从x和y轴方向提取高频信息，|·|表示绝对值操作本文档来自技高网...
【技术保护点】
1.一种图像融合模型的训练方法，其特征在于，所述图像融合模型包括图像获取模块、对比残差模块、纹理增强模块、交叉特征注意力模块和图像重建模块；所述图像获取模块，用于获取和预处理红外图像和可见光图像；所述对比残差模块，用于提取红外输出特征；所述纹理增强模块，用于提取可见光输出特征；所述交叉特征注意力模块，用于得到融合特征；所述图像重建模块，用于生成融合图像；所述训练方法，包括以下步骤：
2.根据权利要求1所述的图像融合模型的训练方法，其特征在于，步骤S2包括以下步骤：
3.根据权利要求2所述的图像融合模型的训练方法，其特征在于，所述对比残差模块包括第一3×3卷积层、第二3×3卷积层、激活函数、1×1卷积层及求和器；所述第一3×3卷积层、所述激活函数和所述第二3×3卷积层依次串联，所述第一3×3卷积层的输入端与所述1×1卷积层的输入端连接，所述第一3×3卷积层的输出端与所述求和器的第一输入端连接，所述1×1卷积层的输出端与所述求和器的第二输入端连接；所述第一和第二3×3卷积层用于提取3×3图像特征，所述激活函数用于激活第一3×3卷积层，所述1×1卷积层用于提取1
4.根据权利要求2所述的图像融合模型的训练方法，其特征在于，所述纹理增强模块包括第一3×3卷积层、第二3×3卷积层、激活函数、拉普拉斯算子、1×1卷积层及求和器；所述第一3×3卷积层、所述激活函数和所述第二3×3卷积层依次串联，所述第一3×3卷积层的输入端与所述拉普拉斯算子的输入端连接，所述拉普拉斯算子的输出端与所述所述1×1卷积层的输入端连接，所述第一3×3卷积层的输出端与所述求和器的第一输入端连接，所述1×1卷积层的输出端与所述求和器的第二输入端连接；所述拉普拉斯算子用于锐化图像，所述第一和第二3×3卷积层用于提取3×3图像特征，所述激活函数用于激活第一3×3卷积层，所述1×1卷积层用于提取1×1图像特征，所述求和器用于逐元素求和操作。
5.根据权利要求2所述的图像融合模型的训练方法，其特征在于，所述交叉特征注意力模块包括红外注意力模块和可见光注意力模块；步骤S3包括以下步骤：
6.根据权利要求5所述的图像融合模型的训练方法，其特征在于，步骤S4包括以下步骤：
7.根据权利要求6所述的图像融合模型的训练方法，其特征在于，步骤S6包括以下步骤：
8.一种图像融合模型的训练装置，其特征在于，所述图像融合模型包括图像获取模块、对比残差模块、纹理增强模块、交叉特征注意力模块和图像重建模块；所述图像获取模块，用于获取和预处理红外图像和可见光图像；所述对比残差模块，用于提取红外输出特征；所述纹理增强模块，用于提取可见光输出特征；所述交叉特征注意力模块，用于得到融合特征；所述图像重建模块，用于生成融合图像；所述装置包括以下模块：
9.一种图像融合方法，其特征在于，包括以下步骤：
10.一种图像融合装置，其特征在于，所述装置包括以下模块：
...【技术特征摘要】
1.一种图像融合模型的训练方法，其特征在于，所述图像融合模型包括图像获取模块、对比残差模块、纹理增强模块、交叉特征注意力模块和图像重建模块；所述图像获取模块，用于获取和预处理红外图像和可见光图像；所述对比残差模块，用于提取红外输出特征；所述纹理增强模块，用于提取可见光输出特征；所述交叉特征注意力模块，用于得到融合特征；所述图像重建模块，用于生成融合图像；所述训练方法，包括以下步骤：
2.根据权利要求1所述的图像融合模型的训练方法，其特征在于，步骤s2包括以下步骤：
3.根据权利要求2所述的图像融合模型的训练方法，其特征在于，所述对比残差模块包括第一3×3卷积层、第二3×3卷积层、激活函数、1×1卷积层及求和器；所述第一3×3卷积层、所述激活函数和所述第二3×3卷积层依次串联，所述第一3×3卷积层的输入端与所述1×1卷积层的输入端连接，所述第一3×3卷积层的输出端与所述求和器的第一输入端连接，所述1×1卷积层的输出端与所述求和器的第二输入端连接；所述第一和第二3×3卷积层用于提取3×3图像特征，所述激活函数用于激活第一3×3卷积层，所述1×1卷积层用于提取1×1图像特征，所述求和器用于逐元素求和操作。
4.根据权利要求2所述的图像融合模型的训练方法，其特征在于，所述纹理增强模块包括第一3×3卷积层、第二3×3卷积层、激活函数、拉普拉斯算子、1×1卷积层及求和器；所述第一3×3卷积层、所述激活函数和所述第二3×3卷积层依次串联，所述第一...
【专利技术属性】
技术研发人员：陈珺，丁剑锋，马佳义，王中元，罗林波，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。