基于自注意力机制的多光谱图像融合网络建立方法及融合方法技术

本发明专利技术公开了一种基于自注意力机制的多光谱图像的融合网络建立的方法，其包括：建立训练集，包括多组图片对，每组图片对包括红外光图片、可见光图片；将训练集中的图片对分别输入一个采用自注意力机制的生成器中，生成初步融合图像，并计算生成器的损失函数值；将所述图片对结合初步融合图像分别输入至两个判别器中进行判别处理，并计算两个判别器的综合损失函数值；调整生成器权值的权值，使训练集中图片对所对应的生成器的损失函数值以及判别器的综合损失函数值最小化。本发明专利技术还提供了相应的融合方法。实施本发明专利技术，可以提高可见光图片与红外光图片的融合效果，能保留更多的高频和低频细节。频和低频细节。频和低频细节。

【技术实现步骤摘要】
基于自注意力机制的多光谱图像融合网络建立方法及融合方法


本专利技术涉及智能电网信息
，特别涉及一种基于自注意力机制的多光谱图像融合网络建立方法及融合方法。

技术介绍

随着社会的进步和经济的快速发展，人们的工作和生活对电力的需求越来越大。如何在不影响人民生活质量和工作效率的前提下，安全、高效、稳定地供电，是中国电力工作者面临的一大挑战。基于状态的维护主要通过实时检测设备来检测设备安全的潜在风险，并对存在潜在安全风险的设备进行停电维护。电网中有各种各样的电气设备故障，其中大多数伴随着发热现象。根据红外线检测技术的分类，可以分为外部缺陷和内部缺陷。外部故障主要是指输电线中的各种连接器、夹具或触点由于连接不良，接触电阻增大，导致局部过热。内部故障主要是指绝缘体壳体或装置中的闭合电路故障、绝缘介质的劣化或破裂引起的各种故障。这些外部和内部缺陷主要伴随温度变化，肉眼难以检测。因此，通过对电气设备的红外图像分析，能够使用红外线检测技术检测电气设备的状态和危险性。众所周知，红外传感器只能获取反映设备温度特性的目标红外辐射信息，对场景亮度变化不敏感，而可见光图像仅对场景亮度变化敏感，成像分辨率高。但它不能反映设备温度的变化，也不能发现任何隐患。因此，红外光谱和可见光谱的融合通常用于电气设备的故障检测。两者的初始信息是互补的，既能反映电气设备的亮度细节，又能反映温度场的变化。由此可见，可见光图像与红外图像的融合可以获得更详细、更准确的信息，可以确定发热位置，准确找出电力设备隐藏的问题。可见光图像具有丰富的细节和高分辨率，但对于天气的干扰效果较差。红外图像可以有效避免可见光图像带来的天气干扰。融合两幅图像时，保留了所有有用的信息，获得了具有丰富信息的融合图像。传统的图像融合算法中图像分解算法是图像融合的第一步。图像分解将源图像分割成具有若干不同特征的图像，然后基于图像融合规则合成图像，以确保合成后的图像不仅具有明显的红外特征，而且具有可见的图像细节和纹理。在各种图像融合方法中，最流行的是基于多尺度变换的图像融合方法。首先，将源图像分解为一系列不同比例的子图像。接着，使用一种基于多尺度变换的融合规则，用于融合不同尺度的图像以维持尺度特性。最后，通过尺度图像逆变换得到融合图像。随着机器学习的崛起，越来越多的优秀算法开始涌现，例如CNN卷积神经网络，其不论是在图像处理或自然语言处理等方面都有着不错的效果；再如Resnet，其解决了深度学习中存在的伴随网络深度增加而出现的梯度消失或梯度爆炸现象；以及如GAN生成式对抗网络，其主要特点是不需要真实值便可生成人们所需要的结果，而这在许多无法提供真实值的任务中是至关重要的。FusionGAN的红外和可见光图像融合方法：该方法将融合描述为保持红外热辐射
信息和保持可见外观纹理信息之间的对抗性游戏。更具体地说，它可以看作是生成器和判别器之间的一个极小极大问题。该方法先预训练一个能够判定基本真是值得判别器，将图片输入进生成器，然后，生成器和鉴别器形成了一种对抗关系，组成了两人的最小
‑
最大博弈，其中生成器被训练来愚弄鉴别器，而鉴别器试图区分生成的样本。随着对抗过程的推进，生成器生成的数据将越来越难以与实际数据区分开来。
[0006]CNN：现有的基于深度学习的图像融合技术通常依赖于CNN模型，该模型有一个关键前提，即应提前获得基本真实值。对于多聚焦图像融合和泛锐化问题，真实值得到了很好的定义，例如，没有模糊区域的清晰图像或与相应全色图像分辨率相同的多光谱图像。然而，在红外和可见光图像融合任务中，定义融合图像的标准是不现实的，因此，不考虑建立基本真实值。在此基础上，现有的红外和可见光图像融合技术不是学习需要真值融合图像的端到端模型，而是学习一个深度模型来确定源图像中每个斑块的模糊程度，然后相应地计算权重图以生成最终融合图像。传统的图像融合方法在选取融合规则时在低频和高频分量都采用平均值的融合规则，无法保持低频信息的全部优势，从而导致融合图像的对比度损失，使融合图像存在“水洗”现象。现有的基于深度学习的图像融合技术通常依赖于CNN模型，而CNN模型有一个关键的前提条件，就是要提前获得真实值。然而，在红外和可见光图像融合的任务中，定义融合图像的标准是不现实的，因此，不能考虑确定真实值。FusionGan中的生成器模型过于简单，主观上，层次条理不够清晰，客观上，各项指标评价较低，无法达到令人满意的融合效果；训练所用的训练图片尺寸较大，现有的FusionGan网络参数量无法满足，训练出的电力融合图片不够清晰。

技术实现思路

本专利技术所要解决的技术问题在于，提供一种基于自注意力机制的多光谱图像融合网络建立方法及融合方法，可以提高可见光图片与红外光图片的融合效果，能保留更多的高频和低频细节。为了解决所述技术问题，本专利技术的一方面，提供了一种基于自注意力机制的多光谱图像的融合网络建立的方法，其至少包括如下步骤：步骤S10，建立训练集，所述训练集中包括多组图片对，每一组图片对包括同一位置拍摄的红外光图片、可见光图片；步骤S11，分别将训练集中的每组图片对分别输入一个采用自注意力机制的生成器中，生成初步融合图像，并计算生成器的损失函数值；步骤S12，将所述图片对结合初步融合图像分别输入至两个判别器中进行判别处理，并计算两个判别器进行判别的综合损失函数值；步骤S13，不断调整生成器权值的权值，使训练集中图片对所对应的生成器的损失函数值以及判别器的综合损失函数值均小于对应的阈值，获得训练好的生成器，根据所述训练好的生成器构建多光谱图像的融合网络。优选地，所述步骤S11中计算生成器的损失函数值的步骤进一步包括：采用下述的公式计算生成器的损失函数值：
其中，LG为生成器的损失函数值；V
Discrimtor
(G)为对抗损失值；L
conent
为内容损失值；λ为预定常数，用于平衡内容损失值与对抗损失值；N为融合图像的数量；H、W分别为图像的高和宽；表示矩阵的佛罗贝尼乌斯范数的平方；表示梯度算子；用于衡量融合图像I
j
保留的对比度信息；用于衡量融合图像I
f
保留的细节信息；ξ为预定常数，用于平衡上述两项。优选地，所述步骤S12中计算两个判别器进行判别的综合损失函数值的步骤进一步包括：采用下述的公式计算生成器的损失函数值：其中，L
Dis
表示两个判别器判别时的综合损失函数值，L
D
和分别表示两个判别器的损失函数值，μ和σ为预定常数，用于平衡两个判别器对融合图像的影响；a、b、c、d分别表示I
f
、I
v
的标签，分别表示D与D
′
关于I
f
、I
v
的判别结果。优选地，所述生成器包括：自注意力模块、局部细节模块和合并模块，其中：所述自注意力模块用于接收所述图片对，获得其中的明显特征，形成特征图；所述局部细节模块用于接收所述图片对，获得其中的细节信息；所述合并模块用于合并所述具有明显特征的特征图以及细节信息，合并形成初步融合图像。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的多光谱图像的融合网络建立的方法，其特征在于，至少包括如下步骤：步骤S10，建立训练集，所述训练集中包括多组图片对，每一组图片对包括同一位置拍摄的红外光图片、可见光图片；步骤S11，分别将训练集中的每组图片对分别输入一个采用自注意力机制的生成器中，生成初步融合图像，并计算生成器的损失函数值；步骤S12，将所述图片对结合初步融合图像分别输入至两个判别器中进行判别处理，并计算两个判别器进行判别的综合损失函数值；步骤S13，不断调整生成器权值的权值，使训练集中图片对所对应的生成器的损失函数值以及判别器的综合损失函数值均小于对应的阈值，获得训练好的生成器，根据所述训练好的生成器构建多光谱图像的融合网络。2.如权利要求1所述的方法，其特征在于，所述步骤S11中计算生成器的损失函数值的步骤进一步包括：采用下述的公式计算生成器的损失函数值：L
G
＝V
Discrimintor
(G)+λL
content
，，其中，L
G
为生成器的损失函数值；V
Discrimintor
(G)为对抗损失值；L
comtent
为内容损失值；λ为预定常数，用于平衡内容损失值与对抗损失值；N为融合图像的数量；H、W分别为图像的高和宽；表示矩阵的佛罗贝尼乌斯范数的平方；表示梯度算子；用于衡量融合图像I
j
保留的对比度信息；用于衡量融合图像I
f
保留的细节信息；ξ为预定常数，用于平衡上述两项。3.如权利要求2所述的方法，其特征在于，所述步骤S12中计算两个判别器进行判别的综合损失函数值的步骤进一步包括：采用下述的公式计算生成器的损失函数值：L
Dti
＝μL
′
D
+σL
D
，，其中，L
Dis
表示两个判别器判别时的综合损失函数值，L
D
和L
′
D
分别表示两个判别器的损失函数值，μ和σ为预定常数，用于平衡两个判别器对融合图像的影响；a、b、c、d分别表示I
f
、I
v
的标签，分别表示D与D
′
关于I
f
、I
v
的判别结果。4.如权利要求1至3任一项所述的方法，其特征在于，所述生成器包括：自注意力模块、局部细节模块和合并模块，其中：所述自注意力模...

【专利技术属性】
技术研发人员：饶竹一，李英，余鹏，任佳，杜进桥，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：