用于多光谱图像的融合网络构建方法及相应的融合方法技术

本发明专利技术公开了一种用于多光谱图像的融合网络构建方法，包括步骤：建立两个基于卷积神经网络的特征提取模块；建立一基于卷积神经网络的特征重建模块；建立一特征解离网络；级联所述两个特征提取模块、特征重建模块以及特征解离网络，形成一融合网络训练模型，采用训练集对所述融合网络训练模型进行训练，并根据重建损失函数和分解损失函数计算的损失值对所述融合网络训练模型的参数进行调整；在训练完成后，根据所述两个特征提取模块、特征重建模块组成一个训练好的融合网络。本发明专利技术还提供了多光谱图像的融合方法。实施本发明专利技术，可以减少计算量，提高多光谱图像的融合效率和效果，能自适应地保留红外光图像的热辐射和可见光的丰富纹理细节。丰富纹理细节。丰富纹理细节。

【技术实现步骤摘要】
用于多光谱图像的融合网络构建方法及相应的融合方法


[0001]本专利技术涉及智能电网信息
，特别涉及一种用于多光谱图像的融合网络构建方法及相应的融合方法。

技术介绍

[0002]图像融合本质上是一种增强技术，它旨在整合从不同传感器获得的不同类型的数据，重建一个健壮的和信息丰富的图像，以方便后续的处理任务。一个设计良好的融合方法的关键是从源数据中提取有用的信息，在不引入人为干扰的情况下去除冗余因素，保持较低的计算复杂度。随着计算机科学和传感器技术的快速发展，许多现代应用迫切需要特定场景的综合信息，以应对复杂的识别或分类任务。因此，图像融合在电力系统、视频监控、现代军事等方面发挥着至关重要的作用。
[0003]电网中存在各种各样的电力设备故障，大部分伴有发热现象。按照红外检测的技术分类，可以分为外部故障和内部故障。外部故障，主要是指输电线路中的各种连接器、线夹或者触头等因为连接不良，造成接触电阻增大，电阻损耗增加，从而造成局部过热。内部故障，主要是指封闭在绝缘体或者设备壳体内部的电气回路故障和绝缘介质老化或破损引起的各种故障。这些外部故障和内部故障，大都伴随着温度变化，肉眼都很难发现其出现故障。因此，采用红外检测技术可以通过分析电力设备的热成像图来检测电力设备的状态以及故障隐患。然而，单一光谱图像都不能很好的定位设备的故障隐患点，电力设备在线监测系统常采用多光谱图像传感器。众所周知，红外传感器只能获取标的红外福射信息，反映设备温度的特点，对场景的亮度细节信息变化不敏感，而可见光图像仅对场景亮度变化明显，成像清晰度高，但是它不能反映设备的温度场变化，不能发现故障隐患点。因此，在电力设备红外检测中一般常常采用红外光谱和可见光光谱相融合的方式来进行故障检测，两者输出的信息具有互补性，既能反映电力设备的亮度细节信息，又能反映它的温度场变化。将可见光图像与红外光图像融合，能够获得更加详细准确的信息，在自然场景中确定发热位置，从而准确定位电力设备的故障隐患点。
[0004]在过去的几十年里，许多传统的红外和可见光图像融合算法被提出，大致可以分为五类，包括基于多尺度分解的方法，基于显著性的方法，基于稀疏表示的方法，基于优化的方法和基于混合的方法。近年来，随着深度学习技术的日趋成熟，传统的融合算法已经逐渐被深度学习的方法所取代。一般来说，主要的深度融合方法可以分为三类，即基于卷积神经网络(Convolutional Neural Network,CNN)的方法、基于自编码器(Auto encoder，AE)的方法和基于生成对抗网络(Generative Adversarial Network,GAN)的方法。基于CNN的融合方法通常依靠神经网络强大的拟合能力，在设计良好的损失函数指导下，实现有效信息的提取和重构；基于AE的融合方法包括编码器、融合层、解码器，将源图像送入训练好的编解码器后，可以提取到源图像的代表性特征，后续对这些特征进行重构；基于GAN的融合方法在融合后的图像与源图像之间建立对抗博弈，使融合后的图像在没有监督的情况下接近预期的概率分布。
[0005]虽然现有的方法在大多数情况下取得了良好的效果，但仍有一些方面需要改进。
[0006]首先，现有的传统方法通常需要人工设计融合规则，由于源图像的多样性，这些方法实现较为复杂，同时也限制了融合结果，因为不可能以一种手动设计的方式考虑所有因素；
[0007]其次，将深度学习应用到图像融合中最突出的障碍是缺乏用于监督学习的地真融合图像，只能通过设计内容损失函数来实现图像融合，用这种方法得到的分布不够全面；
[0008]最后，现有的大多数方法很难在保持红外和可见光固有信息之间取得很好的平衡。例如，一些方法的融合结果往往是可见图像，虽然它们包含丰富的纹理细节，但没有明显的对比度，不能清楚地区分目标和背景。相反，有些方法的结果更接近红外光图像，它们有更好的对比度信息，但纹理不够丰富，例如更像锐利的红外光图像。融合结果中信息的不平衡会对后续的上层任务产生不利影响，如目标检测精度降低等。

技术实现思路

[0009]本专利技术所要解决的技术问题在于，提供一种用于多光谱图像的融合网络构建方法及相应的融合方法，可以减少计算量，提高多光谱图像的融合效率和效果，能自适应地保留红外光图像的热辐射和可见光的丰富纹理细节。
[0010]为了解决所述技术问题，本专利技术的一方面，提供一种用于多光谱图像的融合网络构建方法，其至少包括如下步骤：
[0011]步骤S10，建立两个基于卷积神经网络的特征提取模块，用于接收训练集中的红外光图像和可见光图像分别进行特征提取，并结合不同卷积层传递的特征信息与跳跃连接的特征信息补偿，获得红外光图像和可见光图像的高维多尺度特征图；
[0012]步骤S11，建立一基于卷积神经网络的特征重建模块，用于接收所述红外光图像和可见光图像的高维多尺度特征图在通道维度上连接后的图像，获得初始融合图像，并采用重建损失函数对初始融合图像进行损失计算，所述重建损失函数包括强度与梯度损失函数；
[0013]步骤S12，建立一特征解离网络，用于对初始融合图像进行分解，并采用分解损失函数对分解图像进行损失计算；
[0014]步骤S13，级联所述两个特征提取模块、特征重建模块以及特征解离网络，形成一融合网络训练模型，采用训练集对所述融合网络训练模型进行训练，并根据重建损失函数和分解损失函数计算的损失值对所述融合网络训练模型的参数进行调整；
[0015]步骤S14，在训练完成后，根据所述两个特征提取模块、特征重建模块组成一个训练好的融合网络。
[0016]优选地，在所述步骤S10中进一步包括：
[0017]建立两个基于卷积神经网络的特征提取模块，其中，每一特征提取模块至少包括独立的卷积层和Vnet网络，所述Vnet网络包含卷积、平均池化、上采样和跳跃连接，用于在提取低维图像特征的同时，每经过2个卷积层后对特征进行平均池化，同时将通道数翻倍；经过8个卷积层后，每经过2个卷积层对特征进行上采样，同时将通道数变为原来的1/2；其中，采用跳跃连接将第2层与第16层、第4层与14层、第6层与第12层和第8层与第10层进行跳跃连接，最终得到64通道的高维多尺度特征图(F
R
，F
V
)，所述的卷积层尺寸均为3
×
3，激活函
数为Leaky Relu；
[0018]将经过两个特征提取模块分别提取的红外光图像和可见光图像对应的特征图进行通道上的连接，得到的128维特征图，以作为后续特征重建模块的输入。
[0019]优选地，在所述步骤S11进一步包括：
[0020]建立一基于卷积神经网络的特征重建模块，所述特征重建模块包括：
[0021]五层连续的卷积层，用于每经过一个卷积层将输入通道缩小到原来的二分之一，所述的卷积层的卷积核尺寸均为3
×
3，前四层的激活函数均为Leaky Relu，最后一层使用Tanh作为激活函数。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于多光谱图像的融合网络构建方法，其特征在于，至少包括如下步骤：步骤S10，建立两个基于卷积神经网络的特征提取模块，用于接收训练集中的红外光图像和可见光图像分别进行特征提取，并结合不同卷积层传递的特征信息与跳跃连接的特征信息补偿，获得红外光图像和可见光图像的高维多尺度特征图；步骤S11，建立一基于卷积神经网络的特征重建模块，用于接收所述红外光图像和可见光图像的高维多尺度特征图在通道维度上连接后的图像，获得初始融合图像，并采用重建损失函数对初始融合图像进行损失计算，所述重建损失函数包括强度与梯度损失函数；步骤S12，建立一特征解离网络，用于对初始融合图像进行分解，并采用分解损失函数对分解图像进行损失计算；步骤S13，级联所述两个特征提取模块、特征重建模块以及特征解离网络，形成一融合网络训练模型，采用训练集对所述融合网络训练模型进行训练，并根据重建损失函数和分解损失函数计算的损失值对所述融合网络训练模型的参数进行调整；步骤S14，在训练完成后，根据所述两个特征提取模块、特征重建模块组成一个训练好的融合网络。2.如权利要求1所述的方法，其特征在于，在所述步骤S10中进一步包括：建立两个基于卷积神经网络的特征提取模块，其中，每一特征提取模块至少包括独立的卷积层和Vnet网络，所述Vnet网络包含卷积、平均池化、上采样和跳跃连接，用于在提取低维图像特征的同时，每经过2个卷积层后对特征进行平均池化，同时将通道数翻倍；经过8个卷积层后，每经过2个卷积层对特征进行上采样，同时将通道数变为原来的1/2；其中，采用跳跃连接将第2层与第16层、第4层与14层、第6层与第12层和第8层与第10层进行跳跃连接，最终得到64通道的高维多尺度特征图(F
R
，F
V
)，所述的卷积层尺寸均为3
×
3，激活函数为Leaky Relu；将经过两个特征提取模块分别提取的红外光图像和可见光图像对应的特征图进行通道上的连接，得到的128维特征图，以作为后续特征重建模块的输入。3.如权利要求2所述的方法，其特征在于，在所述步骤S11进一步包括：建立一基于卷积神经网络的特征重建模块，所述特征重建模块包括：五层连续的卷积层，用于每经过一个卷积层将输入通道缩小到原来的二分之一，所述的卷积层的卷积核尺寸均为3
×
3，前四层的激活函数均为Leaky Relu，最后一层使用Tanh作为激活函数。4.如权利要求3所述的方法，其特征在于，所述步骤S11进一步包括：建立融合网络的损失函数，其计算公式如下：其中，是梯度损失，是强度损失，α和β分别是平衡强度损失项和梯度损失项的常数项；其中，利用梯度损失块采用下述公式计算获得梯度损失其中，利用梯度损失块采用下述公式计算获得梯度损失其中，i和j表示决策图和梯度图中第i行和第j列的像素，H...

【专利技术属性】
技术研发人员：李忠民，肖利龙，李艳，田杰，杜进桥，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：