异物入侵识别方法、装置、设备和计算机可读存储介质制造方法及图纸

本申请涉及一种异物入侵识别方法、装置、设备和计算机可读存储介质。方法包括：根据红外相机对应的第一相机标定参数和可见光相机对应的第二相机标定参数，对变电站拍摄得到的第一变电站图和第二变电站图进行图像配准，得到空间对齐的第三变电站图和第四变电站图；分别对第三变电站图和第四变电站图进行特征提取，得到第三变电站图对应的多种尺寸的第一红外特征图和第四变电站图对应的多种尺寸的第一可见光特征图；根据对多种尺寸的第一红外特征图和多种尺寸的第一可见光特征图进行融合处理得到的双模态的目标融合特征图，确定入侵变电站的异物的位置和类别。采用本方法能够识别入侵变电站的异物的位置和类别。别入侵变电站的异物的位置和类别。别入侵变电站的异物的位置和类别。

【技术实现步骤摘要】
异物入侵识别方法、装置、设备和计算机可读存储介质


[0001]本申请涉及电力
，特别是涉及一种异物入侵识别方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]变电站的异物入侵会影响到变电站内电力设备的正常运行，需要对变电站是否发生异物入侵进行监测和判断，及时发现入侵异物，并对入侵的异物进行相应的应对处理，以确保变电站的正常运行。
[0003]传统方法中，是在变电站现场部署监控摄像头，并通过人工监控摄像头识别变电站是否存在异物入侵。然而，由于人工识别存在注意力难以长时间集中的问题，导致变电站的异物入侵识别结果的准确性低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高异物入侵识别结果的准确性的异物入侵识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种异物入侵识别方法，方法包括：
[0006]获取对变电站进行拍摄得到的第一变电站图和第二变电站图；第一变电站图是红外相机拍摄的；第二变电站图是可见光相机拍摄的；
[0007]根据红外相机对应的第一相机标定参数和可见光相机对应的第二相机标定参数，对第一变电站图和第二变电站图进行图像配准，得到空间对齐的第三变电站图和第四变电站图；
[0008]分别对第三变电站图和第四变电站图进行特征提取，得到第三变电站图对应的多种尺寸的第一红外特征图和第四变电站图对应的多种尺寸的第一可见光特征图；第一红外特征图包括第三变电站图的红外图像特征；第一可见光特征图包括第四变电站图的可见光图像特征；
[0009]对多种尺寸的第一红外特征图和多种尺寸的第一可见光特征图进行融合处理，得到双模态的目标融合特征图；
[0010]根据目标融合特征图确定入侵变电站的异物的位置和类别。
[0011]在一些实施例中，对多种尺寸的第一红外特征图和多种尺寸的第一可见光特征图进行融合处理，得到双模态的目标融合特征图，包括：
[0012]对多种尺寸的第一红外特征图进行多尺寸融合处理，得到多尺寸融合的第二红外特征图；
[0013]对多种尺寸的第一可见光特征图进行多尺寸融合处理，得到多尺寸融合的第二可见光特征图；
[0014]对第二红外特征图和第二可见光特征图进行双模态融合处理，得到双模态的目标融合特征图。
[0015]在一些实施例中，对第二红外特征图和第二可见光特征图进行双模态融合处理，得到双模态的目标融合特征图，包括：
[0016]对第二红外特征图进行上采样处理，得到与第二可见光特征图分辨率相同的第三红外特征图；
[0017]对第三红外特征图和第二可见光特征图进行双模态融合处理，得到双模态的目标融合特征图。
[0018]在一些实施例中，第一红外特征图和第一可见光特征图是通过异物识别模型中的特征提取网络提取得到的；目标融合特征图是通过异物识别模型中的特征融合网络处理得到的；异物识别模型还包括检测头网络；
[0019]根据目标融合特征图确定入侵变电站的异物的位置和类别，包括：
[0020]将目标融合特征图输入至检测头网络，生成位置回归向量和相应的类别向量；相应的类别向量是指位置回归向量所指示的位置区域内的异物的类别向量；类别向量中包括多个候选的类别的分类置信度；
[0021]基于位置回归向量预测入侵变电站的异物的位置；
[0022]根据设定的分类置信度阈值，从多个候选的类别中筛选出异物的类别。
[0023]在一些实施例中，异物识别模型是通过模型训练步骤训练得到的；模型训练步骤包括：
[0024]获取多个样本图像组；每个样本图像组包括使用红外相机针对变电站拍摄的第一变电站样本图和使用可见光相机针对变电站拍摄的第二变电站样本图；每个样本图像组具有对应的异物类别标记和异物位置标记；
[0025]将样本图像组输入至待训练的异物识别模型中孪生结构的特征提取网络中，以通过孪生结构的特征提取网络分别进行红外特征提取和可见光特征提取，通过待训练的异物识别模型中的特征融合网络对提取的红外特征和可见光特征进行融合，并通过待训练的异物识别模型中的检测头网络基于融合得到的特征预测入侵变电站的异物位置和异物类别；
[0026]基于预测的异物位置与相应异物位置标记之间的差异、以及预测的异物类别与相应异物类别标记之间的差异，对待训练的异物识别模型中的特征提取网络、特征融合网络以及检测头网络进行参数调整，以迭代进行模型训练，得到训练完毕的异物识别模型。
[0027]在一些实施例中，基于预测的异物位置与相应异物位置标记之间的差异、以及预测的异物类别与相应异物类别标记之间的差异，对待训练的异物识别模型中的特征提取网络、特征融合网络以及检测头网络进行参数调整，包括：
[0028]基于预测的异物位置与相应异物位置标记之间的差异，确定位置损失值；
[0029]基于预测的异物类别与相应异物类别标记之间的差异，确定类别损失值；
[0030]根据位置损失值和类别损失值，确定目标损失值；
[0031]朝着使目标损失值减小的方向，对待训练的异物识别模型中的特征提取网络、特征融合网络以及检测头网络进行参数调整。
[0032]在一些实施例中，方法还包括：
[0033]确定多模态协同损失值；多模态协同损失值与多模态特征相似度的大小负相关；多模态特征相似度是特征融合网络进行特征融合过程中，对特征提取网络提取的红外特征和可见光特征计算的相似度；
[0034]根据位置损失值和类别损失值，确定目标损失值，包括：
[0035]根据位置损失值、类别损失值和多模态协同损失值，确定目标损失值。
[0036]第二方面，本申请还提供了一种异物入侵识别装置，装置包括：
[0037]获取模块，用于获取对变电站进行拍摄得到的第一变电站图和第二变电站图；第一变电站图是红外相机拍摄的；第二变电站图是可见光相机拍摄的；
[0038]图像配准模块，用于根据红外相机对应的第一相机标定参数和可见光相机对应的第二相机标定参数，对第一变电站图和第二变电站图进行图像配准，得到空间对齐的第三变电站图和第四变电站图；
[0039]特征提取模块，用于分别对第三变电站图和第四变电站图进行特征提取，得到第三变电站图对应的多种尺寸的第一红外特征图和第四变电站图对应的多种尺寸的第一可见光特征图；第一红外特征图包括第三变电站图的红外图像特征；第一可见光特征图包括第四变电站图的可见光图像特征；
[0040]融合处理模块，用于对多种尺寸的第一红外特征图和多种尺寸的第一可见光特征图进行融合处理，得到双模态的目标融合特征图；
[0041]异物识别模块，用于根据目标融合特征图确定入侵变电站的异物的位置和类别。
[0042]第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异物入侵识别方法，其特征在于，所述方法包括：获取对变电站进行拍摄得到的第一变电站图和第二变电站图；所述第一变电站图是红外相机拍摄的；所述第二变电站图是可见光相机拍摄的；根据所述红外相机对应的第一相机标定参数和所述可见光相机对应的第二相机标定参数，对所述第一变电站图和所述第二变电站图进行图像配准，得到空间对齐的第三变电站图和第四变电站图；分别对所述第三变电站图和所述第四变电站图进行特征提取，得到所述第三变电站图对应的多种尺寸的第一红外特征图和所述第四变电站图对应的多种尺寸的第一可见光特征图；所述第一红外特征图包括所述第三变电站图的红外图像特征；所述第一可见光特征图包括所述第四变电站图的可见光图像特征；对所述多种尺寸的第一红外特征图和所述多种尺寸的第一可见光特征图进行融合处理，得到双模态的目标融合特征图；根据所述目标融合特征图确定入侵所述变电站的异物的位置和类别。2.根据权利要求1所述的方法，其特征在于，所述对所述多种尺寸的第一红外特征图和所述多种尺寸的第一可见光特征图进行融合处理，得到双模态的目标融合特征图，包括：对所述多种尺寸的第一红外特征图进行多尺寸融合处理，得到多尺寸融合的第二红外特征图；对所述多种尺寸的第一可见光特征图进行多尺寸融合处理，得到多尺寸融合的第二可见光特征图；对所述第二红外特征图和所述第二可见光特征图进行双模态融合处理，得到双模态的目标融合特征图。3.根据权利要求2所述的方法，其特征在于，所述对所述第二红外特征图和所述第二可见光特征图进行双模态融合处理，得到双模态的目标融合特征图，包括：对所述第二红外特征图进行上采样处理，得到与所述第二可见光特征图分辨率相同的第三红外特征图；对所述第三红外特征图和所述第二可见光特征图进行双模态融合处理，得到双模态的目标融合特征图。4.根据权利要求1所述的方法，其特征在于，所述第一红外特征图和所述第一可见光特征图是通过异物识别模型中的特征提取网络提取得到的；所述目标融合特征图是通过所述异物识别模型中的特征融合网络处理得到的；所述异物识别模型还包括检测头网络；所述根据所述目标融合特征图确定入侵所述变电站的异物的位置和类别，包括：将所述目标融合特征图输入至所述检测头网络，生成位置回归向量和相应的类别向量；所述相应的类别向量是指所述位置回归向量所指示的位置区域内的异物的类别向量；所述类别向量中包括多个候选的类别的分类置信度；基于所述位置回归向量预测入侵所述变电站的异物的位置；根据设定的分类置信度阈值，从所述多个候选的类别中筛选出所述异物的类别。5.根据权利要求4所述的方法，其特征在于，所述异物识别模型是通过模型训练步骤训练得到的；所述模型训练步骤包括：获取多个样本图像组；每个所述样本图像组包括使用红外相机针对变电站拍摄的第一
变电站样本图和使用可见光相机针对变电站拍摄的第二变电站样本图；每个所述样本图像组具有对应的异物类别标记和异物位置标记；将所述样本图像组输入至待训练的异物识别模型中孪生结构的特征提取网络中，以通过所述孪生结构的特征提取网络分别进行红外特征提取...

【专利技术属性】
技术研发人员：黄安子，张云翔，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：