【技术实现步骤摘要】
本专利技术涉及变电站故障诊断，具体为一种面向变电站多源立体巡视数据融合的目标检测方法及系统。
技术介绍
1、近年来，变电站远程智能巡视系统通过运用高清摄像机、巡检机器人等工具，对现场巡视点位进行实时监测，实现了对设备、人员、环境、缺陷等的智能化分析判断，有效降低了变电运维人员的巡视工作量和巡视压力。而且，巡视过程中累积了大量的空天地巡视数据如可见光、红外、点云等多种视觉模态信息，为变电站的运维管理提供了重要的数据支持，但是目前巡视系统中部署的视觉分析模型主要针对单一模态数据，缺少了有效的多视觉模态融合机制，造成了模态间互补信息的缺失，无法充分利用各种模态数据之间的关联性和互补性。
2、具体地，可见光图像具有高分辨率像素和丰富的纹理，红外图像具有精确的温度信息，但是均无法获取物体之间的精确距离，受光线影响大。点云包含精确的空间位置信息，但是数据无序和稀疏，缺少颜色、纹理和温度信息，受雨雾天气影响大。因此，有效的多视觉模态信息融合方法对于变电站场景是十分必要的，其能够增强设备和人员的三维感知和定位能力，从而进一步提升提升变电站远程智能巡视系统的智能化水平。
3、目前，面向三维目标检测的多模态融合方法主要分为学习无关和学习方法两种。其中，学习无关类的方法对特征执行算数运算和拼接运算，具有操作简单、易于计算的优点，但不具有良好的可扩展性和鲁棒性。学习类的方法利用注意力机制对特征进行融合，通过关注高权重的重要信息，忽略低权重的无关信息，具有更高的可扩展性和鲁棒性。但是，上述所有方法均基于可见光图像和点云两种模态数据
4、现有技术中，专利公开号为cn111652973a的专利技术专利，公开一种基于混合现实的监控方法、系统及相关设备。文中公开了监控系统可以接收目标空间对应的至少两种类型的图像信息，并采用预设的数据融合算法对至少两种类型的图像信息进行计算生成三维的融合图像数据，最后将三维的融合图像数据发送给外部的混合现实设备进行显示。现有技术中，是对原始数值的融合，且是基于可见光图像和点云两种模态数据的融合。
5、现有技术中，专利公开号为cn116955846a的专利技术专利，公开一种融合主题特征和交叉注意力的级联信息传播预测方法。文中根据级联信息间的差异性进行不同主题特征的划分，并对不同主题特征进行特征提取，根据交叉注意力机制融合用户表示和级联表示以学习特征表达，得到预测结果。但现有技术是注意的是级联信息之间的异同，并且进行区分处理，提取不同信息的主特征值，使得更好预测信息级联扩散。
技术实现思路
1、本专利技术所要解决的技术问题在于：解决变电站三维目标检测的精度低的问题。
2、为解决上述技术问题，本专利技术提供如下技术方案：
3、一种面向变电站多源立体巡视数据融合的目标检测方法，包括以下步骤：
4、单模态特征提取：对点云、可见光和红外模态数据分别通过点云、可见光和红外特征提取模块进行单模态特征提取；
5、跨模态特征级联融合：基于两个交叉注意力模块以残差级联的方式逐步融合点云特征、可见光特征和红外特征，获取跨模态级联融合特征；
6、三维目标检测：基于所述跨模态级联融合特征，通过目标检测模块预测目标类别和三维位置，并计算与标签间的损失进行优化。
7、优点：通过两次交叉注意力级联融合点云和可见光、红外图像的特征，逐步将表观特征、温度特征向点云特征的补全，进行特征逐步融合，从而提升变电站三维目标检测的精度。
8、在本专利技术的一实施例中，两个交叉注意力模块逐步融合时，先将点云特征和可见光特征融合，再与红外特征融合。
9、在本专利技术的一实施例中，所述跨模态特征级联融合步骤中，两个交叉注意力模块包括第一交叉注意力模块；
10、将所述点云特征和所述可见光特征通过所述第一交叉注意力模块，获取每个三维位置上点云特征与所有二维位置上可见光特征间的第一相似性，根据所述第一相似性的大小聚合关键的可见光特征，获取互补可见光特征；
11、将所述互补可见光特征和所述点云特征以残差的方式进行按位求和，获取点云增强特征。
12、在本专利技术的一实施例中，所述跨模态特征级联融合步骤中，两个交叉注意力模块包括第二交叉注意力模块；
13、将所述点云增强特征和所述红外特征通过所述第二交叉注意力模块，获取每个三维位置上点云增强特征与所有二维位置上红外特征间的第二相似性，根据所述第二相似性大小聚合关键的红外特征，获取互补红外特征；
14、将所述点云增强特征和所述互补红外特征以的残差的方式进行按位求和，获取跨模态级联融合特征。
15、在本专利技术的一实施例中，所述第一交叉注意力模块获取所述互补可见光特征流程包括：
16、将点云特征作为所述第一交叉注意力模块中的query进行对应的特征变换，将可见光特征作为所述第一交叉注意力模块中的key和value进行对应的特征变换，获取所述第一交叉注意力模块中query、key和value对应的变换特征 q、变换特征 k和变换特征 v；
17、将所述第一交叉注意力模块的变换特征 q和变换特征 k通过点乘计算第一相似性，并对所述第一相似性进行归一化，获取归一化权重；
18、基于所述第一相似性的归一化权重和所述第一交叉注意力模块的变换特征 v，进行加权平均获得所述互补可见光特征。
19、在本专利技术的一实施例中，第二交叉注意力模块与所述第一交叉注意力模块的框架相同，获取互补红外特征的流程和所述第一交叉注意力模块获取所述互补可见光特征的流程相同；在所述第二交叉注意力模块中，将所述点云增强特征作为所述第二交叉注意力模块中的query进行对应的特征变换，将所述红外特征作为所述第二交叉注意力模块中的key和value进行对应的特征变换。
20、在本专利技术的一实施例中，所述三维目标检测包括：
21、首先将所述跨模态级联融合特征通过所述目标检测模块中的分类分支对变电站三维目标进行分类，包括但不限于设备、人员、表观缺陷和热缺陷；
22、然后将所述跨模态级联融合特征通过目标检测模块中的回归分支对变电站三维目标进行定位，包括但不限于长、宽、高、旋转角；
23、最后以预测类别、位置和实际类别、位置为输入，并通过分类损失函数和回归损失函数对整个模型进行联合优化。
24、在本文档来自技高网...
【技术保护点】
1.一种面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，两个交叉注意力模块逐步融合时，先将点云特征和可见光特征融合，再与红外特征融合。
3.根据权利要求1所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，所述跨模态特征级联融合步骤中，两个交叉注意力模块包括第一交叉注意力模块；
4.根据权利要求3所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，所述跨模态特征级联融合步骤中，两个交叉注意力模块包括第二交叉注意力模块；
5.根据权利要求3所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，所述第一交叉注意力模块获取所述互补可见光特征流程包括：
6.根据权利要求5所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，第二交叉注意力模块与所述第一交叉注意力模块的框架相同，获取互补红外特征的流程和所述第一交叉注意力模块获取所述互补可见光特征的流程相同；在所述第二交叉注意力模块
7.根据权利要求4所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，所述三维目标检测包括：
8.一种应用根据权利要求1-7任一所述的面向变电站多源立体巡视数据融合的目标检测方法的系统，其特征在于，包括：
9.根据权利要求8所述的面向变电站多源立体巡视数据融合的目标检测方法的系统，其特征在于，在所述跨模态特征级联融合模块中，两个交叉注意力模块包括第一交叉注意力模块；
10.根据权利要求9所述的面向变电站多源立体巡视数据融合的目标检测方法的系统，其特征在于，两个交叉注意力模块包括第二交叉注意力模块；
...【技术特征摘要】
1.一种面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，两个交叉注意力模块逐步融合时，先将点云特征和可见光特征融合，再与红外特征融合。
3.根据权利要求1所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，所述跨模态特征级联融合步骤中，两个交叉注意力模块包括第一交叉注意力模块；
4.根据权利要求3所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，所述跨模态特征级联融合步骤中，两个交叉注意力模块包括第二交叉注意力模块；
5.根据权利要求3所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，所述第一交叉注意力模块获取所述互补可见光特征流程包括：
6.根据权利要求5所述的面向变电站多源立体巡视数据融合的目标检测方法，其特征在于，第二交叉注意力模块与所述第...
【专利技术属性】
技术研发人员：李帷韬，甘津瑞，刘浩，董翔宇，张学友，马欢，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。