【技术实现步骤摘要】
本专利技术涉及变电站检测，具体为一种基于多模态数据的变电站缺陷立体定位检测方法。
技术介绍
1、随着电力工业的不断发展，特高压直流换流变压器在电力输送和电网安全等领域的作用日益凸显。然而，由于其承载的高压、高温和高负荷等特性，常常会面临各种故障问题。及时发现缺陷并对缺陷位置进行精确的定位以便后续的维护，对于确保电力系统安全稳定的运行具有至关重要的作用。当前的缺陷检测算法大多仅针对二维图片中的故障定位，但由于无人机拍摄的距离以及角度的不固定，仅通过单张图片经常会出现难以确定故障准确位置的情况，为后续的检修带来了极大的不便，因此亟需一种对变压器故障的立体缺陷定位检测方法。
2、计算机视觉技术在二维图像处理领域已经取得了很大的发展，也越来越多地应用在电力设备的巡检和在线监测中，但单一的二维图像只能从一个视角刻画三维世界，其表达三维世界中的位置和特征信息有很大的局限性。因此三维检测定位技术是十分有必要的，三维检测定位方法通常需要用到三维点云数据和二维图像数据，因此多模态融合技术是必不可少的，多模态融合方法结合了点云和rgb图像的优势，提升了三维物体检测的性能，利用多模态互补信息，避免单一模态的局限性。
3、多模态融合方法大多利用基于3d查询的融合机制在对应实例内进行特征聚合，尽管已经取得了显著进展，但现有的多模态融合方法由于物体在某些角度或者遮挡下，检测器难以提取出关于该物体的有效感兴趣区域，例如不完整或距离较远且反射点较少的物体和较小的物体，在感兴趣区域生成过程中很容易被忽略。
4、这些缺失的目标直
5、现有技术中，专利公开号为cn117058637a的专利技术专利，公开一种基于虚拟点云增强的3d目标检测方法，文中将二维图像用深度补全算法转换成三维点云作为伪点云，和雷达点云融合成稠密伪点云，然后和真实的雷达点云互相指导，缓解目标表面的点云稀疏问题。现有技术中的融合思路是将不同模态的数据融合。
技术实现思路
1、本专利技术所要解决的技术问题在于：解决现有的多模态融合方法由于物体在某些角度或者遮挡下，检测器难以提取出关于该物体的有效感兴趣区域，降低模型检测的准确率的问题。
2、为解决上述技术问题，本专利技术提供如下技术方案：
3、一种基于多模态数据的变电站缺陷立体定位检测方法，包括以下步骤：
4、s10，对三维点云数据和二维图像分别进行特征提取，并将两种模态特征分别依次通过三维区域提议网络和二维度区域提议网络，生成三维候选区域聚合和二维候选区域聚合；
5、s20，将二维图像的特征和三维点云数据输入到2d-3d提议的转换器中，生成伪三维候选区域；
6、s30，将所述伪三维候选区域和所述三维候选区域聚合结合，获取融合三维候选区域聚合；将所述融合三维候选区域聚合和所述二维候选区域聚合通过多模态跨目标融合模块进行跨模态融合；
7、s40，使用所述多模态跨目标融合模块融合后的多层感知3d查询作为检测头执行三维目标检测定位。
8、在本专利技术的一实施例中，步骤s10中在将所述三维点云数据进行特征提取之前先进行预处理；将三维点云数据通过相机与激光雷达之间的校准参数，获取三维点云数据投影到二维图像平面上，获取对应的点云二维像素坐标转换关系。
9、在本专利技术的一实施例中，将二维图像通过训练的二维卷积神经网络提取二维特征，获取二维特征图；将三维点云数据通过基于点云数据训练的三维卷积神经网络提取三维特征，获取三维特征图；
10、将二维特征图输入到二维度区域提议网络中，获取二维特征图的边界框和置信度分数；将三维特征图输入到三维区域提议网络中，获取三维特征图的边界框和置信度分数；
11、将二维特征图和三维特征图在区域提议网络中高度重叠的边界框，采用非极大值抑制的方法，分别选取出二维特征图和三维特征图中最有可能包含目标的候选区域作为感兴趣区域，并分别形成三维候选区域聚合和二维候选区域聚合。
12、在本专利技术的一实施例中，从二维候选区域聚合中选择部分二维特征图作为候选图，多个候选图聚合成候选图区域，根据点云二维像素坐标转化关系，获取三维点云数据中对应落入候选图的种子点；候选图区域的种子点，形成种子点集；
13、获取种子点集中包含相同缺陷部位的 k个感兴趣区域对应 k个中心坐标集；获取距离中心坐标集中每一个中心点坐标最近的 k个点，并将距离每一个中心点坐标最近的 k个点集合作为伪中心点集；
14、计算伪中心点集的平均坐标，获取3d建议中心点；
15、获取三维点云数据经过点云二维像素坐标转换关系转换后位于二维候选区域聚合中的s个点集；
16、根据点集中极值获取以伪中心点集为中心的3d边界框。
17、在本专利技术的一实施例中，多模态跨目标融合模块应用注意力机制；
18、将融合三维候选区域聚合的特征作为多模态跨目标融合模块的查询，将二维候选区域的特征作为多模态跨目标融合模块的键和值；
19、通过求取3d查询和2d键之间的点积计算注意力权重a；
20、将注意力权重a对所有值的加权和定义为；通过前馈网络处理，生成融合的多层感知3d查询。
21、在本专利技术的一实施例中，将通过多层感知机将3d查询的特征转换为特征向量，以进行3d边界框的回归和类别的置信度预测。
22、在本专利技术的一实施例中，所述变电站缺陷立体定位检测方法还包括步骤s50，应用总损失函数对区域提议网络和检测头进行优化训练。
23、在本专利技术的一实施例中，生成融合的多层感知3d查询，通过以下公式获取：
24、；
25、式中，为融合后多层感知3d查询，为神经网络。
26、在本专利技术的一实施例中，3d边界框通过以下公式获取：
27、
28、式中，为点集的最大极值，为点集的最小极值，为3d建议中心点，为3d边界框的朝向角，为3d边界框的长，为3d边界框的高，为3d边界框的宽。
29、在本专利技术的一实施例中，点云二维像素坐标转换关系，通过以下公式获取：
30、；
31、；
32、式中，为点云在激光雷达所处坐标系的3d坐标，为点云在相机的坐标系中的3d坐标，为转置，t为三维点云数据通过相机与激光雷达之间的校准参数，为点云二维像素坐标转换关系。
33、在本专利技术的另一实施例中，应用三维目标检本文档来自技高网...
【技术保护点】
1.一种基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，步骤S10中在将所述三维点云数据进行特征提取之前先进行预处理；将三维点云数据通过相机与激光雷达之间的校准参数，获取三维点云数据投影到二维图像平面上，获取对应的点云二维像素坐标转换关系。
3.根据权利要求1所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，将二维图像通过训练的二维卷积神经网络提取二维特征，获取二维特征图；将三维点云数据通过基于点云数据训练的三维卷积神经网络提取三维特征，获取三维特征图；
4.根据权利要求1所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，从二维候选区域聚合中选择部分二维特征图作为候选图，多个候选图聚合成候选图区域，根据点云二维像素坐标转化关系，获取三维点云数据中对应落入候选图的种子点；候选图区域的种子点，形成种子点集；
5.根据权利要求4所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，多模态跨目标融合模块应用
6.根据权利要求5所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，将通过多层感知机将3D查询的特征转换为特征向量，以进行3D边界框的回归和类别的置信度预测。
7.根据权利要求1所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，所述变电站缺陷立体定位检测方法还包括步骤S50，应用总损失函数对区域提议网络和检测头进行优化训练。
8.根据权利要求5所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，生成融合的多层感知3D查询，通过以下公式获取：
9.根据权利要求4所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，3D边界框通过以下公式获取：
10.根据权利要求2所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，点云二维像素坐标转换关系，通过以下公式获取：
...【技术特征摘要】
1.一种基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，步骤s10中在将所述三维点云数据进行特征提取之前先进行预处理；将三维点云数据通过相机与激光雷达之间的校准参数，获取三维点云数据投影到二维图像平面上，获取对应的点云二维像素坐标转换关系。
3.根据权利要求1所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，将二维图像通过训练的二维卷积神经网络提取二维特征，获取二维特征图；将三维点云数据通过基于点云数据训练的三维卷积神经网络提取三维特征，获取三维特征图；
4.根据权利要求1所述的基于多模态数据的变电站缺陷立体定位检测方法，其特征在于，从二维候选区域聚合中选择部分二维特征图作为候选图，多个候选图聚合成候选图区域，根据点云二维像素坐标转化关系，获取三维点云数据中对应落入候选图的种子点；候选图区域的种子点，形成种子点集；
5...
【专利技术属性】
技术研发人员：董翔宇，张学友，马欢，李帷韬，吕顺辰，甘津瑞，刘浩，
申请(专利权)人：国网安徽省电力有限公司超高压分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。