【技术实现步骤摘要】
本专利技术涉及关于计算机视觉领域，具体涉及一种基于多视图分析的变电站人员安全距离测量方法。
技术介绍
1、变电站作为电力系统的重要组成部分，承担着变压和分配电能的重要作用，近年来，随着社会对电力的需求越来越大，变电站的运维要求也越来越高。为了确保电力系统的安全、稳定和高效运行，对变电设备的维护和管理变得尤为关键。
2、然而在进行维护和管理过程中，由于变电站所在区域高压电气设备复杂且潜藏多种风险因素，工作人员在进行管理或施工时对安全距离的把握不足，可能会引发严重的安全事故。因此对施工过程中作业人员与变电站高压电气设备和大型机械装置之间的距离进行安全预警至关重要。然而，现有变电站识别缺少空间信息，且识别准确率较低，导致安全预警不及时。因此，亟需利用变电站的现有监测系统实现变电站施工安全的智能化识别预警，确保变电站工作人员的施工安全。
技术实现思路
1、专利技术目的：针对
技术介绍
中的问题，本专利技术公开一种基于多视图分析的变电站人员安全距离测量方法，利用长距离分组transformer的三维重建网络对输入的多视角图像集合进行分析，对目标区域进行三维重建并获得体素数据与深度信息，使用rgb-d室外语义分割的三流坐标注意网络基于深度信息对目标区域进行检测，获得人和电力设备语义分割结果和距离信息，实现人与设备间高精度的测距与智能化安全预警。
2、技术方案：本专利技术公开一种基于多视图分析的变电站人员安全距离测量方法，包括以下步骤：
3、步骤s1：对变电站目标
4、步骤s2：将预处理后的标准化多视角图像集合c＝{c1,...,cn}输入基于长距离分组transformer的三维重建网络，生成基于体素的三维重建结果，从而计算得出多视图的深度信息；所述基于长距离分组transformer的三维重建网络包括基于视觉transformer架构的编码器，编码器分为两个阶段：独立分支阶段和交错分支阶段，在独立分支阶段使用n1个标准transformer块以并行方式处理所有视图；在交错分支阶段用包含n2个由transformer块和具有长距离分组注意力的transformer块组成的基本单元来建立多视图之间的联系，并使用视图间特征标记区分不同视图的特征；
5、步骤s3：将多视图深度信息与采集的标准化多视角图像输入基于三流坐标注意的rgb-d语义分割网络，得到工作人员与电力设备的语义分割结果，结合语义分割结果与深度信息，计算得到工作人员与电力设备的距离信息，从而判断工作人员是否与电力设备保持安全距离；所述基于三流坐标注意的rgb-d语义分割网络采用三流编码器-解码器架构，编码器用于提取rgb-d特征，解码器逐步解码，利用基于坐标注意的多模态特征融合模块对深度图像和可见光图像进行信息融合。
6、进一步地，所述步骤2中计算得出多视图的深度信息具体过程为：
7、步骤s21：构建所述基于视觉transformer架构的编码器，计算得到不同视图的差异化特征x；
8、步骤s22：将计算得到的不同视图的差异化特征x通过逐步上采样的解码器生成高分辨率的重建结果与深度信息；
9、步骤s23：使用dice损失作为损失函数处理体素占据情况的不平衡性。
10、进一步地，所述长距离分组注意力用于建立不同视图之间的相关性，具体为：
11、给定特定的第i个视图特征其中p是令牌数量，de是令牌维度，基于xi的长度和宽度进行均匀且规律的采样，得到g个组，且每组内的令牌在原始视图特征中并非相邻，将xi表示为其中表示来自第j组第i个视图的令牌，n表示输入视图的数量；具有相同颜色的令牌属于一组，每组包括视图内的令牌、相应位置的视图间令牌，分组后，自注意力操作将独立处理每组中的令牌；
12、所述视图间特征标记由一个卷积层组成，用于增强不同视图的令牌之间区别，具体如下：
13、给定第j组第i个视图的系列令牌通过一个可训练的线性投影φ来获得令牌特征，φ与用于预测transformer块中的vj的线性投影共享：其中g，p，de分别代表组数、令牌数和令牌维度，第j组第i个视图的特征标记按以下方式获得：
14、
15、定义视图间特征标记为其中n表示视图数量，对于来自xi的每个视图特征具有视图间特征标记的长距离分组注意力表示为：
16、
17、其中qj，kj，vj分别表示来自的查询、键和值，d是查询的通道数，在组维度上进行获得的注意力映射的拼接，从而完成一个视图间关联计算。
18、进一步地，所述步骤s22中的生成高分辨率的重建结果具体为：
19、通过4个高分辨率基本单元将编码器提取的43大小的低分辨率特征图逐步上采样至323，每个高分辨率基本单元包含1个反卷积层和2个transformer块，卷积和多头自注意力处理是互补的，同时添加一个跳跃连接，通过局部特征的卷积层来增强注意力层对相同令牌分配的体素相关性；
20、在高分辨率基本单元内，临近体素被均匀分组和按顺序组合以压缩令牌数量，给定体素特征其中vt是第t个体素令牌，t、dr分别表示令牌数和令牌维度；
21、在分辨率为s×s×s的情况下，定义t＝s×s×s，将每个i×i×i的相邻体素令牌分组，得到体素特征其中d'r＝i3×dr，从而将体素特征v分组到可以通过自注意力处理的大小，同时在相对高分辨率下保留原始特征信息，最后将体素特征v作为输入，并应用多头自注意力来探索体素位置关系，输出基于体素的三维重建结果与深度信息。
22、进一步地，dice损失作为损失函数处理体素占据情况的不平衡性，dice损失具体为：
23、
24、其中，pi，gi分别表示第i个体素网格在重建体积和真实值上的置信度。
25、进一步地，所述s3中三流编码器-解码器架构的编码器部分，使用resnet-50作为骨干结构，去除平均池化层和全连接层，对可见光图像和深度图像分别进行特征提取，分别提取出五个层次的特征输出，作为多模态特征融合模块的输入。
26、进一步地，利用基于坐标注意的多模态特征融合模块对深度图像和可见光图像进行信息融合，具体过程为：
27、s31：将可见光图像rgb和深度图像depth分别送入resnet-50骨干网络进行特征提取，得到多尺度特征{ri|i＝1,2,3,4,5}，{di|i＝1,2,3,4,5}，作为基于坐标注意的多模态特征融合模块的输入；
28、s32：第一个特征融合模块的输入为r1，d1，尺度均为c×h×w，首先，对r1和d1进行通道拼接操作，得到特征x1，尺度为2c×h×w，然后将输出特征x1分别发送到两个不同的ca模块ca1、ca2，ca1使用全局平均池化，ca2使用全局最大池化，每个ca模块输出2个张量，ca1输出为ca2输出为(i,本文档来自技高网...
【技术保护点】
1.一种基于多视图分析的变电站人员安全距离测量方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多视图分析的变电站人员安全距离测量方法，其特征在于，所述步骤2中计算得出多视图的深度信息具体过程为：
3.根据权利要求2所述的基于多视图分析的变电站人员安全距离测量方法，其特征在于，所述长距离分组注意力用于建立不同视图之间的相关性，具体为：
4.根据权利要求2所述的基于多视图分析的变电站人员安全距离测量方法，其特征在于，所述步骤S22中的生成高分辨率的重建结果具体为：
5.根据权利要求4所述的基于多视图分析的变电站人员安全距离测量方法，其特征在于，Dice损失作为损失函数处理体素占据情况的不平衡性，Dice损失具体为：
6.根据权利要求1所述的基于多视图分析的变电站人员安全距离测量方法，其特征在于，所述S3中三流编码器-解码器架构的编码器部分，使用ResNet-50作为骨干结构，去除平均池化层和全连接层，对可见光图像和深度图像分别进行特征提取，分别提取出五个层次的特征输出，作为多模态特征融合模块的输入。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。