【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种双视角立体视觉引导的电力设备自主巡检方法。
技术介绍
1、随着智能化电网建设的发展，输电线路走廊的覆盖范围越来越广泛，需要对输电线路的离地高度作定期检查。
2、目前的离地高度检测方式主要采用的是单目相机拍摄电力线图像和地物图像之后进行图像处理，该种方式的缺陷主要在于，相机拍摄的电力线图像和地物图像都是平面图像，电力线图像和地物图像均不具备深度，因此需要将电力线图像和地物图像转换至世界坐标，但是，由于电力线图像和地物图像均采用单目相机拍摄，所以转换为世界坐标后存在位置不确定的情况，造成离地高度监测困难的情况。
技术实现思路
1、本专利技术的一种双视角立体视觉引导的电力设备自主巡检方法，主要是采用双目摄像机拍摄地物图像和电力线图像，经过合理地图像转换，让电力线和地物在世界坐标系下的坐标更加准确，简单化离地高度的监测过程。
2、为了实现上述目的，本专利技术的一种双视角立体视觉引导的电力设备自主巡检方法，包括以下步骤：
3、s1：在某一时段dt中，利用上双目摄像机的左右两个摄像头分别拍摄电力线图像；在左右两个摄像头拍摄的多张电力线图像中，分别选出最准确的电力线图像，记为p’left-best和p’right-best；
4、s2：在p’left-best和p’right-best的电力线图像中，分别找到一个像素值相等的点，该两个点组成“点对”，设共组成m电个“点对”；遍历所有的“点对”，获得各个“点对”中两
5、s3：在某一时段dt中，利用下双目摄像机的左右两个摄像头分别拍摄地物图像，在下双目摄像机的左右两个摄像头拍摄的多张地物中，分别选出最准确的地物图像，记为和
6、s4：利用特征点检测器superpoint得到和的关键点和描述符，再通过特征匹配方法superglue得到软部分分配矩阵，找到软部分分配矩阵中精度匹配点最高的两个点，将其中一个点在相机坐标下的坐标转换为三维坐标；
7、s5：将s4中的三维坐标，转换为世界坐标系下坐标，记为坐标二；获得坐标一和坐标二的z轴坐标差值绝对值，获得离地高度h离地。
8、进一步地，步骤s1包括以下步骤：
9、s1.1：对s1中左摄像头拍摄的多张电力线图像，以及右摄像头拍摄的多张电力线图像，分别输入到resnet18神经网络中，结合注意力模块，得到多张电力线的粗略检测结果；
10、具体包括以下步骤：
11、s1.1.1：对于左、右摄像头拍摄的任意一张电力线图像，获取电力线图像的图像特征x∈rc×h×w；
12、resnet18神经网络将电力线图像的图像特征x∈rc×h×w沿宽度维度和高度维度聚合；
13、分别在宽度和高度下进行编码，得到宽度和高度下的注意力图：xw∈rc×h×1和xh∈rc×1×w；
14、s1.1.2：将注意力图xw转置后与注意力图xh连接，然后进行卷积操作，获得融合后注意力图xf；
15、s1.1.3：将融合后注意力图xf压缩到原先电力线图像特征x∈rc×h×w相同的大小，得到压缩后注意力图x'f∈rc×h∈w；再采用多层感知器对x'f∈rc×h×w增强后非线性处理，得到增强注意力向量sf∈rc×(h×w)；沿高度维度将增强注意力向量sf划分成两个向量，分别记为sw∈rc×w和sh∈rc×w；将sw∈rc×w和sh∈rc×w卷积后再非线性处理，获得向量s'h和s'w；
16、s1.1.4：将向量s'h和s'w扩展到与原先电力线图像特征x∈rc×h×w相同的大小，并通过权重映射，通过残差方式输出特征xout；resnet18神经网络对输出特征xout解码，解码后得到电力线的粗略检测结果pc；
17、s1.2：采用金字塔优化模块prm，提取粗略检测结果pc的边缘并进行细化，将细化后的边缘与粗略检测结果pc进行比较，得到残差图p’e；再将残差图p’e结合粗略检测结果pc，得到边缘映射pe；同时提取pc的边界和区域并进行细化，将细化后的边界和区域图像与粗略检测结果pc比较，得到残差图p’d，残差图p’d结合pc得到细化结果pd；
18、将pc、pe和pd视为图像p，采用损失函数对pc、pe和pd监督，获得s1中电力线图像的总损失；
19、s1.3：循环s1-s3，分别获得左、右摄像头拍摄的所有电力线图像的总损失；
20、在左摄像头拍摄的所有电力线图像中找出总损失最小的电力线图像，记为p’left-best；
21、在右摄像头拍摄的所有电力线图像中找出总损失最小的电力线图像，记为p’right-best。
22、进一步地，步骤s2中包括以下步骤：
23、s2.1：将p’left-best和p’right-best均经过腐蚀和膨胀操作减薄到单像素宽度；
24、s2.2：计算(xln,yln)和(xlm,ylm)视差，公式为：
25、s2.3：将(xlm,ylm)转换为相机坐标系下的齐次坐标，公式为：
26、
27、其中，(x,y,z)表示(xlm,ylm)在相机坐标系下的齐次坐标，w表示齐次因子，f表示上双目摄相机焦距，(x0,y0)为上双目摄相机中左摄像头的原点坐标；b为上双目摄像机中左右两个摄像头之间的基线距离；相机坐标系下的三维坐标为：(xc,yc,zc)表示转换后的三维坐标；
28、s2.4：将转换为世界坐标下的坐标。
29、进一步地，步骤s3包括以下步骤：
30、s3.1：对s3中左摄像头拍摄的任意一张地物照片，以及右摄像头拍摄的任意一张地物照片，分别利用resnet18神经网络提取地物图像的多级特征，增强图像的高级特征；
31、具体包括以下步骤：
32、s3.1.1：resnet18神经网络对该地物图像提取多级特征，记为fm，m∈{1,2,3,4,5}；将f5输入全局模块中的空洞空间金字塔池模块提取多尺度特征f∈rh×w×c；
33、s3.1.2：通过组非局部模块将多尺度特征f∈rh×w×c分别嵌入到键、值和查询空间中；公式为：
34、fθ＝f×wθ，fφ＝f×wφ，fg＝f×wg
35、式中，×表示矩阵乘法算子；fθ,fφ,fg分别为f在键、值和查询空间中的嵌入结果，wθ、wφ和wg分别为f在fθ,fφ,fg上对应的嵌入向量；
36、将fθ、fφ和fg沿通道维度进行分组，设第k组的分组向量：
37、
38、式中，num_group表示分组数量；k∈{1,2,……，本文档来自技高网...
【技术保护点】
1.一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，步骤S1包括以下步骤：
3.根据权利要求2所述的一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，步骤S2中包括以下步骤：
4.根据权利要求3所述的一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，步骤S3包括以下步骤：
5.根据权利要求4所述的一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，步骤S4包括以下步骤：
【技术特征摘要】
1.一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，步骤s1包括以下步骤：
3.根据权利要求2所述的一种双视角立体视觉引导的电力设备自主巡检方法...
【专利技术属性】
技术研发人员：孟千翔，马云鹏，余志宏，周亚琴，黄雨，韩鑫宇，刘洋，张一帆，
申请(专利权)人：河海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。