用于变电站巡检机器人的电表识别、定位及三维建图方法技术

用于变电站巡检机器人的电表识别、定位及三维建图方法，包括电表的识别、定位和电表的局部三维重建。所述的电表的识别是指巡检机器人在构建地图时对变电站中的各种表盘的识别，所述的电表定位是指确定电表在地图中的位置，所述的电表局部三维重建是指在识别表盘的基础上，对变电站中的表盘进行局部三维重建，使其能够快速获得重建的地图，所述的重建地图是指变电站其他地区的稀疏点云地图和各种表盘的三维重建图，特别对电表进行稠密三维重建，是为了让变电站管理人员在可视化平台上清楚的看到电表在变电站场景中的具体位置，这样方便管理人员控制巡检机器人去查看某一电表的读数，然后反馈结果给工作人员，提高变电站工作人员的工作效率。作人员的工作效率。作人员的工作效率。

【技术实现步骤摘要】
用于变电站巡检机器人的电表识别、定位及三维建图方法


[0001]本专利技术涉及变电站巡检机器人控制领域，具体为用于变电站巡检机器人的电表识别、定位及三维建图方法。

技术介绍

[0002]随着科技进步和电力体制改革的不断深入发展，电力系统自动化程度已有很大提高，变电站值班也逐渐趋于无人化或少人化。为了保证变电站设备的安全可靠运行，利用巡检机器人完成电站设备的巡检，可以提高工作效率和质量。建图和导航是巡检机器人需要完成的两个主要任务。巡检机器人的导航功能主要是通过众多车载传感器实现的。传感器负责采集机器人所需要的信息，包括感知机器人在局部或全局环境下的位姿、机器人的周围环境等，并对这些信息分析处理，为机器人的安全行驶提供及时可靠的决策依据。使用巡检机器人对变电站进行巡检首先要对变电站建立地图，现有的巡检机器人建图方法有使用安装于激光导航变电站巡检机器人本体上的激光雷达和编码器共同采集数据，后期将数据融合，从而生成变电站地图，这种方式生成的变电站地图会产生较大的累积误差，导致部分环形道路无法闭合。还有使用三维建图设备在变电站内设多点进行扫描建图，后期将三维地图通过软件拼接驻点扫描的数据，之后还需将三维地图转化为激光导航变电站巡检机器人所需的二维变电站地图，这需要购买三维建图的专用设备，费用昂贵，需要每隔一段距离进行小区域建图，后期需要通过软件将地图拼接，需要耗费大量时间采集数据。现有的这些方法仅能够建立稀疏的点云地图用于定位，稀疏点云地图由于无法详细描述空间环境因此难以用于人机交互。而对整个变电站进行全部的三维重建计算量大，计算设备昂贵等问题无法实施。在变电站空间中，巡检机器人除了需要完成自身的定位，更为重要的是需要确切地知道表盘在所建地图中的位置以实现环境交互，同时能将这种交互通过可视化平台给变电站管理人员展示出来，使管理人员能进一步控制巡检机器人，实现人机交互。空间中表盘的位置需要事先采集变电站地图，并在采集的地图中与单体化后的表盘进行交互设置其属性信息。
[0003]现有的变电站建图方法包括以几种：
[0004]1.变电站建图现在大多使用人工绘制，通过全站仪，米尺和激光测距仪进行人工测绘；但是使用人工绘制，会产生较大的误差，对激光导航变电站巡检机器人定位精度和导航效果产生影响，同时人工绘制也会耗费大量人力和时间成本；
[0005]2.使用安装于激光导航变电站巡检机器人本体上的激光雷达和编码器共同采集数据，后期将数据融合，从而生成变电站地图，这种方式生成的变电站地图会产生较大的累积误差，导致部分环形道路无法闭合；
[0006]3.使用三维建图设备在变电站内设多点进行扫描建图，后期将三维地图通过软件拼接驻点扫描的数据，之后还需将三维地图转化为激光导航变电站巡检机器人所需的二维变电站地图，需要购买三维建图的专用设备，费用昂贵，需要每隔一段距离进行小区域建图，后期需要通过软件将地图拼接，需要耗费大量时间采集数据。
[0007]4.使用激光导航变电站巡检机器人的GPS、视觉及激光雷达的变电站建图方法利用视觉采集设备对环境抓图将相邻的两张图像对比，分析机器人的航向角，结合激光雷达采集的距离信息和GPS获得的坐标信息获得机器人周边区域的地图。这种方法建立的地图也是一种稀疏的点云地图。它无法详细描述空间环境因此难以用于人机交互。

技术实现思路

[0008]为解决上述技术问题，本专利技术提出了用于变电站巡检机器人的电表识别、定位及三维建图方法，这个方法通过对电表的识别定位并构建电表的稠密三维地图，将其融合到全局稀疏地图中，使变电站管理人员在可视化平台上能清楚的看到电表在变电站场景中的具体位置，这样方便管理人员控制巡检机器人去查看某一电表的读数并反馈给工作人员，提高变电站工作人员的工作效率。相比于建立全局的地图既达到了较好的可视化效果又大大减小了运算量。
[0009]用于变电站巡检机器人的电表识别、定位及三维建图方法，包括，其特征在于：
[0010]电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别，电表的局部三维重建是指在上述识别定位的基础上的局部重建，以实现人机交互；
[0011]所述的巡检机器人的电表识别重建方法，包括以下步骤：
[0012]S1.巡检机器人通过视觉传感器获取变电站环境中的原始彩色图像；
[0013]S2.通过基于深度学习的物体检测方法检测上述所述原始彩色图像中是否有表盘的存在；
[0014]所述的步骤S2中，包括以下步骤：
[0015]S21.对S1中的图像进行卷积、激活、池化处理，提取图像的特征图；
[0016]S22.在S1中的原始彩色图上铺设锚框，用softmax损失函数对这个锚框进行前景和背景的二分类，其中前景指含有表盘的锚框，背景指不含有表盘的锚框；
[0017]S23.利用smoothL1损失函数修正S22中得到的前景锚框，也就是含有表盘的锚框；
[0018]S24.将S23中得到的前景锚框映射到S21的特征图上，得到含有锚框的特征图；
[0019]S25.对S24中锚框进行多分类与回归，多分类指的是这个锚框包住的是什么类型的表，回归指的是确定锚框最终的精确位置；
[0020]如果上述步骤之后识别出有电表的存在，就开始进行步骤S3中的稠密三维重建，如果没有识别出电表的存在就进行稀疏点云的重建；
[0021]S3.基于S2中的识别与定位结果，如果有电表的存在就进行电表的稠密重建，如果没有就进行场景的稀疏重建；
[0022]所述的步骤S3中，对没有电表的地方进行普通的稀疏点云重建，对含有电表的图，对电表局部进行单张图片的三维稠密重建，采用深度学习的方法，包括以下步骤：
[0023]S31.对S2中识别出有电表的彩色图像，将其送入编码器网络以获得图像特征；
[0024]S32.解码器网络将S31得到的图像特征和任意深度作为输入，生成该深度下的RGB
‑
σ图；
[0025]S33.由S32就可以得到一个由多个平面组成的的三维表达，即在一次完整的前向传播中，编码需要推理一次，而解码需要推理N次获得N个平面；
[0026]S34.获得上述三维表达后，渲染电表在视觉传感器位姿下的视角；
[0027]S35.最后是尺度校准，由于S31输入的是单一图像，因此深度尺度在一个尺度因子范围内是模糊的，所以需要计算一个尺度因子使网络预测的尺度与从运动中构建的尺度进行对齐，通过从运动中构建获得每个图片的可见的三维点P以及网络预测的深度图z计算尺度因子获得尺度因子s之后，通过t'＝t
·
s对相机的位移进行校准，获得准确的深度值用于重建；
[0028]S36.将上述电表的三维图与激光雷达获得的稀疏图通过卷积空间传播网络的方法进行融合，最终将其展示到可视化平台供管理人员使用。
[0029]S4.对整个变电站进行上述步骤S1，S2，S3的操作，完成场景稀疏图和电表稠密图的重建，并将其传到视觉可视化平台，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于变电站巡检机器人的电表识别、定位及三维建图方法，包括，其特征在于：电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别，电表的局部三维重建是指在上述识别定位的基础上的局部重建，以实现人机交互；所述的巡检机器人的电表识别重建方法，包括以下步骤：S1.巡检机器人通过视觉传感器获取变电站环境中的原始彩色图像；S2.通过基于深度学习的物体检测方法检测上述所述原始彩色图像中是否有表盘的存在；所述的步骤S2中，包括以下步骤：S21.对S1中的图像进行卷积、激活、池化处理，提取图像的特征图；S22.在S1中的原始彩色图上铺设锚框，用softmax损失函数对这个锚框进行前景和背景的二分类，其中前景指含有表盘的锚框，背景指不含有表盘的锚框；S23.利用smoothL1损失函数修正S22中得到的前景锚框，也就是含有表盘的锚框；S24.将S23中得到的前景锚框映射到S21的特征图上，得到含有锚框的特征图；S25.对S24中锚框进行多分类与回归，多分类指的是这个锚框包住的是什么类型的表，回归指的是确定锚框最终的精确位置；如果上述步骤之后识别出有电表的存在，就开始进行步骤S3中的稠密三维重建，如果没有识别出电表的存在就进行稀疏点云的重建；S3.基于S2中的识别与定位结果，如果有电表的存在就进行电表的稠密重建，如果没有就进行场景的稀疏重建；所述的步骤S3中，对没有电表的地方进行普通的稀疏点云重建，对含有电表的图，对电表局部进行单张图片的三维稠密重建，采用深度学习的方法，包括以下步骤：S31.对S2中识别出有电表的彩色图像，将其送入编码器网络以获得图像特征；S32....

【专利技术属性】
技术研发人员：王庆，黎露，严超，孙杨，张颖，王怀虎，
申请(专利权)人：东南大学，
类型：发明
国别省市：