基于边缘计算的无人机巡检图像实时识别方法及系统技术方案

一种基于边缘计算的无人机巡检图像实时识别方法及系统，包括：控制室服务器为无人机提供现场的输电线路与杆塔的地理信息、巡检信息、历史的安装与维护记录数据，利用班长工作台的命令下达到数据采集及处理模块；无人机巡检，根据服务器端给出的巡检计划通过云台控制摄像头主动跟踪关注线路和杆塔；无人机利用数据采集及处理模块通过边缘计算算法，将摄像头现场采集的输电线路和杆塔的图像进行识别和处理后将本次巡检线路缺陷的结果传输给服务器端记录，并端自动将本次巡检缺陷的结果发送至线路巡检人员及管理人员，根据缺陷的严重程度指导巡检人员快速准确处理出现的问题，由工区指派检修班组前去维修，形成智能巡检闭环流程。程。程。

【技术实现步骤摘要】
基于边缘计算的无人机巡检图像实时识别方法及系统


[0001]本专利技术涉及一种电力设备巡检装置，尤其是一种基于边缘计算的无人机巡检图像实时识别方法及系统。

技术介绍

[0002]目前电力设备数量巨大、分布零散，电力设备维护需求对巡检工作提出了更高要求。无人机自主巡检作为输电线路巡视的重要手段之一，主要是通过无人机对输电设备和线路进行图像采集，而后本地上传或远程传输进行图像分析。但现有技术仍然存在着以下的不足：无人机巡检后产生大量需要进行及时认定缺陷性质的照片，需快速从中识别出故障和隐患，以便于后续的消缺工作。现有的无人机巡检输电线路采集到的图像默认是存储存储卡上，需要完成飞行任务后，取出存储卡，导入到电脑中分析处理，效率低且周期长，难以满足海量数据的分析工作；由于输电线路多处于偏远山区，无法运用5G技术实时将采集到的图像上传云端进行识别；另一方面，面临着输电巡检一线技能人才经验短缺，特别是一些一经发现需要立即处理的紧急缺陷，具有一定的时效性，现有的相关手段无法满足工作要求。

技术实现思路

[0003]本专利技术是要解决
技术介绍
存在的上述问题，提供一种基于边缘计算的无人机巡检图像实时识别方法及系统。
[0004]本专利技术的技术方案是：
[0005]一种基于边缘计算的无人机巡检图像实时识别方法，包括：
[0006]S1、控制室服务器调用服务器数据库为现场的无人机提供现场的输电线路与杆塔的地理信息、巡检信息、历史的安装与维护记录数据，各条线路维护的班组结合巡视计划制定巡检计划，由班长进行审核确认，服务器利用班长工作台的命令下达到数据采集及处理模块；
[0007]S2、无人机巡检，根据服务器端给出的巡检计划通过云台控制摄像头主动跟踪关注线路和杆塔；
[0008]S3、无人机利用数据采集及处理模块通过边缘计算算法，将摄像头现场采集的输电线路和杆塔的图像进行识别和处理后将本次巡检线路缺陷的结果传输给服务器端记录，并通过服务器端自动将本次巡检缺陷的结果发送至线路巡检人员及管理人员，并根据缺陷的严重程度指导巡检人员快速准确处理出现的问题，由工区指派检修班组前去维修，形成智能巡检闭环流程。
[0009]进一步的，所述的数据采集及处理模块，包含机载嵌入式边缘计算核心板基于XILINX MPSoC全可编程处理器，DSP和神经网络计算模块包含4核
[0010]Cortex
‑
A53+FPGA+GPU+VideoCodec，能实现图像处理和边缘神经网络计算，同时搭配以太网模块进行进行图传、网络传输模块进行网络数据传输。
[0011]进一步的，所述步骤S2中主动跟踪是通过以下步骤实现的：
[0012]S2.1无人机起飞后，围绕杆塔范围3
‑
10米距离飞行，利用GPS配合RTK实现厘米级定位；悬停时无人机在10
‑
50厘米范围内调整最佳拍摄角度；
[0013]S2.2到达一个航点后，摄像头进行大范围扫描，数据采集及处理模块启动杆塔识别神经网络，先识别离无人机最近的杆塔位置，从视频流中识别杆塔的类型、朝向、坐标、高度，识别速度为每秒钟10
‑
20帧。
[0014]S2.3识别完杆塔后，利用边缘计算算法，把每一帧内的杆塔剪切出来，使除杆塔以外的杂物过滤干净。
[0015]进一步，所述步骤S3中边缘计算算法：
[0016]S3.1对图内每一个被检测出来的对象进行放大拍照，采集提供给图像识别及处理模块；
[0017]S3.2由图像识别及处理模块进行图像识别和处理；
[0018]S3.3控制器记录无人机坐标、倾角、朝向以及摄像头坐倾角、朝向作为第一位姿。
[0019]5进一步，步骤S3.2图像识别及处理过程是；
[0020]1)对于散股检测任务，先对无人机巡检所得图像进行灰度化处理，使用改进的Canny边缘检测算法和Hough算法提取边缘直线；遍历直线上的像素点，通过边缘跟踪算法找到输电线路候选断股区域，最后利用断股与直线的夹角来判决输电线路是否发生故障；
[0021]2)对于鸟巢识别任务，采用深度卷积神经网络YOLO_v3的识别检测方法，对YOLO_v3网络进行改进；使用k
‑
means算法对鸟巢候选区域维度聚类，同时进行多尺度网络检测；
[0022]3)对于绝缘子缺陷检测任务，先采用深度卷积神经网络YOLO_v3对图片中的绝缘子进行目标检测，定位绝缘子位置进行裁剪，得到所关注的图像，再采用基于卷积神经网络的缺陷检测网络进行绝缘子缺陷检测。
[0023]基于边缘计算的无人机巡检图像实时识别系统，包含系统数据结构模块，通信处理模块，信息处理模块，边缘端图像标识模块，管理工作台设计模块，班长界面设计模块；
[0024]系统数据结构模块，用于应用服务器存储和前端查看统计数据，每个前端工作台还通过发布数据命令来收集和控制前端设备。包含存储应用服务器，通讯处理服务器，业务处理服务器，信息处理服务器，图像处理服务器，使用记录服务器；
[0025]通信处理模块，分为与前端IDC的通讯、与摄像机通讯、与客户端工作台的通讯以及与图像标识服务器的通讯四个部分；与IDC通讯采用基本输入输出端口+套接字+用户数据报协议的通讯方式，与摄像头通讯采用传输控制协议+套接字的通讯方式，与客户端工作台界面通讯采用基本输入输出端口+套接字+传输控制协议通讯方式，与图像标识服务器采用多任务轮转的通讯方式；
[0026]信息处理模块，用于处理摄像机传回的外部线路的监控的照片；当任务在IDC信道成功执行后，会马上开启信息处理服务器。为了提高任务照片的接收效率，信息处理服务器采用线程池技术，使用多个线程接收不同的摄像机照片；数据处理步骤为：启用数据处理线程池，通道电源查询，开机，执行任务，监控摄相头，发布拍摄工作，得到监控图像，检查图像信息。
[0027]边缘端图像标识模块，接收到数据后，开始图像检验工作，与数据库中相应文件作对比；如果查询不到相应的记录，则从所有上传信息中查询，将其与图片名相结合，制作记
录表。
[0028]管理工作台设计模块，包括硬件设备管理，体系管理和基础数据管理。
[0029]班长界面设计模块，检验和监督正在进行中的工作时班长的主要职务，对报告的问题分析并给出解决办法，协调巡视检查界面的工作，发布实时工作，判断传感器上传的报警信息。班长界面的主要功能模块是工作发布；任务下达也被称为实时工作，是班长实时发布的巡线任务；由工作起止时间、工作代号、巡视的区域和内容构成；典型功能包括添加新的实时工作、问题分析和工作进度把控。
[0030]本专利技术的有益效果是：本专利技术运用边缘计算和物联网技术，设计基于计算机视觉与边缘计算的智能边缘识别装置，将识别模型部署到无人机端，在自主巡检无人机端搭载有轻量化缺陷识别算法的智能识别装置，实现输电线路巡检过程中图像的缺陷实时在线快速识别；增强线路巡检与缺陷识别的分析能力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘计算的无人机巡检图像实时识别方法，其特征是，包括：S1、控制室服务器调用服务器数据库为现场的无人机提供现场的输电线路与杆塔的地理信息、巡检信息、历史的安装与维护记录数据，各条线路维护的班组结合巡视计划制定巡检计划，由班长进行审核确认，服务器利用班长工作台的命令下达到数据采集及处理模块；S2、无人机巡检，根据服务器端给出的巡检计划通过云台控制摄像头主动跟踪关注线路和杆塔；S3、无人机利用数据采集及处理模块通过边缘计算算法，将摄像头现场采集的输电线路和杆塔的图像进行识别和处理后将本次巡检线路缺陷的结果传输给服务器端记录，并通过服务器端自动将本次巡检缺陷的结果发送至线路巡检人员及管理人员，并根据缺陷的严重程度指导巡检人员快速准确处理出现的问题，由工区指派检修班组前去维修，形成智能巡检闭环流程。2.根据权利要求1所述的基于边缘计算的无人机巡检图像实时识别方法，其特征是，所述数据采集及处理模块，包括机载嵌入式边缘计算核心板基于XILINX MPSoC全可编程处理器，DSP和神经网络计算模块包含4核Cortex
‑
A53+FPGA+GPU+VideoCodec，能实现图像处理和边缘神经网络计算，同时搭配以太网模块进行进行图传、网络传输模块进行网络数据传输。3.根据权利要求1所述的基于边缘计算的无人机巡检图像实时识别方法，其特征是，所述步骤S2中主动跟踪是通过以下步骤实现的：S2.1无人机起飞后，围绕杆塔范围3
‑
10米距离飞行，利用GPS配合RTK实现厘米级定位；悬停时无人机在10
‑
50厘米范围内调整最佳拍摄角度；S2.2到达一个航点后，摄像头进行大范围扫描，数据采集及处理模块启动杆塔识别神经网络，先识别离无人机最近的杆塔位置，从视频流中识别杆塔的类型、朝向、坐标、高度，识别速度为每秒钟10
‑
20帧；S2.3识别完杆塔后，利用边缘计算算法，把每一帧内的杆塔剪切出来，使除杆塔以外的杂物过滤干净。4.根据权利要求1所述的基于边缘计算的无人机巡检图像实时识别方法，其特征是，所述步骤S3中边缘计算算法：S3.1对图内每一个被检测出来的对象进行放大拍照，采集提供给图像识别及处理模块；S3.2由图像识别及处理模块进行图像识别和处理；S3.3控制器记录无人机坐标、倾角、朝向以及摄像头坐倾角、朝向作为第一位姿。5.根据权利要求3所述的基于边缘计算的无人机巡检图像实时识别方法，其特征是，，步骤S3.2图像识别及处理过程是；1)对于散股检测任务，先对无人机巡检所得图像进行灰...

【专利技术属性】
技术研发人员：赵蓓蓓，崔颢骞，卜洪亮，张国庆，李天成，王丹，常津宁，王一，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：