一种双目序列影像的输电线路三维点云生成方法及装置制造方法及图纸

本申请提供了一种双目序列影像的输电线路三维点云生成方法及装置，其中方法包括：对双目序列影像进行立体匹配得到地物三维激光点云；利用深度学习得到电力线的三维模型；结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。本申请通过立体匹配得到地物三维激光点云，通过深度学习得到电力线的三维模型，结合起来得到输电线路三维激光点云，输电线路三维激光点云能够对电力线下方安全距离进行实时检测，整个过程全自动化，无需人工干预，因此具有操作简单、推广难度小、实时排查安全隐患等优势；并且采用深度学习方法进行电力线的自动识别提取，随着数据的积累，识别精度会越来越高，且环境适应能力强。

A Method and Device for Generating Three-Dimensional Point Cloud of Transmission Line Based on Binocular Sequence Image

This application provides a method and device for generating three-dimensional point clouds of transmission lines from binocular sequence images. The methods include: stereo matching of binocular sequence images to obtain three-dimensional laser point clouds of ground objects; obtaining three-dimensional model of power lines by in-depth learning; and obtaining three-dimensional laser point clouds of transmission lines by combining three-dimensional laser point clouds of ground objects with three-dimensional model of power lines. This application obtains three-dimensional laser point cloud of ground objects through stereo matching, obtains three-dimensional model of power line through in-depth learning, and obtains three-dimensional laser point cloud of transmission line by combining them. The three-dimensional laser point cloud of transmission line can detect the safe distance under power line in real time. The whole process is fully automated without manual intervention, so it has the advantages of simple operation, small popularization difficulty and real-time. With the accumulation of data, the recognition accuracy will be higher and higher, and the environmental adaptability will be stronger.

【技术实现步骤摘要】
一种双目序列影像的输电线路三维点云生成方法及装置
本申请涉及输电线路检测
，尤其涉及一种双目序列影像的输电线路三维点云生成方法及装置。
技术介绍
电网现行高压电力线路结构复杂、规模庞大，线路通道环境十分复杂，异物缠挂、线路下方树木、违规施工、违章建筑等易导致线路安全距离不足而发生短路事故。事故一旦发生，后果严重，巨大的电流可能造成人员严重伤害，故障造成线路设备损坏，跳闸停运，对电网运行造成冲击，同时，故障对城市区域供电造成影响，扰乱企业和居民的正常生产生活秩序，带来重大经济损失。有人直升机及无人机携带激光扫描系统电力线路通道巡检技术，已在我国电网巡检中逐渐得到应用。机载激光雷达测量系统可以很好地解决空间定位和测量精度等问题，它可直接而快速地采集线路走廊高精度三维激光点云数据，进而快速地获得高精度三维线路走廊的地形、地貌、地物和线路设施的空间信息。随着LiDAR点云数据处理技术的逐渐成熟，目前国内大部分无人机电力巡线系统都配备有LiDAR系统。随着传感器技术的进步，激光扫描仪和定位定姿系统都在逐步小型化，LiDAR系统也随之轻小型化，从而能被多旋翼无人机所搭载。但目前基于LiDAR的导线地物安全检测绝大多是事后处理，即先采集整个导线路的数据，然后再内业进行处理(包括定位定姿数据处理、LiDAR点云生成，导线提取等)。后处理方式的优点是精度高，但延时较大，不便于检修人员实时实地解决安全隐患。另外，后处理流程复杂度高，难以被一般工作人员掌握。这两大问题仍制约着无人机激光雷达系统在电力巡检工作中的大规模使用。
技术实现思路
本申请提供了一种双目序列影像的输电线路三维点云生成方法及装置，该方法首先通过对双目序列影像进行立体匹配得到地物三维彩色激光点云；然后利用深度学习目标检测算法，对无人机影像进行分类，提取出电力线像素坐标，将其反投影到三维空间，得到电力线的三维模型，最后结合地物三维激光点云和电力线三维模型，从而得到输电线路三维激光点云，为后续的地物安全距离检测提供数据支撑。有鉴于此，本申请第一方面提供了一种双目序列影像的输电线路三维点云生成方法，包括：对双目序列影像进行立体匹配得到地物三维激光点云；利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型；结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。优选地，对双目序列影像进行立体匹配得到地物三维激光点云具体包括：对获取到的双目序列影像执行半全局立体匹配算法得到视差图；根据视差图建立地物三维激光点云。优选地，对获取到的双目序列影像执行半全局立体匹配算法得到视差图之后、根据视差图建立地物三维激光点云之前还包括：通过斜面平滑算法对视差图进行优化。优选地，对获取到的双目序列影像执行半全局立体匹配算法得到视差图包括：建立视差搜索空间；通过动态规划进行优化，并计算优化后的匹配相似度，得到像素的视差值；根据像素的视差值描述出视差图。优选地，利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型包括：构建具有多隐层的机器学习模型；根据获取到的样本训练数据对机器学习模型进行训练；根据训练后的机器学习模型对无人机影像进行分类，提取出电力线像素坐标；将电力线像素坐标反投影到三维空间，得到电力线的三维模型。优选地，构建具有多隐层的机器学习模型具体为：建立VGG16基础网络结构的前五层；利用astrous算法将fc6和fc7层转化成两个卷积层；增加3个卷积层和averagepool层。优选地，结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云后还包括：利用输电线路三维激光点云判断地物与电力线之间的距离是否超过安全距离。本申请第二方面提供一种双目序列影像的输电线路三维点云生成装置，基于如第一方面的双目序列影像的输电线路三维点云生成方法进行生成，包括：无人机，用于获取双目序列影像和无人机影像；连接所述无人机的处理模块，用于执行如第一方面的双目序列影像的输电线路三维点云生成方法的步骤。本申请第三方面提供一种双目序列影像的输电线路三维点云生成设备，所述设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的双目序列影像的输电线路三维点云生成方法的步骤。本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的双目序列影像的输电线路三维点云生成方法。本申请第五方面提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的双目序列影像的输电线路三维点云生成方法。从以上技术方案可以看出，本申请具有以下优点：本申请提供了一种双目序列影像的输电线路三维点云生成方法及装置，其中方法包括：对双目序列影像进行立体匹配得到地物三维激光点云；利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型；结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。本申请通过立体匹配得到地物三维激光点云，通过深度学习得到电力线的三维模型，结合起来得到输电线路三维激光点云，输电线路三维激光点云能够对电力线下方安全距离进行实时检测，整个过程全自动化，无需人工干预，因此具有操作简单、推广难度小、实时排查安全隐患等优势；并且采用深度学习方法进行电力线的自动识别提取，随着数据的积累，样本量的增加，识别精度会越来越高，且无需针对不同场景研究不同的识别方法，环境适应能力强。附图说明为了更清楚地说明本申请实施例，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为本申请提供的一种双目序列影像的输电线路三维点云生成方法的一个实施例的示意图；图2为本申请提供的一种双目序列影像的输电线路三维点云生成方法的另一个实施例的示意图；图3为本申请提供的一种双目序列影像的输电线路三维点云生成方法的另一个实施例的获取电力线三维模型的流程图。具体实施方式本申请提供了一种双目序列影像的输电线路三维点云生成方法及装置，该方法首先通过对双目序列影像进行立体匹配得到地物三维彩色激光点云；然后利用深度学习目标检测算法，对无人机影像进行分类，提取出电力线像素坐标，将其反投影到三维空间，得到电力线的三维模型，最后结合地物三维激光点云和电力线三维模型，从而得到输电线路三维激光点云，为后续的地物安全距离检测提供数据支撑。为使得本申请的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。请参阅图1，本申请提供的一种双目序列影像的输电线路三维点云生成方法的一个实施例，包括：101、对双目序列影像进行立体匹配得到地物三维激光点云；立体本文档来自技高网...

【技术保护点】
1.一种双目序列影像的输电线路三维点云生成方法，其特征在于，包括：对双目序列影像进行立体匹配得到地物三维激光点云；利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型；结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。

【技术特征摘要】
1.一种双目序列影像的输电线路三维点云生成方法，其特征在于，包括：对双目序列影像进行立体匹配得到地物三维激光点云；利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型；结合地物三维激光点云和电力线的三维模型，得到输电线路三维激光点云。2.根据权利要求1所述的一种双目序列影像的输电线路三维点云生成方法，其特征在于，对双目序列影像进行立体匹配得到地物三维激光点云具体包括：对获取到的双目序列影像执行半全局立体匹配算法得到视差图；根据视差图建立地物三维激光点云。3.根据权利要求2所述的一种双目序列影像的输电线路三维点云生成方法，其特征在于，对获取到的双目序列影像执行半全局立体匹配算法得到视差图之后、根据视差图建立地物三维激光点云之前还包括：通过斜面平滑算法对视差图进行优化。4.根据权利要求2所述的一种双目序列影像的输电线路三维点云生成方法，其特征在于，对获取到的双目序列影像执行半全局立体匹配算法得到视差图包括：建立视差搜索空间；通过动态规划进行优化，并计算优化后的匹配相似度，得到像素的视差值；根据像素的视差值描述出视差图。5.根据权利要求1所述的一种双目序列影像的输电线路三维点云生成方法，其特征在于，利用深度学习目标检测算法，对无人机影像进行分类提取出电力线像素坐标，得到电力线的三维模型包括：构建具有多隐层的机器学习模型；根据获取到的样本训练数据对机器学习模型进行训练...

【专利技术属性】
技术研发人员：钱金菊，
申请(专利权)人：广东电网有限责任公司，广东电网有限责任公司电力科学研究院，
类型：发明
国别省市：广东,44