一种基于无人机巡检影像的异常目标监管方法及系统技术方案

本发明专利技术涉及一种基于无人机巡检影像的异常目标监管方法及系统，方法包括：无人机根据管线的地理坐标及预设的巡检路线进行图像采集；对采集到的图像进行拼接获得拼接图像；在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；在拼接图像上标注异常目标的位置以供工作人员进行确定获得最终异常目标及类别；最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；按照需求输出统计报告。本发明专利技术提高了管线巡检的工作效率，对异常目标实现了良好的检测效果。

An Abnormal Target Monitoring Method and System Based on UAV Patrol Image

The invention relates to an anomalous target monitoring method and system based on UAV patrol image. The method includes: UAV collects images according to the geographic coordinates of pipelines and the preset patrol route; splices the collected images to obtain mosaic images; detects anomalous targets within the preset image alert range; and detects the collected images based on the detected anomalous targets. Intelligent image recognition is carried out to obtain abnormal target categories; the location of abnormal target is marked on mosaic images for staff to determine the final abnormal target and category; the characteristics and location information of the final abnormal target are entered into the database, and the processing status of the final abnormal target is updated to the database; statistical reports are output according to the requirements. The invention improves the work efficiency of pipeline inspection and achieves good detection effect for abnormal targets.

【技术实现步骤摘要】
一种基于无人机巡检影像的异常目标监管方法及系统
本专利技术涉及无人机自动巡检
，具体为一种基于无人机巡检影像的异常目标监管方法及系统。
技术介绍
随着国家对能源需求的逐步增加，作为能源动脉的油气管线，其安全性和畅通性尤其重要。油气管线大多布置于非人类密集活动区，其复杂的地形地貌和天气变化使得人工巡检作业的成本居高不下且效率无法满足要求。随着无人机技术的不断进步以及机器视觉算法的广泛应用，利用这两项技术实现油气管线周边地形地貌信息的获取以及完成对油气管道的巡检成为可能。很多公司对该项技术进行了试点实施，这些项目的成果对石油管线的保护起到了积极的作用，但仍旧存在一些问题。当前对无人机获取的油气管线巡线航拍影像数据主要依靠人力进行分析和处理，该处理方式存在处理速度慢以及长时间作业后工作人员的判断精度下降严重的问题，且人工处理方式对时间序列信息的利用率低下，造成了很严重的数据资源浪费。基于以上原因，该种处理方式所产生的实际价值有限，也限制了飞行器在油气管线巡检方面的应用推广程度。因此，加强对管道航拍影像数据的智能化识别处理，提高无人机对管线异常目标的巡检效果，是非常有必要的。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种基于无人机巡检影像的异常目标监管方法及系统，综合了无人机控制技术、机器视觉智能处理技术及数据库处理技术，建立了一套日常巡查的方法，包括图像采集、图像快速拼接、智能识别异常目标及异常目标状态控制的完整无人机管线巡检流程，将石油管道的日常巡检工作进行自动化的监测和管理。本专利技术解决其技术问题所采用的技术方案是：一方面，一种基于无人机巡检影像的异常目标监管方法，包括：步骤1，无人机根据管线的地理坐标及预设的巡检路线进行图像采集；步骤2，对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；步骤3，在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；步骤4，在所述拼接图像上标注异常目标的位置以供工作人员进行确定获得最终异常目标及类别；步骤5，确定最终异常目标与管线的距离，并将最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；所述处理状态包括异常嫌疑、异常确认、异常待处理及异常已处理；步骤6，定期汇总数据库中预设时间内最终异常目标的处理状态，按照需求输出统计报告。优选的，步骤1具体包括：步骤1.1，基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；步骤1.2，根据无人机的巡检路线情况和巡检当天的天气因素设置相机的图像采集触发条件；所述触发条件包括触发时间间隔和无人机飞行距离；步骤1.3，将无人机的状态信息、相机的内部参数以及采集到的图像发送回地面站，作为图像拼接和图像智能识别的依据；所述无人机的状态信息包括飞行姿态高度信息和飞行地理坐标；所述相机的内部参数包括焦距和光圈信息。优选的，步骤2具体包括：步骤2.1，基于采集的重叠率为65％以上的图像序列以及每张图像对应的GPS数据，并根据GPS数据建立的图像间的相邻关系，对图像进行SIFT特征提取以获取二维图像间的特征点对；步骤2.2，根据建立的二维图像间的特征点对，利用运动恢复结构SfM的方式通过非线性优化求取每张图像的位姿信息以及观测点的三维坐标，得到无人机航拍场景的稀疏点云；步骤2.3，对所述稀疏点云进行稠密化操作，通过整合估算的图像深度信息得到场景的稠密点云；步骤2.4，对稠密点云构建三角网格，得到场景的网格模型；步骤2.5，在构建的网格模型基础上，通过之前建立的图像和三角面片的关系实现纹理贴图，得到真实场景的纹理网格模型；步骤2.6，根据投影方向生成带有地理坐标的正射投影以及高程图。优选的，步骤3具体包括：步骤3.1，标记图像中的管线位置和待进行目标检测的警戒范围；步骤3.2，在管线的警戒范围内，进行异常目标的检测；步骤3.3，对检测到的异常目标进行深度学习识别，从而确定异常目标的类别；异常目标的类别包括管道占压、第三方施工和地质灾害。优选的，使用包括多隐层的多层感知器进行深度学习识别。另一方面，一种基于无人机巡检影像的异常目标监管系统，包括：图像采集模块，用于通过无人机执行预设的巡检线路以进行图像采集；图像拼接模块，用于对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；异常目标识别模块，用于在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；异常目标的类别包括管道占压、第三方施工和地质灾害；人工确认模块，用于对检测到的异常目标及对应的类型进行确认，得到最终异常目标及类别；统计分析模块，用于确定最终异常目标与管线的距离，并将最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；所述处理状态包括异常嫌疑、异常确认、异常待处理及异常已处理；报告输出模块，用于将当前数据库中的最终异常目标信息以用户指定的报告格式输出。优选的，所述通过无人机执行预设的巡检线路以进行图像采集，包括：基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；根据无人机的巡检路线情况和巡检当天的天气因素设置相机的图像采集触发条件；所述触发条件包括触发时间间隔和无人机飞行距离；将无人机的状态信息、相机的内部参数以及采集到的图像发送回地面站，作为图像拼接和图像智能识别的依据；所述无人机的状态信息包括飞行姿态高度信息和飞行地理坐标；所述相机的内部参数包括焦距和光圈信息。优选的，所述对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标，包括：基于采集的重叠率为65％以上的图像序列以及每张图像对应的GPS数据，并根据GPS数据建立的图像间的相邻关系，对图像进行SIFT特征提取以获取二维图像间的特征点对；根据建立的二维图像间的特征点对，利用运动恢复结构SfM的方式通过非线性优化求取每张图像的位姿信息以及观测点的三维坐标，得到无人机航拍场景的稀疏点云；对所述稀疏点云进行稠密化操作，通过整合估算的图像深度信息得到场景的稠密点云；对稠密点云构建三角网格，得到场景的网格模型；在构建的网格模型基础上，通过之前建立的图像和三角面片的关系实现纹理贴图，得到真实场景的纹理网格模型；根据投影方向生成带有地理坐标的正射投影以及高程图。优选的，所述在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别，包括：标记图像中的管线位置和待进行目标检测的警戒范围；在管线的警戒范围内，进行异常目标的检测；对检测到的异常目标进行深度学习识别，从而确定异常目标的类别；异常目标的类别包括管道占压、第三方施工和地质灾害。优选的，异常目标识别模块中，使用包括多隐层的多层感知器进行深度学习识别。根据本专利技术的实施例，本专利技术具有如下有益效果：(1)本专利技术一种基于无人机巡检影像的异常目标监管方法及系统，首先利用无人机本文档来自技高网...

【技术保护点】
1.一种基于无人机巡检影像的异常目标监管方法，其特征在于，包括：步骤1，无人机根据管线的地理坐标及预设的巡检路线进行图像采集；步骤2，对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；步骤3，在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；步骤4，在所述拼接图像上标注异常目标的位置以供工作人员进行确定获得最终异常目标及类别；步骤5，确定最终异常目标与管线的距离，并将最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；所述处理状态包括异常嫌疑、异常确认、异常待处理及异常已处理；步骤6，定期汇总数据库中预设时间内最终异常目标的处理状态，按照需求输出统计报告。

【技术特征摘要】
1.一种基于无人机巡检影像的异常目标监管方法，其特征在于，包括：步骤1，无人机根据管线的地理坐标及预设的巡检路线进行图像采集；步骤2，对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；步骤3，在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；步骤4，在所述拼接图像上标注异常目标的位置以供工作人员进行确定获得最终异常目标及类别；步骤5，确定最终异常目标与管线的距离，并将最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；所述处理状态包括异常嫌疑、异常确认、异常待处理及异常已处理；步骤6，定期汇总数据库中预设时间内最终异常目标的处理状态，按照需求输出统计报告。2.根据权利要求1所述的基于无人机巡检影像的异常目标监管方法，其特征在于，步骤1具体包括：步骤1.1，基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；步骤1.2，根据无人机的巡检路线情况和巡检当天的天气因素设置相机的图像采集触发条件；所述触发条件包括触发时间间隔和无人机飞行距离；步骤1.3，将无人机的状态信息、相机的内部参数以及采集到的图像发送回地面站，作为图像拼接和图像智能识别的依据；所述无人机的状态信息包括飞行姿态高度信息和飞行地理坐标；所述相机的内部参数包括焦距和光圈信息。3.根据权利要求1所述的基于无人机巡检影像的异常目标监管方法，其特征在于，步骤2具体包括：步骤2.1，基于采集的重叠率为65％以上的图像序列以及每张图像对应的GPS数据，并根据GPS数据建立的图像间的相邻关系，对图像进行SIFT特征提取以获取二维图像间的特征点对；步骤2.2，根据建立的二维图像间的特征点对，利用运动恢复结构SfM的方式通过非线性优化求取每张图像的位姿信息以及观测点的三维坐标，得到无人机航拍场景的稀疏点云；步骤2.3，对所述稀疏点云进行稠密化操作，通过整合估算的图像深度信息得到场景的稠密点云；步骤2.4，对稠密点云构建三角网格，得到场景的网格模型；步骤2.5，在构建的网格模型基础上，通过之前建立的图像和三角面片的关系实现纹理贴图，得到真实场景的纹理网格模型；步骤2.6，根据投影方向生成带有地理坐标的正射投影以及高程图。4.根据权利要求1所述的基于无人机巡检影像的异常目标监管方法，其特征在于，步骤3具体包括：步骤3.1，标记图像中的管线位置和待进行目标检测的警戒范围；步骤3.2，在管线的警戒范围内，进行异常目标的检测；步骤3.3，对检测到的异常目标进行深度学习识别，从而确定异常目标的类别；异常目标的类别包括管道占压、第三方施工和地质灾害。5.根据权利要求4所述的基于无人机巡检影像的异常目标监管方法，其特征在于，使用包括多隐层的多层感知器进行深度学习识别。6.一种基于无人机巡检影像的异常目标监管系统，其特征在于，包括：图像采集模块，用于通过无...

【专利技术属性】
技术研发人员：彭家立，王建国，陈永忠，徐洪涛，杜怀林，卓海森，王萍，郑煊伟，黄银辉，钟良，
申请(专利权)人：福建中海油应急抢维修有限责任公司，
类型：发明
国别省市：福建,35