基于UAV与深度学习的尾矿干滩指标识别方法技术

本发明专利技术公开基于UAV与深度学习的尾矿干滩指标识别方法，属于数字图像处理技术领域，用于尾矿干滩指标识别，包括进行研究区域圈定，并规划无人机航线，在无人机上搭载传感器，并设置飞行参数，控制无人机执行飞行任务并获取图像数据；将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，生成正射影像和数字表面模型；将图像数据转换数据类型格式，结合深度学习网络搭建训练模型，将训练模型、正射影像和数字表面模型输入到水位线和滩顶线判断模型，得到干滩长度坡度。本发明专利技术利用神经网络识别干滩长度坡度，自动化程度高，操作简捷方便，降低巡检人员的安全风险和劳动强度，为矿山企业实现减人化提供助力。为矿山企业实现减人化提供助力。为矿山企业实现减人化提供助力。

【技术实现步骤摘要】
基于UAV与深度学习的尾矿干滩指标识别方法


[0001]本专利技术公开基于UAV与深度学习的尾矿干滩指标识别方法，属于数字图像处理


技术介绍

[0002]干滩指标指干滩长度、坡度、库内高程（安全超高），是监测尾矿坝稳定性的重要检测指标，如果超标可能引起库内水位漫顶，尾矿溃坝事故的发生，因此干滩指标检测十分重要。干滩长度是指库内水边线至滩顶的水平距离。尾矿库沉积干滩平均坡度按照规范要求按各测量断面的尾矿沉积干滩平均坡度加权平均计算。现阶段干滩长度坡度的检测方法有标尺法，激光测角距法，坡度推算法，渗流反推法等。以布设若干传感器（激光测距仪、超声测距仪、数码相机）的监测点位组成监测系统、结合人工巡检为主，存在监测传感器数量多、系统造价昂贵、长期稳定性低、运营维护费用高、人工作业强度大、受地形制约存在安全巡检盲点等问题。当前部分矿山采用数码相机监测干滩长度，相机主轴与尾矿坝坝面水平夹角须达到30~90
°
，垂直夹角须达到0~45
°
，且监测目标须位于相幅中央，干滩面与水面颜色相近人眼识别智能化程度低、易出现误差，且对于监测数码相机布置高度、距离、光照条件、防雷击、防水等性能提出较高要求。此外，现有技术仅能反映监测点位所处断面的状况，若监测干滩区域整体变化情况需增加传感器布置密度，将加倍企业投入与运营维护成本。

技术实现思路

[0003]本专利技术的目的在于提供基于UAV与深度学习的尾矿干滩指标识别方法，以解决现有技术中，干滩指标获取难度大的问题。
[0004]基于UAV与深度学习的尾矿干滩指标识别方法，包括：S1.进行研究区域圈定，并规划无人机航线，在无人机上搭载传感器，并设置飞行参数，控制无人机执行飞行任务并获取图像数据；测量控制点位置信息；S2.将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，生成正射影像和数字表面模型；S3.将S1得到的图像数据转换数据类型格式，结合深度学习网络搭建训练模型，将训练模型、正射影像和数字表面模型输入到水位线和滩顶线判断模型，得到干滩长度坡度。
[0005]S1中，测量控制点位置信息具体为人工携带RTK测量控制点高程和经纬度。
[0006]S1中，飞行参数包括飞行高度，飞行速度，重叠率，雷达回波数。
[0007]S2中，将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，运用SfM算法进行数据处理构建尾矿库表面三维模型，生成正射影像和数字表面模型。
[0008]S3包括：S3.1.下载语义分割模型或实例分割模型并完善所需运行环境；S3.2.利用无人机拍摄数据及尾矿库卫星图片作为数据集；
S3.3.训练分辨水体、干滩、坝体的模型，并给出相应边界框和类别概率，改写预测程序为显示尾矿库水体轮廓线，运用遍历法遍历水体轮廓线与坝体线最小距离，得到最小干滩长度D；S3.4.限定显示距离水体轮廓线不大于5cm的干滩轮廓线，得到尾矿库中的水位线；限定显示距离水体轮廓线大于等于D的干滩轮廓线，得到坝体与干滩的交界线，至此获得最小干滩长度D和带有滩顶线、水位线的图片数据；S3.5.将高清正射影像输入到模型中，得出最小干滩长度和带有干滩线、水位线的高清正射影像图片，与数字表面模型相结合提取出两条带有高程的三维水体干滩分界线和干滩坝体分界线，利用三维曲线计算两条线的平均距离和平均高程差，通过运算获得平均干滩坡度。
[0009]S3.1中，实例分割模型采用改进的yoloact模型；Yolact模型修改特征提取网络为PANNet，将原有损失函数IOU修改为GIOU，加入数据增强部分扩展训练数据；特征提取网络PANNet结构组成包括backbone、FPEM和FFM，Backbone使用resnent18，FFM将不同大小特征图进行融合。
[0010]基于改进的yolact实例分割流程包括：B1.数据增强；B2.将数据集输入特征提取网络结构中提取特征图；B3.存在两个并行子任务分支，一个生成覆盖全图的原型掩膜，另一个为目标监测分支，生成候选框类别置信度，锚框的位置信息和掩膜系数；基于全卷积神经网络实现原型掩膜生成分支，由若干卷积层组成，将p3特征图输入，经过连续三次卷积核为3
×
3，步长为1的卷积，再上采样，再通过两个卷积层，得到一个m通道的输出，每个通道可以视作一张原型mask；采用共享卷积网络实现目标检测分支，分成三个分支，分别对目标类别、位置、掩膜系数进行预测，通过GIOU损失函数计算得到对于尾矿这一类不同感兴趣区域ROI之间的置信度矩阵，再通过NMS筛选算法对ROI进行舍弃；B4.通过原型掩膜与掩膜系数做矩阵乘法得到图像中实物目标的掩膜称为实例掩膜，将不属于尾矿类别边界外的掩膜清空，提取边界生成图像。
[0011]相对比现有技术，本专利技术具有以下有益效果：本专利技术测量尾矿干滩长度坡度精度较高，克服传统检测系统受地形、运营费用、后期维护的影响，克服人工检测工人劳动强度大，视野受限等影响，克服了传统方法受天气和夜间不能持续检测的缺点；无人机巡航灵活可靠，成本低，精度高，可实现自动化巡航；利用神经网络识别干滩长度坡度，自动化程度高，操作简捷方便，降低巡检人员的安全风险和劳动强度，为矿山企业实现减人化提供助力。
附图说明
[0012]图1是本专利技术的技术流程图；图2是无人机影像三维重建流程图；
图3是改进的yolact模型。
具体实施方式
[0013]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0014]基于UAV与深度学习的尾矿干滩指标识别方法，包括：S1.进行研究区域圈定，并规划无人机航线，在无人机上搭载传感器，并设置飞行参数，控制无人机执行飞行任务并获取图像数据；测量控制点位置信息；S2.将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，生成正射影像和数字表面模型；S3.将S1得到的图像数据转换数据类型格式，结合深度学习网络搭建训练模型，将训练模型、正射影像和数字表面模型输入到水位线和滩顶线判断模型，得到干滩长度坡度。
[0015]S1中，测量控制点位置信息具体为人工携带RTK测量控制点高程和经纬度。
[0016]S1中，飞行参数包括飞行高度，飞行速度，重叠率，雷达回波数。
[0017]S2中，将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，运用SfM算法进行数据处理构建尾矿库表面三维模型，生成正射影像和数字表面模型。
[0018]S3包括：S3.1.下载语义分割模型或实例分割模型并完善所需运行环境；S3.2.利用无人机拍摄数据及尾矿库卫星图片作为数据集；S3.3.训练分辨水体、干滩、坝体的模型，并给出相应边界框和类别概率，改写预测程序为显示尾矿库水体轮廓线，运用遍历法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，包括：S1.进行研究区域圈定，并规划无人机航线，在无人机上搭载传感器，并设置飞行参数，控制无人机执行飞行任务并获取图像数据；测量控制点位置信息；S2.将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，生成正射影像和数字表面模型；S3.将S1得到的图像数据转换数据类型格式，结合深度学习网络搭建训练模型，将训练模型、正射影像和数字表面模型输入到水位线和滩顶线判断模型，得到干滩长度坡度。2.根据权利要求1所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，S1中，测量控制点位置信息具体为人工携带RTK
‑
实时动态测量测量控制点高程和经纬度。3.根据权利要求2所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，S1中，飞行参数包括飞行高度，飞行速度，重叠率，雷达回波数。4.根据权利要求3所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，S2中，将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，运用SfM
‑
运动恢复结构算法进行数据处理构建尾矿库表面三维模型，生成正射影像和数字表面模型。5.根据权利要求4所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，S3包括：S3.1.下载语义分割模型或实例分割模型并完善所需运行环境；S3.2.利用无人机拍摄数据及尾矿库卫星图片作为数据集；S3.3.训练分辨水体、干滩、坝体的模型，并给出相应边界框和类别概率，改写预测程序为显示尾矿库水体轮廓线，运用遍历法遍历水体轮廓线与坝体线最小距离，得到最小干滩长度D；S3.4.限定显示距离水体轮廓线不大于5cm的干滩轮廓线，得到尾矿库中的水位线；限定显示距离水体轮廓线大于等于D的干滩轮廓线，得到坝体与干滩的交界线，至此获得最小干滩长度D和带有滩顶线、水位线的图片数据；S3.5.将高清正射影像输入到模型中，得出最小干滩长度和带有干滩线、水位线的...

【专利技术属性】
技术研发人员：王昆，张峥，赵同彬，吴庚坤，王乐天，杨修志，魏博为，张俊阳，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：