一种基于深度学习的带式输送机输送带跑偏监测方法技术

本发明专利技术提供一种基于深度学习的带式输送机输送带跑偏监测方法，利用通用目标检测网络进行输送带边缘直线特征的检测并实现跑偏状态的有效判定。本发明专利技术采用具有特定标注要求的标注方法对输送带边缘区域进行数据标注得到输送带跑偏数据集，进而利用该数据集对通用目标检测网络进行训练，而后将训练完成后的网络用于输送带边缘区域的预测，通过对预测框四个顶点坐标位置的计算，得到输送带边缘区域预测框的对角线位置及其方程，并以此表征输送带边缘直线。通过对比所得输送带左右边缘直线分别距离相机视野边界的距离，实现输送带跑偏状态的有效监测。本发明专利技术简化了复杂环境下输送带边缘直线提取流程，有力保障了带式输送机的安全高效运行。高效运行。高效运行。

【技术实现步骤摘要】
一种基于深度学习的带式输送机输送带跑偏监测方法


[0001]本专利技术涉及煤矿装备智能化
，尤其涉及一种基于深度学习的带式输送机输送带跑偏监测方法。

技术介绍

[0002]带式输送机作为散状物料连续输送的首选装备，是煤矿井下和露天煤矿开采的主要运输装备，同时也广泛应用在矿山、码头、港口、化工等领域。输送带是带式输送机的重要组成部分，起着承载物料与传递动力的重要作用。因为加工精度、安装精度、物料不均衡装载等的影响，使得输送带在运行过程中经常出现跑偏。跑偏是带式输送机最常见的故障之一，会引起诸多事故，诸如会引起承载物料洒落；引起输送带边缘磨损或脱胶等，缩短输送带使用寿命；增大输送机运行阻力系数，增加输送机能耗；同时，它也是引起输送带撕裂的一个重要原因。跑偏事故的产生与扩大严重影响煤矿安全高效运输的进行与绿色可持续发展。
[0003]文献CN113772364A中公开了一种皮带输送机跑偏检测及自动调整方法，包括视觉检测模块和托辊控制模块。首先通过安装在皮带输送机中部的视觉检测模块，分别获取皮带输送机工作时的中部皮带运行图像、中部前后方运行图像及中部煤流信息，使用伽马和分数阶进行图像增强处理，对处理后的图像进行Canny边缘检测以获取托辊与皮带边缘信息，通过皮带中部前后的托辊和皮带边缘直线计算出跑偏角度，再根据中部边缘检测得出的信息检测出横向跑偏量，算法比较复杂。目前煤矿皮带跑偏监测方式主要通过跑偏开关传感器，跑偏传感器确定跑偏量并对跑偏进行处理，然而实际煤矿生产环境较为复杂，需要在皮带运行的两侧安装较多的跑偏开关传感器，这种检测方式在皮带运行过程中，主要会存在相邻传感器的磁性干扰，输出处于不稳定状态，影响数据的判读，皮带跑偏开关与保护装置还需要定期停机校对和测试，并且井下输送带较长，需要投入人力和时间进行检测，会对煤矿井下生产效率产生影响。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种基于深度学习的带式输送机输送带跑偏监测方法，采用具有特定标注要求的标注方法对输送带边缘区域进行数据标注得到输送带跑偏数据集，进而利用该数据集对通用目标检测网络进行训练，而后将训练完成后的网络用于输送带边缘区域的预测，通过对预测框四个顶点坐标位置的计算，得到输送带边缘区域预测框的对角线位置及其方程，并以此表征输送带边缘直线。通过对比所得输送带左右边缘直线分别距离相机视野边界的距离，实现输送带跑偏状态的有效监测。本专利技术利用通用目标检测网络进行输送带边缘直线特征的检测并实现跑偏状态的有效判定，简化了复杂环境下输送带边缘直线提取流程，有力保障了带式输送机的安全高效运行。
[0005]在本专利技术中方法包括以下步骤：步骤1，在带式输送机沿线设置相机，用于实时采集带式输送机运行图像建立输送带跑偏图像数据集；步骤2，基于步骤1所建立的图像数据
集，利用深度学习技术如LabelImg等对输送带边缘特征进行提取标注，每一张图像内的输送带的左右边缘上分别标注一个标注框，所述输送带的边缘与相对应的标注框的一条对角线对齐，并将标注完成的数据集划分为训练集、验证集和测试集，以供后续深度学习目标检测网络训练调用；步骤3，搭建基于深度学习的目标检测网络模型，将输送带边缘区域设置为检测目标，将将步骤2中所构建数据集中的训练集和验证集输入到建立的目标检测网络模型中进行训练，直至网络收敛，得到训练权重及检测模型；步骤4，基于步骤3对以输送带边缘区域为目标的目标检测网络预测，生成预测框，并输出预测框的参数，并不断通过目标检测网络改进其输出，使其具备检测直线的能力；步骤5，在步骤4所检测出的输送带边缘直线的基础上，在相机视野建立一条虚拟参考线，所述虚拟参考线平行于x轴，且与x轴间的距离标记为
△
y，所述虚拟参考线与相机视野边界的左右分别相交于为点L和R，与输送带左右边缘分别为相交于点M和N，记LM为L点和M点之间的线段距离，RN为R点和N点之间的线段距离；步骤6，分别计算LM和NR的长度，确定输送带在相机视野范围内的位置，通过算法实时计算LM与NR的绝对差值，与阈值进行实时比对，即可实现跑偏状态及跑偏量的确定；步骤7，将改进后的目标检测部署到工业现场，实现跑偏的联动控制与调节。
[0006]进一步地，基于步骤3所述的网络模型为YOLO网络模型或是RCNN网络模型或SSD网络模型等通用目标检测模型。
[0007]进一步地，所述的步骤4中所述参数为预测框的中心点坐标、预测框长度和宽度值，基于预测框的中心点坐标、预测框长度和宽度值，可得到预测框的四个顶点坐标，因此输送带左侧边缘的左标注框对角线所在直线的直线方程和输送带右侧边缘的右标注框对角线所在直线的直线方程均可以计算获得，即为输送带左右边缘所在的直线。
[0008]进一步地，所述输送带边缘所在直线方程通过如下计算得出，在输送带左边缘的左标注框内记定a点坐标是(x
a
，y
a
)，b点坐标是（x
b
，y
b
），在输送带右边缘的右标注框内记定c点坐标是(x
c
，y
c
)，d点坐标是(x
d
，y
d
)，则左标注框内与左边输送带边缘重合的对角线ab的方程为：右标注框内与右边输送带边缘重合的对角线cd的方程为：。
[0009]进一步地，基于步骤5所述的L点和M点之间的线段距离，R点和N点之间的线段距离计算为即为输送带左右边缘距离视野相机视野边界的距离，且W为相机视野的宽度。
[0010]进一步地，基于步骤6所述的算法为当，即判断输送带不跑偏；当，即判断输送带跑偏，其中D
LM
为L点和M点之间的距离，D
NR
为R点和N点之间的距离，τ为跑偏判定的阈值。
[0011]采用上述技术方案后，本专利技术与现有技术相比具有以下有益效果：1.本专利技术提出了一种基于深度学习的带式输送机输送带跑偏监测方法，该方法基于通用目标检测网络检测直线，极大简化了复杂环境下输送带边缘的直线特征提取流程，具有良好的实时性。
[0012]2.本专利技术设计的方法提供了复杂场景下输送带边缘快速准确检测新方法。
[0013]3.本专利技术设计的方法中所述的算法拓展性强，只需要少量数据集训练就可以迁移到其他场景，适应性较强。
[0014]4.本专利技术设计的方法极大简化了复杂环境下直线特征提取的流程，并有助于实现带式输送机智能化及煤矿的无人化、节能化水平，在保证带式输送机安全高效运输的同时实现绿色节能可持续发展。
[0015]本专利技术提供的技术方案针对复杂环境下基于视觉的输送带边缘特征提取操作复杂的问题，提出了基于通用目标检测网络的直线检测算法，并重新规划设计了跑偏的判定方法，实现了输送带边缘特征的快速、准确提取，提高了带式输送机输送带跑偏检测的精准度，适应性强，解决了复杂背景下带式输送机输送带边缘的快速特征提取与跑偏判定问题，实现了输送带跑偏状态检测的可视化。
附图说明
[0016]从结合附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的带式输送机输送带跑偏监测方法，其特征在于，该方法包括以下步骤：步骤1，在带式输送机沿线设置相机，用于实时采集带式输送机运行图像建立输送带跑偏图像数据集；步骤2，基于步骤1所采集的图像数据利用数据标注软件，对输送带边缘特征进行提取标注，每一张图像内的输送带的左右边缘上分别标注一个标注框，所述输送带的边缘与相对应的标注框的一条对角线对齐，并将标注完成的数据集划分为训练集、验证集和测试集，以供后续深度学习目标检测网络训练调用；步骤3，搭建基于深度学习的目标检测网络模型，将输送带边缘区域设置为检测目标，将步骤2中所构建的数据集中的训练集和验证集输入到建立的目标检测网络模型中进行训练，直至网络收敛，得到训练权重及检测模型；步骤4，基于步骤3对以输送带边缘区域为目标的目标检测网络预测，生成预测框，并输出预测框的参数，改进目标检测网络输出结果，使其具备检测直线的能力；步骤5，在步骤4所检测出的输送带边缘直线的基础上，在相机视野建立一条虚拟参考线，所述虚拟参考线平行于x轴，且与x轴间的距离标记为
△
y，所述虚拟参考线与相机视野边界的左右分别相交于为点L和R，与输送带左右边缘分别为相交于点M和N，记LM为L点和M点之间的线段距离，RN为R点和N点之间的线段距离；步骤6，分别计算LM和NR的长度，确定输送带在相机视野范围内的位置，通过算法实时计算LM与NR的绝对差值，与阈值进行实时比对，即可实现跑偏状态及跑偏量的确定；步骤7，将改进后的目标检测部署到工业现场，实现跑偏的联动控制与调节。2.根据权利要求1所述的一种基于深度学习的带式输送机输送带跑偏监测方法，其特征在于：基于步骤3所述的网络模型为YOLO网络模型或是RCNN网络模型或SSD网络模型通用目标检测网络。3.根据权利要...

【专利技术属性】
技术研发人员：张梦超，张媛，周满山，于岩，郝妮妮，曹越帅，周丹，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：