掘进巷道关键工序检测方法及系统技术方案

本发明专利技术提供一种掘进巷道关键工序检测方法及系统，涉及矿井检测技术领域。包括：获取掘进巷道内与各关键工序对应的目标图像，所述关键工序包括临时支护工序、永久支护工序、行走工序和截割工序；利用训练好的目标检测模型识别各所述目标图像中的至少一个目标对象，并提取各所述目标对象所在的目标框的中心坐标；基于各所述目标框的中心坐标确定各所述关键工序的实时作业信息，所述实时作业信息至少包括作业状态标识和作业时间信息。本发明专利技术通过对巷道掘进工序进行机器视觉识别，使得巷道掘进场景更加透明直观，便于对巷道掘进工序进行及时规范，不仅可以提高巷道掘进的安全性，还可以提高巷道掘进效率。提高巷道掘进效率。提高巷道掘进效率。

【技术实现步骤摘要】
掘进巷道关键工序检测方法及系统


[0001]本专利技术涉及矿井检测
，具体而言，涉及一种掘进巷道关键工序检测方法及系统。

技术介绍

[0002]矿井下巷道施工是一种隐蔽的高风险地下施工工程，目前，掘进智能化建设滞后、采掘衔接紧张等问题尤其突出，巷道掘进的机械化、自动化、信息化和智能化是解决煤矿采掘失衡的必由之路。
[0003]由于煤矿巷道掘进场景环境复杂、设备庞大集中、危险系数较大，因此需要精准地掌握掘进巷道关键工序的进程。但是，当前巷道掘进工作面的智能化视觉建设主要集中于视频监控和设备数字化、网络化改造，无法精准地识别巷道的掘进工序，从而无法保证巷道掘进的安全进行。而且，巷道掘进工序的环节较多、设备间操作独立无序，井下作业时只能依赖从业经验，在一定程度上会影响巷道的掘进效率。

技术实现思路

[0004]本专利技术的目的在于提供一种掘进巷道关键工序检测方法及系统，可以解决相关技术中由于无法精准地识别巷道的掘进工序而导致巷道掘进安全性较低和掘进效率较低的问题。
[0005]本专利技术的第一方面，提供一种掘进巷道关键工序检测方法，包括：获取掘进巷道内与各关键工序对应的目标图像，所述关键工序包括临时支护工序、永久支护工序、行走工序和截割工序；利用训练好的目标检测模型识别各所述目标图像中的至少一个目标对象，并提取各所述目标对象所在的目标框的中心坐标；基于各所述目标框的中心坐标确定各所述关键工序的实时作业信息，所述实时作业信息至少包括作业状态标识和作业时间信息。
[0006]可选地，所述目标图像包括与所述临时支护工序对应的第一图像，所述目标对象包括支撑架和锚网，所述目标框包括第一检测框和第二检测框；所述利用训练好的目标检测模型识别各所述目标图像中的至少一个目标对象，并提取各所述目标对象所在的目标框的中心坐标，包括：利用训练好的所述目标检测模型识别所述第一图像中的支撑架和锚网，并提取所述支撑架所在的第一检测框的中心坐标以及所述锚网所在的第二检测框的中心坐标。
[0007]可选地，所述基于各所述目标框的中心坐标确定各所述关键工序的实时作业信息，包括：利用训练好的所述目标检测模型识别所述临时支护工序在不同作业状态下的第一图像中的支撑架，并分别提取所述支撑架的中心坐标，各所述作业状态包括已临时支护状态和未临时支护状态；
根据处于已临时支护状态下的所述支撑架的中心坐标生成所述支撑架的第一活动范围框，根据处于未临时支护状态下的所述支撑架的中心坐标生成所述支撑架的第二活动范围框；根据所述支撑架的所述第一活动范围框、所述第二活动范围框、所述支撑架所在的第一检测框的中心坐标以及所述锚网所在的第二检测框的中心坐标确定所述临时支护工序的实时作业信息。
[0008]可选地，所述根据所述支撑架的所述第一活动范围框、所述第二活动范围框、所述支撑架所在的第一检测框的中心坐标以及所述锚网所在的第二检测框的中心坐标确定所述临时支护工序的实时作业信息，包括：若所述支撑架所在的第一检测框的中心坐标位于所述第一活动范围框内，则确定当前处于所述已临时支护状态，并记录所述已临时支护状态的作业状态标识和作业时间信息；若所述支撑架所在的第一检测框的中心坐标位于所述第二活动范围框内，则确定当前处于所述未临时支护状态，并记录所述未临时支护状态的作业状态标识和作业时间信息；若所述支撑架所在的第一检测框的中心坐标未在所述第一活动范围框和所述第二活动范围框内，则检测所述支撑架所在的第一检测框的中心坐标和所述锚网所在的第二检测框的中心坐标之间的距离；若所述距离随时间变化保持不变，则确定当前处于支撑架上行状态，并记录所述支撑架上行状态的作业状态标识和作业时间信息；若所述距离随时间变化不断增加，则确定当前处于支撑架下行状态，并记录所述支撑架上行状态的作业状态标识和作业时间信息。
[0009]可选地，所述目标图像包括与所述永久支护工序对应的第二图像，所述目标对象包括掘进人员和钻机，所述目标框包括第三检测框和第四检测框；所述基于各所述目标框的中心坐标确定各所述关键工序的实时作业信息，包括：提取所述掘进人员所在的第三检测框的中心坐标以及所述钻机所在的第四检测框的中心坐标之后，若所述掘进人员所在的第三检测框的中心坐标和所述钻机所在的第四检测框的中心坐标同时位于所述第二图像中，则确定当前处于已永久支护状态，并记录所述已永久支护状态的作业状态标识和作业时间信息；若所述掘进人员所在的第三检测框的中心坐标和所述钻机所在的第四检测框的中心坐标未同时位于所述第二图像中，则确定当前处于未永久支护状态，并记录所述未永久支护状态的作业状态标识和作业时间信息。
[0010]可选地，所述目标图像包括与所述行走工序对应的第三图像，所述目标对象包括位于巷道侧壁的至少一个锚杆，所述目标框包括各所述锚杆所在的第五检测框；所述基于各所述目标框的中心坐标确定各所述关键工序的实时作业信息，包括：提取各所述锚杆所在的第五检测框的中心坐标之后，利用目标跟踪算法确定目标锚杆所在的第五检测框的中心坐标是否发生变化；若所述目标锚杆所在的第五检测框的中心坐标随时间变化保持不变，则确定当前处于未行走状态，并记录所述未行走状态的作业状态标识和作业时间信息；
若所述目标锚杆所在的第五检测框的中心坐标随时间变化发生改变，则确定当前处于行走状态，并记录所述行走状态的作业状态标识和作业时间信息。
[0011]可选地，所述目标图像包括与所述截割工序对应的第四图像，所述目标对象包括位于掘进机的悬臂和截割头，所述目标框包括所述悬臂和截割头所在的第六检测框；所述基于各所述目标框的中心坐标确定各所述关键工序的实时作业信息，包括：利用训练好的所述目标检测模型识别处于未截割状态下的所述第四图像中的悬臂和截割头，并分别提取处于未截割状态下所述悬臂和截割头的中心坐标；根据处于未截割状态下所述悬臂和截割头的中心坐标生成所述悬臂和截割头的第三活动范围框；提取所述悬臂和截割头所在的第六检测框的中心坐标之后，若所述悬臂和截割头所在的第六检测框的中心坐标位于所述第三活动范围框内，则确定当前处于未截割状态，并记录所述未截割状态的作业状态标识和作业时间信息；若所述悬臂和截割头所在的第六检测框的中心坐标未在所述第三活动范围框内，则确定当前处于截割状态，并记录所述截割状态的作业状态标识和作业时间信息。
[0012]可选地，所述获取掘进巷道内与各关键工序对应的目标图像，包括：获取掘进巷道内与各所述关键工序对应的原始图像；利用图像滤波算法和图像去雾算法对各所述原始图像分别进行去噪处理和去雾处理，得到与各所述原始图像对应的目标图像。
[0013]可选地，所述目标检测模型包括YOLOv5模型。
[0014]本专利技术的第二方面，提供一种掘进巷道关键工序检测系统，包括：目标图像获取模块，用于获取掘进巷道内与各关键工序对应的目标图像，所述关键工序包括临时支护工序、永久支护工序、行走工序和截割工序；特征信息提取模块，用于利用训练好的目标检测模型识别各所述目标图像中的至少一个目标对象，并提取各所述目标对象所在的目标框的中心坐标；作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.掘进巷道关键工序检测方法，其特征在于，包括：获取掘进巷道内与各关键工序对应的目标图像，所述关键工序包括临时支护工序、永久支护工序、行走工序和截割工序；利用训练好的目标检测模型识别各所述目标图像中的至少一个目标对象，并提取各所述目标对象所在的目标框的中心坐标；基于各所述目标框的中心坐标确定各所述关键工序的实时作业信息，所述实时作业信息至少包括作业状态标识和作业时间信息。2.根据权利要求1所述的掘进巷道关键工序检测方法，其特征在于，所述目标图像包括与所述临时支护工序对应的第一图像，所述目标对象包括支撑架和锚网，所述目标框包括第一检测框和第二检测框；所述利用训练好的目标检测模型识别各所述目标图像中的至少一个目标对象，并提取各所述目标对象所在的目标框的中心坐标，包括：利用训练好的所述目标检测模型识别所述第一图像中的支撑架和锚网，并提取所述支撑架所在的第一检测框的中心坐标以及所述锚网所在的第二检测框的中心坐标。3.根据权利要求2所述的掘进巷道关键工序检测方法，其特征在于，所述基于各所述目标框的中心坐标确定各所述关键工序的实时作业信息，包括：利用训练好的所述目标检测模型识别所述临时支护工序在不同作业状态下的第一图像中的支撑架，并分别提取所述支撑架的中心坐标，各所述作业状态包括已临时支护状态和未临时支护状态；根据处于已临时支护状态下的所述支撑架的中心坐标生成所述支撑架的第一活动范围框，根据处于未临时支护状态下的所述支撑架的中心坐标生成所述支撑架的第二活动范围框；根据所述支撑架的所述第一活动范围框、所述第二活动范围框、所述支撑架所在的第一检测框的中心坐标以及所述锚网所在的第二检测框的中心坐标确定所述临时支护工序的实时作业信息。4.根据权利要求3所述的掘进巷道关键工序检测方法，其特征在于，所述根据所述支撑架的所述第一活动范围框、所述第二活动范围框、所述支撑架所在的第一检测框的中心坐标以及所述锚网所在的第二检测框的中心坐标确定所述临时支护工序的实时作业信息，包括：若所述支撑架所在的第一检测框的中心坐标位于所述第一活动范围框内，则确定当前处于所述已临时支护状态，并记录所述已临时支护状态的作业状态标识和作业时间信息；若所述支撑架所在的第一检测框的中心坐标位于所述第二活动范围框内，则确定当前处于所述未临时支护状态，并记录所述未临时支护状态的作业状态标识和作业时间信息；若所述支撑架所在的第一检测框的中心坐标未在所述第一活动范围框和所述第二活动范围框内，则检测所述支撑架所在的第一检测框的中心坐标和所述锚网所在的第二检测框的中心坐标之间的距离；若所述距离随时间变化保持不变，则确定当前处于支撑架上行状态，并记录所述支撑架上行状态的作业状态标识和作业时间信息；若所述距离随时间变化不断增加，则确定当前处于支撑架下行状态，并记录所述支撑
架上行状态的作业状态标识和作业时间信息。5.根据权利要求1所述的掘进巷道关键工序检测方法，其特征在于，所述目标图像包括与所述永久支护工序对应的第二图像，所述目标对象包括掘进人员和钻机，所述目标框包括第三检测框和第四检测框；所述基于各所述目标框的中心坐标确定各所述关键工序的实时作业信息，包括：提取所述掘进人员所在的第三检测框的中心坐标以及所述钻机所在的第四检测框的中心坐标之后，若所述掘进人员所在的...

【专利技术属性】
技术研发人员：陶磊，张之好，王宏伟，刘峰，李永安，耿毅德，王浩然，闫志蕊，梁威，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：