采煤机的工作状态检测方法、装置和系统制造方法及图纸

本公开实施例提供一种采煤机的工作状态检测方法、装置和系统，基于采煤机的位置信息对采煤机的工作状态进行粗检测，再通过比较采煤机的视频帧与采煤机正常工作时的参考视频帧对采煤机的工作状态进行进一步检测，从而能够较为准确地检测出采煤机的工作状态，提高了检测准确度。检测准确度。检测准确度。

【技术实现步骤摘要】
采煤机的工作状态检测方法、装置和系统


[0001]本公开涉及计算机视觉
，尤其涉及采煤机的工作状态检测方法、装置和系统。

技术介绍

[0002]采煤机是综采成套装备的主要设备之一，是一个集机械、电气和液压为一体的大型复杂系统，因为煤矿矿井下工作环境恶劣，如果采煤机出现故障将会导致整个采煤工作的中断，造成巨大的经济损失。因此，有必要对采煤机的工作状态进行检测。相关技术中一般通过摄像头拍摄采煤机的视频，并基于视频检测采煤机的工作状态。然而，由于井下环境影响，摄像头往往会被煤灰所覆盖，导致检测准确度较低。

技术实现思路

[0003]第一方面，本公开实施例提供一种采煤机的工作状态检测方法，所述采煤机周围安装有摄像头，用于采集所述采煤机所在区域的视频；所述方法包括：基于所述视频中的第一待处理视频帧获取所述采煤机的位置信息；基于所述采煤机的位置信息对所述采煤机的工作状态进行检测，所述工作状态包括正常状态或异常状态；在检测到所述工作状态为异常状态的情况下，对所述第一待处理视频帧与正常工作状态下所述采煤机的参考视频帧进行比较，根据比较结果确定所述采煤机的工作状态。
[0004]在一些实施例中，所述基于所述视频中的第一待处理视频帧获取所述采煤机的位置信息，包括：获取至少两帧第一待处理视频帧；从所述至少两帧第一待处理视频帧中的每帧第一待处理视频帧中获取所述采煤机的位置信息；所述基于所述采煤机的位置信息对所述采煤机的工作状态进行检测，包括：基于从各第一待处理视频帧中获取的位置信息，确定所述采煤机在同一位置的停留时长；在所述停留时长大于预设时长阈值的情况下，确定检测到所述工作状态为异常状态。
[0005]在一些实施例中，所述在所述停留时长大于预设时长阈值的情况下，确定检测到所述工作状态为异常状态，包括：在所述停留时长大于预设时长阈值的情况下，获取所述视频中的第二待处理视频帧，所述第二待处理视频帧在所述视频中位于所述第一待处理视频帧之后；在从所述第二待处理视频帧中检测到矿井中的工作人员的情况下，确定检测到所述工作状态为异常状态。
[0006]在一些实施例中，所述根据比较结果确定所述采煤机的工作状态，包括：在所述第一待处理视频帧中的采煤机与所述参考视频帧中的采煤机之间的相似度小于预设的相似度阈值的情况下，确定所述采煤机的工作状态为异常状态；在所述相似度大于或等于所述相似度阈值的情况下，确定所述采煤机的工作状态为正常状态。
[0007]在一些实施例中，所述基于所述视频中的第一待处理视频帧获取所述采煤机的位置信息，包括：基于所述采煤机在所述第一待处理视频帧中的像素位置对采煤机的位置进行预测，得到第一预测位置信息；基于所述第一待处理视频帧中各个护帮板的开启状态对
采煤机的位置进行预测，得到第二预测位置信息；基于所述第一待处理视频帧中各个推流移架的占用状态对采煤机的位置进行预测，得到第三预测位置信息；基于所述第一预测位置信息、第二预测位置信息和第三预测位置信息确定所述采煤机的位置信息。
[0008]在一些实施例中，所述方法还包括：基于所述第一待处理视频帧对所述采煤机的姿态信息进行检测；基于所述采煤机的位置信息和姿态信息对显示设备上关联于所述采煤机的图标进行驱动。
[0009]在一些实施例中，所述基于所述采煤机的位置信息和姿态信息对显示设备上关联于所述采煤机的图标进行驱动，包括：基于所述采煤机的位置信息将所述图标显示在综采工作面的地图上；基于所述采煤机的姿态信息对所述图标的姿态进行驱动。
[0010]在一些实施例中，所述基于所述第一待处理视频帧获取所述采煤机的姿态信息，包括：基于所述第一待处理视频帧对所述采煤机的第一滚筒的高度和第二滚筒的高度进行检测；所述第一滚筒设置在所述采煤机的第一方向，所述第二滚筒设置在所述采煤机的第二方向，所述第一方向与所述第二方向相对设置；基于所述第一滚筒的高度与所述第二滚筒的高度确定所述采煤机的姿态信息。
[0011]在一些实施例中，所述方法还包括：基于所述采煤机的姿态确定所述采煤机的移动方向，所述移动方向为高度较高的滚筒所在的方向。
[0012]在一些实施例中，所述方法还包括：将所述移动方向上的区域确定为危险区域。
[0013]在一些实施例中，所述基于所述视频中的第一待处理视频帧获取所述采煤机的位置信息的步骤由第一神经网络执行，所述对所述第一待处理视频帧与正常工作状态下所述采煤机的视频帧进行比较的步骤由第二神经网络执行；所述第一神经网络基于第一样本视频帧训练得到，所述第一样本视频帧标注有采煤机的位置信息；所述第二神经网络基于第二样本视频帧和第三样本视频帧训练得到，所述第二样本视频帧中包括正常状态下的采煤机，所述第三样本视频帧中包括异常状态下的采煤机。
[0014]第二方面，本公开实施例提供一种采煤机的工作状态检测装置，所述采煤机周围安装有摄像头，所述摄像头用于采集所述采煤机所在区域的视频；所述装置包括：获取模块，用于基于所述视频中的第一待处理视频帧对所述采煤机的位置信息进行检测；检测模块，用于基于所述采煤机的位置信息对所述采煤机的工作状态进行检测，所述工作状态包括正常状态或异常状态；确定模块，用于在检测到所述工作状态为异常状态的情况下，对所述第一待处理视频帧与正常工作状态下所述采煤机的参考视频帧进行比较，根据比较结果确定所述采煤机的工作状态。
[0015]第三方面，本公开实施例提供一种采煤机的工作状态检测系统，所述系统包括：摄像头，安装在所述采煤机周围，用于采集所述采煤机所在区域的视频；以及处理器，用于基于所述视频中的第一待处理视频帧获取所述采煤机的位置信息；基于所述采煤机的位置信息对所述采煤机的工作状态进行检测，所述工作状态包括正常状态或异常状态；在检测到所述工作状态为异常状态的情况下，对所述第一待处理视频帧与正常工作状态下所述采煤机的参考视频帧进行比较；根据比较结果确定所述采煤机的工作状态。
[0016]第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
[0017]第五方面，本公开实施例提供一种计算机设备，包括存储器、处理器及存储在存储
器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
[0018]本公开实施例先基于采煤机的位置信息对采煤机的工作状态进行粗检测，再通过比较采煤机的视频帧与采煤机正常工作时的参考视频帧对采煤机的工作状态进行进一步检测，从而能够较为准确地检测出采煤机的工作状态，提高了检测准确度。
[0019]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
[0020]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0021]图1是本公开实施例的采煤机的工作状态检测方法的流程图。
[0022]图2是本公开实施例的采煤机位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采煤机的工作状态检测方法，其特征在于，所述采煤机周围安装有摄像头，所述摄像头用于采集所述采煤机所在区域的视频；所述方法包括：基于所述视频中的第一待处理视频帧获取所述采煤机的位置信息；基于所述采煤机的位置信息对所述采煤机的工作状态进行检测，所述工作状态包括正常状态或异常状态；在检测到所述工作状态为异常状态的情况下，对所述第一待处理视频帧与正常工作状态下所述采煤机的参考视频帧进行比较，根据比较结果确定所述采煤机的工作状态。2.根据权利要求1所述的方法，其特征在于，所述基于所述视频中的第一待处理视频帧获取所述采煤机的位置信息，包括：获取至少两帧第一待处理视频帧；从所述至少两帧第一待处理视频帧中的每帧第一待处理视频帧中获取所述采煤机的位置信息；所述基于所述采煤机的位置信息对所述采煤机的工作状态进行检测，包括：基于从各第一待处理视频帧中获取的位置信息，确定所述采煤机在同一位置的停留时长；在所述停留时长大于预设时长阈值的情况下，确定检测到所述工作状态为异常状态。3.根据权利要求2所述的方法，其特征在于，所述在所述停留时长大于预设时长阈值的情况下，确定检测到所述工作状态为异常状态，包括：在所述停留时长大于预设时长阈值的情况下，获取所述视频中的第二待处理视频帧，所述第二待处理视频帧在所述视频中位于所述第一待处理视频帧之后；在从所述第二待处理视频帧中检测到矿井中的工作人员的情况下，确定检测到所述工作状态为异常状态。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据比较结果确定所述采煤机的工作状态，包括：在所述第一待处理视频帧中的采煤机与所述参考视频帧中的采煤机之间的相似度小于预设的相似度阈值的情况下，确定所述采煤机的工作状态为异常状态；在所述相似度大于或等于所述相似度阈值的情况下，确定所述采煤机的工作状态为正常状态。5.根据权利要求1至4任意一项所述的方法，其特征在于，所述基于所述视频中的第一待处理视频帧获取所述采煤机的位置信息，包括：基于所述采煤机在所述第一待处理视频帧中的像素位置对采煤机的位置进行预测，得到第一预测位置信息；基于所述第一待处理视频帧中各个护帮板的开启状态对采煤机的位置进行预测，得到第二预测位置信息；基于所述第一待处理视频帧中各个推流移架的占用状态对采煤机的位置进行预测，得到第三预测位置信息；基于所述第一预测位置信息、第二预测位置信息和第三预测位置信息确定所述采煤机的位置信息。6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：
基于所述第一待处理视频帧对所述采煤机的姿态信息进行检测；基于所述采煤机的位置信息和姿态信息对显示设备上关联于所述采煤机的图标进行驱动。7.根据权利要求6所述的方法，其特征在于，所述基于所述采煤机的位置信息和姿态信息对显示设备上关联于所述采煤机的图标进行驱动，包括：基于所述采煤机的位置...

【专利技术属性】
技术研发人员：李艳民，李帆，闵旺华，成功，王治方，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：