一种基于机器视觉的输煤皮带跑偏检测方法及设备技术

一种基于机器视觉的输煤皮带跑偏检测方法，所述检测方法包括以下步骤：采用本安型摄像头进行图像采集；对采集得到图像进行图像实例分割标注，并训练实例分割模型，得到实例分割结果；对实例分割结果进行结构化特征提取，所述结构化特征为图像中皮带和辊筒的特征信息，包括图像左右两部分中皮带的面积

【技术实现步骤摘要】
一种基于机器视觉的输煤皮带跑偏检测方法及设备


：
[0001]本专利技术涉及一种基于机器视觉的输煤皮带跑偏检测方法及设备
。

技术介绍

：
[0002]采煤是把有价值的煤炭从地下或地表分离并运离现场，无论露天开采还是地下开采，都需要首先进行地质勘探，查明含煤地层的分布范围
、
可采层数
、
层厚
、
倾角
、
储量，以及地质构造
、
自燃倾向
、
水
、
瓦斯等赋存状况和开采条件，然后合理规划矿区的建设规模
、
矿井数目
、
产量和建设顺序，根据矿区总体设计和矿井设计，逐一建设后移交生产
。
[0003]在煤炭运输过程中，主要是依靠输煤皮带来进行操作，长时间工作后会不可避免的出现输煤皮带跑偏的现象，皮带跑偏会影响皮带使用寿命
、
降低生产效率
、
带来经济损失
。
[0004]现有的匹配跑偏检测方法主要包括基于光电传感器的检测方法
、
基于激光测距的检测方法和基于图像处理的检测方法；往往是采用多个光电开关共同进行检测，整体检测成本较高，同时容易受到矿下粉尘的影响，导致检测准确度较低；而近年来，基于机器视觉的皮带跑偏检测方法由于其部署简单
、
非接触式测量得到了广泛的应用，选择图像中皮带的单一特征进行检测，虽然容易进行实施，但鲁棒性较差，易受到噪声干扰，如果皮带边缘特征不够明显时检测效果的可靠性会变差
。

技术实现思路

：
[0005]本专利技术实施例提供了一种基于机器视觉的输煤皮带跑偏检测方法及设备，结构和方法设计合理，采用多要素融合的特征表达方式，与皮带跑偏相关的多要素进行结构化特征融合表达，相较于现有技术中的单一评估检测方式能够有效降低噪声干扰以提升检测准确度，检测稳定可靠，具有较高的鲁棒性，解决了现有技术中存在的问题
。
[0006]本专利技术为解决上述技术问题所采用的技术方案是：
[0007]一种基于机器视觉的输煤皮带跑偏检测方法，所述检测方法包括以下步骤：
[0008]S1
，采用本安型摄像头进行图像采集，将本安型摄像头按照在皮带运行方向的正上方和向下方分别采集皮带运行图像，所述图像的视野包括皮带及两侧的辊筒，所述皮带运行图像包括皮带正常运行和皮带跑偏两个类别；
[0009]S2
，对采集得到图像进行图像实例分割标注，并训练实例分割模型，得到实例分割结果，所述实例分割模型为
YolactEdge
模型，可以在小型边缘设备上以实时速度运行，采用实例分割，将图像中的皮带和辊筒分割出来；
[0010]S3
，对实例分割结果进行结构化特征提取，所述结构化特征为图像中皮带和辊筒的特征信息，包括图像左右两部分中皮带的面积
、
皮带的左右边缘的中心点坐标
、
辊筒的数量和不同辊筒的像素面积；
[0011]S4
，采用
XGBoost
基于皮带正常运行和跑偏的特征向量建立图像分类模型；
[0012]S5
，对皮带运行图像
、
实例分割模型和图像分类模型进行在线检测识别，来准确判
断皮带是否出现跑偏现象，若识别为跑偏，则发出预警并保存该图像，否则继续进行检测
。
[0013]在皮带运行图像中分割出传输皮带和6个辊筒并用不同颜色标记表示出来
。
[0014]对实例分割结果进行结构化特征提取包括以下步骤：
[0015]S3.1
，将皮带运行图像均分为左右两部分子图像，分别在左右子图像中提取皮带的特征；
[0016]S3.2
，提取皮带在左侧子图像中的像素面积，记为
S
L
，提取皮带在左侧子图像中边缘的中心点坐标，记为
X
L
、Y
L
；提取皮带在右侧子图像中的像素面积，记为
S
R
，提取皮带在右侧子图像中边缘的中心点坐标，即为
X
R
、Y
R
；
[0017]S3.3
，设置
ROI
区域，使得
ROI
区域内包含皮带两侧等量的辊筒数量，检测图像中指定辊筒的数量及对应的像素面积，分割出的6个辊筒作为进行统计的目标，统计这6个辊筒出现的的数量
N
及对应的像素面积
S
i
，
i∈[1,6]；
[0018]S3.4
，将皮带运行图像表征为一个长度为
13
的特征向量，即
[S
L
,X
L
,Y
L
,S
R
,X
R
,Y
R
,N,S1,S2,S3,S4,S5,S6]。
[0019]所述检测方法包括线下训练环节和在线检测环节，所述线下训练环节和在线检测环节同步相配合进行
。
[0020]一种使用上述基于机器视觉的输煤皮带跑偏检测方法的检测设备，所述检测设备包括：图像采集组件
、
通信传输组件
、
数据处理组件和数据存储组件；
[0021]所述图像采集组件为煤矿井下的本安型摄像头，能够采集传输皮带运行过程中的高清图像；在本安型摄像头的表面采用防粉尘材料，避免矿井下粉尘的附着来影响图像的成像质量；
[0022]所述通信传输组件包括
5G
传输设备
、
工业
wifi
传输设备和
USB3.0
以太网传输设备；
[0023]所述数据处理组件为边缘处理设备，能够完成基于
YolactEdge
模型的图像实例分割和基于
XGBoost
的图像分类任务；
[0024]所述数据存储组件为
SD
卡或硬盘，用于存放识别皮带跑偏的图像
。
[0025]所述边缘处理设备为
AI
边缘计算服务器，具有一定计算力和内存，能够完成图像实例分割和图像识别分类
。
[0026]本专利技术采用上述结构，通过本安型摄像头进行图像采集，为输煤皮带的跑偏检测提供图像数据基础；通过对采集得到图像进行图像实例分割标注，并训练实例分割模型，得到实例分割结果；通过对实例分割结果进行结构化特征提取，结构化特征为图像中皮带和辊筒的特征信息；通过采用
XGBoost
基于皮带正常运行和跑偏的特征向量建立图像分类模型；通过对皮带运行图像
、
实例分割模型和图像分类模型进行在线检测识别，来准确判断皮带是否出现跑偏现象，具有稳定可靠
、
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于机器视觉的输煤皮带跑偏检测方法，其特征在于，所述检测方法包括以下步骤：
S1
，采用本安型摄像头进行图像采集，将本安型摄像头按照在皮带运行方向的正上方和向下方分别采集皮带运行图像，所述图像的视野包括皮带及两侧的辊筒，所述皮带运行图像包括皮带正常运行和皮带跑偏两个类别；
S2
，对采集得到图像进行图像实例分割标注，并训练实例分割模型，得到实例分割结果，所述实例分割模型为
YolactEdge
模型，可以在小型边缘设备上以实时速度运行，采用实例分割，将图像中的皮带和辊筒分割出来；
S3
，对实例分割结果进行结构化特征提取，所述结构化特征为图像中皮带和辊筒的特征信息，包括图像左右两部分中皮带的面积
、
皮带的左右边缘的中心点坐标
、
辊筒的数量和不同辊筒的像素面积；
S4
，采用
XGBoost
基于皮带正常运行和跑偏的特征向量建立图像分类模型；
S5
，对皮带运行图像
、
实例分割模型和图像分类模型进行在线检测识别，来准确判断皮带是否出现跑偏现象，若识别为跑偏，则发出预警并保存该图像，否则继续进行检测
。2.
根据权利要求1所述的一种基于机器视觉的输煤皮带跑偏检测方法，其特征在于：在皮带运行图像中分割出传输皮带和6个辊筒并用不同颜色标记表示出来
。3.
根据权利要求1所述的一种基于机器视觉的输煤皮带跑偏检测方法，其特征在于，对实例分割结果进行结构化特征提取包括以下步骤：
S3.1
，将皮带运行图像均分为左右两部分子图像，分别在左右子图像中提取皮带的特征；
S3.2
，提取皮带在左侧子图像中的像素面积，记为
S
L
，提取皮带在左侧子图像中边缘的中心点坐标，记为
X
L
、Y
L
；提取皮带在右侧子图像中的像素面积，记为
S
R
，提取皮带在右侧子图像中边缘的中心点坐标，即为
X
R
、Y
R
；

【专利技术属性】
技术研发人员：王卜堂，高桢，孙志鹏，王磊，赵金娥，田兆燕，张浩，吕岩，陈黎明，
申请(专利权)人：云鼎科技股份有限公司，
类型：发明
国别省市：