【技术实现步骤摘要】
本专利技术涉及图像处理，特别涉及一种基于计算机视觉的皮带机烟丝输送状态监控方法及系统。
技术介绍
1、在卷烟烟丝生产过程中，烟丝经历了一系列复杂的加工和处理过程。皮带机作为一种重要的输送设备，广泛应用于烟丝的生产线上，负责将烟丝从一个加工工序输送到另一个工序，起到连接各个加工环节的作用。在烟丝生产过程中，皮带机堵烟现象是一个严重的问题。当皮带机发生堵烟时，会使烟丝无法顺利输送导致堆积，进而影响整个生产线的正常运转。这不仅会降低生产效率，增加生产成本，还可能造成设备的损坏和安全隐患。如果堵烟现象得不到及时发现和处理，甚至会导致整条生产线的停产，造成巨大的经济损失。
2、为了及时发现堵烟现象，确保烟丝生产线的高效运行，迫切地需要一种皮带机烟丝输送状态监控方法及系统，对皮带机烟丝的输送状态进行实时监控，及时发现和预防堵烟现象。但是，现在对于皮带机烟丝的监控均由人工完成，费时费力且容易出错。还没有一种方法或系统可以对皮带机烟丝的输送状态进行实时监控，及时发现和预防堵烟现象。
3、鉴于此，需要一种基于计算机视觉的皮带机烟丝输送状态监控方法及系统。
技术实现思路
1、针对现有技术中对于皮带机烟丝的监控均由人工完成，费时费力且容易出错的问题，本专利技术提供了一种基于计算机视觉的皮带机烟丝输送状态监控方法及系统，能够及时发现堵烟现象，确保烟丝生产线的高效运行。具体技术方案如下：
2、一种基于计算机视觉的皮带机烟丝输送状态监控方法，包括：
3、每间隔一
4、预设置参数信息，包括感兴趣区域、hsv颜色空间阈值最小值、hsv颜色空间阈值最大值、烟丝像素占比阈值、检测角点数、角点最低质量水平、检测角点之间最小欧氏距离、块大小、金字塔层搜索窗大小、金字塔层数、最大迭代次数、精度阈值、烟丝流速的最小阈值、摄像头帧率。
5、进一步地，对摄像头捕获的rgb图像进行hsv颜色空间转换。通过公式(1)对rgb颜色空间图像irgb进行归一化得到归一化的rgb颜色空间图像irgb′＝(r',g',b')：
6、
7、通过公式(2)计算最大值cmax、最小值cmin、差值δ：
8、
9、通过公式(3)计算色调(hue)、饱和度(saturation)、明度(value)，得到hsv颜色空间图像ihsv＝(h,s,v)：
10、
11、进一步地，对hsv颜色空间图像ihsv进行感兴趣区域提取，根据图像中皮带机所在区域的四个角点的坐标，采用掩模提取的方式，创建一个黑色掩模并对角点包围的范围填充为白色，对原图像进行按位与运算，得到皮带机区域图像iroi。
12、进一步地，设原图坐标为x,y，目标坐标为x',y'，根据公式(4)，给定透视变换前后四点坐标可以解出透视矩阵m，从而通过透视矩阵完成透视变换，得到实际目标坐标u,v。对皮带机区域图像iroi进行透视变换，将原始图像从一个平面变换到另一个图像平面，得到皮带机区域图像的俯视图iwarp。
13、
14、进一步地，根据参数hsv颜色空间阈值最小值hmin,smin,vmin、hsv颜色空间阈值最大值hmax,smax,vmax。通过公式(5)计算皮带机区域俯视图的二值化图像pbin(x,y)，像素值为255的像素点表示烟丝像素点，0像素值的点表示背景像素点。
15、
16、进一步地，根据公式(6)计算烟丝像素的占比，其中，为像素值为255的像素点个数，为像素值为0的像素点个数。
17、
18、设烟丝像素占比阈值为pt，当ptobacco＞pt时，说明皮带机上存在烟丝，反之说明皮带机上不存在烟丝。
19、进一步地，通过最小特征值法(shi-tomasi角点检测)来检测图像中的角点，对相邻的两帧图像使用具有金字塔的迭代lucas-kanade方法计算特征角点的光流。设图像t时刻在角点(x,y)的像素值为i(x,y,t)，lucas-kanade方法基于光流约束方程，即公式(7)：
20、i(x,y,t)＝i(x+u,y+v,t+1) (7)
21、假设在小区域内光流为常量，则有公式(8)，其中ix,iy,it表示图像在x,y,t方向上的偏导数，u,v是在x,y方向上的光流分量。
22、ixu+iyv+it＝0 (8)
23、通过最小二乘法可得；
24、
25、根据公式(10)求解光流向量u,v。
26、d＝(ata)-1atb (10)
27、进一步地，图像金字塔是将图像按一定比例逐层缩小，形成一系列图像金字塔层，每层的分辨率逐渐降低。首先，对两幅图像分别构建高斯金字塔。随后从金字塔顶层(最低分辨率)开始，在最低分辨率层上应用lucas-kanade方法计算初始光流，逐层向下(更高分辨率层)上采样光流到当前层，使用当前层图像和上采样的光流作为初始估计，应用lucas-kanade方法进行优化更新光流。最后输出最高分辨率层上的光流作为最终结果。
28、进一步地，根据公式(11)，通过所有角点的光流ui,vi计算烟丝流速vtobacco，单位为像素每帧。设烟丝流速的最小阈值为vt，当vtobacco＜vt时，说明皮带机上的烟丝输送停止，发生堵烟情况，反之说明皮带机上的烟丝输送正常，未发生堵烟情况。
29、
30、一种基于计算机视觉的皮带机烟丝输送状态监控系统，应用如上所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，包括：
31、摄像头，摄像头有若干个，且每一个摄像头均与流媒体服务器连接，用于向流媒体服务器上传拍摄到的图像；
32、流媒体服务器，与摄像头及图像处理服务端连接，用于传输音频、视频等多媒体内容的服务器。具体地，本实施例中的网络协议采用实时流协议推送实时音视频流至图像处理服务端；
33、图像处理服务端，用于图像处理，输出皮带机烟丝输送状态。具体地，预设置参数写入本地yaml文件，图像处理服务端与流媒体服务器以及websocket服务端连接，图像处理服务器接收流媒体服务器传输过来的图像数据之后进行烟丝输送状态识别，并且将识别的结果传输至websocket服务端；
34、websocket服务端，用于将图像处理服务端发送的json数据采用websocket协议进行广播，分发到各个客户端；
35、客户端，客户端有若干个，且每一个客户端与websocket服务端连接，用于接收并显示websocket服务端处传输过来的数据。
36、一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在程序运行时控制所述计算机可读存储介质所在设备执行如上所述的基于计算机视觉的皮带机烟丝输送状态监控方法。...
【技术保护点】
1.一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，还包括：在判断存在烟丝的基础上，使用具有金字塔的迭代Lucas-Kanade方法，计算皮带机区域上烟丝的流速，根据流速大小判断烟丝是否正常输送，输出皮带机烟丝输送状态。
3.根据权利要求1所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，所述预设置参数信息包括：
4.根据权利要求1所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，摄像头捕获的RGB颜色空间图像为皮带机区域的图像。
5.根据权利要求4所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，所述图像预处理过程包括：
6.根据权利要求5所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，判断皮带机区域是否存在烟丝的过程具体如下：
7.根据权利要求2所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，使用具有金字塔的迭代
8.一种基于计算机视觉的皮带机烟丝输送状态监控系统，应用如权利要求1至7任一项所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的基于计算机视觉的皮带机烟丝输送状态监控方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，程序运行时执行权利要求1至7中任意一项所述的基于计算机视觉的皮带机烟丝输送状态监控方法。
...【技术特征摘要】
1.一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，还包括：在判断存在烟丝的基础上，使用具有金字塔的迭代lucas-kanade方法，计算皮带机区域上烟丝的流速，根据流速大小判断烟丝是否正常输送，输出皮带机烟丝输送状态。
3.根据权利要求1所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，所述预设置参数信息包括：
4.根据权利要求1所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，摄像头捕获的rgb颜色空间图像为皮带机区域的图像。
5.根据权利要求4所述的一种基于计算机视觉的皮带机烟丝输送状态监控方法，其特征在于，所述图像预处理过程包括：
6.根据权利要求5所述的一种基于计算机视觉的皮带机烟丝...
【专利技术属性】
技术研发人员：李云豪，邓维健，唐湛恒，谢靖，李秋垚，唐俊，苏振东，谢赞吾，周肈峰，甘华，王崟懿，覃洪汉，
申请(专利权)人：广西中烟工业有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。