【技术实现步骤摘要】
本申请涉及图像处理，具体而言，涉及一种流水线作业检测方法、装置、设备及存储介质。
技术介绍
1、随着制造业的发展，工人流水线作业在电子设备工厂中应用广泛。由于工作量大、干扰因素多等原因，工人在作业过程中会存在漏操作或误操作的情况，导致产品出现质量问题。因此，为了保证产品质量，需要对流水线工人的作业过程进行规范管控。
2、目前，对于流水线工人的作业流程监测管理主要依赖于人工目视检查的方式，效率低下，且由于人的视觉疲劳或主观性等因素的影响，导致监测的可靠性和准确性不高。另外，一些基于视觉分析的作业流程检测方案中，由于受到图像背景中非生产活动的影响，导致监测过程容易出现误判的情况。
3、综上，亟需一种能够提高流水线作业检测的效率和准确性的方案。
技术实现思路
1、本申请实施例的目的在于提供一种流水线作业检测方法、装置、设备及存储介质，用以提高流水线作业检测的效率和准确性。
2、第一方面，本申请实施例提供了一种流水线作业检测方法，包括：
3、实时获取目标生产车间的监测视频数据，对所述监测视频数据逐帧拆分为监测图像；
4、利用预先训练好的目标检测模型对每一帧监测图像进行目标检测，并基于预设的目标过滤规则对检测得到的无效目标进行过滤；
5、对经过无效目标过滤后的监测图像确定对应于至少一待测人员对象的感兴趣图像区域，并基于各个感兴趣图像区域利用预先训练好的动作分类模型获取对应于各个待测人员对象的动作识别结果；
6
7、其中，所述目标检测模型是基于预先收集的监测图像样本集及其对应的目标标签数据进行训练得到的；所述动作分类模型是基于预先收集的感兴趣图像样本集及其对应的分类标签数据进行训练得到的。
8、在本申请实施例中，通过对采集的监测图像进行目标检测，在过滤无效目标之后基于感兴趣图像区域进行动作识别，有效避免了图像数据中非生产活动因素对识别结果的影响，从而有效提高流水线作业检测的效率和准确性。
9、在一些可能的实施例中，所述利用预先训练好的目标检测模型对每一帧监测图像进行目标检测，并基于预设的目标过滤规则对检测得到的无效目标进行过滤，包括：
10、利用预先训练好的目标检测模型对每一帧监测图像进行目标检测；其中，目标检测的类型包括人员目标、手部目标和产品工具目标；
11、基于预设的工作区域位置对检测到的人员目标进行无效目标过滤，并基于无效目标过滤之后剩余的有效人员目标位置对检测到的第二类别目标进行无效目标过滤；其中，所述第二类别目标包括手部目标和产品工具目标。
12、在本申请实施例中，通过首先对无效的人员目标进行过滤，再利用剩余的有效人员位置来过滤无效的其他目标类型，从而进一步提高了流水线作业检测的准确性。
13、在一些可能的实施例中，所述对经过无效目标过滤后的监测图像确定对应于至少一待测人员对象的感兴趣图像区域，包括：
14、确定经过无效目标过滤后的监测图像中的至少一待测人员对象，并获取每一待测人员对象相应的多个第二类别目标；其中，所述第二类别目标包括手部目标和产品工具目标；
15、基于每一待测人员对象相应的多个第二类别目标的最小外接矩形确定为对应于所述待测人员对象的感兴趣图像区域。
16、在本申请实施例中，通过基于无效目标过滤后的图像将手部及产品工具目标的最小外接矩形确定为感兴趣图像区域，进一步提高了流水线作业检测的效率。
17、在一些可能的实施例中，所述根据多帧监测图像的动作识别结果确定各个待测人员对象的当前作业动作，并基于预设的当前作业动作预期结果对所述当前作业动作进行异常检测，包括：
18、若判断连续的多帧监测图像中对于同一待测人员对象的动作识别结果相同，则将所述动作识别结果确定为所述待测人员对象的当前作业动作；
19、对所述当前作业动作与预设的当前作业动作预期结果进行一致性判断，得到所述当前作业动作是否异常的检测结果；
20、其中，所述预设的当前作业动作预期结果是基于所述待测人员对象的上一作业动作以及预设的作业工序信息进行确定得到的。
21、在本申请实施例中，通过根据连续多帧具有相同动作识别结果的图像确定待测人员的当前作业动作，并根据预期的作业动作结果判断当前作业动作是否异常，进一步提高了流水线作业检测的效率和准确性。
22、在一些可能的实施例中，所述流水线作业检测方法还包括：
23、若判断连续的多帧监测图像中对于同一待测人员对象的动作识别结果相同，则将所述动作识别结果确定为所述待测人员对象的当前作业动作，并基于所述连续的多帧监测图像确定所述当前作业动作的持续时间信息；
24、基于所述持续时间信息以及预设的预期持续时间对所述当前作业动作进行异常检测。
25、在本申请实施例中，通过判断当前作业动作的持续时间是否符合预期的持续时间以对当前作业动作进行异常检测，从而进一步提高了流水线作业检测的准确性。
26、在一些可能的实施例中，在所述根据多帧监测图像的动作识别结果确定各个待测人员对象的当前作业动作，并基于预设的当前作业动作预期结果对所述当前作业动作进行异常检测之后，还包括：
27、基于预设的异常作业动作数据库对所述当前作业动作进行异常检测，若判断所述当前作业动作与所述异常作业动作数据库中的异常作业动作相匹配，则确定所述当前作业动作的检测结果为异常。
28、在本申请实施例中，通过判断当前作业动作是否属于预设的异常作业动作类型以对当前作业动作进行异常检测，从而进一步提高了流水线作业检测的准确性。
29、在一些可能的实施例中，所述监测图像样本集是基于预设的第一增强处理方式对预先收集的原始监测图像样本集进行数据增强得到的；
30、所述感兴趣图像样本集是基于预设的第二增强处理方式对预先收集的原始感兴趣图像样本集进行数据增强得到的；
31、其中，所述第一增强处理方式包括马赛克增强处理、随机仿射变换、图像模糊处理和hsv颜色空间增强处理中的至少一种；所述第二增强处理方式包括高斯噪声添加、亮度调整、饱和度调整、色调调整和图像翻转中的至少一种。
32、在本申请实施例中，通过基于不同的数据增强方式分别对目标检测模型和动作分类模型的初始训练样本进行数据增强处理，从而提高了模型的泛化能力和鲁棒性，进一步提高了流水线作业检测的准确性。
33、第二方面，本申请实施例提供了一种流水线作业检测装置，包括：
34、图像获取模块，用于实时获取目标生产车间的监测视频数据，对所述监测视频数据逐帧拆分为监测图像；
35、目标检测模块，用于利用预先训练好的目标检测模型对每一帧监测图像进行目标检测，并基于预设的目本文档来自技高网...
【技术保护点】
1.一种流水线作业检测方法，其特征在于，包括：
2.根据权利要求1所述的流水线作业检测方法，其特征在于，所述利用预先训练好的目标检测模型对每一帧监测图像进行目标检测，并基于预设的目标过滤规则对检测得到的无效目标进行过滤，包括：
3.根据权利要求1所述的流水线作业检测方法，其特征在于，所述对经过无效目标过滤后的监测图像确定对应于至少一待测人员对象的感兴趣图像区域，包括：
4.根据权利要求1所述的流水线作业检测方法，其特征在于，所述根据多帧监测图像的动作识别结果确定各个待测人员对象的当前作业动作，并基于预设的当前作业动作预期结果对所述当前作业动作进行异常检测，包括：
5.根据权利要求4所述的流水线作业检测方法，其特征在于，还包括：
6.根据权利要求1所述的流水线作业检测方法，其特征在于，在所述根据多帧监测图像的动作识别结果确定各个待测人员对象的当前作业动作，并基于预设的当前作业动作预期结果对所述当前作业动作进行异常检测之后，还包括：
7.根据权利要求1至6任一项所述的流水线作业检测方法，其特征在于，所述监测图像样
8.一种流水线作业检测装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-7任一所述的流水线作业检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-7任一所述的流水线作业检测方法。
...【技术特征摘要】
1.一种流水线作业检测方法，其特征在于，包括：
2.根据权利要求1所述的流水线作业检测方法，其特征在于，所述利用预先训练好的目标检测模型对每一帧监测图像进行目标检测，并基于预设的目标过滤规则对检测得到的无效目标进行过滤，包括：
3.根据权利要求1所述的流水线作业检测方法，其特征在于，所述对经过无效目标过滤后的监测图像确定对应于至少一待测人员对象的感兴趣图像区域，包括：
4.根据权利要求1所述的流水线作业检测方法，其特征在于，所述根据多帧监测图像的动作识别结果确定各个待测人员对象的当前作业动作，并基于预设的当前作业动作预期结果对所述当前作业动作进行异常检测，包括：
5.根据权利要求4所述的流水线作业检测方法，其特征在于，还包括：
6.根据权利要求1所述的流水线作业检测方法，其特征在于，在所...
【专利技术属性】
技术研发人员：张博超，
申请(专利权)人：睿云奇智青岛科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。