【技术实现步骤摘要】
本专利技术涉及生产线监控和物料管理，特别是一种物料拿取规范检测系统、方法及存储介质。
技术介绍
1、随着工业自动化和智能制造的快速发展，生产线的产品质量和生产效率成为企业重点关注的焦点。在产线的生产过程中，产线人员的规范操作是保障产品质量和生产顺利进行的关键因素。目前，生产线的产品质量问题大都源于生产过程中产线人员对于某些物料漏拿、错拿、多拿等。因此针对生产过程中物料的使用规范，物料监控系统的使用应运而生。
2、现有的物料拿取规范检测系统在一定程度上提升了产品的生产质量合格率。但现有的物料拿取规范检测系统通常仅依赖于物料检测的结果，判别信息少，容易出现错判和漏判的情况。
3、即，现有的物料拿取规范检测系统存在判别精度较低的问题。
技术实现思路
1、本专利技术的主要目的在于提供了一种物料拿取规范检测系统、方法及存储介质，旨在解决现有的物料拿取规范检测系统判别精度较低的技术问题。
2、为实现上述目的，本专利技术提供了一种物料拿取规范检测系统，其包括：
3、图像采集模块，用于采集初始图像帧，以及实时采集待检测图像；
4、系统预设模块，用于根据初始图像帧设置产线人员作业的物料区域和操作区域，以及设置产线物料拿取的正确顺序；
5、物料检测模块，用于对物料进行实时监测，通过预先训练得到的物料检测模型对待检测图像进行检测，得到待检测图像内所有物料的检测信息，检测信息包括位置信息和类别信息；
6、手势姿态估计模块，
7、物料判别模块，用于获取待检测图像内所有物料的检测信息与每个产线人员的手部关键点信息，并基于预设判别标准，确认产线人员是否拿取了物料；若产线人员拿取了物料，则根据产线物料拿取的正确顺序判断该产线人员操作是否正确，并输出检测结果，检测结果为正确或异常。
8、可选的，系统还包括控制模块，用于控制检测状态，至少包括开始检测按钮、暂停检测按钮与复位按钮。
9、可选的，系统还包括声光报警模块，用于提示当前检测状态，当当前检测状态为正常时，显示第一指示灯；当当前检测状态为暂停时，显示第二指示灯；当当前检测状态为异常时，显示第三指示灯，并进行声音提示；三个指示灯的颜色不同。
10、可选的，物料检测模型具体通过以下步骤得到：
11、使用预训练数据集对目标检测大模型进行预训练，得到目标检测大模型权重；
12、冻结目标检测大模型除检测头以外的参数，使用产线物料图像集对目标检测大模型进行微调，得到微调后的目标检测大模型权重；
13、使用知识蒸馏方法将微调后的目标检测大模型进行物料检测能力的迁移和轻量化，得到轻量化后的学生模型，并将其作为物料检测模型。
14、可选的，预训练数据集是通过收集各类目标检测公开数据集并进行第一预处理得到的；
15、产线物料图像集是通过采集所检测工位操作所需的各种物料图像，并进行第二预处理得到的；
16、所述各种物料图像包括同一种物料在不同背景、不同角度、不同摆放状态下与不同光照强度下的图像，并使用标注软件对所述各种物料图像进行人工标注。
17、可选的，使用预训练数据集对目标检测大模型进行预训练，至少包括以下步骤：
18、将预训练数据集中的数据图像输入至嵌入层进行编码，得到数据集图像对应的embedding输入向量；
19、将embedding输入向量输入至位置编码层，使用绝对位置编码为数据集图像添加位置信息；
20、将带有位置信息的embedding输入向量输入至transformer特征提取层进行特征提取与增强，得到不同尺度的特征图；
21、将不同尺度的特征图分别输入至特征金字塔网络，通过自顶向下的路径和自底向上的路径进行多尺度融合，得到融合后的多尺度特征图；
22、将多尺度特征图输入至检测头内的边界框预测器和类别分类器，得到预测的检测信息；
23、计算预测的检测信息与预训练数据集中对应标签的损失值，通过反向传播更新权重，保存训练后的模型。
24、可选的，获取待检测图像内所有物料的检测信息与每个产线人员的手部关键点信息，并基于预设判别标准，确认产线人员是否拿取了物料，至少包括以下步骤：
25、从某个产线人员的手部关键点信息选取判断关键点进行计算，基于预设手部闭合状态阈值和手部开放状态阈值判断该产线人员的手部处于开放状态还是闭合状态；
26、当某个产线人员的手部从开放状态转变为闭合状态，且手部关键点处于物料区域内时，记录第一检测时间戳；
27、基于拿取物料的预设距离阈值，判断该产线人员的手部与每一物料框中心点的位置距离是否小于拿取物料的预设距离阈值；若是，则获取该产线人员的手部与每一物料框中心点的位置距离小于或等于拿取物料的预设距离阈值的图像帧数量；
28、当该产线人员的手部为开放状态且在操作区域内时，记录第二检测时间戳；
29、获取第一检测时间戳与第二检测时间戳之间的图像帧总数量，并计算图像帧数量在图像帧总数量中的占比量；
30、判断占比量是否大于等于预设占比量，若是，则认定产线人员拿取了物料，并记录物料的类别信息，若否，则认定为误检情况。
31、可选的，还包括：扩展模块，用于当有新物料需要检测时，对物料拿取规范检测系统进行扩展。
32、与所述物料拿取规范检测系统相对应的，本专利技术提供一种物料拿取规范检测方法，采用上述任一的物料拿取规范检测系统进行检测，至少包括以下步骤：
33、采集初始图像帧，并根据初始图像帧设置产线人员作业的物料区域和操作区域，以及设置产线物料拿取的正确顺序；
34、实时采集待检测图像，对物料进行实时监测，通过预先训练得到的物料检测模型对待检测图像进行检测，得到待检测图像内所有物料的检测信息，检测信息包括位置信息和类别信息；
35、通过yolo算法对待检测图像进行手势姿态估计，得到待检测图像内每个产线人员的手部关键点信息；
36、获取待检测图像内所有物料的检测信息与每个产线人员的手部关键点信息，并基于预设判别标准，确认产线人员是否拿取了物料；若产线人员拿取了物料，则根据产线物料拿取的正确顺序判断该产线人员操作是否正确，并输出检测结果，检测结果为正确或异常。
37、此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有物料拿取规范检测程序，所述物料拿取规范检测程序被处理器执行时实现如上文所述的物料拿取规范检测方法的步骤。
38、本专利技术的有益效果是：
39、(1)与现有技术相比，本专利技术通过融合视觉检测和手部关键点作为判别信息，提高了物料拿取的判断准确率，能够实现对产线人员物料拿取行为的全面监测与评估，确保本文档来自技高网...
【技术保护点】
1.一种物料拿取规范检测系统，其特征在于，包括：
2.根据权利要求1所述的物料拿取规范检测系统，其特征在于：还包括控制模块，用于控制检测状态，至少包括开始检测按钮、暂停检测按钮与复位按钮。
3.根据权利要求1所述的物料拿取规范检测系统，其特征在于：还包括声光报警模块，用于提示当前检测状态，当当前检测状态为正常时，显示第一指示灯；当当前检测状态为暂停时，显示第二指示灯；当当前检测状态为异常时，显示第三指示灯，并进行声音提示；三个指示灯的颜色不同。
4.根据权利要求1所述的物料拿取规范检测系统，其特征在于：物料检测模型具体通过以下步骤得到：
5.根据权利要求4所述的物料拿取规范检测系统，其特征在于：预训练数据集是通过收集各类目标检测公开数据集并进行第一预处理得到的；
6.根据权利要求4所述的物料拿取规范检测系统，其特征在于：使用预训练数据集对目标检测大模型进行预训练，至少包括以下步骤：
7.根据权利要求1所述的物料拿取规范检测系统，其特征在于：获取待检测图像内所有物料的检测信息与每个产线人员的手部关键点信息，并基
8.根据权利要求1所述的物料拿取规范检测系统，其特征在于：还包括：扩展模块，用于当有新物料需要检测时，对物料拿取规范检测系统进行扩展。
9.一种物料拿取规范检测方法，其特征在于，采用权利要求1-8任一项所述的物料拿取规范检测系统进行检测，至少包括以下步骤：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有物料拿取规范检测程序，所述物料拿取规范检测程序被处理器执行时实现如权利要求9所述的物料拿取规范检测方法的步骤。
...【技术特征摘要】
1.一种物料拿取规范检测系统，其特征在于，包括：
2.根据权利要求1所述的物料拿取规范检测系统，其特征在于：还包括控制模块，用于控制检测状态，至少包括开始检测按钮、暂停检测按钮与复位按钮。
3.根据权利要求1所述的物料拿取规范检测系统，其特征在于：还包括声光报警模块，用于提示当前检测状态，当当前检测状态为正常时，显示第一指示灯；当当前检测状态为暂停时，显示第二指示灯；当当前检测状态为异常时，显示第三指示灯，并进行声音提示；三个指示灯的颜色不同。
4.根据权利要求1所述的物料拿取规范检测系统，其特征在于：物料检测模型具体通过以下步骤得到：
5.根据权利要求4所述的物料拿取规范检测系统，其特征在于：预训练数据集是通过收集各类目标检测公开数据集并进行第一预处理得到的；
6.根据权利要求4所述的物料拿取规范...
【专利技术属性】
技术研发人员：王佐帅，林志斌，陈厚创，孙世丹，陈剑峰，
申请(专利权)人：厦门盈趣科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。