【技术实现步骤摘要】
本申请涉及动作规范性检测，尤其涉及一种工序操作行为检测的方法、装置及电子设备。
技术介绍
1、工厂工人的工序操作行为识别技术融合了计算机视觉、机器学习与深度学习等前沿技术，旨在提升生产安全与效率。通过部署在工厂现场的高精度摄像头捕捉视频流，这些系统能实时分析工人行为，判断其是否遵循标准作业程序(sop)。在电子设备的组装过程中，包含对电子设备的显示面板边缘处胶带贴附工序，当工人不规范操作时会导致电子设备出现质量问题，诸如面板胶带贴附后漏压操作而导致背光板胶带开胶、漏光透光等质量事故。
2、相关技术中提出了基于深度学习算法对工人动作的规范性进行检测的方案，一般是采集工人工作图像，然后基于动作识别模型对图像进行特征提取并输出动作是否合规的预测结果。然而胶带贴附工序一般是一系列的动作，需要采集视频序列进行工序合规性的判断。基于动作识别模型对视频序列进行处理，数据处理量大，资源消耗高，处理效率低，并且动作识别模型对于视频序列的处理性能较低，使得工序操作行为识别的准确性较差。
技术实现思路
1、本申请提供了一种工序操作行为检测的方法、装置及电子设备，用以解决现有技术行为检测效率较低，准确性较差的问题。
2、第一方面，本申请提供了一种工序操作行为检测的方法，所述方法包括：
3、获取工序操作场景中的视频序列，针对所述视频序列中的任一图像，确定所述图像中显示面板区域的工序操作对应的目标边缘；根据所述目标边缘，确定目标工序操作区域；并确定所述目标工序操作区域中的各
4、针对所述视频序列中的每帧图像，检测所述图像中的操作手势对应的目标关键点；根据所述每帧图像中的所述操作手势对应的目标关键点，确定操作轨迹信息；
5、根据所述操作轨迹信息与所述各条采样状态线的相交关系、所述操作轨迹信息对应的手势运动方向，确定所述各条采样状态线的采样状态值；根据所述各条采样状态线的采样状态值，确定工序操作行为检测结果。
6、第二方面，本申请提供了一种工序操作行为检测的装置，所述装置包括：
7、第一确定模块，用于获取工序操作场景中的视频序列，针对所述视频序列中的任一图像，确定所述图像中显示面板区域的工序操作对应的目标边缘；根据所述目标边缘，确定目标工序操作区域；并确定所述目标工序操作区域中的各条采样状态线；
8、第二确定模块，用于针对所述视频序列中的每帧图像，检测所述图像中的操作手势对应的目标关键点；根据所述每帧图像中的所述操作手势对应的目标关键点，确定操作轨迹信息；
9、行为检测模块，用于根据所述操作轨迹信息与所述各条采样状态线的相交关系、所述操作轨迹信息对应的手势运动方向，确定所述各条采样状态线的采样状态值；根据所述各条采样状态线的采样状态值，确定工序操作行为检测结果。
10、第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
11、存储器，用于存放计算机程序；
12、处理器，用于执行存储器上所存放的程序时，实现所述的方法步骤。
13、第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法步骤。
14、上述的技术方案具有如下优点或有益效果：
15、在对显示面板边缘处胶带贴附工序操作过程中，会对显示面板区域的操作边缘进行操作。本申请首先获取工序操作场景中的视频序列，针对视频序列中的任一图像，确定图像中显示面板区域的工序操作对应的目标边缘，并根据目标边缘，确定目标工序操作区域。在目标工序操作区域内进行工序操作行为检测，避免目标工序操作区域之外的环境干扰，提高工序操作行为检测的准确性。并且，确定目标工序操作区域中的各条采样状态线，根据各条采样状态线的采样状态值，确定工序操作行为检测结果，而无需对整个轨迹点进行处理，提高了工序操作行为检测的效率。具体的，针对视频序列中的每帧图像，检测图像中的操作手势对应的目标关键点；根据每帧图像中的所述操作手势对应的目标关键点，确定操作轨迹信息；进而根据操作轨迹信息与各条采样状态线的相交关系、操作轨迹信息对应的手势运动方向，确定各条采样状态线的采样状态值，最后根据各条采样状态线的采样状态值，确定工序操作行为检测结果。从而提供了一种高效准确地工序操作行为检测方案。解决了相关技术中基于动作识别模型对视频序列进行处理，数据处理量大，资源消耗高，处理效率低，并且动作识别模型对于视频序列的处理性能较低，使得工序操作行为识别的准确性较差的问题。
本文档来自技高网...【技术保护点】
1.一种工序操作行为检测的方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，确定所述图像中显示面板区域的工序操作对应的目标边缘包括：
3.如权利要求1所述的方法，其特征在于，根据所述目标边缘，确定目标工序操作区域包括：
4.如权利要求1所述的方法，其特征在于，确定所述目标工序操作区域中的各条采样状态线包括：
5.如权利要求1所述的方法，其特征在于，检测所述图像中的操作手势对应的目标关键点包括：
6.如权利要求1所述的方法，其特征在于，根据所述每帧图像中的所述操作手势对应的目标关键点，确定操作轨迹信息之前，所述方法还包括：
7.如权利要求1所述的方法，其特征在于，根据所述操作轨迹信息与所述各条采样状态线的相交关系、所述操作轨迹信息对应的手势运动方向，确定所述各条采样状态线的采样状态值包括：
8.如权利要求1所述的方法，其特征在于，根据所述各条采样状态线的采样状态值，确定工序操作行为检测结果包括：
9.一种工序操作行为检测的装置，其特征在于，所述装置包括：
<...【技术特征摘要】
1.一种工序操作行为检测的方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，确定所述图像中显示面板区域的工序操作对应的目标边缘包括：
3.如权利要求1所述的方法，其特征在于，根据所述目标边缘，确定目标工序操作区域包括：
4.如权利要求1所述的方法，其特征在于，确定所述目标工序操作区域中的各条采样状态线包括：
5.如权利要求1所述的方法，其特征在于，检测所述图像中的操作手势对应的目标关键点包括：
6.如权利要求1所述的方法，其特征在于，根据所述每帧图像中的所述操作手势对应的目标关...
【专利技术属性】
技术研发人员：胥贵勋，谢飞学，李正义，张文超，赵启东，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。