一种作业监测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种作业监测方法、装置、电子设备及存储介质，该方法包括：获取第一作业视频流；识别所述第一作业视频流的各帧图像中的监测对象；提取各帧图像的关节点特征，各帧图像的关节点特征构成第一关节点特征流；当所述第一关节点特征流与预设第一工序的起始工步对应的关节点特征流匹配时，则确定所述监测对象的作业动作为所述第一工序的起始工步。实现了生产全流程、作业全过程的实时动作分析，实现生产作业各工序的实时监测，提升了岗位工艺动作分析的实时性、覆盖广度。提升监督分析效率和质量监控实时性的同时，显著节约人力成本，显著提升质量管理的效率。显著提升质量管理的效率。显著提升质量管理的效率。

【技术实现步骤摘要】
一种作业监测方法、装置、电子设备及存储介质


[0001]本专利技术涉及视频监控
，具体涉及一种作业监测方法、装置、电子设备及存储介质。

技术介绍

[0002]为保证产品生产的质量，需要对岗位生产作业动作进行标准化制定与监控。岗位作业动作执行规范情况，会直接影响到产品的质量，比如操作动作不规范导致质量问题。传统的监控方法是通过生产质量专家进行人工巡线或人工离线分析录像等方式，进行生产过程的动作分析监控。然而，这种做法依赖人工抽查，需要投入大量人力成本，人工巡查覆盖范围存在局限性，同时人工分析存在滞后性。

技术实现思路

[0003]本专利技术提供一种作业监测方法、装置、电子设备及存储介质，通过对生产过程的作业视频流中的监测对象的关节点特征进行自动化提取，识别出监测对象的作业动作，实现对监测对象各工序作业动作的实时监测，避免了相关技术中人工巡线或人工离线分析录像等方式需要投入大量人力成本及人工分析存在滞后性的问题。
[0004]本专利技术的技术方案是这样实现的：
[0005]第一方面，本专利技术提供一种作业监测方法，包括：
[0006]获取第一作业视频流；
[0007]识别所述第一作业视频流的各帧图像中的监测对象；
[0008]提取所述各帧图像中监测对象的关节点特征，所述各帧图像中监测对象的关节点特征构成第一关节点特征流；
[0009]当所述第一关节点特征流与预设第一工序的起始工步对应的关节点特征流匹配时，则确定所述监测对象的作业动作为所述第一工序的起始工步。
[0010]更进一步地，所述提取所述各帧图像中监测对象的关节点特征，包括：
[0011]对每一帧图像中的监测对象进行关节点检测并获取各个关节点的位置坐标信息；
[0012]确定所述各帧图像中监测对象的关节点特征，所述关节点特征包括关节点空间位置关系。
[0013]更进一步地，所述关节点空间位置关系包括比例距离和方位信息，相邻的关节点构成肢体关节段，所述确定所述各帧图像中监测对象的关节点特征，包括：
[0014]以监测对象的第一肢体关节段为参考肢体关节段，利用所述参考肢体关节段的长度对监测对象的其余各肢体关节段的长度进行归一化处理，得到每一帧图像中监测对象的其余各肢体关节段与所述参考肢体关节段之间的比例距离；
[0015]确定每一帧图像中监测对象的相邻肢体关节段之间的方位信息，包括相邻肢体关节段之间的夹角关系及方位关系。
[0016]更进一步地，所述方法还包括：
[0017]获取所述第一作业视频流后续的第二作业视频流；
[0018]识别所述第二作业视频流的各帧图像中的监测对象；
[0019]提取所述第二作业视频流各帧图像中监测对象的关节点特征，所述第二作业视频流各帧图像中监测对象的关节点特征构成第二关节点特征流；
[0020]当所述第二关节点特征流与预设第一工序的第二工步对应的关节点特征流匹配时，确定所述监测对象的作业动作为所述第一工序的第二工步。
[0021]更进一步地，所述对每一帧图像中的监测对象进行关节点检测并获取各个关节点的位置坐标信息是利用预设神经网络框架进行的。
[0022]第二方面，本专利技术提供一种作业监测装置，包括：
[0023]视频采集装置，用于采集作业现场的作业视频流并实时传输到GPU计算服务器集群；
[0024]GPU计算服务器集群，用于实现第一方面所述的作业监测方法。
[0025]更进一步地，所述GPU计算服务器集群，采用公有云服务器、私有云服务器、边缘服务器中的一种或多种。
[0026]更进一步地，所述视频采集装置，具体用于：
[0027]采集作业现场的作业视频流，并通过5G网络将采集到的作业视频流实时传输到GPU计算服务器集群。
[0028]第三方面，本专利技术提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的作业监测方法。
[0029]第四方面，本专利技术提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如第一方面所述的作业监测方法。
[0030]本专利技术通过获取第一作业视频流，识别所述第一作业视频流的各帧图像中的监测对象，提取其中各帧图像中监测对象的关节点特征构成第一关节点特征流；当第一关节点特征流与预设第一工序的起始工步对应的关节点特征流匹配时，确定监测对象的作业动作为第一工序的起始工步。本专利技术相较于巡线监督或者录像回放分析的传统方式，实现了生产全流程、作业全过程的实时动作分析，实现生产作业各工序的实时监测，提升了岗位工艺动作分析的实时性、覆盖广度。提升监督分析效率和质量监控实时性的同时，显著节约人力成本，显著提升质量管理的效率。
附图说明
[0031]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0032]图1是本专利技术实施例一提供的一种作业监测方法流程图；
[0033]图2是本专利技术实施例一提供的步骤S3的具体流程图；
[0034]图3是本专利技术实施例一提供的关节点示意图；
[0035]图4是本专利技术实施例二提供的作业监测方法流程图。
具体实施方式
[0036]下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0038]实施例一
[0039]图1示出了一种作业监测方法流程图，本实施例提供一种作业监测方法，如图1所示，包括如下步骤：
[0040]步骤S1、获取第一作业视频流。
[0041]具体地，可以利用在作业岗位附近安装的无线相机，实时采集岗位作业现场的作业视频流，再由GPU计算服务器获取。第一作业视频流可以是一定时间段内的作业视频流，例如24小时。
[0042]步骤S2、识别第一作业视频流的各帧图像中的监测对象。
[0043]具体地，对第一作业视频流进行抽帧，能够得到多帧图像，对各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业监测方法，其特征在于，包括：获取第一作业视频流；识别所述第一作业视频流的各帧图像中的监测对象；提取所述各帧图像中监测对象的关节点特征，所述各帧图像中监测对象的关节点特征构成第一关节点特征流；当所述第一关节点特征流与预设第一工序的起始工步对应的关节点特征流匹配时，则确定所述监测对象的作业动作为所述第一工序的起始工步。2.根据权利要求1所述的作业监测方法，其特征在于，所述提取所述各帧图像中监测对象的关节点特征，包括：对每一帧图像中的监测对象进行关节点检测并获取各个关节点的位置坐标信息；确定所述各帧图像中监测对象的关节点特征，所述关节点特征包括关节点空间位置关系。3.根据权利要求2所述的作业监测方法，其特征在于，所述关节点空间位置关系包括比例距离和方位信息，相邻的关节点构成肢体关节段，所述确定所述各帧图像中监测对象的关节点特征，包括：以监测对象的第一肢体关节段为参考肢体关节段，利用所述参考肢体关节段的长度对监测对象的其余各肢体关节段的长度进行归一化处理，得到每一帧图像中监测对象的其余各肢体关节段与所述参考肢体关节段之间的比例距离；确定每一帧图像中监测对象的相邻肢体关节段之间的方位信息，包括相邻肢体关节段之间的夹角关系及方位关系。4.根据权利要求1所述的作业监测方法，其特征在于，还包括：获取所述第一作业视频流后续的第二作业视频流；识别所述第二作业视频流的各帧图像中的监测对象；提取所述第二作业...

【专利技术属性】
技术研发人员：谢义东，陈彦宇，高筱禹，高宗，常英，李斌，李绍斌，方祥建，谭泽汉，施清清，谭龙田，李东涛，黄鸿发，
申请(专利权)人：珠海联云科技有限公司，
类型：发明
国别省市：