通过摄像头计算人工工时的方法及系统技术方案

本发明专利技术公开了一种通过摄像头计算人工工时的方法及系统。该方法包括：在监控产线上，将搭建的监控摄像头对准产线工人；将已经训练好的maskrcnn模型进行改进，只识别产线工人；通过opencv调用摄像头,并用maskrcnn模型识别视频中的最新一帧；根据视频识别的结果计算人工工时。本发明专利技术提供的通过摄像头计算人工工时的方法及系统能够实现准确的产线工人定位及工时计算。时计算。时计算。

【技术实现步骤摘要】
通过摄像头计算人工工时的方法及系统


[0001]本专利技术涉及行人检测
，特别是涉及一种通过摄像头计算人工工时的方法及系统。

技术介绍

[0002]出于成本考虑，仓库计算一条产线员工的有效工时，而不是通过打卡的形式粗略计算。把行人检测技术应用在仓库监控上，自动计算有效工时,快捷方便,也很准确。目前市面的摄像头有计算行人人数的，但是没有计算行人时间的，所以需要我们借用摄像头，通过行人检测技术计算工时。

技术实现思路

[0003]本专利技术要解决的技术问题是提供一种通过摄像头计算人工工时的方法及系统，能够实现准确的产线工人定位及工时计算。
[0004]为解决上述技术问题，本专利技术提供一种通过摄像头计算人工工时的方法，该方法包括：在监控产线上，将搭建的监控摄像头对准产线工人；将已经训练好的mask rcnn模型进行改进，只识别产线工人；通过open cv调用摄像头,并用mask rcnn模型识别视频中的最新一帧；根据视频识别的结果计算人工工时。
[0005]在一些实施方式中，对mask rcnn的改进包括：通过ResNeXt
‑
101+FPN用作特征提取网络；采用ROIAlign替代RoiPooling，同时引入了一个插值过程，先通过双线性插值到14*14，再pooling到7*7；每个ROIAlign对应K*m2维度的输出；在边框识别的基础上添加分支网络，用于语义mask识别。
[0006]在一些实施方式中，RoiPooling过程中的loss函数具有以下的形式：Lmask(Cls_k)＝Sigmoid(Cls_k)。
[0007]在一些实施方式中，用mask rcnn模型识别视频中的最新一帧，包括：通过多线程，用mask rcnn模型识别视频中的最新一帧。
[0008]在一些实施方式中，通过多线程，用mask rcnn模型识别视频中的最新一帧，包括：计算识别区域与无效区域之间的交并比；如果计算得到的交并比大于预定阈值，剔除识别区域；根据剔除识别区域后的结果执行视频识别。
[0009]此外，本专利技术还提供了一种通过摄像头计算人工工时的系统，该系统包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的通过摄像头计算人工工时的方法。
[0010]采用这样的设计后，本专利技术至少具有以下优点：
[0011]本专利技术运用mask rcnn实现产线工人在采集图像中的定位及工时计算，鲁棒性高，计算精度高。
附图说明
[0012]上述仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，以下结合附图与具体实施方式对本专利技术作进一步的详细说明。
[0013]图1是方法的流程图；
[0014]图2是mask rcnn的模型流程示意图
[0015]图3是摄像头识别场景图。
具体实施方式
[0016]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0017]利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。
[0018]集合摄像头技术，利用mask rcnn模型准确定位产线工人，并计算所有人的总工时，mask rcnn还做不到实时的，一秒大概5fps，这样会出现识别的视频中的每一帧，跟实际画面相比存在延迟，采用多线程技术，让摄像头每次识别都是最新的一帧，通过识别的时间以及人数我们就可以计算工时了，因为我们这边不需要准确的时间，所以1秒5fps的识别速度已经足够。
[0019]Mask rcnn模型的行人检测相当准确，不需要行人全部暴露都能检测出来，正是因为这样，在实际应用中也会出现一些莫名其妙的识别错误，当然这些都是可接受范围之内。
[0020]参见图3，如果画面中的某些无效区域出现行人，模型也识别了，我们可以讲无效区域定位出来，这个区域如果识别出行人，那么计算无效区域和行人区域的iou，判断这个人的工时是不是无效的。
[0021]为了达到快速定位的目的，本专利技术的技术方案提供了一种通过摄像头计算人工工时的方法，参见图1，其具体实施步骤为：
[0022]步骤1.在监控产线上我们搭建监控摄像头对准产线工人,并调试好摄像头在当前网络在同一网段上,
[0023]步骤2.将已经训练好的mask rcnn模型进行改动,只识别行人,mask rcnn的模型结构如图2所示。
[0024]技术要点:
[0025]1)通过ResNeXt
‑
101+FPN用作特征提取网络，达到现有的效果。
[0026]2)采用ROIAlign替代RoiPooling(改进池化操作)。引入了一个插值过程，先通过双线性插值到14*14，再pooling到7*7,很大程度上解决了仅通过Pooling直接采样带来的Misalignment对齐问题
[0027]3)每个ROIAlign对应K*m^2维度的输出。K对应类别个数，即输出K个mask，m对应池化分辨率(7*7)。Loss函数定义：
[0028]Lmask(Cls_k)＝Sigmoid(Cls_k)，平均二值交叉熵(average binary cross
‑
entropy)Loss，通过逐像素的Sigmoid计算得到。
[0029]4)在边框识别的基础上添加分支网络，用于语义Mask识别。
[0030]步骤3.通过opencv调用摄像头,并用上述模型识别视频中的最新一帧。
[0031]本专利技术技术方案具有以下关键点：
[0032]1、首先是找一个适合仓库场景的行人检测模型,由于该模型已训练好,我们需要进行各方面的测试,保证产线工人在某些情况下能被识别出来；
[0033]2、视频画面中经常会有无关人员出现,所以要把出现的无效区域定位出来,如果识别的人与无效区域的iou比较大,说明这个人得剔除掉；
[0034]3、为了保证时效性,在识别的过程多多少少会延迟,为了保证每次的识别都是最新一帧,我们利用多线程技术和opencv相结合。
[0035]以上所述，仅是本专利技术的较佳实施例而已，并非对本专利技术作任何形式上的限制，本领域技术人员利用上述揭示的
技术实现思路
做出些许简单修改、等同变化或修饰，均落在本专利技术的保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过摄像头计算人工工时的方法，其特征在于，包括：在监控产线上，将搭建的监控摄像头对准产线工人；将已经训练好的mask rcnn模型进行改进，只识别产线工人；通过open cv调用摄像头,并用mask rcnn模型识别视频中的最新一帧；根据视频识别的结果计算人工工时。2.根据权利要求1所述的通过摄像头计算人工工时的方法，其特征在于，对mask rcnn的改进包括：通过ResNeXt
‑
101+FPN用作特征提取网络；采用ROIAlign替代RoiPooling，同时引入了一个插值过程，先通过双线性插值到14*14，再pooling到7*7；每个ROIAlign对应K*m2维度的输出；在边框识别的基础上添加分支网络，用于语义mask识别。3.根据权利要求2所述的通过摄像头计算人工工时的方法，其特征在于，RoiPooling过程中的...

【专利技术属性】
技术研发人员：肖勇民，傅俊，
申请(专利权)人：上海发网供应链管理有限公司，
类型：发明
国别省市：