【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其是一种抽烟打电话行为检测方法。
技术介绍
1、在复杂的工业环境下，防火工作一直是重中之重，在工业场景抽烟或打电话可能会造成巨大的生命和财产损失。为了规范工业场景的人员行为，保障人员人身安全，往往需要对这些场景进行危险行为监测。但是传统的基于人工的危险行为监测需要较多的人力和物力资源投入，且常因为人的疲劳等因素导致纰漏。近年来，伴随着高清视频技术的应用和普及，对视频进行分析和有效信息的提取，已经成为下一代视频分析技术发展的关键。随着人工智能深度学习的发展，尤其是计算机视觉领域取得的重大进展，通过计算机对视频图像中的特定行为检测成为了可能，人工智能算法对工业场景的危险行为监测也是重要的应用场景之一。
2、专利cn115457331a《一种施工场所的智能巡检方法及系统》公开了一种施工场所的智能巡检方法及系统，系统包括：图像采集装置和服务器，服务器包括违规行为检测模块、检测结果优化模块和控制模块；图像采集装置，用于对施工场所的实时视频和图像进行采集，并将实时视频上传至控制模块，将图像上传至违规行为检测模块；违规行为检测模块，用于对图像采集装置返回的图像进行违规行为检测，生成初始检测结果；检测结果优化模块，用于获取初始检测结果，对检测结果进行优化，生成目标检测结果；控制模块，用于目标检测结果中的违规行为进行统计及告警，对违规行为以及图像采集装置采集的实时视频进行展示。本专利技术能够实时对人员违规行为以及危险情况进行巡检。
3、该专利直接使用检测模型检测香烟是否存在，在距离较远、场景
4、专利cn112836643a《一种特定场景抽烟和打电话识别方法》本专利技术将工程手段与技术手段相结合，提供了一种特定场景抽烟和打电话识别方法。首先获取监控视频图像，使用人体检测算法对视频图像进行人物的识别和定位；若有多个人体目标，选择面积最大的一个人体，计算人体中心点位置坐标，将坐标位置发送给相机；相机通过自动变焦将人体目标区域放大至整个画面，并将变焦后的图像送入图像分类器，从而判断画面中是否有人在抽烟或打电话。
5、该专利通过相机的变焦提高抽烟打电话行为检测的有效像素，但是对于人数较多的场景，该方案也仅对人体面积最大的区域进行处理，在复杂场景下的适用性不高。其次，该方案仅使用人体检测器和图像分类器，缺少对手机和烟的具体定位，在实际工程中，对于一些类似的动作(例如单手摸头、摸嘴)，仅靠图像分类网络很难有效的区分，误报率较高。
6、专利cn114387557a《一种基于深度学习的加油站抽烟打电话检测方法及系统》结合了人头检测、行为分类模型和有限状态机，提供了一种基于深度学习的加油站抽烟打电话检测方法及系统，首先获取加油站的监控视频流，并对监控视频流进行分帧，获取多个视频帧图像；划分感兴趣目标区域，并将视频帧图像输入至深度学习目标检测模型中检测感兴趣目标区域中的人头区域，并根据人头区域从视频帧图像中裁剪出对应的人头图像；将裁剪出的人头图像送入至图像分类模型中进行分类，识别人头图像中是否存在抽烟和打电话行为。
7、该方案缺点与技术二类似，同样是采用目标检测网络与图像分类网络，分类网络中缺乏对手机和烟的具体定位，难以区分相似动作。其二，仅将裁剪的头部送入分类网络，缺乏人体的全局信息，难以通过姿态等信息判断该人抽烟或打电话的行为。其三，仅对头部进行分类，难以囊括抽烟和打电话行为的所有情况，例如，以外放模式打电话，手机这一物体是在头部以外的，该方案无法检测到；抽烟中，也会经常出现手部拿着烟脱离头部的动作，该方案也无法检测到。
8、因此为了急需提供一种抽烟打电话行为检测模型建立方法和检测方法，有效减少方案误报率，降低维护成本和使用的人力成本，可扩展性较强，工程落地场景较广。
技术实现思路
1、本专利技术的目的在于解决现有方法由于目标较小或环境因素影响造成方案性能下降的问题，提供了一种抽烟打电话行为检测方法，提高了方案的可解释性和鲁棒性，有效减少方案误报率，适用范围广，便于实施、维护成本低，方便工程化的扩展落地。
2、为了实现这一目的本专利技术提供了一种抽烟打电话行为检测方法，包括以下步骤：
3、(1)图像收集和标注，对全图范围内人、手机和香烟的标注；
4、(2)训练人体目标检测模型；
5、(3)训练手机和香烟目标检测模型；
6、(4)依次把待检测的视频流中的图片输入人体目标检测模型，得到人的坐标框，向外放大一定比例；
7、(5)根据坐标框裁剪人体图像，将图像输入手机和香烟目标检测模型和姿态估计模型，获取人体的姿态估计结果和人体图像中手机和烟的检测结果。
8、抽烟打电话行为检测模型所使用的目标检测模型为yolov7。所使用的姿态估计模型为vitpose。
9、人的坐标框的向外放大一定比例可以是向外放大10％。
10、姿态估计结果和人体图像中手机和烟的检测结果的判断逻辑为：
11、若输出结果为已检测到抽烟或打电话，则发出警报，输出人体的坐标框作为可视化；
12、若输出结果为未检测到抽烟或打电话，则不发出警报；
13、无论最终是否发出警报，都将对应的图片保存下来，用于快速了解报警发生时现场的情况，将保存的图片重新标注，进一步提高模型性能。
14、姿态估计模型基于人体姿态估计的结果，使用其中的手部关键点和手机及香烟的检测框质心的距离进行判断有无抽烟和打电话。
15、目标检测模型还可以为detr、swin、centernet、efficientdet、retinanet、yolor、yolox。检测模型所使用的姿态估计模型还可以为transpose、unipose、hrnet。
16、本专利技术的有益效果是创新性的采用了二阶段的目标检测方案，有效缓解了由于目标较小或环境因素影响造成方案性能下降的问题；充分利用人体图像信息，将人体姿态信息与目标位置信息结合，提高了方案的可解释性和鲁棒性；不完全依赖香烟手机检测模型的识别精度，使用人体姿态估计进行后处理和过滤，可以有效减少方案误报率；检测装置不需手动设置或校正，不依赖相机的硬件参数，摄像头稍有移动后也不需要再次精准校准设置，适用范围广，便于实施、维护成本低，方便工程化的扩展落地。本专利技术构建了一个高准确率、高召回率、强可扩展性的抽烟打电话行为检测方法。本专利技术的目标检测模型的map@0.5性能可以达到93％以上，抽烟打电话行为检测的报警准确率可达到95％以上。
17、为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种抽烟打电话行为检测方法，其特征在于包括以下步骤：
2.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的抽烟打电话行为检测模型所使用的目标检测模型为YOLOV7。
3.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的抽烟打电话行为检测模型所使用的姿态估计模型为ViTPose。
4.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的向外放大定比例可以是向外放大10％。
5.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的姿态估计结果和人体图像中手机和烟的检测结果的判断逻辑为：
6.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的姿态估计模型是基于人体姿态估计的结果，使用其中的手部关键点和手机及香烟的检测框质心的距离进行判断有无抽烟和打电话。
7.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的抽烟打电话行为检测模型所使用的目标检测模型还可以为DETR、Swin、CenterNet、EfficientDet、RetinaNet
8.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的抽烟打电话行为检测模型所使用的姿态估计模型还可以为TransPose、UniPose、HRNet。
...【技术特征摘要】
1.一种抽烟打电话行为检测方法，其特征在于包括以下步骤：
2.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的抽烟打电话行为检测模型所使用的目标检测模型为yolov7。
3.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的抽烟打电话行为检测模型所使用的姿态估计模型为vitpose。
4.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的向外放大定比例可以是向外放大10％。
5.如权利要求1所述的一种抽烟打电话行为检测方法，其特征在于所述的姿态估计结果和人体图像中手机和烟的检测结果的判断逻辑为：
...
【专利技术属性】
技术研发人员：董嘉维，王朔，张昭智，
申请(专利权)人：上海湃道智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。