一种检察领域值班人员睡觉行为识别方法技术

本发明专利技术提供一种检察领域值班人员睡觉行为识别方法，包括如下步骤：(1)采集检察领域值班人员的视频监控数据；(2)对采集的视频数据按照帧率大小截取帧数据；(3)基于YOLOv5预训练模型在采集的数据上进行微调训练与验证，获得值班人员人体检测模型；(4)加载基于YOLOv5微调后的值班人员检测模型、Deep_Sort的目标跟踪模型等，分别获取人体信息和人脸信息；(5)基于上述多模型识别结果，自定义睡觉行为研判规则，识别睡觉行为；(6)当确定存在睡觉行为时，进行睡觉行为预警。本发明专利技术提出的方法能够在多人情况人识别具体睡觉个体，且能够处理多种睡觉姿势，模型准确率高，睡觉行为识别效果好。

【技术实现步骤摘要】
一种检察领域值班人员睡觉行为识别方法
本专利技术涉及一种检察领域值班人员睡觉行为识别方法，属于计算机视觉和图像处理领域。
技术介绍
在检察领域，监狱安防是行政管理单位最为重要的工作之一，一旦发生越狱、暴狱、自杀等非正常突发事件，相关责任人就要受到刑事责任追究。因此，通过计算机视觉处理相关技术进行监狱视频监控信息的采集挖掘分析，实现监狱执法业务的自动化、智能化对于提升检察领域监狱远程执法监督工作的信息化水平具有重要意义。睡觉行为是监狱执法过程中值班干警常见的行为之一，尤其是夜间，值班干警很难确保一直处于正常的工作状态。睡觉行为的发生很可能导致无法及时处理非正常突发事件，从而造成巨大的安全隐患。因此，为了有效地监控和监督值班干警睡觉行为，利用深度学习视频行为检测、目标跟踪等方法，对值班干警睡觉行为进行准确识别和预警，并实现对睡觉行为视频片段进行自动保存和记录，有助检察督查人员进行进一步的审查和判断，从而降低值班人员的违规情况，提升监狱执法安全管理效率。现有的睡觉行为识别方法，存在以下问题：(1)可识别的睡姿如俯睡、仰睡等类型不够丰富。(2)仅能够识别视频数据中为单人时的睡觉行为，不能够处理多人时的睡觉行为。
技术实现思路
为解决上述技术问题，本专利技术提供了一种检察领域值班人员睡觉行为识别方法，该检察领域值班人员睡觉行为识别方法是睡觉行为识别的有效技术手段，能够为监狱执法中的异常行为分析、监督管理提供有力支撑与保障。本专利技术通过以下技术方案得以实现。本专利技术提供的一种检察领域值班人员睡觉行为识别方法，包括以下步骤：①数据采集：采集检察领域值班人员工作时间的视频监控数据；②数据标注与处理：从采集到的视频监控数据获取帧率大小间隔的帧信息，使用LabelImg图像标注工具完成值班人员人体目标的YOLO格式标注，并将数据集划分为训练集和验证集；③模型训练与验证：基于步骤②的标注数据和YOLOv5目标检测预训练模型，获取值班干警人体目标检测模型；④模型加载与信息获取：加载值班干警人体目标检测模型、目标跟踪模型以及人脸识别模型，进行目标标识；⑤自定义睡觉行为研判规则：基于步骤④的模型标识的结果，通过阈值设置的方式自定义值班人员睡觉行为规则，判断是否存在睡觉行为；⑥睡觉行为视频截取：若确定存在睡觉行为时，对睡觉中的具体人体进行标识并进行睡觉行为预警，并截取视频睡觉片段并留存，方便后期进行睡觉行为人工审核和督查。基于值班干警人体目标检测模型检测出值班人员人体的矩形区域坐标。基于Deep_Sort，对目标跟踪模型进行值班人员身份标签的标识。在检测到帧中有人体目标的情况下，基于RetinaFace，对人脸识别模型进行预训练，对每一个人体目标，检测是否存在人脸，若存在人脸，则标记为1并存储人脸矩形区域坐标；若不存在人脸，则标记为0，人脸坐标信息存储为空。睡觉状态下，值班人员人体的最大宽度移动阈值为a_wp，最大高度移动阈值为b_wp；值班人员人脸的最大宽度移动阈值为a_wf，最大高度移动阈值为b_w。当人体/人脸坐标在连续若干帧的前后两帧变化幅度均小于移动阈值，且满足该条件的连续帧数大于阈值c，则值班人员发生了睡觉行为。当视频监控数据中连续若干帧中某一人体、人脸坐标信息与人体坐标信息均存在时，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，同时人脸连续两帧宽度和高度变化均小于a_wf阈值与b_wf阈值，且连续帧数目人体与人脸统计个数均大于c阈值时，则表明睡觉姿势为仰睡、托睡状态。连续若干帧中仅存在人体信息，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，且连续帧数目人体统计个数大于c阈值时，则表明睡觉姿势为趴睡或俯睡状态。本专利技术的有益效果在于：通过基于RetinaFace模型的人脸识别、基于YOLOv5的目标检测、基于Deep_Sort目标跟踪多种计算机视觉手段的融合分析，结合自定义的睡觉行为规则，能够有效识别在正常工作时间段内多名工作人员存在的趴睡、仰睡等不同睡姿状态，并实现监控视频中睡觉片段的自动截取与保存，睡觉行为识别准确率高。附图说明图1是本专利技术的执行流程图。具体实施方式下面进一步描述本专利技术的技术方案，但要求保护的范围并不局限于所述。实施例1如图1所示，一种检察领域值班人员睡觉行为识别方法，包括以下步骤：①数据采集：采集检察领域值班人员工作时间的视频监控数据；②数据标注与处理：从采集到的视频监控数据获取帧率大小间隔的帧信息，使用LabelImg图像标注工具完成值班人员人体目标的YOLO格式标注，并将数据集划分为训练集和验证集；③模型训练与验证：基于步骤②的标注数据和YOLOv5目标检测预训练模型，获取值班干警人体目标检测模型；④模型加载与信息获取：加载值班干警人体目标检测模型、目标跟踪模型以及人脸识别模型，进行目标标识；⑤自定义睡觉行为研判规则：基于步骤④的模型标识的结果，通过阈值设置的方式自定义值班人员睡觉行为规则，判断是否存在睡觉行为；⑥睡觉行为视频截取：若确定存在睡觉行为时，对睡觉中的具体人体进行标识并进行睡觉行为预警，并截取视频睡觉片段并留存，方便后期进行睡觉行为人工审核和督查。基于值班干警人体目标检测模型检测出值班人员人体的矩形区域坐标。基于Deep_Sort，对目标跟踪模型进行值班人员身份标签的标识。在检测到帧中有人体目标的情况下，基于RetinaFace，对人脸识别模型进行预训练，对每一个人体目标，检测是否存在人脸，若存在人脸，则标记为1并存储人脸矩形区域坐标；若不存在人脸，则标记为0，人脸坐标信息存储为空。睡觉状态下，值班人员人体的最大宽度移动阈值为a_wp，最大高度移动阈值为b_wp；值班人员人脸的最大宽度移动阈值为a_wf，最大高度移动阈值为b_w。当人体/人脸坐标在连续若干帧的前后两帧变化幅度均小于移动阈值，且满足该条件的连续帧数大于阈值c，则值班人员发生了睡觉行为。当视频监控数据中连续若干帧中某一人体、人脸坐标信息与人体坐标信息均存在时，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，同时人脸连续两帧宽度和高度变化均小于a_wf阈值与b_wf阈值，且连续帧数目人体与人脸统计个数均大于c阈值时，则表明睡觉姿势为仰睡、托睡状态。连续若干帧中仅存在人体信息，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，且连续帧数目人体统计个数大于c阈值时，则表明睡觉姿势为趴睡或俯睡状态。实施例2一种检察领域值班人员睡觉行为识别方法，包括以下步骤：S1：数据采集，采集检察领域值班人员工作时间的视频监控数据；S2：数据标注与处理，从采集到的视频监控数据获取帧率大小间隔的帧信息，使用LabelImg图像标注工具完成值班人员人体目标的YOLO格式本文档来自技高网...

【技术保护点】
1.一种检察领域值班人员睡觉行为识别方法，其特征在于：包括以下步骤：/n①数据采集：采集检察领域值班人员工作时间的视频监控数据；/n②数据标注与处理：从采集到的视频监控数据获取帧率大小间隔的帧信息，使用LabelImg图像标注工具完成值班人员人体目标的YOLO格式标注，并将数据集划分为训练集和验证集；/n③模型训练与验证：基于步骤②的标注数据和YOLOv5目标检测预训练模型，获取值班干警人体目标检测模型；/n④模型加载与信息获取：加载值班干警人体目标检测模型、目标跟踪模型以及人脸识别模型，进行目标标识；/n⑤自定义睡觉行为研判规则：基于步骤④的模型标识的结果，通过阈值设置的方式自定义值班人员睡觉行为规则，判断是否存在睡觉行为；/n⑥睡觉行为视频截取：若确定存在睡觉行为时，对睡觉中的具体人体进行标识并进行睡觉行为预警，并截取视频睡觉片段并留存。/n

【技术特征摘要】
1.一种检察领域值班人员睡觉行为识别方法，其特征在于：包括以下步骤：
①数据采集：采集检察领域值班人员工作时间的视频监控数据；
②数据标注与处理：从采集到的视频监控数据获取帧率大小间隔的帧信息，使用LabelImg图像标注工具完成值班人员人体目标的YOLO格式标注，并将数据集划分为训练集和验证集；
③模型训练与验证：基于步骤②的标注数据和YOLOv5目标检测预训练模型，获取值班干警人体目标检测模型；
④模型加载与信息获取：加载值班干警人体目标检测模型、目标跟踪模型以及人脸识别模型，进行目标标识；
⑤自定义睡觉行为研判规则：基于步骤④的模型标识的结果，通过阈值设置的方式自定义值班人员睡觉行为规则，判断是否存在睡觉行为；
⑥睡觉行为视频截取：若确定存在睡觉行为时，对睡觉中的具体人体进行标识并进行睡觉行为预警，并截取视频睡觉片段并留存。


2.如权利要求1所述的检察领域值班人员睡觉行为识别方法，其特征在于：基于值班干警人体目标检测模型检测出值班人员人体的矩形区域坐标。


3.如权利要求1所述的检察领域值班人员睡觉行为识别方法，其特征在于：基于Deep_Sort，对目标跟踪模型进行值班人员身份标签的标识。


4.如权利要求1所述的检察领域值班人员睡觉行为识别方法，其特征在于：在检测到帧中有人体目标的情况下，基于RetinaFace，...

【专利技术属性】
技术研发人员：闫盈盈，丁剑飞，范振军，罗庆，杨秀坤，刘汪洋，
申请(专利权)人：中电科大数据研究院有限公司，
类型：发明
国别省市：贵州;52