一种陌生人逗留检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种陌生人逗留检测方法、装置、设备及存储介质，本申请提供的陌生人逗留检测方法，具有检测准确率高，检测效率优秀的特点，同时该方法采用非接触式解决方案，可以实现无接触全覆盖二十四小时实时检测的优势，同样该方法采用服务器或工控机单独部署的方式，对于已有摄像头的工厂以及没有安装摄像头的工厂，均可以进行适配，因此该方法具有部署快速，部署方便的特点。可见该方法对于工业4.0建设下的智慧工厂建设具有很好的适配性。建设下的智慧工厂建设具有很好的适配性。建设下的智慧工厂建设具有很好的适配性。

【技术实现步骤摘要】
一种陌生人逗留检测方法、装置、设备及存储介质


[0001]本专利技术涉及深度学习图像处理
，特别是涉及一种陌生人逗留检测方法、装置、设备及存储介质。

技术介绍

[0002]随着工业4.0的普及，涉密工厂智能化的建设的脚步也越来越近，从2016年起深度学习图像处理技术在各个方面对传统的图像算法进行了一次全方位的更新，无论从准确度，效率，泛化能力各方面均相较于传统方法有了显著的提升。因此，将深度学习中的图像处理技术应用到工厂场景中的需求便应运而生。其中人员管理、人员监控对于工厂厂区而言一直是比较棘手的问题，基于工厂环境复杂，人员精细化管理如何进行便成为智能化工厂检测的首要任务。
[0003]现有技术中有一些传统的方案，来对厂区中陌生人逗留进行检测，最早的方案是利用人为巡查，监控室观察等方案来进行检测，该方案不仅费神费力，同时大大增加了人力成本，并且无法做到24小时不间断，全域无死角的监控，这种方案已经过时不符合工业4.0智能化要求。
[0004]随着科技的发展，通过采集摄像头信息，通过图像处理技术，对区域内行人流量进行目标检测工作，来完成逗留检测。该方案虽然在一定程度上解决了传统人为巡查存在的问题。但是该方案仅通过简单的目标检测，无法获取各个目标的轨迹信息。同时，该方案对于工厂内部陌生人逗留检测效率和效果都无法达到实际应用的要求。
[0005]因此，如何提供一种检测方法，做到24小时不间断、无死角全范围识别的同时，可以保证识别的准确率，是迫切需要本领域技术人员解决的技术问题。
专利技术内容
[0006]鉴于上述问题，本专利技术提供用于克服上述问题或者至少部分地解决上述问题的一种陌生人逗留检测方法、装置、设备及存储介质。
[0007]本专利技术提供了如下方案：
[0008]一种陌生人逗留检测方法，包括：
[0009]利用训练完成的目标检测网络对多帧连续帧目标图片中的行人进行检测，获得若干行人检测框；所述目标图片为通过图像摄取设备获取到的工厂目标区域的图片；
[0010]利用BYTE_Track方法将若干所述行人检测框根据置信度分为高置信度检测框和低置信度检测框，利用卡尔曼滤波算法分别对所述高置信度检测框和所述低置信度检测框进行检测框匹配，根据匹配结果获取所述行人的连续运动轨迹信息；
[0011]根据先验知识以及所述连续运动轨迹信息进行预判，根据预判结果确定是否存在区域逗留行为；
[0012]确定存在逗留行为后，利用人脸识别网络对所述行人进行人脸识别，根据识别结果确定所述行人是否为陌生人；
[0013]确定为陌生人后将结果返回监控系统。
[0014]优选地：所述目标检测网络包括改进的YOLOV8目标检测网络，所述改进的YOLOV8目标检测网络包括C2f模块、融合模块、BCELoss分类损失以及CIOULoss位置信息，所述融合模块包括特征融合网络FPN以及PAN。
[0015]优选地：所述利用BYTE_Track方法将若干所述行人检测框根据置信度分为高置信度检测框和低置信度检测框，包括：
[0016]BYTE通过阈值T
high
和T
low
将若干所述行人检测框分别计入两个集合中，其中检测得分高于T
high
结果计入高分检测框D
h
中，高于T
low
低于T
high
的检测结果计入低分检测框D
l
中，行成所述高置信度检测框和所述低置信度检测框。
[0017]优选地：所述利用卡尔曼滤波算法分别对所述高置信度检测框和所述低置信度检测框进行检测框匹配，包括：
[0018]利用卡尔曼滤波器对每个时间中一帧图片的行人轨迹进行预测，预测每个轨迹的新位置，得到预测框T；
[0019]将高分检测框D
h
和所述预测框T进行第一次关联，计算高分检测框D
h
和预测框T之间的IOU值得到相似度，采用匈牙利算法进行匹配，采用match_th＝0.8过滤掉小的IOU，不被匹配的检测框保存至D
tbd
中，不被匹配的预测框保存至T
tbd
；
[0020]将所述低分检测框D
l
和T
tbd
中的检测框进行第二次匹配，采用匈牙利算法进行匹配，采用match_th＝0.5过滤掉小的IOU，将未能匹配的低分检测框D
l
进行删除，将未能匹配的预测框保存至T
thd
‑
thd
中。
[0021]优选地：不被匹配的轨迹T
thd
‑
thd
保留60帧的数量，若超过60帧仍然未被匹配将其丢弃；
[0022]未被匹配的D
tbd
若连续存在4个连续帧，则将此检测框初始化为一个新轨迹，将其余的D
tbd
检测框丢弃。
[0023]优选地：所述根据先验知识以及所述连续运动轨迹信息进行预判，根据预判结果确定是否存在区域逗留行为，包括：
[0024]通过先验知识确定徘徊区域；
[0025]计算行人进入所述徘徊区域的时间t_in以及离开所述徘徊区域的时间t_out；
[0026]计算t_out与t_in的差值，将差值与逗留时间阈值比较，当差值超过阈值时间后确定行人在所述徘徊区域存在逗留行为。
[0027]优选地：所述利用人脸识别网络对所述行人进行人脸识别，根据识别结果确定所述行人是否为陌生人，包括：
[0028]将所述行人检测框输入Resnet152特征网络；
[0029]利用FPN金字塔结构对Resnet152特征网络的最后三个有效featuremap特征层利用1*1的卷积对其进行通道对齐调整到一致后，对其进行特征融合操作；
[0030]利用SSH模块对特征进行提取，通过引入上下文信息对featuremap的感受野进行增强；
[0031]利用softmax对先验框anchor进行二分类，判断是否为人脸，对先验框进行调整得到人脸预测框；
[0032]对预测框中人脸关键点进行回归，通过NMS非极大值抑制筛选结果后，得到人脸检
测结果；
[0033]采用FAN关键点检测技术对所述人脸检测结果中人脸的关键点进行校正得到人脸对齐后的结果；
[0034]将所述人脸对齐后结果与人脸库进行向量比对，当待识别人脸与人脸库中所有人脸相似度均低于人脸检测阈值时，确定为陌生人。
[0035]一种陌生人逗留检测装置，所述装置包括：
[0036]行人检测框获取单元，用于利用训练完成的目标检测网络对多帧连续帧目标图片中的行人进行检测，获得若干行人检测框；所述目标图片为通过图像摄取设备获取到的工厂目标区域的图片；
[0037]连续运动轨迹信息获取单元，用于利用BYTE_Track方法将若干所述行人检测框根据置信度分为高置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种陌生人逗留检测方法，其特征在于，包括：利用训练完成的目标检测网络对多帧连续帧目标图片中的行人进行检测，获得若干行人检测框；所述目标图片为通过图像摄取设备获取到的工厂目标区域的图片；利用BYTE_Track方法将若干所述行人检测框根据置信度分为高置信度检测框和低置信度检测框，利用卡尔曼滤波算法分别对所述高置信度检测框和所述低置信度检测框进行检测框匹配，根据匹配结果获取所述行人的连续运动轨迹信息；根据先验知识以及所述连续运动轨迹信息进行预判，根据预判结果确定是否存在区域逗留行为；确定存在逗留行为后，利用人脸识别网络对所述行人进行人脸识别，根据识别结果确定所述行人是否为陌生人；确定为陌生人后将结果返回监控系统。2.根据权利要求1所述的陌生人逗留检测方法，其特征在于，所述目标检测网络包括改进的YOLOV8目标检测网络，所述改进的YOLOV8目标检测网络包括C2f模块、融合模块、BCELoss分类损失以及CIOULoss位置信息，所述融合模块包括特征融合网络FPN以及PAN。3.根据权利要求1所述的陌生人逗留检测方法，其特征在于，所述利用BYTE_Track方法将若干所述行人检测框根据置信度分为高置信度检测框和低置信度检测框，包括：BYTE通过阈值T
high
和T
low
将若干所述行人检测框分别计入两个集合中，其中检测得分高于T
high
结果计入高分检测框D
h
中，高于T
low
低于T
high
的检测结果计入低分检测框D
l
中，行成所述高置信度检测框和所述低置信度检测框。4.根据权利要求3所述的陌生人逗留检测方法，其特征在于，所述利用卡尔曼滤波算法分别对所述高置信度检测框和所述低置信度检测框进行检测框匹配，包括：利用卡尔曼滤波器对每个时间中一帧图片的行人轨迹进行预测，预测每个轨迹的新位置，得到预测框T；将所述高分检测框D
h
和所述预测框T进行第一次关联，计算所述高分检测框D
h
和预测框T之间的IOU值得到相似度，采用匈牙利算法进行匹配，采用match_th＝0.8过滤掉小的IOU，不被匹配的检测框保存至D
tbd
中，不被匹配的预测框保存至T
tbd
；将所述低分检测框D
l
和T
tbd
中的检测框进行第二次匹配，采用匈牙利算法进行匹配，采用match_th＝0.5过滤掉小的IOU，将未能匹配的低分检测框D
l
进行删除，将未能匹配的预测框保存至T
thd
‑
thd
中。5.根据权利要求4所述的陌生人逗留检测方法，其特征在于，不被匹配的轨迹T
thd
‑
thd
保留60帧的数量...

【专利技术属性】
技术研发人员：牟骏杰，邓博文，王鑫，肖杰，谢青秀，蔡华闽，
申请(专利权)人：中国兵器装备集团自动化研究所有限公司，
类型：发明
国别省市：