一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法技术

本发明专利技术属于深度学习、行为识别、图像识别技术领域，公开了一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法，包括1、使用防护服穿戴行为识别算法进行视频流的行为识别；2、使用防护用品目标检测算法对当前帧的防护用品类别进行检测；3、设置行为发生时刻列表和目标动态检测算法，对穿戴流程是否规范进行检测，不满足穿戴规范流程的反馈至后台发出语音警报。本发明专利技术利用深度学习、行为识别、图像识别等技术对人体关键点特征进行学习处理，得到防护服穿戴行为步骤分类，结合目标检测算法达到防护用品穿戴流程规范检测效果。本方法能够快速检验防护用品穿戴流程是否规范，降低了医护人员和相关工作人员的感染风险，为防疫工作提供了有力支持。了有力支持。了有力支持。

A detection method of anti epidemic protective equipment wearing behavior specification based on human posture

【技术实现步骤摘要】
一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法


[0001]本专利技术属于深度学习、行为识别、图像识别
，尤其涉及一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法。

技术介绍

[0002]在病毒大范围流行期间，医护人员和相关工作人员进行防疫工作时需正确规范穿戴防护用品，有效防止疫情的扩散。目前对防护服穿戴是否规范检测主要还是通过人为监督，无法达到实时监督防护服穿戴过程中的动作标准和顺序是否符合规范要求。
[0003]但随着深度学习、机器视觉、图像处理等技术的不断向前进步，利用这些关键技术可以学习到防护服穿戴行为的特征并结合其他的计算方法可以实时检测行为的规范性，能够最终解决上述问题。

技术实现思路

[0004]本专利技术目的在于提供一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法,以解决上述的技术问题。
[0005]为解决上述技术问题，本专利技术的一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法的具体技术方案如下：
[0006]一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法，包括如下步骤：
[0007]步骤1：确定抗疫防护用品正确穿戴规范流程，收集相关人员穿戴防护用品的视频；
[0008]步骤2：将视频剪辑为多个规范行为视频类别，并对视频类别数据进行清洗和标注，形成防护服穿戴视频的训练、验证与测试数据集；
[0009]步骤3：构建基于人体姿态的抗疫防护服穿戴行为步骤识别算法；
[0010]步骤4：使用MobileNet算法进行抗疫防护用品目标检测；
[0011]步骤5：高清监控摄像头实时采集N帧数据输入防护服穿戴行为步骤识别算法，识别该视频是否属于规范行为步骤类别；
[0012]步骤6：输入抗疫防护用品穿戴区域监控摄像头采集的实时视频流，使用MobileNet目标检测算法实时检测当前帧，对防护用品类别检测设置目标动态检测算法，进行防护用品穿戴流程是否规范检测。
[0013]进一步地，所述步骤1抗疫防护用品正确穿戴规范流程为：行为步骤1：手卫生；行为步骤2：戴一次性帽子；行为步骤3：戴医用防护口罩；行为步骤4：穿防护服；行为步骤5：戴护目镜；行为步骤6：戴手套；行为步骤7：穿靴套；行为步骤8：穿隔离衣；行为步骤9：穿鞋套。
[0014]进一步地，所述步骤2：将视频剪辑为以下视频类别：
[0015]手卫生规范行为、戴一次性帽子规范行为、戴医用防护口罩规范行为、穿防护服规范行为、戴护目镜规范行为、戴手套规范行为、穿靴套规范行为、穿隔离衣规范行为、穿鞋套规范行为、手卫生不规范行为、戴一次性帽子不规范行为、戴医用防护口罩不规范行为、穿
防护服不规范行为、戴护目镜不规范行为、戴手套不规范行为、穿靴套不规范行为、穿隔离衣不规范行为和穿鞋套不规范行为，并对视频类别数据进行清洗和标注，形成防护服穿戴视频的训练、验证与测试数据集。
[0016]进一步地，所述步骤3对步骤2得到的防护服穿戴视频数据集进行稀疏采样，每个视频得到T帧图片，使用图片数据对该算法进行训练，得到满足识别率要求的防护服穿戴行为步骤识别算法，所述步骤识别算法包括如下具体步骤：
[0017]步骤3.1：训练数据与测试数据前期准备：通过防护用品穿戴清洁区监控收集视频，将视频数据集按照6：2：2划分为训练集、验证集和测试集；将步骤2中的视频数据集均匀划分为T段，并从每段中随机提取一帧图片得到网络输入数据I＝[I1,
…
I
T
]；
[0018]步骤3.2：设计行为识别网络结构：
[0019]步骤3.2.1：通过稀疏采样得到的T帧图片，图片分辨率大小为224
×
224，利用步长为3的滑动窗口进行相邻3帧差分计算，得到T
‑
2帧运动差分灰度图，堆叠后输入3
×
3卷积提取视频运动特征；
[0020]步骤3.2.2：T帧图片输入中心点网络，进行人体姿态17个关键点的提取，所述17个关键点包含：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰、右腰、左膝盖、右膝盖、左脚踝、右脚踝，其中中心点网络主干网络使用沙漏网络，每帧图片得到17张关键点热图，二维姿态大小表示为17
×
56
×
56，提取每帧图片的关键点热图J；
[0021]J的计算公式为：其中K表示关键点，(i，j)表示像素点坐标，(x
k
，y
k
)表示K关键点的坐标，c
k
表示置信度；
[0022]步骤3.2.3：将运动特征与关键点热图进行堆叠，输入3D卷积神经网络提取姿态特征，通过softmax分类层得到行为步骤类别识别；
[0023]步骤3.3：模型训练和测试：将训练数据送入行为识别网络，提取出关节热图后使用10
‑
clip裁剪方案，将热图裁剪为56
×
56大小，对模型进行参数微调，得到满足识别率要求的防护服穿戴行为步骤识别算法。
[0024]进一步地，所述步骤4对步骤3稀疏采样得到的视频帧构建防护用品目标检测数据集，防护用品类别跟步骤2视频内出现防护用品类别一致，分为：防护用品类别一：免洗手液；防护用品类别二：一次性帽子；防护用品类别三：医用防护口罩；防护用品类别四：防护服；防护用品类别五：护目镜；防护用品类别六：手套；防护用品类别七：靴套；防护用品类别八：隔离衣；防护用品类别九：鞋套；使用该数据集对MobileNet算法进行训练，得到满足识别率要求的防护用品目标检测算法。
[0025]进一步地，所述步骤5通过步骤识别算法，识别该视频是否属于规范行为步骤类别，若其为不规范行为步骤类别，则直接输出“XX行为步骤不规范”的语音警报；若其为规范行为步骤类别，得到行为发生时刻顺序列表，具体包括如下步骤：
[0026]步骤5.1：通过步骤3的防护服穿戴行为识别算法，输入I
t
‑
N
‑1至I
t
均匀采样N帧视频流，softmax层输出该段视频的行为类别置信度，设置置信度阈值为γ，正常情况下输出最大置信度的行为步骤类别；若输出softmax值均小于阈值，则输出无行为；记录步骤行为的时间其中i表示行为类别，j表示连续检测到行为i的次数，j＝1,2,
…
,J
i
；步骤5.2：存储
算法检测到的行为发生时刻按照防护服穿戴行为规范流程，设置时刻顺序，若满足存在所有行为类别要求和满足行为发生时刻顺序要求，则进行下一步；若不满足任何其中一项要求，则判定为穿戴不规范，反馈给后台发出“穿戴流程不规范”的语音警报。
[0027]进一步地，所述步骤6若目标动态检测算法结果满足防护用品动态存在要求，行为发生时刻列表满足行为发生时刻顺序要求，则输出穿戴流程规范；若不满足其中任何一项要求，则直接反馈给后台，发出“穿戴流程不规范”的语音警报，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法，其特征在于，包括如下步骤：步骤1：确定抗疫防护用品正确穿戴规范流程，收集相关人员穿戴防护用品的视频；步骤2：将视频剪辑为多个规范行为视频类别，并对视频类别数据进行清洗和标注，形成防护服穿戴视频的训练、验证与测试数据集；步骤3：构建基于人体姿态的抗疫防护服穿戴行为步骤识别算法；步骤4：使用MobileNet算法进行抗疫防护用品目标检测；步骤5：高清监控摄像头实时采集N帧数据输入防护服穿戴行为步骤识别算法，识别该视频是否属于规范行为步骤类别；步骤6：输入抗疫防护用品穿戴区域监控摄像头采集的实时视频流，使用MobileNet目标检测算法实时检测当前帧，对防护用品类别检测设置目标动态检测算法，进行防护用品穿戴流程是否规范检测。2.根据权利要求1所述的基于人体姿态的抗疫防护用品穿戴行为规范检测方法，其特征在于，所述步骤1抗疫防护用品正确穿戴规范流程为：行为步骤1：手卫生；行为步骤2：戴一次性帽子；行为步骤3：戴医用防护口罩；行为步骤4：穿防护服；行为步骤5：戴护目镜；行为步骤6：戴手套；行为步骤7：穿靴套；行为步骤8：穿隔离衣；行为步骤9：穿鞋套。3.根据权利要求1所述的基于人体姿态的抗疫防护用品穿戴行为规范检测方法，其特征在于，所述步骤2：将视频剪辑为以下视频类别：手卫生规范行为、戴一次性帽子规范行为、戴医用防护口罩规范行为、穿防护服规范行为、戴护目镜规范行为、戴手套规范行为、穿靴套规范行为、穿隔离衣规范行为、穿鞋套规范行为、手卫生不规范行为、戴一次性帽子不规范行为、戴医用防护口罩不规范行为、穿防护服不规范行为、戴护目镜不规范行为、戴手套不规范行为、穿靴套不规范行为、穿隔离衣不规范行为和穿鞋套不规范行为，并对视频类别数据进行清洗和标注，形成防护服穿戴视频的训练、验证与测试数据集。4.根据权利要求1所述的基于人体姿态的抗疫防护用品穿戴行为规范检测方法，其特征在于，所述步骤3对步骤2得到的防护服穿戴视频数据集进行稀疏采样，每个视频得到T帧图片，使用图片数据对该算法进行训练，得到满足识别率要求的防护服穿戴行为步骤识别算法，所述步骤识别算法包括如下具体步骤：步骤3.1：训练数据与测试数据前期准备：通过防护用品穿戴清洁区监控收集视频，将视频数据集按照6：2：2划分为训练集、验证集和测试集；将步骤2中的视频数据集均匀划分为T段，并从每段中随机提取一帧图片得到网络输入数据I＝[I1,
…
I
T
]；步骤3.2：设计行为识别网络结构：步骤3.2.1：通过稀疏采样得到的T帧图片，图片分辨率大小为224
×
224，利用步长为3的滑动窗口进行相邻3帧差分计算，得到T
‑
2帧运动差分灰度图，堆叠后输入3
×
3卷积提取视频运动特征；步骤3.2.2：T帧图片输入中心点网络，进行人体姿态17个关键点的提取，所述17个关键点包含：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰、右腰、左膝盖、右膝盖、左脚踝、右脚踝，其中中心点网络主干网络使用沙漏网络，每帧图片得到17张关键点热图，二维姿态大小表示为17
×
56
×
56，提取每帧图片的关键点热图J；
J的计算公式为：其中K表示关键点，(i，j)表示像素点坐标，(x
k
，y
k
)表示K关键点的坐标，c
k
表示置信度；步骤3.2.3：将运动特征与关键点热图进行堆叠，输入3D卷积神经网络提取姿态特征，通过softmax分类层得到行为步骤类别识别；步骤3.3：模型训练和测试：将训练数据送入行为识别网络，提取出关节热图后使用10
‑
clip裁剪方案...

【专利技术属性】
技术研发人员：章东平，雷羽文，
申请(专利权)人：杭州昊清科技有限公司，
类型：发明
国别省市：