行为识别方法、装置及计算机设备制造方法及图纸

本发明专利技术实施例公开了一种行为识别方法，所述方法包括：提取当前帧图像中各待测对象的骨骼关键点；根据骨骼关键点，从全部待测对象中查找手臂夹角小于夹角阈值的目标对象；获取目标对象的手部区域图像；利用预先训练的行为识别模型识别每个目标对象的手部区域图像是否包含目标物体，并输出对应所述当前帧图像中每个目标对象的行为识别结果。通过结合骨骼关键点分析和手部区域图像目标识别，可实现对监控图像中的人员吸烟、玩手机行为的实时识别。通过对手部区域图像进行香烟手机识别，可以大大减少背景干扰，提高识别准确率。

【技术实现步骤摘要】
行为识别方法、装置及计算机设备
本专利技术涉及图像识别领域，尤其涉及一种行为识别方法、装置及计算机设备。
技术介绍
为了提升营业厅工作人员的服务质量，维护企业的良好形象，需要加强对营业厅工作人员的工作状态和行为规范监督。员工在工作期间吸烟或玩手机十分影响其工作效率，造成到访客户的不满。另外，在公共场所吸烟不仅损害自身健康，其也严重污染室内空气，影响他人健康。随着AI(ArtificialIntelligence，简称AI)技术的发展，图像识别被广泛应用到生活、生产的各个方面。应用先进的图像识别技术，对营业厅的工作人员吸烟玩手机行为进行管控，可以有效地提升工作人员的工作服务效率，为文明服务护航，提升客户满意度及企业自身的形象。目前在行为识别领域，现有技术多集中在不区分对象的行为识别，而对特定人群特定行为的识别方案比较缺乏，并且多针对跳绳、挥手、跑步等具有显著肢体动作的行为。尤其，针对吸烟或玩手机这类非显著肢体行为的识别，目前的技术方案存在识别精度差、识别效率低的情况。
技术实现思路
针对上述问题，本专利技术提出一种行为识别方法、装置及计算机设备。具体方案如下：第一方面，本公开实施例提供了一种行为识别方法，所述方法包括：提取当前帧图像中各待测对象的骨骼关键点，其中，所述骨骼关键点至少包括手腕关键点、手肘关键点和肩部关键点；根据骨骼关键点，从全部待测对象中查找手臂夹角小于夹角阈值的目标对象，其中，手臂夹角为手肘关键点和肩部关键点构成的向量与手肘关键点和手腕关键点构成的向量之间的夹角；获取目标对象的手部区域图像，其中，手部区域图像为包含手腕关键点及邻接区域的图像；利用预先训练的行为识别模型识别每个目标对象的手部区域图像是否包含目标物体，并输出对应所述当前帧图像中每个目标对象的行为识别结果，其中，目标物体包括香烟和手机中的至少一种，行为识别结果包括存在异常行为和不存在异常行为，存在异常行为包括吸烟行为、玩手机行为中的至少一种。根据本公开的一种具体实施方式，所述行为识别模型的获取方式包括：获取手部区域图像样本，其中，手部区域图像样本分为手腕关键点周边区域包括目标物体的第一类图像样本和手腕关键点周边区域不包含目标物体的第二类图像样本；将所有手部区域图像样本输入初始神经网络模型进行训练，并保留每次训练得到的深度学习网络模型；对各深度学习网络模型进行指标评估，选取指标值最高的深度学习网络模型作为所述行为识别模型。根据本公开的一种具体实施方式，所述利用预先训练的行为识别模型识别每个目标对象的手部区域图像是否包含目标物体，并输出对应所述当前帧图像中每个目标对象的行为识别结果的步骤，包括：若在目标对象的手部区域图像识别到香烟和/或手机，则确定所述目标对象存在异常行为；若未在目标对象的手部区域图像识别到香烟和手机，则确定所述目标对象不存在异常行为。根据本公开的一种具体实施方式，所述方法还包括：统计待检测视频中预设数量的连续图像中行为识别结果为存在异常行为的帧数量，其中，预设数量的连续图像包括所述当前帧图像及与所述当前帧图像前向邻接的连续多帧图像；若存在异常行为的帧数量与所述预设数量的比值大于或者等于预设阈值，则发出告警信号。根据本公开的一种具体实施方式，所述根据骨骼关键点，从全部待测对象中查找手臂夹角小于夹角阈值的目标对象的步骤，包括：从全部待测对象中提取完整的待测对象，其中，完整的待测对象为至少一侧手部完整包含手腕关键点、手肘关键点及肩部关键点且对象尺度大于尺度阈值的待测对象，对象尺度为待测对象的全部骨骼关键点的外接矩形的最大边长与图像帧宽度的比值；从全部完整的待测对象中查找手臂夹角小于夹角阈值的目标对象。根据本公开的一种具体实施方式，所述获取目标对象的手部区域图像的步骤，包括：以目标对象的手腕关键点为中心，截取预设边长的正方形区域作为手部区域图像。第二方面，本公开实施例还提供了一种行为识别装置，所述装置包括：提取模块，用于提取当前帧图像中各待测对象的骨骼关键点，其中，所述骨骼关键点至少包括手腕关键点、手肘关键点和肩部关键点；查找模块，用于根据骨骼关键点，从全部待测对象中查找手臂夹角小于夹角阈值的目标对象，其中，手臂夹角为手肘关键点和肩部关键点构成的向量与手肘关键点和手腕关键点构成的向量之间的夹角；第一获取模块，用于获取目标对象的手部区域图像，其中，手部区域图像为包含手腕关键点及邻接区域的图像；识别模块，用于利用预先训练的行为识别模型识别每个目标对象的手部区域图像是否包含目标物体，并输出对应所述当前帧图像中每个目标对象的行为识别结果，其中，目标物体包括香烟和手机中的至少一种，行为识别结果包括存在异常行为和不存在异常行为，存在异常行为包括吸烟行为、玩手机行为中的至少一种。根据本公开的一种具体实施方式，所述装置还包括：第二获取模块，用于获取手部区域图像样本，其中，手部区域图像样本分为手腕关键点周边区域包括目标物体的第一类图像样本和手腕关键点周边区域不包含目标物体的第二类图像样本；训练模块，用于将所有手部区域图像样本输入初始神经网络模型进行训练，并保留每次训练得到的深度学习网络模型；选取模块，用于对各深度学习网络模型进行指标评估，选取指标值最高的深度学习网络模型作为所述行为识别模型。第三方面，本公开实施例还提供了一种计算机设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行第一方面所述的行为识别方法。第四方面，本公开实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面所述的行为识别方法。本公开实施例提供的行为识别方法、装置及计算机设备，提取当前帧图像中各待测对象的骨骼关键点；根据骨骼关键点，从全部待测对象中查找手臂夹角小于夹角阈值的目标对象；获取目标对象的手部区域图像；利用预先训练的行为识别模型识别每个目标对象的手部区域图像是否包含目标物体，并输出对应所述当前帧图像中每个目标对象的行为识别结果。通过结合骨骼关键点分析和手部区域图像目标识别，可实现对监控图像中的人员吸烟、玩手机行为的实时识别。通过对手部区域图像进行香烟手机识别，可以大大减少背景干扰，提高识别准确率。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对本专利技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。图1示出了本公开实施例提供的一种行为识别方法的流程示意图；图2示出了本公开实施例提供的一种行为识别方法的整体框架图；图3示出了本公开实施例提供的一种行为识别方法的骨骼关键点示意图；图4示出了本公开实施例提供的一种行为识别方法的部分流程示意图；图5示出了本公开实施例提供的一种行本文档来自技高网...

【技术保护点】
1.一种行为识别方法，其特征在于，所述方法包括：/n提取当前帧图像中各待测对象的骨骼关键点，其中，所述骨骼关键点至少包括手腕关键点、手肘关键点和肩部关键点；/n根据骨骼关键点，从全部待测对象中查找手臂夹角小于夹角阈值的目标对象，其中，手臂夹角为手肘关键点和肩部关键点构成的向量与手肘关键点和手腕关键点构成的向量之间的夹角；/n获取目标对象的手部区域图像，其中，手部区域图像为包含手腕关键点及邻接区域的图像；/n利用预先训练的行为识别模型识别每个目标对象的手部区域图像是否包含目标物体，并输出对应所述当前帧图像中每个目标对象的行为识别结果，其中，目标物体包括香烟和手机中的至少一种，行为识别结果包括存在异常行为和不存在异常行为，存在异常行为包括吸烟行为、玩手机行为中的至少一种。/n

【技术特征摘要】
1.一种行为识别方法，其特征在于，所述方法包括：
提取当前帧图像中各待测对象的骨骼关键点，其中，所述骨骼关键点至少包括手腕关键点、手肘关键点和肩部关键点；
根据骨骼关键点，从全部待测对象中查找手臂夹角小于夹角阈值的目标对象，其中，手臂夹角为手肘关键点和肩部关键点构成的向量与手肘关键点和手腕关键点构成的向量之间的夹角；
获取目标对象的手部区域图像，其中，手部区域图像为包含手腕关键点及邻接区域的图像；
利用预先训练的行为识别模型识别每个目标对象的手部区域图像是否包含目标物体，并输出对应所述当前帧图像中每个目标对象的行为识别结果，其中，目标物体包括香烟和手机中的至少一种，行为识别结果包括存在异常行为和不存在异常行为，存在异常行为包括吸烟行为、玩手机行为中的至少一种。


2.根据权利要求1所述的行为识别方法，其特征在于，所述行为识别模型的获取方式包括：
获取手部区域图像样本，其中，手部区域图像样本分为手腕关键点周边区域包括目标物体的第一类图像样本和手腕关键点周边区域不包含目标物体的第二类图像样本；
将所有手部区域图像样本输入初始神经网络模型进行训练，并保留每次训练得到的深度学习网络模型；
对各深度学习网络模型进行指标评估，选取指标值最高的深度学习网络模型作为所述行为识别模型。


3.根据权利要求1所述的行为识别方法，其特征在于，所述利用预先训练的行为识别模型识别每个目标对象的手部区域图像是否包含目标物体，并输出对应所述当前帧图像中每个目标对象的行为识别结果的步骤，包括：
若在目标对象的手部区域图像识别到香烟和/或手机，则确定所述目标对象存在异常行为；
若未在目标对象的手部区域图像识别到香烟和手机，则确定所述目标对象不存在异常行为。


4.根据权利要求3所述的行为识别方法，其特征在于，所述方法还包括：
统计待检测视频中预设数量的连续图像中行为识别结果为存在异常行为的帧数量，其中，预设数量的连续图像包括所述当前帧图像及与所述当前帧图像前向邻接的连续多帧图像；
若存在异常行为的帧数量与所述预设数量的比值大于或者等于预设阈值，则发出告警信号。


5.根据权利要求1所述的行为识别方法，其特征在于，所述根据骨骼关键点，从全部待测对象中查找手臂夹角小于夹角阈值的目标对象的步骤，包括：
从全部待测对象中提取完...

【专利技术属性】
技术研发人员：蔡逸超，游华斌，黄睿，晏斐，张远来，
申请(专利权)人：泰豪软件股份有限公司，
类型：发明
国别省市：江西;36