骨架关节点增强的异常行为识别方法、系统、设备及介质技术方案

本发明专利技术提供一种基于骨架关节点增强时空卷积网络的异常行为识别方法，包括：数据集预处理后生成多帧骨架序列；所述多帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；将所述时序特征输入至全局平均池化层和分类器得到异常行为识别结果。通过空间增强移位模块对各个关节点分配不同程度的权重，突出重要关节点的特征信息。本实施例训练的关节点增强时空卷积模型能有效检测人体异常行为并及时发出警报，该方法在较少计算量的情况下达到较高的准确率和召回率。算量的情况下达到较高的准确率和召回率。算量的情况下达到较高的准确率和召回率。

Abnormal behavior recognition method, system, equipment and medium of skeleton joint point enhancement

【技术实现步骤摘要】
骨架关节点增强的异常行为识别方法、系统、设备及介质


[0001]本专利技术涉及图像处理
，特别涉及一种基于骨架关节点增强时空卷积网络的异常行为识别方法。

技术介绍

[0002]人体异常行为检测作为人体行为识别领域的研究热点之一，在智慧城市、智能监控和人机交互等领域有着重要的应用。在医疗监护领域,通过异常行为识别与检测技术，可实现对无看护病患或老人的实时监控，判断目标是否出现跌倒或其他意外并及时报警呼救，保证他们在第一时间得到治疗和帮助；在交通监管领域，有关部门可利用人体异常行为识别与检测技术监控包括驾驶员行为在内的车内、外异常情况，降低事故发生风险；在公共安全领域,该技术可用于公共场所人员异常情况检测，判断打架斗殴等违反社会治安行为。经典的视频行为识别算法多将RGB视频作为输入，但当RGB视频中背景动态干扰较多、光照不稳定、噪声严重时，传统行为识别算法的效果会受到影响。近年来，基于骨架的行为识别因其对动态环境和复杂背景的适应性强而越来越受到关注。
[0003]目前主流的基于骨架行为识别的方法是图卷积网络，将图卷积网络应用到骨架序列的时空建模中，设计邻接矩阵来表示人体的物理结构。“颜思捷，熊元骏，林达华.基于时空图卷积网络的骨架动作识别[C]//AAAI人工智能会议,2018.”提出了时空图卷积网络，将图卷积网络应用到骨架序列的时空建模中，设计邻接矩阵来表示人体的物理结构，使得网络具有更好的表达能力和更高的性能。但是该网络使用的骨架图是启发式预定义的，表达能力受到图卷积神经网络空间规则的限制，并且对时空特征提取不充分。“石磊,张一帆,程建,卢汉庆.基于双流自适应图卷积网络的骨架动作识别[C]//IEEE/CVF计算机视觉和模式识别会议(CVPR),2019.”结合了关节点和骨骼长度的信息，并且通过计算不同关节的相关性来实现邻接矩阵的自适应性,但是存在参数量过大、计算复杂度过高的问题。“程柯、张一帆、何翔宇.基于移位图卷积网络的骨架动作识别[C]//IEEE/CVF计算机视觉和模式识别(CVPR),2020.”将移位卷积与GCN结合应用于行为识别任务中,通过轻量级的移位操作为空间图与时间图提供了灵活的接收域，大大降低了计算复杂度，但是该网络不能有效的关注骨架序列中的关键信息且对时空特征提取不充分。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术的目的是提供一种基于骨架关节点增强时空卷积网络的异常行为识别方法。
[0005]根据本专利技术的一个方面，提供一种基于骨架关节点增强时空卷积网络的异常行为识别方法，包括：
[0006]数据集预处理后生成多帧骨架序列；
[0007]所述多帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；
[0008]将所述时序特征输入至全局平均池化层和分类器得到异常行为识别结果。
[0009]优选地，所述获取多帧骨架序列，包括：
[0010]归一化骨架关节点数据：
[0011]对于T帧的视频，第一帧中出现的第一个人的中心关节点作为坐标系的原点，将第一帧中每个关节点坐标减去所述中心关节点的坐标；利用其他帧和第一帧的关节点坐标差值获得关节在时间维度上的位移；
[0012]构建时空拓扑图：
[0013]通过OpenPose提取作为输入的多帧骨架序列，所述骨架序列由N个关节点和T帧骨架序列的时空图构成；
[0014]在具有N个关节点的骨架图中，每个关节点表示为位置坐标向量X＝(x,y,z)，x和y为关节点的横纵坐标，z为该关节点的置信度；
[0015]在单帧空间维度上，根据人体构造将同一帧中不同关节点连接成边，形成骨架图；
[0016]在多帧时间维度上，将相邻两帧之间的同一个关节点连接成边，形成T帧的时序图。
[0017]优选地，所述时空卷积模块的数量为9层；
[0018]每个时空卷积模块的输入是C
in
×
N
×
T，输出是C
out
×
N
×
T，C
in
为输入关节点的特征(通道数)，C
out
为输出关节点的特征(通道数)，N为关节点数，T为总帧数；每一层的输入特征是上一层的输出特征；
[0019]9层时空卷积模块的输入通道数、输出通道数和步长分别为：
[0020]时空卷积块B1的输入通道数为3、输出通道数为64、步长为1；
[0021]时空卷积块B2的输入通道数为64、输出通道数为64、步长为1；
[0022]时空卷积块B3的输入通道数为64、输出通道数为64、步长为1；
[0023]时空卷积块B4的输入通道数为64、输出通道数为128、步长为2；
[0024]时空卷积块B5的输入通道数为128、输出通道数为128、步长为1；
[0025]时空卷积块B6的输入通道数为128、输出通道数为128、步长为1；
[0026]时空卷积块B7的输入通道数为128、输出通道数为256、步长为2；
[0027]时空卷积块B8的输入通道数为256、输出通道数为256、步长为1；
[0028]时空卷积块B9的输入通道数为256、输出通道数为256、步长为1；
[0029]9层时空卷积模块输出的时空特征向量为C
out
×
N
×
T，其中C
out
为输出通道数(256)。
[0030]优选地，所述每个时空卷积模块包括：空间增强移位模块和时间移位模块；其中，
[0031]所述空间增强移位模块包括：空间移位和关节点增强；
[0032]所述空间增强移位中的空间移位操作学习单帧关节的局部特征；
[0033]计算关节间相似性权重系数后获得每个关节点不同的权重；
[0034]利用两层感知机提取各个关节的权重，进而生成包含每个关节的权重系数的中间特征向量；
[0035]空间移位操作后的特征与中间特征相加实现关节点增强；
[0036]空间增强移位模块输出的特征与输入特征相加输入到所述时间移位模块中学习时序特征。
[0037]优选地，所述空间移位的过程，包括：
[0038]单帧骨架序列特征为其中N为关节点数量，C
in
为输入通道数，第i个通道的平移距离为i modN，节点与节点之间连接后进行平移，每个节点通过特征平移获取同一帧的其他节点的信息，再通过1
×
1卷积实现各个通道之间的信息交换；
[0039]优选地，所述关节点增强的过程，包括：
[0040]通过高斯函数计算各关节间的相似度；
[0041]利用Softmax函数归一化后生成关节相似性权重系数输入到全局平均池化层；
[0042]将两层全连接层分别与tanh激活函数和sigmoid激活函数结合提取关节权重分布；
[0043]通过关节权重对骨架序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，包括：数据集预处理后生成多帧骨架序列；所述多帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；将所述时序特征输入至全局平均池化层和分类器得到异常行为识别结果。2.根据权利要求1所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，所述数据集预处理后生成多帧骨架序列，包括：归一化骨架关节点数据和构建时空拓扑图；所述归一化骨架关节点数据，包括：对于T帧的视频，第一帧中出现的第一个人的中心关节点作为坐标系的原点，将第一帧中每个关节点坐标减去所述中心关节点的坐标；利用其他帧和第一帧的关节点坐标差值获得关节点在时间维度上的位移；所述构建时空拓扑图，包括：通过OpenPose提取作为输入的多帧骨架序列，所述骨架序列由N个关节点和T帧骨架序列的时空图构成；在具有N个关节点的骨架图中，每个关节点表示为位置坐标向量X＝(x,y,z)，x和y为关节点的横纵坐标，z为该关节点的置信度；空间维度上(单帧)，根据人体构造将同一帧中不同关节点连接成边形成骨架图；时间维度上(多帧)，将相邻帧之间的同一个关节点连接成边形成T帧的时序图。3.根据权利要求1所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，所述时空卷积模块的数量为9层；每个时空卷积模块的输入是C
in
×
N
×
T，输出是C
out
×
N
×
T，C
in
为输入关节点的特征(通道数)，C
out
为输出关节点的特征(通道数)，N为关节点数，T为总帧数；每一层的输入特征是上一层的输出特征；9层时空卷积模块的输入通道数、输出通道数和步长分别为：时空卷积块B1的输入通道数为3、输出通道数为64、步长为1；时空卷积块B2的输入通道数为64、输出通道数为64、步长为1；时空卷积块B3的输入通道数为64、输出通道数为64、步长为1；时空卷积块B4的输入通道数为64、输出通道数为128、步长为2；时空卷积块B5的输入通道数为128、输出通道数为128、步长为1；时空卷积块B6的输入通道数为128、输出通道数为128、步长为1；时空卷积块B7的输入通道数为128、输出通道数为256、步长为2；时空卷积块B8的输入通道数为256、输出通道数为256、步长为1；时空卷积块B9的输入通道数为256、输出通道数为256、步长为1；9层时空卷积模块输出的时空特征向量为C
out
×
N
×
T，其中C
out
为输出通道数(256)。4.根据权利要求1所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，所述每个时空卷积模块包括：空间增强移位模块和时间移位模块，其中，所述空间增强移位模块包括：空间移位和关节点增强；所述空间移位操作学习单帧关节的局部特征；计算同一帧关节间相似性权重系数后，
获得...

【专利技术属性】
技术研发人员：韩军，杨涛，林浩宇，俞锦翔，庞红玉，
申请(专利权)人：上海大学，
类型：发明
国别省市：