异常行为识别方法、装置、设备及介质制造方法及图纸

本公开实施例提供了一种异常行为识别方法、装置、设备及介质，涉及人工智能与大数据领域。该方法包括：获取待处理视频流，对待处理视频流进行采样，获得待处理视频流的多帧视频帧图像；对多帧视频帧图像进行目标检测识别，获得各个目标对象的图像时序数据和各个目标对象的关键点时序数据；基于预先训练的异常行为识别模型，根据各个目标对象的图像时序数据和各个目标对象的关键点时序数据，确定各个目标对象的个体异常行为标签和多个目标对象的群体异常行为标签，其中，异常行为识别模型包括个体异常行为识别模型和群体异常行为识别模型。该异常行为识别方法泛化能力强，能够识别复杂连续的异常行为，实现简单，识别准确率高。识别准确率高。识别准确率高。

【技术实现步骤摘要】
异常行为识别方法、装置、设备及介质


[0001]本公开涉及人工智能与大数据领域，具体而言，涉及一种异常行为识别方法、异常行为识别装置、电子设备和计算机可读存储介质。

技术介绍

[0002]随着信息技术的不断发展，遍布大街小巷的安防摄像头为城市治安的改善提供了强大的助力。通过人工监控、智能防控等方法能够实现对妨害公共安全的多种异常行为进行事中告警、事后追溯，进一步改善城市治安环境。
[0003]相关技术中，采用基于单帧RGB(一种颜色标准，代表红、绿、蓝三个通道的颜色)图像分类或者数据库对比方法进行异常行为识别。但是，上述方法存在泛化能力较弱、无法识别复杂连续的异常行为的问题，针对个体和群体的异常行为识别采用不同的策略的方法，逻辑复杂，实现难度高，识别准确率低。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开实施例提供一种异常行为识别方法、异常行为识别装置、电子设备和计算机可读存储介质，解决相关技术存在的泛化能力较弱、无法识别复杂连续的异常行为的问题，实现简单，识别准确率高。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的一个方面，提供一种异常行为识别方法，所述方法包括：获取待处理视频流，对所述待处理视频流进行采样，获得所述待处理视频流的多帧视频帧图像；对所述多帧视频帧图像进行目标检测识别，获得各个目标对象的图像时序数据和各个目标对象的关键点时序数据；基于预先训练的异常行为识别模型，根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，确定各个所述目标对象的个体异常行为标签和多个目标对象的群体异常行为标签，其中，所述异常行为识别模型包括个体异常行为识别模型和群体异常行为识别模型。
[0008]在本公开一些实施例中，所述个体异常行为识别模型包括个体行为识别的主干网络和个体行为识别的分类头，所述群体异常行为识别模型包括群体行为识别的主干网络和群体行为识别的分类头；其中，所述基于预先训练的异常行为识别模型，根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，确定各个所述目标对象的个体异常行为标签和多个目标对象的群体异常行为标签，包括：根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，利用所述个体行为识别的主干网络，获得各个所述目标对象的个体动作特征；将各个所述目标对象的个体动作特征分别输入所述个体行为识别的分类头，输出各个所述目标对象的个体异常行为标签；分别将各个所述
目标对象的个体动作特征和各个所述目标对象的行人框编码进行相加，获得各个所述目标对象的融合特征；将各个所述目标对象的融合特征输入所述群体行为识别的主干网络，获得所述多个目标对象的群体行为特征；将所述多个目标对象的群体行为特征输入所述群体行为识别的分类头，输出所述多个目标对象的群体异常行为标签。
[0009]在本公开一些实施例中，所述个体行为识别的主干网络包括第一主干网络和第二主干网络，所述第一主干网络为时域卷积网络的主干网，所述第二主干网络为时空图卷积网络的主干网；其中，所述根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，利用所述个体行为识别的主干网络，获得各个所述目标对象的个体动作特征，包括：将各个所述目标对象的图像时序数据分别输入所述第一主干网络，获得各个所述目标对象的图像时序特征；将各个所述目标对象的关键点时序数据分别输入所述第二主干网络，获得各个所述目标对象的关键点时序特征；分别将各个所述目标对象的图像时序特征和各个所述目标对象的关键点时序特征进行级联，获得各个所述目标对象的个体动作特征。
[0010]在本公开一些实施例中，所述个体异常行为识别模型是按照如下方法训练得到的：获取样本对象的图像时序数据、所述样本对象的关键点时序数据和所述样本对象的个体动作类别；根据所述样本对象的图像时序数据、所述样本对象的关键点时序数据和所述样本对象的个体动作类别，训练所述个体异常行为识别模型包括的个体行为识别的主干网络和个体行为识别的分类头。
[0011]在本公开一些实施例中，所述群体异常行为识别模型是按照如下方法训练得到的：获取多个样本对象的图像时序数据、所述多个样本对象的关键点时序数据和所述多个样本对象的群体动作类别；根据所述多个样本对象的图像时序数据、所述多个样本对象的关键点时序数据和所述多个样本对象的群体动作类别，并利用训练得到的所述个体行为识别的主干网络，训练所述群体异常行为识别模型包括的群体行为识别的主干网络和群体行为识别的分类头。
[0012]在本公开一些实施例中，所述方法还包括：按照第一预设比例帧数对所述样本对象的图像时序数据进行掩码重建，以及对所述样本对象的图像时序数据中的像素进行掩码重建；按照第二预设比例帧数对所述样本对象的关键点时序数据进行掩码重建，以及对所述样本对象的关键点时序数据中的关键点进行掩码重建。
[0013]在本公开一些实施例中，所述对所述多帧视频帧图像进行目标检测识别，获得各个目标对象的图像时序数据和各个目标对象的关键点时序数据，包括：对所述多帧视频帧图像中的行人进行检测以及跟踪，获得各个目标对象的行人检测框，以及获取各个所述目标对象的图像时序数据；将各个所述目标对象的行人检测框中的图像分别输入关键点识别模型，获得各个所述目标对象的关键点时序数据。
[0014]根据本公开的又一个方面，提供一种异常行为识别装置，所述装置包括：采样模块，用于获取待处理视频流，对所述待处理视频流进行采样，获得所述待处理视频流的多帧视频帧图像；目标检测识别模块，用于对所述多帧视频帧图像进行目标检测识别，获得各个目标对象的图像时序数据和各个目标对象的关键点时序数据；行为识别模块，用于基于预先训练的异常行为识别模型，根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，确定各个所述目标对象的个体异常行为标签和多个目标对象的群体异
常行为标签，其中，所述异常行为识别模型包括个体异常行为识别模型和群体异常行为识别模型。
[0015]在本公开一些实施例中，所述个体异常行为识别模型包括个体行为识别的主干网络和个体行为识别的分类头，所述群体异常行为识别模型包括群体行为识别的主干网络和群体行为识别的分类头；其中，所述行为识别模块还用于：根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，利用所述个体行为识别的主干网络，获得各个所述目标对象的个体动作特征；将各个所述目标对象的个体动作特征分别输入所述个体行为识别的分类头，输出各个所述目标对象的个体异常行为标签；分别将各个所述目标对象的个体动作特征和各个所述目标对象的行人框编码进行相加，获得各个所述目标对象的融合特征；将各个所述目标对象的融合特征输入所述群体行为识别的主干网络，获得所述多个目标对象的群体行为特征；将所述多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常行为识别方法，其特征在于，所述方法包括：获取待处理视频流，对所述待处理视频流进行采样，获得所述待处理视频流的多帧视频帧图像；对所述多帧视频帧图像进行目标检测识别，获得各个目标对象的图像时序数据和各个目标对象的关键点时序数据；基于预先训练的异常行为识别模型，根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，确定各个所述目标对象的个体异常行为标签和多个目标对象的群体异常行为标签，其中，所述异常行为识别模型包括个体异常行为识别模型和群体异常行为识别模型。2.根据权利要求1所述的方法，其特征在于，所述个体异常行为识别模型包括个体行为识别的主干网络和个体行为识别的分类头，所述群体异常行为识别模型包括群体行为识别的主干网络和群体行为识别的分类头；其中，所述基于预先训练的异常行为识别模型，根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，确定各个所述目标对象的个体异常行为标签和多个目标对象的群体异常行为标签，包括：根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，利用所述个体行为识别的主干网络，获得各个所述目标对象的个体动作特征；将各个所述目标对象的个体动作特征分别输入所述个体行为识别的分类头，输出各个所述目标对象的个体异常行为标签；分别将各个所述目标对象的个体动作特征和各个所述目标对象的行人框编码进行相加，获得各个所述目标对象的融合特征；将各个所述目标对象的融合特征输入所述群体行为识别的主干网络，获得所述多个目标对象的群体行为特征；将所述多个目标对象的群体行为特征输入所述群体行为识别的分类头，输出所述多个目标对象的群体异常行为标签。3.根据权利要求2所述的方法，其特征在于，所述个体行为识别的主干网络包括第一主干网络和第二主干网络，所述第一主干网络为时域卷积网络的主干网，所述第二主干网络为时空图卷积网络的主干网；其中，所述根据各个所述目标对象的图像时序数据和各个所述目标对象的关键点时序数据，利用所述个体行为识别的主干网络，获得各个所述目标对象的个体动作特征，包括：将各个所述目标对象的图像时序数据分别输入所述第一主干网络，获得各个所述目标对象的图像时序特征；将各个所述目标对象的关键点时序数据分别输入所述第二主干网络，获得各个所述目标对象的关键点时序特征；分别将各个所述目标对象的图像时序特征和各个所述目标对象的关键点时序特征进行级联，获得各个所述目标对象的个体动作特征。4.根据权利要求1至3任一所述的方法，其特征在于，所述个体异常行为识别模型是按照如下方法训练得到的：获取样本对象的图像时序数据、所述样本对象的关键点时...

【专利技术属性】
技术研发人员：武栋，周旭阳，孙皓，甄爱功，崔顺，董小栋，于文青，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：