基于级联时序迁移模块TSM网络的行为识别方法技术

本发明专利技术公开一种级联时序迁移模块行为识别方法，在残差模块的基础上在卷积层之前加入了级联的两个TSM模块形成两级级联TSM残差模块，级联的TSM模块独立地进行时序信息的迁移，有效地改善了特征在时序维度的融合，强化了模型对长时信息的特征提取能力；同时，级联的模块之间会对迁移的张量进行有效地改制，在二次迁移之前有效融合时空信息，避免了时序迁移的片面化、碎片化；构建的行为识别网络可以有效识别行为类别，在智能安防、人机交互等领域有较好的应用前景。较好的应用前景。较好的应用前景。

【技术实现步骤摘要】
基于级联时序迁移模块TSM网络的行为识别方法


[0001]本专利技术属于计算机
，涉及深度学习学科，具体为一种基于级联时序迁移模块TSM网络的行为识别方法。

技术介绍

[0002]随着移动终端的快速普及，互联网每时每刻都在上传着海量的视频数据，而这些视频数据中极有可能涉及到暴力场景，为网络环境的健康带来不利影响。对涉及暴力场景的智能识别，能够及时将突发安全事件反馈给后方执勤人员，便于对事件的及时处置。因此，对行为的识别在维护社会及网络空间安全健康方面具有重要的作用。
[0003]当前智能安防、视频内容审查、人机交互等领域对人类行为的分辨有较高的应用需求，但实际上目前现有的多种算法实时性和有效性偏低，难以满足任务的需求。时序迁移模块(Temporal Shift Module,TSM)TSM网络在进行行为识别时获取的长时信息有限，网络结构过于简单，在特征学习的过程中容易出现过拟合。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术提供了一种基于级联时序迁移模块TSM网络的行为识别方法，有效提升行为识别效果。
[0005]本专利技术是通过以下技术方案来实现：
[0006]基于级联时序迁移模块TSM网络的行为识别方法，包括如下步骤：
[0007]步骤1：在现有开源数据集的基础上收集、剪辑、标记，获得样本量为5000的暴力行为数据集；
[0008]步骤2：通过对TSM模块单级联构建级联时序迁移模块，将级联时序迁移模块插入残差模块中构建两级级联残差模块，以两级级联残差模块为基本单元，按照ResNet50结构构建行为识别网络；
[0009]步骤3：在构建的暴力行为数据集中训练行为识别网络，初始学习率设置为0.01，每隔两轮次学习率调整为原来的90％，共计训练100轮次，获取能够识别暴力行为的网络模型；
[0010]步骤4：将视频输入通过步骤3获得的网络模型对暴力行为进行识别。
[0011]进一步，所述步骤1中将两个TSM模块级联构建级联时序迁移模块。
[0012]进一步，在两个TSM模块中引入短接操作，拓展到三次级联。
[0013]进一步，所述步骤3中在模型训练过程中采用学习率调整方式解决过拟合问题。
[0014]本专利技术在残差模块的基础上，在卷积层之前加入了级联的两个TSM模块，形成了两级级联TSM残差模块。级联的TSM模块独立地进行时序信息的迁移，有效地改善了特征在时序维度的融合，强化了模型对长时信息的特征提取能力。同时，级联的模块之间会对迁移的张量进行有效地改制，在二次迁移之前有效融合时空信息，避免了时序迁移的片面化、碎片化。
[0015]对于输入的第i帧视频图像F
i
，采用由两级级联TSM残差模块组成的二维CNN网络ResNet50来实现对融合有时空信息的视频帧进行特征提取与分类。两级级联TSM模块的存在进一步强化了时间感受野，有效地完成时间建模。在模型训练过程采用学习率调整方式，初始学习率为0.01，每隔两轮次学习率调整为原来的90％。这在一定程度上加快了学习率的调整速度，也加快了模型的学习速率，可以避免在训练过程中出现过拟合的问题。
[0016]本专利技术还具有以下有益效果：
[0017]为了有效地进行行为识别，本专利技术提出一种基于级联时序迁移模块TSM网络的行为识别方法，在TSM行为识别网络上进行改进。受到LSTM的启发，本专利技术为强化TSM模块对长时信息的特征提取能力，提出两级级联TSM行为识别网络，通过将TSM模块的级联，在不改变原有卷积核大小的基础上，扩大了模型在时序维度的感受野。级联的时序迁移模块在不改变原有卷积核大小的基础上获得了更大卷积核的效果。
[0018]在时序迁移模块的基础上进行改进，提出采用级联的方式连接两个时序迁移模块，在不增加计算量的基础上扩大了模型在时间维度的感受野，有效强化了模型的时空特征提取能力。将级联的时序迁移模块嵌入卷积神经网络中，构建了行为识别网络。
[0019]采用新的学习率调整方式，缓解了模型训练过程中出现的过拟合问题。为了获取模型，在开源数据集的基础上，通过多媒体手段获取了样本量更大的数据集，优化了学习率调整方式，在更大的数据集中训练出行为识别模型。
[0020]构建的行为识别网络可以有效识别行为类别，在智能安防、人机交互等领域有较好的应用前景。在智能安防领域，对于监控中出现的人员打架斗殴等场景无法自动识别。在网络信息审查领域，对于出现的涉暴等违法违规场景无法自动甄别。
附图说明
[0021]图1本专利技术流程图；
[0022]图2行为识别网络结构图；
[0023]图3两级级联TSM残差模块图；
[0024]图4行为识别结果图；
[0025]图5不同学习率调整方法对应验证损失曲线图
[0026]图6本专利技术算法较TSM提升幅度对比图
[0027]图7(a)单向迁移TSM行为识别网络图
[0028]图7(b)RNN网络结构图
[0029]图8不同改进方案准确率对比图
[0030]图9(a)两级级联TSM残差模块图
[0031]图9(b)短接两级级联TSM残差模块图
[0032]图9(c)三级级联TSM残差模块图
具体实施方式
[0033]下面结合具体的实施例对本专利技术做进一步的详细说明，所述是对本专利技术的解释而不是限定。
[0034]如图1所示，本专利技术基于级联时序迁移模块的行为识别方法，包括以下步骤：
[0035]步骤1：在现有开源数据集的基础上收集、剪辑、标记，获得样本量为5000的暴力行为数据集；
[0036]步骤2：通过对TSM模块的简单级联构建了级联时序迁移模块，进一步强化网络对长时信息的特征提取能力。将级联的时序迁移模块嵌入ResNet50网络中构建行为识别网络；如图2；
[0037]步骤3：在构建的暴力行为数据集中训练行为识别网络，初始学习率设置为0.01，每隔两轮次学习率调整为原来的90％，共计训练100轮次，获取能够识别暴力行为的网络模型；
[0038]步骤4：将视频输入构建的网络中，时序迁移模块将实现时空特征信息的融合，卷积神经网络对融合的时空特征信息进行分类，最终实现对行为的识别。
[0039]实例1
[0040]根据本专利技术介绍，本专利技术首先要完成模型的训练，以开源的暴力行为识别数据集UCF
‑
Crime中打斗类型的视频为主，同时收集了Hockey数据集、Movies数据集、Violent
‑
Flow数据集、HMDB51数据集等作为视频中暴力行为的主要场景，收集UCF101、HMDB51数据集等作为扩充数据集中的非暴力主要场景。通过Adobe Premiere Pro对收集到的视频进行剪辑和处理，剔除其中与行为识别无关的视频片段，将数据统一为长度为1秒和5秒的两种视频片段，最终构建了包含5000个视频片段的暴力行为识别数据集。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于级联时序迁移模块TSM网络的行为识别方法，其特征在于包括如下步骤：步骤1：在现有开源数据集的基础上收集、剪辑、标记，获得样本量为5000的暴力行为数据集；步骤2：通过对TSM模块单级联构建级联时序迁移模块，将级联时序迁移模块插入残差模块中构建两级级联残差模块，以两级级联残差模块为基本单元，按照ResNet50结构构建行为识别网络；步骤3：在构建的暴力行为数据集中训练行为识别网络，初始学习率设置为0.01，每隔两轮次学习率调整为原来的90％，共计训练100轮次，获取能够识别暴力行为的网络模型；步骤4：将...

【专利技术属性】
技术研发人员：李永，梁起明，张友善，郭少哲，
申请(专利权)人：中国人民武装警察部队工程大学，
类型：发明
国别省市：