本申请公开了一种视频行为识别方法，该方法利用双流网络对视频进行行为识别，具体地，将原始图像帧输入空间流神经网络，得到原始视频的全局空间特征；将光流帧输入时间流神经网络，得到原始视频的全局时间特征；其中，在全局空间特征和全局时间特征提取时，分别融入了时间注意力权重和空间注意力权重；基于全局空间特征和全局时间特征，确定原始视频的行为类别。如此，在提取全局空间特征和全局时间特征时，对两个网络中的信息进行时空交互，使得时间流中的信息与空间流中的信息互相调整，从而获取到能准确表示原始视频的全局空间特征和全局时间特征，使得基于该全局空间特征和全局时间特征确定的行为识别结果具有更高的准确性。性。性。
【技术实现步骤摘要】
一种视频行为识别方法、装置、设备及存储介质
[0001]本专利技术涉及机器视觉领域，尤其涉及一种视频行为识别方法、装置、设备及存储介质。
技术介绍
[0002]随着社交平台和城市监控上视频数据激增，视频成为当前主流数据载体之一，基于视频的行为识别也应运而生。作为计算机视觉中的一个活跃领域，视频行为识别技术旨在检测场景中的运动目标，提取其运动和外观特征，并针对提取后的特征进行分类来识别行为。现有的视频行为识别方法主要有基于双流网络的行为识别方法、基于三维卷积神经网络的行为识别方法，基于长短时记忆网络的行为识别方法等。
[0003]行为识别方法的关键是捕捉具有代表性的空间和时间信息，然而，现有的行为识别方法在特征表示和特征增强方面存在问题，识别准确率低。
技术实现思路
[0004]为解决上述技术问题，本申请实施例期望提供一种视频行为识别方法、装置、设备及存储介质。
[0005]本申请的技术方案是这样实现的：
[0006]第一方面，提供了一种视频行为识别方法，方法包括：
[0007]获取原始视频；
[0008]从所述原始视频中提取原始图像帧，并基于所述原始图像帧计算光流帧；
[0009]将所述原始图像帧输入空间流神经网络进行全局空间特征提取，得到所述原始视频的全局空间特征；其中，所述空间流神经网络包括：空间注意力网络和第一神经网络；
[0010]将所述光流帧输入时间流神经网络进行全局时间特征提取，得到所述原始视频的全局时间特征；其中，所述时间流神经网络包括：时间注意力网络和第二神经网络；
[0011]基于所述全局空间特征和所述全局时间特征，确定所述原始视频的行为类别。
[0012]上述方案中，所述全局空间特征提取包括：
[0013]将所述原始图像帧输入到所述空间注意力网络，得到空间注意力权重和第一空间特征；获取时间注意力权重，将所述时间注意力权重和所述第一空间特征进行通道级相乘，得到第二空间特征；将所述第二空间特征输入到所述第一神经网络得到全局空间特征；
[0014]所述全局时间特征提取包括：
[0015]将所述光流帧和所述空间注意力权重进行通道级相乘，得到第一时间特征；将所述第一时间特征输入到第二神经网络，得到第二时间特征；将所述第二时间特征输入到所述时间注意力网络，得到所述时间注意力权重和所述全局时间特征。
[0016]上述方案中，所述空间注意力网络为基于原始图像帧的背景以及局部掩膜图的前景相关性构造的空间注意力网络，用于对每个原始图像帧中的感兴趣区域进行特征增强。
[0017]上述方案中，所述方法还包括：
[0018]根据所述原始图像帧确定局部掩膜图；
[0019]所述将所述原始图像帧输入到所述空间注意力网络，得到空间注意力权重和第一空间特征，包括：将所述原始图像帧及其对应的所述局部掩膜图输入到空间注意力网络，得到所述空间注意力权重和所述第一空间特征。
[0020]上述方案中，所述根据所述原始图像帧确定局部掩膜图，包括：
[0021]将所述原始图像帧输入行为显著检测网络模型，得到指示出感兴趣区域的检测图像；保留所述检测图像的感兴趣区域，得到所述原始图像帧对应的局部掩膜图。
[0022]上述方案中，所述将所述原始图像帧及其对应的所述局部掩膜图输入到空间注意力网络，得到所述空间注意力权重和所述第一空间特征，包括：对所述局部掩膜图进行特征提取及全局平均池化，得到局部掩膜特征；对所述原始图像帧进行特征提取及全局平均池化，得到原始图像特征；基于所述局部掩膜特征和所述原始图像特征，确定空间注意力权重和所述第一空间特征。
[0023]上述方案中，所述基于所述局部掩膜特征和所述原始图像特征，确定空间注意力权重和所述第一空间特征，包括：将所述局部掩膜特征和所述原始图像特征输入到空间注意力权重加权网络，得到所述空间注意力权重和所述第一空间特征；其中，所述空间注意力权重加权网络包括：通道聚集层、全局平均池化层、全连接层、ReLU激活函数层和Sigmoid激活函数层。
[0024]上述方案中，所述基于所述全局空间特征和所述全局时间特征，确定所述原始视频的行为类别，包括：
[0025]将所述全局空间特征通过全连接层以及Softmax分类器，得到空间概率得分；将所述全局时间特征通过全连接层以及Softmax分类器，得到时间概率得分；对所述空间概率得分和所述时间概率得分进行加权平均融合，生成预测结果得分；基于所述预测结果得分确定所述原始视频的行为类别。
[0026]第二方面，提供了一种视频行为识别装置，所述装置包括：
[0027]获取模块，用于获取原始视频；
[0028]处理模块，用于从所述原始视频中提取原始图像帧，并基于所述原始图像帧计算光流帧；
[0029]所述处理模块，还用于将所述原始图像帧输入空间流神经网络进行全局空间特征提取，得到所述原始视频的全局空间特征；其中，所述空间流神经网络包括：空间注意力网络和第一神经网络；
[0030]所述处理模块，还用于将所述光流帧输入时间流神经网络进行全局时间特征提取，得到所述原始视频的全局时间特征；其中，所述时间流神经网络包括：时间注意力网络和第二神经网络；
[0031]所述处理模块，还用于基于所述全局空间特征和所述全局时间特征，确定所述原始视频的行为类别。
[0032]第三方面，提供了一种视频行为识别设备，所述设备包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行前述任一项所述方法的步骤。
[0033]第四方面，提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机
程序被处理器执行时实现前述方法的步骤。
[0034]本申请公开了一种视频行为识别方法，该方法利用双流网络对视频进行行为识别，具体地将原始图像帧输入空间流神经网络，得到原始视频的全局空间特征；将光流帧输入时间流神经网络，得到原始视频的全局时间特征；其中，在全局空间特征和全局时间特征提取时，分别融入了时间注意力权重和空间注意力权重；基于全局空间特征和全局时间特征，确定原始视频的行为类别。如此，在提取全局空间特征和全局时间特征时，对两个网络中的信息进行时空交互，使得时间流中的信息与空间流中的信息互相调整，从而获取到能准确表示原始视频的全局空间特征和全局时间特征，使得基于该全局空间特征和全局时间特征确定的行为识别结果具有更高的准确性。
附图说明
[0035]图1为本申请实施例中视频行为识别方法的第一流程示意图；
[0036]图2为本申请实施例中视频行为识别方法的第二流程示意图；
[0037]图3为本申请实施例中的局部掩膜图；
[0038]图4为本申请实施例中空间注意力网络的结构示意图；
[0039]图5为本申请实施例中三维卷积神经网络和时间注意力网络结构示意图；
[0040]图6为本申请实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频行为识别方法，其特征在于，所述方法包括：获取原始视频；从所述原始视频中提取原始图像帧，并基于所述原始图像帧计算光流帧；将所述原始图像帧输入空间流神经网络进行全局空间特征提取，得到所述原始视频的全局空间特征；其中，所述空间流神经网络包括：空间注意力网络和第一神经网络；将所述光流帧输入时间流神经网络进行全局时间特征提取，得到所述原始视频的全局时间特征；其中，所述时间流神经网络包括：时间注意力网络和第二神经网络；基于所述全局空间特征和所述全局时间特征，确定所述原始视频的行为类别。2.根据权利要求1所述的方法，其特征在于，所述全局空间特征提取包括：将所述原始图像帧输入到所述空间注意力网络，得到空间注意力权重和第一空间特征；获取时间注意力权重，将所述时间注意力权重和所述第一空间特征进行通道级相乘，得到第二空间特征；将所述第二空间特征输入到所述第一神经网络得到全局空间特征；所述全局时间特征提取包括：将所述光流帧和所述空间注意力权重进行通道级相乘，得到第一时间特征；将所述第一时间特征输入到第二神经网络，得到第二时间特征；将所述第二时间特征输入到所述时间注意力网络，得到所述时间注意力权重和所述全局时间特征。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述原始图像帧确定局部掩膜图；所述将所述原始图像帧输入到所述空间注意力网络，得到空间注意力权重和第一空间特征，包括：将所述原始图像帧及其对应的所述局部掩膜图输入到空间注意力网络，得到所述空间注意力权重和所述第一空间特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述原始图像帧确定局部掩膜图，包括：将所述原始图像帧输入行为显著检测网络模型，得到指示出感兴趣区域的检测图像；保留所述检测图像的感兴趣区域，得到所述原始图像帧对应的局部掩膜图。5.根据权利要求3所述的方法，其特征在于，所述将所述原始图像帧及其对应的所述局部掩膜图输入到空间注意力网络，得到所述空间注意力权重和所述第一空间特征，包括：对所述局部掩膜图进行特征提取及全局平均池化，得到局部掩膜特征；对所述原始图像帧进行特征提取及全局平均池化，得到原始图像特征...
【专利技术属性】
技术研发人员：潘娜，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。