本公开提供一种人体行为识别方法、设备及存储介质，其中，所述的方法包括：通过三维残差卷积神经网络对待处理视频帧进行特征提取，得到输入视频的局部短时时空特征；在三维残差卷积神经网络插入时空注意力模块，以对局部短时时空特征进行时空特征增强，得到增强后的局部短时时空特征；将增强后的局部短时时空特征输入残差连接的双向长短期记忆LSTM网络中，以提取输入视频中的长时间依赖关系；采用分类器对输入视频中的长时间依赖关系进行分类，得到识别结果，能够在空间和时间维度同时提取动作特征，兼顾动作潜在的时空相关性，增强了三维残差网络的特征表达能力，突出了重点特征并抑制冗余特征，有效提高识别精度。
【技术实现步骤摘要】
本公开涉及计算机视觉领域，尤其涉及一种人体行为识别方法、设备及存储介质。
技术介绍
1、相关技术中主要使用二维卷积神经网络(convolutional neural networks，cnn)和循环神经网络(recurrent neural network,rnn)相结合，进行人体行为识别，例如最具代表性的lrcn(long-term recurrent convolutional networks)算法，lrcn网络首先通过二维的alexnet卷积神经网络提取视频中的空间信息，再利用单向lstm(long short termmemory，长短期记忆)建模二维卷积特征中的时间信息，实现对动作的分类。
2、然而，二维的alexnet卷积神经网络通过先空间再时间的方式将时空信息分离处理，忽略了视频中动作的潜在时空相关性，单向的lstm未能充分利用视频中的时间信息，因此会影响最终的检测效果。
技术实现思路
1、本公开的第一方面实施例提出了一种人体行为识别方法，该方法包括：对输入视频进行分解及采样处理，得到待处理视频帧；通过三维残差卷积神经网络对待处理视频帧进行特征提取，得到输入视频的局部短时时空特征；在三维残差卷积神经网络插入时空注意力模块，以对局部短时时空特征进行时空特征增强，得到增强后的局部短时时空特征；将增强后的局部短时时空特征输入残差连接的双向长短期记忆lstm网络中，以提取输入视频中的长时间依赖关系；采用分类器对输入视频中的长时间依赖关系进行分类，得到识别结果。</p>2、在本公开的一些实施例中，对输入视频进行分解及采样处理，得到待处理视频帧包括：获取输入视频，将输入视频分解为视频帧；根据输入视频的长度确定采样间隔，并基于采样间隔对视频帧进行采样，得到初始视频帧；根据三维残差卷积神经网络的预设输入格式，调整初始视频帧的分辨率，得到待处理视频帧。
3、在本公开的一些实施例中，三维残差卷积神经网络包括三维卷积核、池化层及三维残差模块，通过三维残差卷积神经网络对待处理视频帧进行特征提取，得到输入视频的局部短时时空特征包括：通过三维残差卷积神经网络的三维卷积核，同时在时间和空间维度提取待处理视频帧中人体动作的局部短时时空特征；通过三维残差模块增加三维残差卷积神经网络的深度，以输出三维残差卷积神经网络的深层处理得到的局部短时时空特征；通过三维残差卷积神经网络的池化层对局部短时时空特征进行压缩，得到压缩后的局部短时时空特征，其中，压缩后的局部短时时空特征格式为三维局部短时时空特征向量；对三维局部短时时空特征向量进行全局平均池化处理，得到一维局部短时时空特征向量。
4、在本公开的一些实施例中，时空注意力模块包括时间注意力模块和空间注意力模块，在三维残差卷积神经网络插入时空注意力模块，以对局部短时时空特征进行时空特征增强，得到增强后的局部短时时空特征包括：将局部短时时空特征输入时间注意力模块，进行时间域注意力的生成，得到时间注意力增强后的特征；将时间注意力增强后的特征输入空间注意力模块，进行空间域注意力的生成，得到空间注意力增强后的特征。
5、在本公开的一些实施例中，将局部短时时空特征输入时间注意力模块，进行时间域注意力的生成，得到时间注意力增强后的特征包括：对局部短时时空特征在空间维度上分别使用全局最大池化和全局平均池化，将其压缩为两个一维特征向量；将两个一维向量分别输入到全连接层得到两个输出特征，采用元素加法对两个输出特征进行融合，得到融合特征值；通过激活函数对融合特征值进行处理，生成时间注意力权重；将时间注意力权重与局部短时时空特征相乘，得到时间注意力增强后的特征。
6、在本公开的一些实施例中，将局部短时时空特征输入时间注意力模块，进行时间域注意力的生成，得到时间注意力增强后的特征包括：对时间注意力增强后的特征在时间维度上分别使用全局最大池化和全局平均池化，将其压缩为两个二维特征向量；对两个二维向量进行拼接，得到拼接特征向量，并对拼接特征向量进行卷积处理，输出特征矩阵；通过激活函数对特征矩阵进行处理，生成空间注意力权重；将空间注意力权重与时间注意力增强后的特征相乘，得到空间注意力增强后的特征。
7、在本公开的一些实施例中，将增强后的局部短时时空特征输入残差连接的双向长短期记忆lstm网络中，以提取输入视频中的长时间依赖关系包括：将增强后的局部短时时空特征正向输入双向lstm网络，得到正向输出特征，并通过逐元素加法操作将双向lstm网络不同层的正向输出特征进行残差连接，得到正向输出结果；将增强后的局部短时时空特征反向输入双向lstm网络，得到反向输出特征，并通过逐元素加法操作将双向lstm网络不同层的反向输出特征进行残差连接，得到反向输出结果；求取正向输出结果和反向输出结果的平均值作为长时间依赖关系输出。
8、本公开的第二方面实施例提出了一种人体行为识别装置，该装置包括：采样模块，用于对输入视频进行分解及采样处理，得到待处理视频帧；特征提取模块，用于通过三维残差卷积神经网络对待处理视频帧进行特征提取，得到输入视频的局部短时时空特征；特征增强模块，用于在三维残差卷积神经网络插入时空注意力模块，以对局部短时时空特征进行时空特征增强，得到增强后的局部短时时空特征；关系提取模块，用于将增强后的局部短时时空特征输入残差连接的双向长短期记忆lstm网络中，以提取输入视频中的长时间依赖关系；分类模块，用于采用分类器对输入视频中的长时间依赖关系进行分类，得到识别结果。
9、本公开的第三方面实施例提出了一种通信设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例中描述的方法。
10、本公开的第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一方面实施例中描述的方法。
11、综上，本公开提出的人体行为识别方法，包括通过三维残差卷积神经网络对待处理视频帧进行特征提取，得到输入视频的局部短时时空特征；在三维残差卷积神经网络插入时空注意力模块，以对局部短时时空特征进行时空特征增强，得到增强后的局部短时时空特征；将增强后的局部短时时空特征输入残差连接的双向长短期记忆lstm网络中，以提取输入视频中的长时间依赖关系；采用分类器对输入视频中的长时间依赖关系进行分类，得到识别结果，本公开提出的三维残差卷积神经网络能够在空间和时间维度同时提取动作特征，兼顾动作潜在的时空相关性，同时在三维残差卷积神经网络中插入时空注意力模块，增强了三维残差网络的特征表达能力，突出了重点特征并抑制冗余特征，使用双向lstm网络从动作的正反向对时间信息进行建模，结合残差连接加深lstm网络的深度，有效提高识别精度。
12、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本文档来自技高网...
【技术保护点】
1.一种人体行为识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对输入视频进行分解及采样处理，得到待处理视频帧包括：
3.根据权利要求1所述的方法，其特征在于，所述三维残差卷积神经网络包括三维卷积核、池化层及三维残差模块，所述通过三维残差卷积神经网络对所述待处理视频帧进行特征提取，得到所述输入视频的局部短时时空特征包括：
4.根据权利要求1所述的方法，其特征在于，所述时空注意力模块包括时间注意力模块和空间注意力模块，所述在所述三维残差卷积神经网络插入时空注意力模块，以对所述局部短时时空特征进行时空特征增强，得到增强后的局部短时时空特征包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述局部短时时空特征输入时间注意力模块，进行时间域注意力的生成，得到时间注意力增强后的特征包括：
6.根据权利要求4所述的方法，其特征在于，所述将所述局部短时时空特征输入时间注意力模块，进行时间域注意力的生成，得到时间注意力增强后的特征包括：
7.根据权利要求1所述的方法，其特征在于，所述将所述增强后的局部短时时空特征输入残差连接的双向长短期记忆LSTM网络中，以提取所述输入视频中的长时间依赖关系包括：
8.一种人体行为识别装置，其特征在于，所述装置包括：
9.一种通信设备，其特征在于，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。
...
【技术特征摘要】
1.一种人体行为识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对输入视频进行分解及采样处理，得到待处理视频帧包括：
3.根据权利要求1所述的方法，其特征在于，所述三维残差卷积神经网络包括三维卷积核、池化层及三维残差模块，所述通过三维残差卷积神经网络对所述待处理视频帧进行特征提取，得到所述输入视频的局部短时时空特征包括：
4.根据权利要求1所述的方法，其特征在于，所述时空注意力模块包括时间注意力模块和空间注意力模块，所述在所述三维残差卷积神经网络插入时空注意力模块，以对所述局部短时时空特征进行时空特征增强，得到增强后的局部短时时空特征包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述局部短...
【专利技术属性】
技术研发人员：余金锁，陈焱山，程志超，
申请(专利权)人：中移苏州软件技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。