一种骨骼点动作识别方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种骨骼点动作识别方法、装置、电子设备及存储介质，用于改善对骨骼点动作进行识别的准确率较低的问题。该方法包括：获取目标生物的骨骼点数据；使用神经网络模型中的批量归一化层对骨骼点数据进行批量归一化运算，得到归一化后的数据；使用神经网络模型中的第一模块对归一化后的数据进行计算，得到第一特征图；使用神经网络模型中的多个第二模块对第一特征图进行计算，得到第二特征图，第一模块和第二模块均包括批感知注意BAM网络；使用神经网络模型中的全连接层对第二特征图进行分类，获得分类结果，分类结果表征从目标生物识别出的动作类别。标生物识别出的动作类别。标生物识别出的动作类别。

【技术实现步骤摘要】
一种骨骼点动作识别方法、装置、电子设备及存储介质


[0001]本申请涉及骨骼点动作识别领域，具体而言，涉及一种骨骼点动作识别方法、装置、电子设备及存储介质。

技术介绍

[0002]目前的人体动作识别领域通常使用多种模态数据来进行动作识别，如RGB模态、深度模态、光流模态以及骨架模态。
[0003]早期基于骨架序列的动作识别方法使用人工构建的特征来对动作进行分类，如骨架角度或者骨骼方向。传统的基于深度学习的方法，手动将骨架构造为关节坐标向量序列或伪图像，该序列或伪图像被馈送到循环神经网络(RNN)或卷积神经网络以生成预测。但目前的神经网络动作识别方法动作识别准确率较低。

技术实现思路

[0004]本专利技术实施例的目的在于一种骨骼点动作识别方法、装置、电子设备及存储介质，用于提高骨骼点动作识别方法准确率。
[0005]第一方面，本申请实施例提供了一种骨骼点动作识别方法，包括：获取目标生物的骨骼点数据；使用神经网络模型中的批量归一化层对骨骼点数据进行批量归一化运算，得到归一化后的数据；使用神经网络模型中的第一模块对归一化后的数据进行计算，得到第一特征图；使用神经网络模型中的多个第二模块对第一特征图进行计算，得到第二特征图，第一模块和第二模块均包括批感知注意BAM网络；使用神经网络模型中的全连接层对第二特征图进行分类，获得分类结果，分类结果表征从目标生物识别出的动作类别。在上述的实现过程中，通过使用神经网络第一模块和多个第二模块依次对归一化后的数据进行计算，使用全连接层对计算结果进行分类从而进行动作识别。该神经网络模型第一模块和第二模块中的BAM网络学习了不同样本之间的相似性权重，从而改善了对骨骼点动作进行识别的准确率较低的问题。
[0006]可选地，在本申请实施例中，第一模块还包括：空间图卷积网络和时间卷积网络；使用神经网络模型中的第一模块对归一化后的数据进行计算，得到第一特征图，包括：使用第一模块中的空间图卷积网络对归一化后的数据进行卷积运算，获得第一特征数据；使用第一模块中的BAM网络对第一特征数据进行计算，获得第二特征数据；使用第一模块中的时间卷积网络对第二特征数据进行卷积运算，获得第一特征图。在上述的实现过程中，利用第一模块的时空图卷积网络、BAM网络和时间卷积网络依次对归一后的数据进行计算，获得第一特征图，通过BAM网络学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度。
[0007]可选地，在本申请实施例中，BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层；使用第一模块中的BAM网络对第一特征数据进行计算，获得第二特征数据，包括：使用通道维度卷积层、空间维度卷积层和时间维度卷积层对第一特征数据
进行卷积运算，获得第一卷积特征；使用softmax层对第一卷积特征进行相似性运算，获得第二特征数据。在上述的实现过程中，分别使用卷积运算来对通道维度、时间维度、空间维度求均值，获得第一卷积特征，使用softmax层对第一卷积特征进行相似性运算，获得第二特征数据。批感知注意BAM网络学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度，从而有效的提高了通过骨骼点数据识别出动作类别的准确率。
[0008]可选地，在本申请实施例中，使用softmax层对第一卷积特征进行相似性运算，获得第二特征数据，包括：使用softmax层对第一卷积特征进行相似性运算，获得相似性数据；对相似性数据和第一特征数据进行残差运算，得到第二特征数据。在上述的实现过程中，对BAM网络进行残差运算，有效地改善了随着网络的加深导致梯度消失或者梯度爆炸的问题。
[0009]可选地，在本申请实施例中，第二模块还包括：空间图卷积网络、时间卷积网络；使用神经网络模型中的多个第二模块对第一特征图进行计算，得到第二特征图，包括：使用第二模块中的空间图卷积网络对第一特征图进行卷积运算，获得第三特征数据；使用第二模块中的BAM网络对第三特征数据进行计算，获得第四特征数据；使用第二模块中的时间卷积网络对第四特征数据进行卷积运算，获得第五特征数据；将第一特征图和第五特征数据进行残差运算，获得第二特征图。在上述的实现过程中，利用第二模块的时空图卷积网络、BAM网络和时间卷积网络依次对归一后的数据进行计算，并且进行残差运算，通过BAM网络学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度，避免梯度消失或者梯度爆炸的情况出现，从而提高了神经网络模型的准确率。
[0010]可选地，在本申请实施例中，BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层；使用第二模块中的BAM网络对第三特征数据进行计算，获得第四特征数据，包括：使用通道维度卷积层、空间维度卷积层和时间维度卷积层对第三特征数据进行卷积运算，获得第二卷积特征；使用softmax层对第二卷积特征进行相似性运算，获得第四特征数据。在上述的实现过程中，通过批感知注意BAM网络中的softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层，从通道维度、时间维度、空间维度学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度，从而有效的提高了通过骨骼点数据识别出动作类别的准确率。
[0011]可选地，在本申请实施例中，空间图卷积包括：人体自然关节邻接矩阵、自适应参数矩阵和相似性矩阵；使用第一模块中的空间图卷积网络对归一化后的数据进行卷积运算，获得第一特征数据，包括：获取相似性矩阵，并将相似性矩阵、人体自然关节邻接矩阵和自适应参数矩阵相加，得到邻接矩阵；将归一化后的数据和邻接矩阵进行矩阵相乘，得到第一卷积数据；对第一卷积数据进行二维卷积运算，得到第一特征数据。在上述的实现过程中，空间图卷积网络使用三个不同的矩阵来建模动作特征，同时注意到样本与样本之间的不同特征，并且利用了骨骼数据的二阶信息，从而提高了动作识别的准确率。
[0012]可选地，在本申请实施例中，时间卷积网络包括：二维卷积层、批量归一化层和激活函数层；使用第一模块中的时间卷积网络对第二特征数据进行卷积运算，获得第一特征图，包括：对第二特征数据进行二维卷积运算，得到第二卷积数据；依次使用量归一化层和激活函数层对第二卷积数据依次进行运算，得到第一特征图。
[0013]本申请实施例还提供了一种骨骼点动作识别装置，包括：数据获取模块，用于获取
目标生物的骨骼点数据；数据归一化模块，用于对骨骼点数据进行批量归一化运算，得到归一化后的数据；第一计算模块，用于对归一化后的数据进行计算，得到第一特征图；第二计算模块，用于对第一特征图进行计算，得到第二特征图，第一计算模块和第二计算模块均包括批感知注意BAM网络；分类模块，用于对第二特征图进行分类，获得分类结果，分类结果表征从目标生物识别出的动作类别。
[0014]本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨骼点动作识别方法，其特征在于，包括：获取目标生物的骨骼点数据；使用神经网络模型中的批量归一化层对所述骨骼点数据进行批量归一化运算，得到归一化后的数据；使用所述神经网络模型中的第一模块对所述归一化后的数据进行计算，得到第一特征图；使用所述神经网络模型中的多个第二模块对所述第一特征图进行计算，得到第二特征图，所述第一模块和所述第二模块均包括批感知注意BAM网络；使用所述神经网络模型中的全连接层对所述第二特征图进行分类，获得分类结果，所述分类结果表征从所述目标生物识别出的动作类别。2.根据权利要求1所述的方法，其特征在于，所述第一模块还包括：空间图卷积网络和时间卷积网络；所述使用所述神经网络模型中的第一模块对所述归一化后的数据进行计算，得到第一特征图，包括：使用所述第一模块中的空间图卷积网络对所述归一化后的数据进行卷积运算，获得第一特征数据；使用所述第一模块中的BAM网络对所述第一特征数据进行计算，获得第二特征数据；使用所述第一模块中的时间卷积网络对所述第二特征数据进行卷积运算，获得所述第一特征图。3.根据权利要求2所述的方法，其特征在于，所述BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层；所述使用所述第一模块中的BAM网络对所述第一特征数据进行计算，获得第二特征数据，包括：使用通道维度卷积层、空间维度卷积层和时间维度卷积层对所述第一特征数据进行卷积运算，获得第一卷积特征；使用所述softmax层对所述第一卷积特征进行相似性运算，获得所述第二特征数据。4.根据权利要求3所述的方法，其特征在于，所述使用所述softmax层对所述第一卷积特征进行相似性运算，获得所述第二特征数据，包括：使用所述softmax层对所述第一卷积特征进行相似性运算，获得相似性数据；对所述相似性数据和所述第一特征数据进行残差运算，得到所述第二特征数据。5.根据权利要求1
‑
4任一所述的方法，其特征在于，所述第二模块还包括：空间图卷积网络、时间卷积网络；所述使用所述神经网络模型中的多个第二模块对所述第一特征图进行计算，得到第二特征图，包括：使用所述第二模...

【专利技术属性】
技术研发人员：陈恩庆，辛华磊，高猛，郭佳乐，郭新，吕小永，丁英强，马龙，酒明远，马双双，张楠楠，张爱菊，刘晓娜，
申请(专利权)人：河南信通智能物联有限公司，
类型：发明
国别省市：