骨骼序列行为识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及图像识别技术领域，公开一种骨骼序列行为识别方法、装置、设备及存储介质。该方法包括：获取骨骼序列图像的骨骼数据；将骨骼数据输入预设的胶囊网络模型；提取骨骼点的时空特征，根据针对时空特征的注意力机制区分出携带目标时空特征的骨骼点，得到区分结果；根据区分结果以及骨骼点的时空特征构建主胶囊；迭代调整主胶囊与预设的动作胶囊之间的分配方式，使用调整后的动作胶囊提取主胶囊的时空特征，得到动作预测信息，每一个动作胶囊对应一种动作类别；通过软投票的方式聚合动作胶囊子层在不同阶段输出的动作预测信息，得到识别结果。本发明专利技术实施例可以提高骨骼动作识别的准确性和可用性。准确性和可用性。准确性和可用性。

【技术实现步骤摘要】
骨骼序列行为识别方法、装置、设备及存储介质


[0001]本专利技术涉及图像识别
，尤其是一种骨骼序列行为识别方法、装置、设备及存储介质。

技术介绍

[0002]在过去几年中，骨骼动作识别已经成为计算机视觉领域的一个热门研究方向。在许多实际场景中，例如体育比赛、医疗康复和安防等领域，对于人体动作的精确识别和分类具有非常重要的应用价值。然而，由于传统的基于图像或视频的动作识别方法受到了光照、噪声等因素的影响，因此在实际应用中存在一定的局限性。
[0003]为解决上述技术问题，相关技术中，研究者们采用基于神经网络的动作识别方法对输入的骨骼关节数据进行识别，以实现骨骼动作识别，具有较强的鲁棒性和准确性，现有的基于神经网络的动作识别方法大多采用传统的深度神经网络模型，如卷积神经网络和循环神经网络，这些模型对于复杂的人体动作模式的建模能力有一定限制，准确性偏低。

技术实现思路

[0004]本专利技术的目的是提供一种骨骼序列行为识别方法、装置、设备及存储介质，旨在提高骨骼动作识别的准确性和可用性。
[0005]第一方面，提供一种骨骼序列行为识别方法，包括：
[0006]获取骨骼序列图像的骨骼数据，所述骨骼数据由多个骨骼点组成；
[0007]将骨骼数据输入预设的胶囊网络模型，所述胶囊网络模型包括残差时间卷积层和胶囊网络层，所述胶囊网络层包括主胶囊子层、动作胶囊子层和分类子层；
[0008]基于残差时间卷积层，提取骨骼点的时空特征，根据针对时空特征的注意力机制区分出携带目标时空特征的骨骼点，得到区分结果；
[0009]基于主胶囊子层，根据区分结果以及骨骼点的时空特征构建主胶囊，所述主胶囊为符合动态路由机制的神经元集合；
[0010]基于动作胶囊子层，迭代调整主胶囊与预设的动作胶囊之间的分配方式，使用调整后的动作胶囊提取主胶囊的时空特征，得到动作预测信息，每一个动作胶囊对应一种动作类别；
[0011]基于分类子层，通过软投票的方式聚合动作胶囊子层在不同阶段输出的动作预测信息，得到识别结果。
[0012]在一些实施例中，所述胶囊网络模型还包括前处理层，所述骨骼序列行为识别方法，还包括：
[0013]将各骨骼点转换至同一坐标系内进行表示，得到坐标转换数据；
[0014]对坐标转换数据进行归一化处理，得到归一化转换数据；
[0015]对各归一化转换数据的坐标向量进行动作特征提取，将提取得到的多个动作特征向量进行拼接，得到用于输入残差时间卷积层的前处理数据。
[0016]在一些实施例中，所述基于残差时间卷积层，提取骨骼点的时空特征，根据针对时空特征的注意力机制区分出携带目标时空特征的骨骼点，得到区分结果，包括：
[0017]将骨骼数据映射到高维空间，通过卷积操作提取映射到高维空间的骨骼数据的时空特征，得到时空特征向量；
[0018]在帧级和关节级对时空特征向量进行池化处理，得到池化特征；
[0019]根据池化特征在针对时空特征的注意力机制中的注意评分确定对应骨骼点的重要程度，根据骨骼点的重要程度对骨骼点的时空特征赋予相应权重，作为区分结果。
[0020]在一些实施例中，所述针对时空特征的注意力机制具体表示如下：
[0021][0022]其中，f
in
和f
out
表示输入和输出特征映射，表示连接操作，和
⊙
分别表示通道外积和元素积，pool
t
(
·
)和pool
v
(
·
)分别是帧级和关节级上的平均池化操作，σ(
·
)和θ(
·
)分别代表Sigmoid和HardSwish激活函数，是可训练的参数。
[0023]在一些实施例中，所述迭代调整主胶囊与预设的动作胶囊之间的分配方式，使用调整后的动作胶囊提取主胶囊的时空特征，得到动作预测信息，包括：
[0024]基于动态路由机制将主胶囊的时空特征传递至动作胶囊，通过动作胶囊学习主胶囊对应动作的特征表示，计算各动作胶囊之间的空间关系和方向，得到姿态矩阵；
[0025]基于姿态矩阵计算各动作胶囊之间的距离和相对方向，通过反向动态路由机制迭代更新各动作胶囊向上传递的权重分配向量以及权重分配向量的加权系数，得到调整后的权重分配向量和加权系数；
[0026]基于调整后的权重分配向量和加权系数，使用动作胶囊提取主胶囊的动作特征，得到动作预测信息。
[0027]在一些实施例中，所述基于分类子层，通过软投票的方式聚合动作胶囊子层在不同阶段输出的动作预测信息，得到识别结果，包括：
[0028]测量动作胶囊输出的动作预测信息与训练集中的预设预测信息之间的距离，得到预测差距值；
[0029]将预测差距值映射到具体的动作类别，计算预测差距值相对于各个动作类别的概率值，得到动作概率值，将动作概率值进行归一化处理，得到归一化概率值；
[0030]对动作类别在每个阶段得到的归一化概率值进行求和，以概率求和结果最大的动作类别作为识别结果。
[0031]在一些实施例中，所述骨骼序列行为识别方法，还包括：
[0032]通过量化三个维度间的关系，即按照一定的比例缩放系数配置模型的宽度、深度以及分辨率，得到多个不同规模的网络，再通过对比不同规模的网络的性能，选择出适合的模型，得到胶囊网络模型。
[0033]第二方面，提供一种骨骼序列行为识别装置，所述装置包括：
[0034]第一模块，用于获取骨骼序列图像的骨骼数据，所述骨骼数据由多个骨骼点组成；
[0035]第二模块，用于将骨骼数据输入预设的胶囊网络模型，所述胶囊网络模型包括残差时间卷积层和胶囊网络层，所述胶囊网络层包括主胶囊子层、动作胶囊子层和分类子层；
[0036]第三模块，用于基于残差时间卷积层，提取骨骼点的时空特征，根据针对时空特征的注意力机制区分出携带目标时空特征的骨骼点，得到区分结果；
[0037]第四模块，用于基于主胶囊子层，根据区分结果以及骨骼点的时空特征构建主胶囊，所述主胶囊为符合动态路由机制的神经元集合；
[0038]第五模块，用于基于动作胶囊子层，迭代调整主胶囊与预设的动作胶囊之间的分配方式，使用调整后的动作胶囊提取主胶囊的时空特征，得到动作预测信息，每一个动作胶囊对应一种动作类别；
[0039]第六模块，用于基于分类子层，通过软投票的方式聚合动作胶囊子层在不同阶段输出的动作预测信息，得到识别结果。
[0040]第三方面，提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的骨骼序列行为识别方法。
[0041]第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的骨骼序列行为识别方法。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨骼序列行为识别方法，其特征在于，包括：获取骨骼序列图像的骨骼数据，所述骨骼数据由多个骨骼点组成；将骨骼数据输入预设的胶囊网络模型，所述胶囊网络模型包括残差时间卷积层和胶囊网络层，所述胶囊网络层包括主胶囊子层、动作胶囊子层和分类子层；基于残差时间卷积层，提取骨骼点的时空特征，根据针对时空特征的注意力机制区分出携带目标时空特征的骨骼点，得到区分结果；基于主胶囊子层，根据区分结果以及骨骼点的时空特征构建主胶囊，所述主胶囊为符合动态路由机制的神经元集合；基于动作胶囊子层，迭代调整主胶囊与预设的动作胶囊之间的分配方式，使用调整后的动作胶囊提取主胶囊的时空特征，得到动作预测信息，每一个动作胶囊对应一种动作类别；基于分类子层，通过软投票的方式聚合动作胶囊子层在不同阶段输出的动作预测信息，得到识别结果。2.根据权利要求1所述的骨骼序列行为识别方法，其特征在于，所述胶囊网络模型还包括前处理层，所述骨骼序列行为识别方法，还包括：将各骨骼点转换至同一坐标系内进行表示，得到坐标转换数据；对坐标转换数据进行归一化处理，得到归一化转换数据；对各归一化转换数据的坐标向量进行动作特征提取，将提取得到的多个动作特征向量进行拼接，得到用于输入残差时间卷积层的前处理数据。3.根据权利要求1所述的骨骼序列行为识别方法，其特征在于，所述基于残差时间卷积层，提取骨骼点的时空特征，根据针对时空特征的注意力机制区分出携带目标时空特征的骨骼点，得到区分结果，包括：将骨骼数据映射到高维空间，通过卷积操作提取映射到高维空间的骨骼数据的时空特征，得到时空特征向量；在帧级和关节级对时空特征向量进行池化处理，得到池化特征；根据池化特征在针对时空特征的注意力机制中的注意评分确定对应骨骼点的重要程度，根据骨骼点的重要程度对骨骼点的时空特征赋予相应权重，作为区分结果。4.根据权利要求3所述的骨骼序列行为识别方法，其特征在于，所述针对时空特征的注意力机制具体表示如下：其中，f
in
和f
out
表示输入和输出特征映射，表示连接操作，和
⊙
分别表示通道外积和元素积，pool
t
(
·
)和pool
v
(
·
)分别是帧级和关节级上的平均池化操作，σ(
·
)和θ(
·
)分别代表Sigmoid和HardSwish激活函数，是可训练的参数。5.根据权利要求1所述的骨骼序列行为识别方法，其特征在于，所述迭代调整主胶囊与
预设的动作胶囊之间的分配方式，使用调整后的动作胶囊提取主胶囊的时空特征，得到动作预...

【专利技术属性】
技术研发人员：鲜佳君，麦旭鹏，蔡丹琪，丁妍婷，杨培丰，张志宏，陈堃炜，
申请(专利权)人：汕头大学，
类型：发明
国别省市：