基于Transformer模型的运动实时计数方法和系统技术方案

本发明专利技术实施例公开了一种基于Transformer模型的运动实时计数方法和系统，所述方法包括：通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；进而将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；基于预先训练的Transformer模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述Transformer模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述Transformer模型的模型结构包括编码模块、全连接层和Softmax层。解决了动作识别和计数准确性较差的技术问题。确性较差的技术问题。确性较差的技术问题。

【技术实现步骤摘要】
基于Transformer模型的运动实时计数方法和系统


[0001]本专利技术涉及运动监测
，具体涉及一种基于Transformer模型的运动实时计数方法和系统。

技术介绍

[0002]随着智能健身、云赛事、虚拟运动等新兴运动的兴起，AI健身得到了广泛推广，为了保证远程健身效果，AI健身软件中多嵌入运动计数模块。在现有技术中，在进行运动计数时，多通过摄像头捕捉人体姿态，再结合AI识别算法进行动作识别及计数。但是，现有方法对于动作速度较快或者较慢的运动，其动作识别和计数的准确性较差。

技术实现思路

[0003]为此，本专利技术实施例提供一种基于Transformer模型的运动实时计数方法和系统，以至少部分解决现有技术中运动动作识别和计数准确性较差的技术问题。
[0004]为了实现上述目的，本专利技术实施例提供如下技术方案：
[0005]一种基于Transformer模型的运动实时计数方法，所述方法包括：
[0006]通过摄像设备实时采集人体运动视频数据；
[0007]通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；
[0008]将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；
[0009]基于预先训练的Transformer模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；
[0010]其中，所述Transformer模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作，且每个所述视频数据样本标注有运动类别；
[0011]所述Transformer模型的模型结构包括编码模块、全连接层和Softmax层。
[0012]进一步地，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量，具体包括：
[0013]检测所述运动视频中每一帧图像中所述目标运动者的骨骼关键点的三维坐标，以得到每一帧图像中所述目标运动者的姿态图；
[0014]基于所述姿态图，获取多个目标骨骼关键点，并以任意三个所述目标骨骼关键点作为一个骨骼关键点序列，以得到多个骨骼关键点序列；
[0015]计算各所述骨骼关键点序列之间的夹角，得到序列夹角，并将所有序列夹角构成运动姿态向量。
[0016]进一步地，计算各所述骨骼关键点序列之间的夹角，得到序列夹角，并将所有序列夹角构成运动姿态向量，具体包括：
[0017]设定骨骼关键点n通过三维坐标(x
n
,y
n
,z
n
)描述，假设有[w,p,q]三个骨骼关键点序列，关键点的坐标为：(x
w
,y
w
,z
w
),(x
p
,y
p
,z
p
),(x
q
,y
q
,z
q
)，其中，w点和p点可以形成线段l1，q和p可以构成线段l2；
[0018]计算l1和l2之间的夹角即为w,p,q三个骨骼关键点形成的序列夹角；
[0019]计算其他骨骼关键点序列的序列夹角，并得到所有的序列夹角；
[0020]所有序列夹角的值构成运动姿态向量：[θ1,θ2,
…
,θ
n
]。
[0021]进一步地，基于预先训练的Transformer模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果，具体包括：
[0022]将所述运动姿态矩阵输入预先训练的Transformer模型，计算所述运动姿态矩阵相对于任一目标动作的输出概率；
[0023]判定所述输出概率大于或等于预设阈值，则在所述目标动作的计数上加1，并将窗口w向前滑动p帧；
[0024]其中，p为窗口w的长度，p的取值范围为[l，r]，l表示训练数据集中所述目标动作的视频帧数的最小值，r表示训练数据集中所述目标动作的视频帧数的最大值。
[0025]进一步地，将所述运动姿态矩阵输入预先训练的Transformer模型，计算所述运动姿态矩阵相对于任一目标动作的输出概率，之后还包括：
[0026]判定所述输出概率小于预设阈值，则将窗口w向前滑动1帧。
[0027]进一步地，所述Transformer模型的模型结构包括：
[0028]所述编码模块的输入是运动姿态矩阵，其中堆叠了n个Transformer算法中的Encoder模块，每个Encoder模块中采用多头注意力机制；
[0029]所述全连接层的输入是编码模块输出的向量，全连接层使用m层线性全连接，全连接层的输出维度是动作类别的种类数；
[0030]所述Softmax层的输入是全连接层的输出向量，通过全连接层最终计算出输入编码模块的运动姿态矩阵所属动作类别的概率。
[0031]本专利技术还提供一种基于Transformer模型的运动实时计数系统，所述系统包括：
[0032]数据获取单元，用于通过摄像设备实时采集人体运动视频数据；
[0033]姿态向量计算单元，用于通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；
[0034]姿态矩阵生成单元，用于将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；
[0035]计数结果输出单元，用于基于预先训练的Transformer模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；
[0036]其中，所述Transformer模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作，且每个所述视频数据样本标注有运动类别；
[0037]所述Transformer模型的模型结构包括编码模块、全连接层和Softmax层。
[0038]本专利技术还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在
所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。
[0039]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
[0040]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
[0041]本专利技术所提供的基于Transformer模型的运动实时计数方法，通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer模型的运动实时计数方法，其特征在于，所述方法包括：通过摄像设备实时采集人体运动视频数据；通过人体检测算法检测出位于视频图像中心位置的运动者，以该运动者作为目标运动者，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量；将各帧图像得到运动姿态向量以时间顺序进行排列，得到运动姿态矩阵；基于预先训练的Transformer模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果；其中，所述Transformer模型是基于运动姿态矩阵样本构成的训练数据集训练得到的，所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的，每个所述视频数据样本只包含一种目标运动样本的一次完整动作，且每个所述视频数据样本标注有运动类别；所述Transformer模型的模型结构包括编码模块、全连接层和Softmax层。2.根据权利要求1所述的运动实时计数方法，其特征在于，计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量，具体包括：检测所述运动视频中每一帧图像中所述目标运动者的骨骼关键点的三维坐标，以得到每一帧图像中所述目标运动者的姿态图；基于所述姿态图，获取多个目标骨骼关键点，并以任意三个所述目标骨骼关键点作为一个骨骼关键点序列，以得到多个骨骼关键点序列；计算各所述骨骼关键点序列之间的夹角，得到序列夹角，并将所有序列夹角构成运动姿态向量。3.根据权利要求2所述的运动实时计数方法，其特征在于，计算各所述骨骼关键点序列之间的夹角，得到序列夹角，并将所有序列夹角构成运动姿态向量，具体包括：设定骨骼关键点n通过三维坐标(x
n
,y
n
,z
n
)描述，假设有[w,p,q]三个骨骼关键点序列，关键点的坐标为：(x
w
,y
w
,z
w
),(x
p
,y
p
,z
p
),(x
q
,y
q
,z
q
)，其中，w点和p点可以形成线段l1，q和p可以构成线段l2；计算l1和l2之间的夹角即为w,p,q三个骨骼关键点形成的序列夹角；计算其他骨骼关键点序列的序列夹角，并得到所有的序列夹角；所有序列夹角的值构成运动姿态向量：[θ1,θ2,
…
,θ
n
]。4.根据权利要求1所述的运动实时计数方法，其特征在于，基于预先训练的Transformer模型对所述运动姿态矩阵进行分析，以得到目标动作的计数结果，具体...

【专利技术属性】
技术研发人员：李长霖，李海洋，侯永弟，
申请(专利权)人：北京甲板智慧科技有限公司，
类型：发明
国别省市：