基于制造技术

本申请公开了一种基于

【技术实现步骤摘要】
基于yolopose模型的跳绳计数实现方法、装置及存储介质


[0001]本申请涉及
AI
体育
，特别涉及一种基于
yolopose
模型的跳绳计数实现方法
、
装置及存储介质
。

技术介绍

[0002]随着人工智能技术
、
大数据分析技术的不断成熟和发展，
AI+
其他已然成为一种趋势，其中
AI+
体育现在发展越来越好
。
随着
openpose
的提出，简单高效的人体特征点算法发展的越来越好，这些算法能够更好的帮助去实现
AI+
体育
。
[0003]在跳绳领域，跳绳属于快速的循环运动，对于传统的人来计数方式，会出现人员资源的浪费以及人员计数的失误，导致计数不准等问题，采用现在
AI
技术去进行计数能大大减少人力，同时计数的准确度更高
。
[0004]一般
AI
的实现方式有两种，一种的是基于云计算实现，一种是基于边缘端进行实现，云计算的缺点是需要网络，且由于要传输视频，对网络要求较高，且有网络的传输的信息的丢失，会导致错计或者是漏记
。
基于边缘端实现可以很好的解决网络延迟，但是对于边缘计算的算力要求较高，因此选择一个高效的算法去实现跳绳也是至关重要的一步
。
[0005]AI
跳绳目前已经有一些是基于单个特征进行计数，比如高度特征，且多使用的是单人检测的人体姿态评估算法，这种方式较难在边缘端实现多人跳绳
。
单个特征的会导致计数的鲁棒性较低，即人在前后走动的情况，骨骼点抖动的情况，都会导致错计，且人在镜头中不同的位置，即使进行了归一化也很难设置阈值，这种种限制都导致很难实现多人的跳绳
。
比如：专利
CN116563922A
，一种基于人工智能的跳绳自动计数方法，成功利用人体关键点信息获取高度特征，并利用肩膀的高度特征去进行计数；专利
CN115471906A
，一种多跳绳模式识别计数方法，通过两个摄像机对人的动作进行拍摄，利用高度进行跳跃计数点，并结合跳绳识别以及时间对跳跃计数纠正，提高计数的准确性；专利
CN116311523A
，一种基于图像识别的花式跳绳识别算法，通过动态选择关键点，人体关键点的高度信息进行计数并判定花式动作，对高度信息进行平滑和归一化
。
专利
CN116416551A
，基于跟踪算法的视频图像多人自适应跳绳智能计数方法，通过使用二阶段的算法，即先进行目标检测，再进行人体姿态评估，再进行跳绳计数，计数的算法也是仅通过高度特征进行判断，成功实现了多人跳绳的计数方法，但是在多人的时候人体姿态评估会进行
n
次计算，计算资源消耗大，且计数特征单一
。

技术实现思路

[0006]本申请提供了一种基于
yolopose
模型的跳绳计数实现方法
、
装置及存储介质，解决现有技术中所存在的计数问题，并成功实现了在边缘端进行多人跳绳，避免了人体其他动作对跳绳计数的干扰，提高了计数的准确性
。
[0007]第一方面，一种基于
yolopose
模型的跳绳计数实现方法，所述方法包括：
[0008]收集单人的跳绳视频数据，并生成跳绳图片，利用
lableme
对跳绳图片进行关键点
标注，并通过关键点标注的跳绳图片数据对预先建立的
yolopose
模型进行训练；
[0009]通过摄像头获取多人跳绳的视频数据，并对视频数据依据人物区域进行划分；其中，每一个划分后的视频数据均为单人跳绳视频数据；
[0010]针对于划分后的各个单人跳绳视频数据，根据训练完成的
yolopose
模型获取各个区域所对应的人体关键点特征；其中，所述人体关键点为腿部关键点；
[0011]根据获取得到的人体关键点特征，确定每个视频帧中进行跳绳的运动状态，并根据所有视频帧的运动状态构建对应的特征向量；
[0012]根据各个区域所对应的特征向量确定各个区域中人物跳绳次数
。
[0013]可选地，所述通过关键点标注的跳绳图片数据对预先建立的
yolopose
模型进行训练中，通过修改损失函数中的
OKS
中的权重进行腿部关键点识别；
[0014]OKS
的损失函数具体包括：
[0015][0016]其中，
k
n
为待调整关键点的特定权重；
d
n
为预测点和真实点的欧式距离；
δ
(v
n
>0)
为关键点可见性，
v
n
>0
条件满足，
δ
(v
n
>0)=1
，条件不满足，
δ
(v
n
>0)=0
；
v
n
表示可见性标志，即0未标记
,1
已标记未遮挡
,2
已标记遮挡；
s
为尺度因子，其值是检测框面积的平方根
。
[0017]可选地，确定每个视频帧中进行跳绳的运动状态中，运动状态具体包括起跳，跳起悬停，下落，双脚落地，单脚落地以及其他，其中，通过相邻帧中动作的位移和速度去定义具体状态，具体地：
[0018]起跳定义为：相邻帧的人体特征关键点的
y
值变小，向上方向的速度变大，其中
y
值用于表征图像帧中竖直高度
;
[0019]跳起悬停为：相邻帧的人体特征关键点的
y
值差值基本不变，速度大小小于设定速度阈值；
[0020]下落定义为：相邻帧的人体特征帧关键点的
y
值变大，向下方向的速度变大；
[0021]双脚落地定义为：相邻帧的人体特征关键点的
y
值和
x
值都不变，且速度大小小于设定速度阈值，双脚的脚踝的坐标
y
值高度差距小于高度阈值；
x
值用于表征图像帧中水平距离；
[0022]单脚落地定义为：相邻帧的人体特征关键点的
y
值和
x
值都不变，且速度大小小于设定速度阈值，双脚的脚踝的坐标
y
值高度差距大于高度阈值；
[0023]其他状态定义为：除以上状态外其他的状态
。
[0024]可选地，根据所有视频帧的运动状态构建对应的特征向量包括：
[0025]将每个视频帧中的运动状态映射为对应数字；
[0026]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
yolopose
模型的跳绳计数实现方法，其特征在于，所述方法包括：收集单人的跳绳视频数据，并生成跳绳图片，利用
lableme
对跳绳图片进行关键点标注，并通过关键点标注的跳绳图片数据对预先建立的
yolopose
模型进行训练；通过摄像头获取多人跳绳的视频数据，并对视频数据依据人物区域进行划分；其中，每一个划分后的视频数据均为单人跳绳视频数据；针对于划分后的各个单人跳绳视频数据，根据训练完成的
yolopose
模型获取各个区域所对应的人体关键点特征；其中，所述人体关键点为腿部关键点；根据获取得到的人体关键点特征，确定每个视频帧中进行跳绳的运动状态，并根据所有视频帧的运动状态构建对应的特征向量；根据各个区域所对应的特征向量确定各个区域中人物跳绳次数
。2.
根据权利要求1所述的方法，其特征在于，所述通过关键点标注的跳绳图片数据对预先建立的
yolopose
模型进行训练中，通过修改损失函数中的
OKS
中的权重进行腿部关键点识别；
OKS
的损失函数具体包括：其中，
k
n
为待调整关键点的特定权重；
d
n
为预测点和真实点的欧式距离；
δ
(v
n
>0)
为关键点可见性，
v
n
>0
条件满足，
δ
(v
n
>0)=1
，条件不满足，
δ
(v
n
>0)=0
；
v
n
表示可见性标志，即0未标记
,1
已标记未遮挡
,2
已标记遮挡；
s
为尺度因子，其值是检测框面积的平方根
。3.
根据权利要求1所述的方法，其特征在于，确定每个视频帧中进行跳绳的运动状态中，运动状态具体包括起跳，跳起悬停，下落，双脚落地，单脚落地以及其他，其中，通过相邻帧中动作的位移和速度去定义具体状态，具体地：起跳定义为：相邻帧的人体特征关键点的
y
值变小，向上方向的速度变大，其中
y
值用于表征图像帧中竖直高度
;
跳起悬停为：相邻帧的人体特征关键点的
y
值差值基本不变，速度大小小于设定速度阈值；下落定义为：相邻帧的人体特征帧关键点的
y
值变大，向下方向的速度变大；双脚落地定义为：相邻帧的人体特征关键点的
y
值和
x
值都不变，且速度大小小于设定速度阈值，双脚的脚踝的坐标

【专利技术属性】
技术研发人员：韩宇娇，倪非非，张波，
申请(专利权)人：景色智慧北京信息科技有限公司，
类型：发明
国别省市：