【技术实现步骤摘要】
本专利技术属于人工智能和多媒体应用领域，涉及多媒体内容分析的实时视频分析，具体涉及一种基于骨骼点的时空域优化实时人体动作计数方法。
技术介绍
1、日常锻炼是人们健康生活的重要组成部分，随着人工智能时代的到来，基于人工智能的健身训练逐渐发展成为一个前景广阔的领域。对于大多数人来说，在运动时没有指导可能无法达到最佳效果，甚至有受伤的风险。然而，要寻求有经验的指导，我们通常需要去体育馆或健身房寻求帮助，产生大量的额外时间金钱开销。因此，为了让日常锻炼变得更加科学和便捷，基于人工智能的健身培训展现出了其独特的优势。
2、随着移动计算能力的发展，市场上出现了多种基于人工智能的健身训练应用。然而，经过我们的调研，它们的准确性极低。在理想情况下，锻炼者在选择动作类型后，可以从这些应用程序中获得重复锻炼动作的计数结果。但在大多数情况下，错误或随意进行的动作，甚至疲惫时的颤抖，都可能被错误地计入重复次数。这是由于这些应用程序试图提供实时服务时使用的简单模型造成的。因此，我们发现除了严格的响应延迟外，了解动作内容细节和评估动作有效性的科学可控方法对于人体动作计数(hac)任务同样重要。
3、已有研究提出了实现内容不可知的重复计数或使用昂贵而不便的设备进行计数的方法。重复估计是levy等人定义的一项任务，其目的是计算输入视频中近似相同动作的重复次数。然而，这一目标是粗粒度的。它在统计任何形式的周期性动作时，对于动作内容不可知。因此，它无法满足内容感知的要求。基于传感器的动作计数可以通过惯性和位置信息对动作内容进行有限的分析。不
4、近年来，基于视觉模型的研究在hac任务上取得了很高的精确度。然而，这些方法需要逐帧提取骨架坐标，甚至需要更多的冗余推理过程。通过在rtx 3060gpu上运行的几种骨架提取算法实验，我们发现逐帧分析视频的时间开销远远超过了实时性限制。考虑到移动计算能力短期之内很难超越上述算力，通过逐帧模式分析实现实时级推理可以认为是不切实际的。因此，现有的涉及动作计数的动作识别高精确度方案中欠缺实时级别的推理效率，因此需要寻找一种优化方案。
技术实现思路
1、针对上述问题，本专利技术为了实现动作内容可知的实时高精度人体动作计数，提出了一种基于骨骼点的时空域优化实时人体动作计数方法，实现能够在分析动作内容的前提下，同时满足足够高的动作计数精准度和在有限算力下的实时或准实时推理。
2、本专利技术的一种基于骨骼点的时空域优化实时人体动作计数方法，包括如下步骤：
3、步骤1，构建动作字典；动作字典包含多条动作字典条目，一条动作字典条目由一种动作的标准示范视频生成，包含如下特征：用于动作类型识别的动作索引，选择k个时刻的视频帧的人体骨骼点形成，k＞1；用于将骨骼点映射为动作状态值的映射函数m；用于记录一个动作循环中动作状态值随时间变化的曲线，按照时间-动作状态值构建三个不同稠密度的关键帧序列w0、w1和w2；
4、步骤2，接收视频流，通过残差计算消除视频中两个动作之间的冗余帧，对动作视频v与动作字典中的动作索引比对，识别动作类型，设置动作视频v的初始关键帧序列w为对应动作字典条目中的w1；
5、步骤3，对动作视频v根据关键帧序列w中的时序提取关键帧，识别关键帧中的人体骨骼点并根据相应的映射函数计算动作状态值，将得到的时间-动作状态值ci(xi，yi)存入数组c，xi和yi代表第i个关键帧的时间点和动作状态值；
6、步骤4，由w期望的第i个关键帧的时间-动作状态值和实际得到的ci(xi，yi)，动态调整期望关键帧序列w；调整包括时间轴缩放、稠密度切换和重构关键帧序列；动态调整时，设置最小调节阈值t和最大调节阈值t，计算yi和的差值，然后执行：(1)若该差值不大于t，则保持当前采样稠密度，继续转步骤3提取下一个关键帧；(2)若差值大于t，将w设置为w2，然后从大于时间点的视频帧开始，转步骤3提取第i个关键帧；(3)若差值大于t且不大于t，将采样稠密度提高一级，按比例压缩关键帧序列的时间轴，然后重新采样；若(2)和(3)的情况中，当前w已经为w2，不能再提高稠密度，则重新记录一个新的稠密度采样的关键帧序列w2′；
7、步骤5，判断是否检测到动作视频v的动作结束信号，若否，继续转步骤3提取下一个关键帧；若是，计算数组c对应的时间-动作状态波形与理想波形的误差，若误差超过误差阈值，判断当前动作不合格，否则判断当前动作合格；
8、步骤6，判断是否存在新记录的关键帧序列w2′，若不存在，继续转步骤2，对下一个动作视频进行动作检测；若存在，当动作判断不合格时，丢弃w2′，当动作判断合格时，用w2′更新w2，并从w2′中重新采样w0和w1，然后转步骤2，对下一个动作视频进行动作检测。直到视频流中断或视频结束，输出人体动作计数结果。
9、所述的步骤1中，每条动作字典条目中，根据标准示范视频中动作执行者覆盖的空间区域的最大x轴和y轴覆盖范围，得到一个静态感兴趣区域roi，构造一个映射函数raction，记录动作执行者从初始帧的覆盖范围到静态roi的变化过程；映射函数raction的输入为动作起始时刻的视频帧，输出静态roi。
10、所述的步骤3使用空域优化算法，对动作视频v使用动作字典中对应动作类型的静态roi映射函数确定动作的静态roi，在提取的关键帧使用静态roi进行裁剪，消除背景部分后，再识别人体骨骼点。所述的步骤3，还对动作视频v先使用帧级别图像残差计算，将视频中执行者静止部分的帧删去，消除冗余帧，再提取关键帧。
11、本专利技术与现有技术相比，具有以下优点和积极效果特点：
12、(1)本专利技术方法利用动作字典可以使其很好地处理不同动作的识别和计数，且实现的系统能高度模块化，各个模块之间的耦合度低，使其可以随意适配不同推理步骤的优化，能实现高效分析动作内容的结构，对识别动作种类具有灵活适配优化的高可拓展性。
13、(2)本专利技术方法使用基于时域优化算法的动态调整期望关键帧序列进行动作识别，从根本上解决了hac任务的效率问题。hac任务的各种方法中，将视频内容转化为骨骼点的计算开销占整个算法的绝大部分，而简陋的骨骼点提取模型会导致整体方法的性能产生剧烈下降，因此，适应性地调整算法选择的视频关键帧是解决整个任务推理效率的核心突破。本专利技术方法通过这种动态机制，在消除大量冗余帧识别的同时，保证识别到的关键帧的精确度，实现了大幅度提高动作计数，且保证了足够高的精确度。
14、(3)本专利技术方法的空域优化算法尤其适用于视频内容繁杂时，骨骼点提取模型的效率和精确度下降明显的情况，可以有效消除背景噪音，适配于已知的任意骨骼点提取模型，并为实时人体动作计数提供更好的效率和准确度性能。
本文档来自技高网...【技术保护点】
1.一种基于骨骼点的时空域优化实时人体动作计数方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，对一种动作的标准示范视频生成一条动作字典条目的实现步骤包括：
3.根据权利要求1所述的方法，其特征在于，所述的步骤3中，对动作视频V先使用帧级别图像残差计算，将视频中执行者静止部分的帧删去，再提取关键帧。
4.根据权利要求1或2或3所述的方法，其特征在于，所述的步骤3中，对动作视频V，使用动作字典中对应动作类型的静态RoI映射函数Raction确定动作的静态RoI，在提取的关键帧使用静态RoI进行裁剪，消除背景部分后，再识别人体骨骼点。
5.根据权利要求1或2所述的方法，其特征在于，所述的步骤4中，所述的(3)中，设当前采样稠密度为θ，求取当前期望关键帧序列W拟合的时间-动作状态波形的反函数W-1，计算时间轴压缩比例为对关键帧序列Wθ+1中的时间轴按该比例压缩，在后续的采样时间点压缩为将W设置为压缩时间轴后的Wθ+1。
6.根据权利要求1或2所述的方法，其特征在于，所述的步骤4中，新记
...【技术特征摘要】
1.一种基于骨骼点的时空域优化实时人体动作计数方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，对一种动作的标准示范视频生成一条动作字典条目的实现步骤包括：
3.根据权利要求1所述的方法，其特征在于，所述的步骤3中，对动作视频v先使用帧级别图像残差计算，将视频中执行者静止部分的帧删去，再提取关键帧。
4.根据权利要求1或2或3所述的方法，其特征在于，所述的步骤3中，对动作视频v，使用动作字典中对应动作类型的静态roi映射函数raction确定动作的静态roi...
【专利技术属性】
技术研发人员：张蓝姗，张一硕，阙喜戎，龚向阳，王文东，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。