【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于多结构信息感知网络的重复动作计数方法及装置。
技术介绍
1、随着人工智能技术的日益发展，视频分析领域也迎来了一场革命，其中之一是在视频重复动作计数方面的应用，重复动作计数是一种利用视频捕捉技术来计算特定动作重复次数的技术，该技术在评估运动员训练效果以及监测和判断其身体状况方面具有巨大潜力，同时也可以用于健身领域，帮助个人追踪进度并衡量他们的健身强度。
2、现有的重复动作计数方法主要分为两类：传统方法和基于计算机视觉的方法。
3、传统方法主要包括人工计数和传感器辅助计数。人工计数需要有专门的记录员，这种方法耗费人力，并且对于某些频率较快的动作进行精准计数往往难度较大，存在因反应延迟导致的计数误差，也可能产生由于记录员疲劳而导致计数错误的情况。传感器辅助计数方法一般通过在运动场地安装红外线传感器、压力传感器等，或者是让运动人员佩戴相应的传感器，然后对传感器的数据信息进行分析，进而实现重复动作计数，这种方法虽然准确度高，但是设备搭载复杂，不同的动作所使用的传感器也不尽相同，布置成本较高，此外佩戴传感器极有可能影响发挥或者造成安全事故。
4、基于计算机视觉的方法可以克服基于传统方法的效率低及接触特性等缺点。该类方法以数据驱动的方式通过上下文感知或时间相关性建模解决上述问题，从而在通用场景中实现重复计数。然而，其计数精度远远不能满足体能测试场景下的实际应用需求。现有方法通过将视频的每一帧作为一个整体来关注全局空间信息，缺乏判别存在周期性运动的局部区域特征的能力，
技术实现思路
1、本专利技术提供一种基于多结构信息感知网络的重复动作计数方法及装置，用以解决现有技术中存在的缺陷。
2、本专利技术提供一种基于多结构信息感知网络的重复动作计数方法，包括：
3、获取待计数视频；
4、将所述待计数视频输入至多结构信息感知网络，得到所述多结构信息感知网络输出的所述待计数视频中各动作类别的重复次数；
5、其中，所述多结构信息感知网络包括结构信息提取模块、结构信息融合模块以及重复计数模块；
6、所述结构信息提取模块用于提取所述待计数视频的每一视频帧中的结构信息；所述结构信息包括各关节点的位置信息、指定关节点的角度信息和目标关节点对之间的距离信息；
7、所述结构信息融合模块用于基于多重注意力机制以及多重卷积操作，对所述结构信息进行融合，得到融管脚合特征，并基于所述融合特征，得到所述待计数视频的每一视频帧中各动作类别的得分；
8、所述重复计数模块用于基于所述待计数视频的各视频帧中各动作类别的得分，应用所述各动作类别对应的阈值，对所述待计数视频中的重复动作进行计数。
9、本专利技术还提供一种基于多结构信息感知网络的重复动作计数装置，包括：
10、视频获取模块，用于获取待计数视频；
11、重复动作计数模块，用于将所述待计数视频输入至多结构信息感知网络，得到所述多结构信息感知网络输出的所述待计数视频中各动作类别的重复次数；
12、其中，所述多结构信息感知网络包括结构信息提取模块、结构信息融合模块以及重复计数模块；
13、所述结构信息提取模块用于提取所述待计数视频的每一视频帧中的结构信息；所述结构信息包括各关节点的位置信息、指定关节点的角度信息和目标关节点对之间的距离信息；
14、所述结构信息融合模块用于基于多重注意力机制以及多重卷积操作，对所述结构信息进行融合，得到融合特征，并基于所述融合特征，得到所述待计数视频的每一视频帧中各动作类别的得分；
15、所述重复计数模块用于基于所述待计数视频的各视频帧中各动作类别的得分，应用所述各动作类别对应的阈值，对所述待计数视频中的重复动作进行计数。
16、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的xxxx方法。
17、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于多结构信息感知网络的重复动作计数方法。
18、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的基于多结构信息感知网络的重复动作计数方法。
19、与现有技术相比，本专利技术具有如下有益效果：
20、本专利技术提供的基于多结构信息感知网络的重复动作计数方法及装置，首先获取待计数视频；然后将待计数视频输入至多结构信息感知网络，得到多结构信息感知网络输出的待计数视频中各动作类别的重复次数。该多结构信息感知网络包括结构信息提取模块、结构信息融合模块以及重复计数模块，通过结构信息提取模块提取待计数视频的每一视频帧中的结构信息进行辅助判别，可以提升多结构信息感知网络的性能。结构信息融合模块通过多重注意力机制自适应地捕获结构信息的相关性，通过多重卷积操作对结构信息的局部特征进行挖掘，关注局部细节变化，二者互补，保证各动作类别的重复次数的准确性。重复计数模块通过应用各动作类别对应的阈值，可以实现对待计数视频中的重复动作的准确计数。
本文档来自技高网...【技术保护点】
1.一种基于多结构信息感知网络的重复动作计数方法，其特征在于，包括：
2.根据权利要求1所述的基于多结构信息感知网络的重复动作计数方法，其特征在于，所述结构信息提取模块具体用于：
3.根据权利要求1所述的基于多结构信息感知网络的重复动作计数方法，其特征在于，所述结构信息融合模块包括信息融合与嵌入模块、多重注意力模块、结构特征挖掘模块以及特征映射模块；
4.根据权利要求3所述的基于多结构信息感知网络的重复动作计数方法，其特征在于，所述结构特征挖掘模块具体包括依次连接的第一卷积模块、第一拼接层、第二卷积模块、第二拼接层、第三卷积模块、第三拼接层、第四拼接层以及第四卷积模块；
5.根据权利要求3所述的基于多结构信息感知网络的重复动作计数方法，其特征在于，所述多重注意力模块包括依次连接的第一注意力模块、第一叠加层、第二注意力模块、第二叠加层、第三注意力模块以及第三叠加层；
6.根据权利要求1所述的基于多结构信息感知网络的重复动作计数方法，其特征在于，所述重复计数模块具体用于：
7.根据权利要求1-6中任一项所述的基于
8.一种基于多结构信息感知网络的重复动作计数装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多结构信息感知网络的重复动作计数方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于多结构信息感知网络的重复动作计数方法。
...【技术特征摘要】
1.一种基于多结构信息感知网络的重复动作计数方法，其特征在于，包括：
2.根据权利要求1所述的基于多结构信息感知网络的重复动作计数方法，其特征在于，所述结构信息提取模块具体用于：
3.根据权利要求1所述的基于多结构信息感知网络的重复动作计数方法，其特征在于，所述结构信息融合模块包括信息融合与嵌入模块、多重注意力模块、结构特征挖掘模块以及特征映射模块；
4.根据权利要求3所述的基于多结构信息感知网络的重复动作计数方法，其特征在于，所述结构特征挖掘模块具体包括依次连接的第一卷积模块、第一拼接层、第二卷积模块、第二拼接层、第三卷积模块、第三拼接层、第四拼接层以及第四卷积模块；
5.根据权利要求3所述的基于多结构信息感知网络的重复动作计数方法，其特征在于，所述多重注意力模块包括依次连接的第一注意力模块、第一叠加层、第二注意力模块、第二叠加...
【专利技术属性】
技术研发人员：李琦铭，林清锋，李俊，谢银辉，吴锦滢，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。