一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法技术

本发明专利技术公开了一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，包括：实时提取运动员的人物图像、运动姿态序列、光流数据；将人物图像送入双流网络的空间流网络中，获取运动员空间特征；将运动姿态序列作为有向图传入多层的图卷积神经网络中，获得运动员运动时的姿态时空特征；将每一帧光流数据先经过卷积神经网络提取特征后再送入时间关系网络，获取运动员的光流运动信息特征；分别将得到的三种特征两两配对，得到三种聚合特征并分别送入卷积神经网络中，得到三种融合特征并将其加权融合得到最终的整体人体多模态融合运动特征，将其送入全连接网络中得到最终的动作分类识别结果。本发明专利技术提高了运动员犯规动作识别准确度。作识别准确度。作识别准确度。

【技术实现步骤摘要】
一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法


[0001]本专利技术涉及图像处理
，更具体地，涉及一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法。

技术介绍

[0002]羽毛球比赛规则有明确规定，开球要符合规范动作，不能故意延误发球、站位不能阻碍对手视线，比赛中不能故意侵入对手场区、做出某些动作阻碍对手进攻或分散对手注意力。但有时这些动作发出时会比较细微，人眼无法做到细致观察判断，加上比赛过程中运动员动作变化频繁，这样可能会造成裁判忽略某些犯规动作，从而影响了比赛的公平性。随着计算机视觉技术的提升，机器可以实现对视频、图像的精细分析，因此可以利用机器来代替人眼去识别运动员比赛动作是否犯规，即对运动员进行行为识别来判断其比赛时动作是否符合规范。目前行为识别方法是以双流法和3D卷积为主，也有输入人体姿态来进行行为识别。但是由于人体行为有很多不确定性，运动员比赛时动作较为复杂，并且手部挥拍动作可能会不明显，还会夹杂一些复杂动作，这些可能会造成系统对行为的误判，只是使用单一模态的数据而缺乏信息间的交互很难进行细致分析。
[0003]在现有技术中，公开号为CN110705463A的中国专利技术专利，于2020年1月17日公开了一种基于多模态双流3D网络的视频人体行为识别方法及系统，包括：基于深度视频生成的深度动态图序列DDIS；基于RGB视频生成的姿势评估图序列PEMS；将深度动态图序列和姿势评估图序列分别输入到3D卷积神经网络中，构造DDIS流和PEMS流，得到各自的分类结果；将得到的分类结果进行融合，得到最终的行为识别结果。该专利没有结合多特征信息，没有特征融合，识别准确度不高。

技术实现思路

[0004]本专利技术为克服上述现有技术运动员犯规动作识别没有多特征信息融合，识别准确度不高的缺陷，提供一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法。
[0005]本专利技术的首要目的是为解决上述技术问题，本专利技术的技术方案如下：
[0006]一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，包括以下步骤：
[0007]S1：实时提取运动员的人物图像、运动姿态序列、光流数据；
[0008]S2：将人物图像送入双流网络的空间流网络中，获取运动员空间特征；
[0009]S3：将运动姿态序列作为有向图传入多层的图卷积神经网络中，获得运动员运动时的姿态时空特征；
[0010]S4：将每一帧光流数据先经过卷积神经网络提取特征后再送入时间关系网络，获取运动员的光流运动信息特征；
[0011]S5：分别将步骤S1、S2、S3得到的三种特征两两配对，得到三种聚合特征；
[0012]S6：将三种聚合特征分别送入卷积神经网络中，得到三种融合特征；
[0013]S7：将三种融合特征加权融合得到最终的整体人体多模态融合运动特征；
[0014]S8：将整体人体多模态融合运动特征送入全连接网络中得到最终的动作分类识别结果。
[0015]进一步地，步骤S1中，通过视频截帧获取运动员人物图像，通过OpenPose获取运动员运动姿态，通过DenseFlow获取运动员光流数据。
[0016]进一步地，步骤S2是将人物图像送入双流网络的空间流网络中，对人物图像的空间信息进行建模，得到运动员的人物空间特征。
[0017]进一步地，步骤S3是将运动姿态序列作为有向图传入多层的图卷积神经网络中，对运动员的运动姿态序列进行建模，得到运动员的运动姿态时空特征。
[0018]进一步地，运动姿态时空特征经过图卷积运算得到，所述图卷积运算公式如下：
[0019][0020]其中，v
ti
、v
tj
代表人体姿态关节点，f
in
和f
out
代表输入和输出图像，w和w'代表关节点间的权重和重构后的权重，l
ti
(
·
)是指利用关节点v
ti
来给其他节点赋予数字标签，所述数字标签依赖于两个关节点之间的最短路径，Z
ti
(
·
)是正则化项；B(v
ti
)＝{v
tj
|d(v
tj
,v
ti
)≥D}，其中D设为常数1，d(v
tj
,v
ti
)是两个关节点之间的最短路径。
[0021]进一步地，步骤S4获取运动员光流运动信息特征过程为：
[0022]利用卷积神经网络中的ResNet基线网络对光流序列的每一帧光流进行建模，然后对建模后的每一帧光流进行特征之间的融合；
[0023]将特征融合后的光流序列送入时间关系网络中按照不同的帧数分组，每一组中的光流的序号从小到大排序；
[0024]对每一组光流序列进行建模，得到帧间时间关系特征，然后再融合相同组别的帧间时间关系特征，得到段间时间关系特征；
[0025]将所有段间时间关系特征通过相加，得到包含有时间推理信息的整体运动员光流运动信息特征。
[0026]进一步地，步骤S6中将三种聚合特征分别送入卷积神经网络中，每一种聚合特征含有一个特征对，卷积神经网络对每一个特征对建模融合得到三种融合特征。
[0027]进一步地，所述的全连接网络对输入的人体多模态融合运动特征进行动作识别分类，判断出运动员是否有犯规动作。
[0028]进一步地，获取运动姿态序列的过程包括：
[0029]获取运动图像序列，将图像序列的每一张图片经过VGG19网络，得到图像特征；
[0030]根据图像特征分别获取运动员身体每个关节点的关节点置信度和关节点间的亲和度向量；
[0031]利用关节点置信度和关节点间的亲和度向量对关节点进行聚类并进行骨架拼接得到运动员的运动姿态序列。
[0032]进一步地，所述人物图像为RGB图像。
[0033]与现有技术相比，本专利技术技术方案的有益效果是：
[0034]本专利技术通人物图像、运动姿态序列、光流数据获取不同的特征，并将特征进行融合后进而全连接网络中进行动作识别，提高了犯规作识别的准确度。
附图说明
[0035]图1为本专利技术方法流程图。
[0036]图2为本专利技术网络架构图。
[0037]图3为本专利技术时间关系网络结构图。
具体实施方式
[0038]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0039]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。
[0040]实施例1
[0041]如图1-图2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，包括以下步骤：S1：实时提取运动员的人物图像、运动姿态序列、光流数据；S2：将人物图像送入双流网络的空间流网络中，获取运动员空间特征；S3：将运动姿态序列作为有向图传入多层的图卷积神经网络中，获得运动员运动时的姿态时空特征；S4：将每一帧光流数据先经过卷积神经网络提取特征后再送入时间关系网络，获取运动员的光流运动信息特征；S5：分别将步骤S1、S2、S3得到的三种特征两两配对，得到三种聚合特征；S6：将三种聚合特征分别送入卷积神经网络中，得到三种融合特征；S7：将三种融合特征加权融合得到最终的整体人体多模态融合运动特征；S8：将整体人体多模态融合运动特征送入全连接网络中得到最终的动作分类识别结果。2.根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，步骤S1中，通过视频截帧获取运动员人物图像，通过OpenPose获取运动员运动姿态，通过DenseFlow获取运动员光流数据。3.根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，步骤S2是将人物图像送入双流网络的空间流网络中，对人物图像的空间信息进行建模，得到运动员的人物空间特征。4.根据权利要求1所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，步骤S3是将运动姿态序列作为有向图传入多层的图卷积神经网络中，对运动员的运动姿态序列进行建模，得到运动员的运动姿态时空特征。5.根据权利要求4所述的一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法，其特征在于，运动姿态时空特征经过图卷积运算得到，所述图卷积运算公式如下：其中，v
ti
、v
tj
代表人体姿态关节点，f
in
和f
out
代表输入和输出图像，w和w'代表关节点间的权重和重构后的权重，l
ti
(
·
)是指利用关节点v
ti
来给其他节点赋予数字标签，所述数字标签依赖于...

【专利技术属性】
技术研发人员：张刚瀚，黄国恒，程良伦，张煜乾，陈泽炯，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：