基于关键动作特征与位置信息的单人运动图像摘要方法技术

本发明专利技术提供了一种基于关键动作特征与位置信息的单人运动图像摘要方法，包括：基于特征提取和相似性评估获取视频的关键动作帧，并获取其中运动人员的位置信息；对视频进行背景建模和目标轨迹提取；对关键动作帧中运动人员的位置信息与目标轨迹进行碰撞检测，无碰撞的轨迹直接加入重排轨迹，如果有碰撞，则依据碰撞率公式对目标轨迹与关键动作帧中所有的位置进行碰撞率检测，如果碰撞率小于阈值，就将这一目标轨迹加入重排轨迹，如果碰撞率大于或等于阈值，就舍弃这一轨迹；将重排轨迹与背景图片进行泊松融合，生成图像摘要。本发明专利技术可以对运动动作进行有效的评估，同时图像摘要可以让用户更直观的看到自己动作的不足，便于改正动作。动作。动作。

【技术实现步骤摘要】
基于关键动作特征与位置信息的单人运动图像摘要方法


[0001]本专利技术涉及图像摘要
，具体地，涉及一种基于关键动作特征与位置信息的单人运动图像摘要方法。

技术介绍

[0002]在传统体育项目教学中，对其动作姿势是否标准的评估依赖于教练的个人经验及眼力，缺乏量化的评估标准，难以准确有效地评估其动作的规范性并给出合理的改进意见，基于视觉的人体姿态评估，为体育项目教学及指导提供了一种全新的交互方式，需要一种结合人体姿态识别地图像摘要方法，能够更专业、更智能、更具有针对性的对运动动作进行有效的评估，同时生成图像摘要可以让用户更直观的看到自己动作的不足，便于改正动作。

技术实现思路

[0003]基于以上所述，针对学校教学智能化、数据化的迫切需求，本申请创新性的将图像摘要技术与人体姿态识别技术结合在一起，设计并实现了一种基于关键动作特征与位置信息的单人运动图像摘要方法。
[0004]为解决上述技术问题，本专利技术采用以下技术方案：
[0005]第一方面，提供一种基于关键动作特征与位置信息的单人运动图像摘要方法，包括：
[0006]步骤1：对输入的待检测运动人员s的单人运动视频V进行特征提取得到每一帧的特征信息；
[0007]步骤2：对所述每一帧的特征信息与预构建的数据库中m个标准动作关键点间的特征信息进行相似性评估，确定m个关键动作帧，并基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P；其中所述数据库中m个标准动作关键点间的特征信息包括m个标准动作关键点间的距离特征和角度特征；
[0008]步骤3：对视频V进行背景建模和目标轨迹提取，得到背景图片BG和运动人员s轨迹位置信息；
[0009]步骤4：根据关键动作帧中的运动人员s的位置信息P与运动人员s轨迹位置信息的空间关系进行轨迹重排，将符合要求的轨迹位置Q
i
加入位置信息P中，得到重排轨迹；
[0010]步骤5：将重排轨迹与背景图片BG进行泊松融合，生成包含所有关键动作的图像摘要。
[0011]在一些实施例中，步骤1包括：对输入的待检测运动人员s的单人运动视频V＝[f1，f2，...，f
i
，...，f
N
]中的第i帧f
i
，f
i
是视频V中的第i帧w
×
h图像，w
×
h是输入视频的分辨率，进行特征提取得到每一帧的特征信息，其中特征信息包括M个关键点间的距离特征[D
i，1
，D
i，2
，...，D
i，j
，...，D
i，M
]和角度特征[A
i，1
，A
i，2
，...，A
i，j
，...，A
i，M
]；其中D
i，j
是f
i
中第j个关键点与其他关键点间的距离向量，A
i，j
是f
i
中第j个关键点与其他关键点间的角度向量。
[0012]进一步地，所述步骤1中，基于openpose算法进行特征提取，M为18。
[0013]在一些实施例中，步骤2包括：对所述每一帧的特征信息与预构建的数据库中m个标准动作关键点间的特征信息进行相似性评估，确定m个关键动作帧[f
′1，f
′2，...，f
′
j
，...f
′
m
]，f
′
j
是视频V中与第j个关键动作相似度最高的一帧图像，j≤m；其中所述数据库中m个标准动作关键点间的特征信息包括m个标准动作关键点间的距离特征和角度特征；
[0014]基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P＝[P1，P2，...，P
j
，...，P
m
]；其中P
j
是运动人员s在图像f
′
j
中的位置信息。
[0015]在一些实施例中，所述步骤2中，基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P＝[P1，P2，...，P
j
，...，P
m
]，包括：
[0016]对m个关键动作帧[f
′1，f
′2，...，f
′
j
，...f
′
m
]每一帧f
′
j
中的运动人员s使用一个中心点一个二阶方向矩阵S
j
和两个半长L
j，k
表示包裹运动人员s的一个任意方向的矩形包围盒；其中k＝0，1，二阶方向矩阵S
j
表示矩形包围盒两条轴的方向；二阶方向矩阵S
j
的确定方法包括：
[0017][0018][0019]其中C是协方差矩阵，是以关键动作帧f
′
j
左上角为中心点建立坐标轴的运动人员s轮廓点坐标的x，y分量，表示的协方差，E[
·
]表示期望计算，u
x
，u
y
为向量的均值；
[0020]通过协方差矩阵C求解特征值和特征向量，最大特征值对应的特征向量的方向即为包围盒的主轴方向，得到确定的二阶方向矩阵
[0021]将运动人员s的像素点坐标点投影到方向向量上，找到x，y分量在每个方向上的最大值v
k，min
和最小值v
k，max
，其中k＝0，1；基于确定的二阶方向矩阵和x，y分量在每个方向上的最大值v
k，min
和最小值v
k，max
，计算得到包围盒的中心点和两个半长L
j，k
；
[0022][0023][0024]得到关键动作帧运动人员s的位置信息P＝[P1，P2，...，P
j
，...，P
m
]；每个P
j
用一个所述矩形包围盒表示。
[0025]在一些实施例中，所述步骤4包括：
[0026]关键动作帧中运动人员s的位置信息P＝[P1，P2，...，P
j
，...，P
m
]；其中P
j
是运动人员s在图像f
′
j
中的位置信息；运动人员s轨迹位置信息[Q1，Q2，...，Q
i
，...，Q
N
]；其中Q
i
是图像f
i
中运动人员s的位置信息；
[0027]根据关键动作帧中的运动人员s的位置信息P和任意运动人员s的轨迹位置信息Q
i
的空间关系，预定义了两者关系包括：
[0028]a.无碰撞；
[0029]b.相交碰撞；
[0030]c.重叠碰撞；
[0031]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键动作特征与位置信息的单人运动图像摘要方法，其特征在于，包括如下步骤：步骤1：对输入的待检测运动人员s的单人运动视频V进行特征提取得到每一帧的特征信息；步骤2：对所述每一帧的特征信息与预构建的数据库中m个标准动作关键点间的特征信息进行相似性评估，确定m个关键动作帧，并基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P；其中所述数据库中m个标准动作关键点间的特征信息包括m个标准动作关键点间的距离特征和角度特征；步骤3：对视频V进行背景建模和目标轨迹提取，得到背景图片BG和运动人员s轨迹位置信息；步骤4：根据关键动作帧中的运动人员s的位置信息P与运动人员s轨迹位置信息的空间关系进行轨迹重排，将符合要求的轨迹位置加入位置信息P中，得到重排轨迹；步骤5：将重排轨迹与背景图片BG进行泊松融合，生成包含所有关键动作的图像摘要。2.根据权利要求1所述的基于关键动作特征与位置信息的单人运动图像摘要方法，其特征在于，步骤1包括：对输入的待检测运动人员s的单人运动视频V＝[f1，f2，...，f
i
，...，f
N
]中的第i帧f
i
，f
i
是视频V中的第i帧w
×
h图像，w
×
h是输入视频的分辨率，进行特征提取得到每一帧的特征信息，其中特征信息包括M个关键点间的距离特征[D
i，1
，D
i，2
，...，D
i，j
，...，D
i，M
]和角度特征[A
i，1
，A
i，2
，...，A
i，j
，...，A
i，M
]；其中D
i，j
是f
i
中第j个关键点与其他关键点间的距离向量，A
i，j
是f
i
中第j个关键点与其他关键点间的角度向量。3.根据权利要求2所述的基于关键动作特征与位置信息的单人运动图像摘要方法，其特征在于，所述步骤1中，基于openpose算法进行特征提取，M为18。4.根据权利要求1所述的基于关键动作特征与位置信息的单人运动图像摘要方法，其特征在于，步骤2包括：对所述每一帧的特征信息与预构建的数据库中m个标准动作关键点间的特征信息进行相似性评估，确定m个关键动作帧[f
′1，f
′2，...，f
′
j
，...f
′
m
]，f
′
j
是视频V中与第j个关键动作相似度最高的一帧图像，j≤m；其中所述数据库中m个标准动作关键点间的特征信息包括m个标准动作关键点间的距离特征和角度特征；基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P＝[P1，P2，...，P
j
，...，P
m
]；其中P
j
是运动人员s在图像f
′
j
中的位置信息。5.根据权利要求1所述的基于关键动作特征与位置信息的单人运动图像摘要方法，其特征在于，所述步骤2中，基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P＝[P1，P2，...，P
j
，...，P
m
]，包括：对m个关键动作帧[f
′1，f
′2，...，f
′
j
，...f
′
m
]每一帧f
′
j
中的运动人员s使用一个中心点一个二阶方向矩阵S
j
和两个半长L
j，k
表示包裹运动人员s的一个任意方向的矩形包围盒；其中k＝0，1，二阶方向矩阵S
j
表示矩形包围盒两条轴的方向；二阶方向矩阵S
j
的确定方法包括：
其中C是协方差矩阵，是以关键动作帧f
′
j
左上角为中心点建立坐标轴的运动人员s...

【专利技术属性】
技术研发人员：干宗良，孙浩，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：