一种基于组合模型的视频人体姿态推理优化方法技术

本发明专利技术属于视频技术领域，具体地而言为一种基于组合模型的视频人体姿态推理优化方法，包括将人体整体结构划分为若干树型组合部位，每个组合部位包含有多个线性的基本部位，对单个组合部位在视频中所有帧的一致性计算，求每个组合部位一致性计算结果的最大化获得候选部位集合，计算每一帧候选部位之间的距离得分，根据所有组合部位的得分总和最优化获得最佳姿态。解决视频中姿态估计的正确率较低、推理优化复杂度高的问题，简化姿态推理过程中的结构复杂度。结构复杂度。结构复杂度。

【技术实现步骤摘要】
一种基于组合模型的视频人体姿态推理优化方法


[0001]本专利技术属于视频
，具体地而言为一种基于组合模型的视频人体姿态推理优化方法。

技术介绍

[0002]视频中的人体姿态估计是指根据连续的人体图像序列标记出每一帧中人体各个部位的位置。姿态估计是计算机视觉中难点问题之一，它可以应用于视频监控、视频检索、人机交互、3D游戏或电影、体育视频分析和自动舞蹈编排等多种领域。
[0003]目前多个研究机构和团队对人体姿态估计问题进行了研究。有静态单目图像中的姿态估计方案，通常采用基于可形变部位模型(DPM)或者深度神经网路完成人体部位检测。而越来越多的研究者开始关注视频中的姿态估计。视频中姿态估计可以充分利用单目图像中姿态估计结果，根据多帧的人体部位状态对每一帧图像中人体部位进行预测、跟踪和修正。通过单帧图像的人体部位空间信息和连续多帧序列图像特征变化的时间信息可以有效完成视频中的姿态估计。
[0004]由于若干个连续图像帧的姿态估计可以获取大量的候选姿态，从中筛选最终的人体姿态序列需要的计算量较大，因此需要通过树型推理方法完成整个计算过程的优化。通常采用两种方案进行姿态估计的推理优化。第一类是基于单帧图像检测多个部位的姿态估计方案。首先，逐个获取单帧图像的姿态候选集；然后，通过多个连续图像帧的人体姿态一致性的最大化，确定每一帧的最佳姿态。该方法计算量较少，效率较高，但是准确率较低。第二类方案为基于多帧图像检测单部位的方案。首先，根据连续多帧图像中同一部位的特征和位置一致性，获取所有图像帧中某一部位的候选集，然后根据每一帧图像中的各个部位之间的空间约束关系，获得所有帧中最佳的部位位置。该方法的准确率较高，但是推理结构相对复杂，需要完成整体结构的优化。

技术实现思路

[0005]本专利技术所要解决的技术问题在于提供一种基于组合模型的视频人体姿态推理优化方法，解决视频中姿态估计的正确率较低、推理优化复杂度高的问题。
[0006]本专利技术是这样实现的，
[0007]一种基于组合模型的视频人体姿态推理优化方法，该方法包括：
[0008]将人体整体结构划分为若干树型组合部位，每个组合部位包含有多个线性的基本部位；所述人体整体结构G
c
＝(V
c
,E
c
)，表示为若干个组合部位V
c
＝{v
c(i)
|i≤N}和这些组合部位的关系E
c
＝{(v
c(i)
,v
c(j)
)|i,j为相邻组合部位}，将原有的人体独立部位p
i
替换为组合部位p
c(i)
；
[0009]对单个组合部位在视频中所有帧的一致性计算：
[0010][0011]其中，表示为第f帧图像第i个组合部位的匹配得分，为前后帧图像的一致性的表示，是第f帧图像中第i个组合部位、λ1表示组合部位的参数；
[0012]求每个组合部位一致性计算结果B(p
c(i)
)的最大化获得候选部位集合；
[0013]计算每一帧候选部位之间的距离得分：
[0014][0015]根据所有组合部位的得分总和最优化获得最佳姿态：
[0016][0017]进一步地，每个组合部位包含有多个线性的基本部位；根据基本部位完成单帧图像的部位检测，计算基本部位匹配得分及其关联得分；
[0018]根据若干个基本部位得分获得其所属的组合部位得分，通过对该组合部位的多帧跟踪获得该组合部位的整个图像序列的得分；
[0019]根据人体整体结构的组合部位，完成每一帧的各个组合部位的连接关系的计算，获得各帧的姿态。
[0020]进一步地，所述组合部位包括：头部、躯干、左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿和右小腿，所述头部包括头上与头下，所述左大臂包括左大臂上和左大臂下，左小臂包括左小臂上以及左下臂下，所述右大臂包括右大臂上以及右大臂下，所述右小臂包括右小臂上以及右小臂下，所述躯干包括左肩、右肩、左胯以及右胯，所述左大腿包括左大腿上和左大腿下，左小腿包括左小腿上以及左下腿下，所述右大腿包括右大腿上以及右大腿下，所述右小腿包括右小腿上以及右小腿下。
[0021]进一步地，组合部位的匹配得分通过其所包含的各个基本部位匹配得分和基本部位之间的关系得分累加获得，计算方法：
[0022][0023]其中，表示为f帧图像第i个组合部位的匹配得分，为该组合部位所包含的第k个基本部位的匹配得分，为组合部位内的基本部位k与l之间的关系得分。
[0024]进一步地，，通过光流预测距离和卡方距离表示前后帧图像的一致性，计算公式为：
[0025][0026]为第f，f+1帧图像的第i个组合部位位置，为前后帧图像的一致性的表示，H(p)为以p为中心点的HOG特征向量，为p
f
的f+1帧光流预测位置。
[0027]进一步地，躯干的组合部位包括4个基本部位，由4个基本部位分别作为独立的组合部位完成匹配和跟踪，即
[0028]进一步地，通过两个相邻部位之间的欧式距离计算方法完成关系的计算：
[0029]其中，w
i,j
为距离调整因子，为欧氏距离。
[0030]进一步地，基本部位特征的计算采用前景检测、HOG特征和颜色特征相加的方法：
[0031][0032]其中表示f帧某一组合部位的第k个基本部位位置，为该基本部位的特征值，和分别表示前景检测结果、HOG特征和颜色特征结果，α、β、γ表示调整参数。
[0033]进一步地，基本部位之间的关系计算：通过欧式距离、梯度方向和颜色直方图完成部位间关系的表示：
[0034][0035]其中，为基本部位k与l的关系得分，为基本部位k与l的关系得分，分别为空间、HOG和颜色直方图的差值，w
d
、w
h
和w
o
分别为对应的调整参数。
[0036]进一步地，根据人体的对称性人体结构表示为对称人体结构：G
s
＝(V
s
,E
s
)，对称人体结构中除了头部以外其他部位均表示为对称部位；
[0037]对称的组合部位的部位模型计算方法为：
[0038][0039]其中，为第n个对称部位的得分，通过对其包含的一对组合部位i和j的计算获得；和分别为构成对称部位n的两个组合部位i和j的得分。和表示组合部位i和j的归一化颜色直方图；通过sigmoid函数完成对称部位重复计算的惩罚，使其能够减少重叠部位的影响，θ为惩罚因子
；
[0040]对称的组合部位的帧间跟踪模型计算方法：
[0041][0042]其中为第n个对称部位的跟踪得分，通过其包含的一对组合部位的跟踪得分之和获得；
[0043]对称部位的帧内距离计算方法：
[0044][0045]其中，为对称部位n和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于组合模型的视频人体姿态推理优化方法，其特征在于，该方法包括：将人体整体结构划分为若干树型组合部位，每个组合部位包含有多个线性的基本部位；所述人体整体结构G
c
＝(V
c
,E
c
)，表示为若干个组合部位V
c
＝{v
c(i)
|i≤N}和这些组合部位的关系E
c
＝{(v
c(i)
,v
c(j)
)|i,j为相邻组合部位}，将原有的人体独立部位p
i
替换为组合部位p
c(i)
；对单个组合部位在视频中所有帧的一致性计算：其中，表示为第f帧图像第i个组合部位的匹配得分，为前后帧图像的一致性的表示，是第f帧图像中第i个组合部位、λ1表示组合部位的参数；求每个组合部位一致性计算结果B(p
c(i)
)的最大化获得候选部位集合；计算每一帧候选部位之间的距离得分：根据所有组合部位的得分总和最优化获得最佳姿态：2.按照权利要求1所述的方法，其特征在于，每个组合部位包含有多个线性的基本部位；根据基本部位完成单帧图像的部位检测，计算基本部位匹配得分及其关联得分；根据若干个基本部位得分获得其所属的组合部位得分，通过对该组合部位的多帧跟踪获得该组合部位的整个图像序列的得分；根据人体整体结构的组合部位，完成每一帧的各个组合部位的连接关系的计算，获得各帧的姿态。3.按照权利要求1所述的方法，其特征在于，所述组合部位包括：头部、躯干、左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿和右小腿，所述头部包括头上与头下，所述左大臂包括左大臂上和左大臂下，左小臂包括左小臂上以及左下臂下，所述右大臂包括右大臂上以及右大臂下，所述右小臂包括右小臂上以及右小臂下，所述躯干包括左肩、右肩、左胯以及右胯，所述左大腿包括左大腿上和左大腿下，左小腿包括左小腿上以及左下腿下，所述右大腿包括右大腿上以及右大腿下，所述右小腿包括右小腿上以及右小腿下。4.按照权利要求1所述的方法，其特征在于，组合部位的匹配得分通过其所包含的各个基本部位匹配得分和基本部位之间的关系得分累加获得，计算方法：其中，表示为f帧图像第i个组合部位的匹配得分，为该组合部位所包含的第k个基本部位的匹配得分，为组合部位内的基本部位k与l之间的关系得分。
5.按照权利要求1所述的方法，其特征在于，通...

【专利技术属性】
技术研发人员：代钦，王黎明，王洪江，单中元，刘芳，
申请(专利权)人：沈阳工程学院，
类型：发明
国别省市：