基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法技术

基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法属于电子信息领域。本方法利用时序线性人体蒙皮模型(SMPL)重建交警指挥手势的动力树，并根据时间上下文信息构建交警手势时序动力学图模型。其次，针对现有图结构划分策略受限的问题，提出了一种基于相对高度的图卷积内核标签划分策略(RHPS)，并设计了一种基于相对高度的图卷积网络(RHGCN)。最后，融合RHGCN以及空间域平均预测器(SMP)设计实现了基于单目视觉的四方向交警手势识别器MTPGR。本发明专利技术有效完成四方向交警手势识别的任务需求，识别效果Jaccard系数达到0.908，相比现有单方向手势识别方法提高0.137，识别准确率显著提升。识别准确率显著提升。识别准确率显著提升。

【技术实现步骤摘要】
基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法


[0001]本专利技术属于电子信息领域，是一种基于计算机视觉和机器学习可应用于自动驾驶的交警手势识别技术。

技术介绍

[0002]交警手势识别技术是实现自动驾驶汽车的必要组成部分。现在基于纯视觉的无人驾驶技术逐渐成熟并成为行业主流，但与之对应的视觉交警手势识别技术尚不足以应用于实践。以往相关研究所使用的交通警察手势数据集没有考虑交警在十字路口指挥中全部四个方向车辆的情况，导致数据集中没有定义相应的手势，使得相应的手势识别方法在难以实际应用。
[0003]此外，现有的从图像序列中直接识别交警手势的方法易受环境变化影响手势识别准确率。基于关键点的二维骨骼模型方法无法明确表示相机姿态参数(如相机与交警之间的位置关系等)。由于目前尚未有能够识别多方向交警手势的集成方法，因此需要一个可以准确建模相机姿态和人体姿态的方法来指导交警指挥手势的识别。

技术实现思路

[0004]本专利技术基于对交警指挥其他方向车辆情况的考虑，利用时序线性人体蒙皮模型(SMPL)中的动力树来估计交警指挥手势在连续时间上的动力学特征，并使用基于相对高度的图卷积网络(RHGCN)来推断手势，融合融合RHGCN和空间域平均预测器(SMP)实现了四方向单目交警手势识别器(MTPGR)。本专利技术涉及以下3点：
[0005](1)采用人体姿态视觉推测方法(VIBE)从视觉信息推断SMPL参数，利用SMPL重建交警指挥手势的动力树，并根据时间上下文信息构建时序动力学图模型(TSKG)中的图节点参数。
[0006](2)提出了一种新的基于相对高度的图卷积内核标签划分策略(RHPS)，解决了现有图结构划分策略受限问题。
[0007](3)提出了一种基于RHPS的多对多图卷积网络结构RHGCN，设计实现了一种四方向单目视觉交警手势识别器MTPGR。
[0008]本专利技术核心算法：
[0009](1)实时SMPL参数预测算法
[0010]本专利技术使用深度学习方法，基于视频的3D人体姿态估计方法(VIBE，Video Inference for Body Estimation)估计交警手势视频数据的蒙皮多人线性模型(SMPL，Skinned Multi
‑
Person Linear Model)低维参数，并通过重建网格的方式获取人体各关节点三维坐标。
[0011]形式上，SMPL依据公式(1)定义网格重建函数
[0012][0013]其中，表示人体形状参数，例如胖瘦等，表示x维的实数域空间；表示姿态参数，例如站姿或坐姿等；表示SMPL统计学模型参数；表示人体三维网格，N表示U中的顶点数量，3N表示每个顶点由3个坐标值组成；和表示身体形状参数和姿态参数中的标量数量。在SMPL模型中，参数和是从预定义的静止姿势模板网格到目标网格U的偏移值，参数是身体形状的距离偏移值，参数是人体关节旋转的弧度偏移值。
[0014]为了降低U的复杂性并维持其特征表达能力，本专利技术通过回归器进一步从人体网格U回归计算人体三维关节点的位置。回归器如公式(2)所示。
[0015][0016]其中，W
joint
表示深度学习方法学习到的回归器参数，表示关节位置矩阵，N
J
表示关节数量。将网格U转换为三维空间中的关节位置。
[0017]处理交警手势的单目实时图像序列时，本专利技术使用VIBE方法预测和设X
C
为图像序列，即X
C
＝{I
t
|t＝1，...，T}，其中T表示时间长度，I表示图像。VIBE将X
C
作为输入预测和的过程包括卷积网络(CNN)和门控循环单元(GRU)两个阶段。CNN阶段f
c
从每一帧I
t
中按照公式(3)提取特征。
[0018]C
t
＝f
c
(I
t
，Z
t
；W
VC
)#(3)
[0019]其中表示t时刻的图像色彩值，W
I
和H
I
表示输入图像的宽度和高度，表示提取的图像特征，F
I
表示预定义的CNN提取的特征数量，Z
t
表示t时刻交警人体边界框的左上点和右下点坐标，W
VC
表示训练得到的网络参数，Z
t
来自人物跟踪器对人物边界框Z
t
‑1和当前图像I
t
的递归计算。
[0020]第二阶段包含GRU和一个多层全连接网络，用于将GRU的隐藏状态转换为和GRU可按照公式(4)表示为递归函数
[0021][0022]其中，表示t时刻的隐藏状态，F
H
表示隐藏状态中标量的数量。对于每一帧，h
t
被进一步输入到公式(5)所示的多层全连接网络中。
[0023][0024]其中，和表示t时刻的身体形状参数和姿态参数。得到和W
joint
后，关节位置P
t
可通过公式(1)和公式(2)计算。
[0025](2)交警指挥手势的时序动力学图模型(TSKG)
[0026]关节位置矩阵P包含手势的三维关节坐标，但缺乏手势中关键的空间关联和时间关系信息。因此本专利技术提出了TSKG模型来表达不同关节在空间上的动力学关系，以及不同帧中的相同关节在时间序列上的关联。
[0027]TSKG定义为一个无向图G＝(V，E)。其中，是顶点集，E是边集，J表示关节
数量。V＝{v
j，t
|j∈1，...，J，t＝1，...，T}，每个顶点表示3维关节坐标。图中边的集合E由公式(6)所示的2个子集组成。
[0028]E＝(E
S
∪E
T
)#(6)
[0029]其中，表示每一帧中关节之间的动力学关系，表示空间上相同且时间上相邻的关节之间的时域关联，表示x维的自然数域空间。E
S
由公式(7)描述的3组边的并集组成。
[0030][0031]其中，E
K
表示动力学连接集，E
A
表示辅助集，E
C
表示回路集。集合E
K
包含根据人体骨骼自然连接的边，如左臂和左肘，如图1a所示。集合E
A
包含手工添加到图中的边，如图1b所示，用于保持图的联通性。集合E
C
包含图中全部顶点与自身形成的环路，如图1c所示，用于将顶点的特征加入图卷积计算。
[0032]时域关联边集合E
T
包含空间上相同、时间域相邻的顶点之间连接形成的边，如公式(8)和图2所示。
[0033]E
T
＝{(v
j，t
，v
j，t+1
)|j∈1，...本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法，其特征在于，包括以下三个部分：建立交警指挥手势的时序动力学图模型交警指挥手势的时序动力学图模型TSKG是基于蒙皮多人线性模型SMPL，并依据交警手势识别的功能需求而构建的；TSKG同时表示不同关节在空间上的动力学关系，和不同帧中的相同关节在时间序列上的关系；TSKG定义为一个无向图G＝(V,E)；其中，是顶点集，E是所有边的集合，N
J
表示关节数量，T表示图记录的总时长；V＝{v
j,t
|j∈1,
…
,J,t＝1,
…
,T}，1,
…
,J表示N
J
个不同的关节，每个顶点表示3维关节坐标，表示x维的实数域空间；图中边集E由公式(1)所示的2个子集组成；E＝(E
S
∪E
T
)#(1)其中，表示每一帧中关节之间的动力学关系，表示同一关节节点在相邻帧之间的时域关联；E
S
由公式(2)描述的3组边的并集组成；其中，E
K
表示动力学连接集，E
A
表示辅助集，E
C
表示回路集；集合E
K
包含根据人体骨骼自然连接的边，如左臂和左肘；集合E
A
包含手工添加到图中的边，用于保持图的联通性；集合E
C
包含图中全部顶点与自身形成的环路，用于将顶点的特征加入图卷积计算；时域关联边集合E
T
包含空间上相同、时间域相邻的顶点之间连接形成的边，如公式(3)所示；E
T
＝{(v
j,t
,v
j,t+1
)|j∈1,
…
,J,t＝1,
…
,T
‑
1}#(3)式中，顶点v
j,t
和v
j,t+1
代表2个连续帧中的相同关节；2).使用相对高度划分策略RHPS的图卷积网络RHGCNMTPGR的图卷积网络部分的关键特征包含两个方面，相对高度划分策略和图卷积网络的网络结构；相对高度划分策略为每个关节分配一个高度值，并将其作为标签进行比较从而获取距离，进而确定图卷积核参数和邻接顶点之间的对应关系；RHPS根据标准站立姿势下关节的相对高度，为关节分配高度值s；卷积核中心对应顶点为v
j,t
...

【专利技术属性】
技术研发人员：何坚，吕孟飞，张丞，熊哲波，
申请(专利权)人：北京诚星科技有限公司，
类型：发明
国别省市：