一种针对两视图的全局三维人体姿态可信估计方法技术

本发明专利技术提出了一种基于两视图的全局三维人体姿态可信估计方法，可用于无标记人体动作捕捉。本发明专利技术的核心创新点如下：首先，本发明专利技术提出基于两视图对极几何约束和人体骨长约束进行不可靠关节点检测。其次，本发明专利技术提出基于网络估计出的关节点置信度图，对极线约束，骨长约束进行不可靠关节的矫正。最后，本发明专利技术提出了简单，高效的相机外参自动标定技术和骨长计算方法。本发明专利技术在不利用人体模型或假设任何人体先验知识的情况下，可以实现对不同体形的任何人进行稳定可信地二维和全局三维人体姿态估计。本发明专利技术生成的姿态满足两视图对极几何约束和人体骨长约束，实现了在严重遮挡，对称歧义，运动模糊等极具挑战的场景下鲁棒可信的人体姿态估计。

【技术实现步骤摘要】
一种针对两视图的全局三维人体姿态可信估计方法
给定两幅以人为主体的视图，本专利技术旨在估计满足对极几何约束约束和骨长约束的可信三维人体姿态。首先，本专利技术提出利用两视图对极几何约束和人体骨长约束检测不可靠关节点估计的方法。其次，本专利技术提出对极线约束和骨长约束进行不可靠关节的矫正方法。最后，本专利技术提出自动的相机外参标定和骨长计算方法。对于人体姿态估计中严重遮挡，对称歧义，运动模糊等挑战，本专利技术实现了鲁棒可信的姿态估计。本专利技术在不利用人体模型或假设任何人体先验知识的情况下，可以实现对不同骨架尺寸，比例的任何人进行稳定，可信的二维和全局三维人体姿态估计。
技术介绍
现有的三维人体姿态估计方法根据输入数据不同可以分为：基于单目RGB图像(序列)；基于深度图像(序列)；和基于多视图图像(序列)。基于单目RGB图像(序列)进行三维人体姿态估计是一个严重约束不足的问题，系统的观测输入为复杂自然图像，状态输出为高维人体姿态,由观测输入到状态输出过程是高度非线性的。3D姿态训练数据集的不足、不同人体尺寸和比例的差异、以及三维姿态空间的高维度,都使得三维姿态重建的可信性成为亟待解决的关键问题。基于深度图像(序列)的三维人体姿态估计方法有效缓解了基于单目图像方法的深度歧义问题。现有的基于深度的人体姿态估计方法所采用的深度图通常来自ToF相机或Kinect传感器。然而，Kinect和ToF都是主动传感器，因此仅限于没有红外线干扰的室内场景，并且只能在有限的范围内工作。基于多视图图像(序列)的方法可以有效克服单目三维姿态估计中的困难，并构建一个更真实适用的姿态估计系统。但现有的多视图方法通常都是独立地估计二维姿态和三维姿态，因此不能充分利用多视图三维几何信息。这些的方法的结果可能不满足多视图几何约束。目前为止的三维姿态估计方法在获取关节点深度信息方面都依赖于骨架模型和训练数据。骨架模型提供关节点之间几何约束，训练数据则提供了二维姿态与深度之间的统计关系。然而，三维姿态数据集获取困难、规模小；同时三维姿态的状态参数维度高、个体身材比例和大小的差异大。这导致三维姿态估计结果的可信度无法保证。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种可信的三维人体姿态估计方法。本专利技术是通过以下技术方案实现的：一种针对两视图的三维人体姿态可信估计方法，包括以下步骤：一种针对两视图的可信三维人体姿态估计方法，包括以下步骤：(1)从左右两个相机中分别获取N帧图像；利用N组一一对应的左右两个视图，分别进行二维人体姿态的初步估计，得到N组关节点的初始二维位置；每一组关节点中包含人体的14个关节点。各个关节点名称如下：<Head，Neck，Shoulder.L，Elbow.L，Wrist.L，Shoulder.R，Elbow.R，Wrist.R，Hip.L，Knee.L，Ankle.L，Hip.R，Knee.R，Ankle.R>，关节点对应编号依次为<1，2，3，4，5，6，7，8，9，10，11，12，13，14>，各关节点对应的父关节点编号依次为<#，1，2，3，4，2，6，7，2，9，10，2，12，13>。其中#表示无父节点，关节点9(Hip.L)和关节点13(Hip.R)与父关节点(Neck)之间不形成固定骨长，其余关节点与父关节点之间均形成具有固定骨长的骨头，共11段骨头，标记为<b1，...，b11>；所述二维人体姿态初步估计，以一张RGB图像作为输入，采用级联的全卷积神经网络模型回归14个关节点的置信度图Sj，j∈{1，2，...，14}，关节点j的初始二维坐标通过选取置信度图中置信度最大值所对应的像素点获得，即关节点j的坐标xj为：Sj(x)为置信图中像素点x的置信度；(2)根据步骤1获得的N组关节点的初始二维位置；即N*14个来自左右两个视图的关节点对，利用这些匹配关节点对的初始二维位置，以及两个相机内参K1，K2(已知或预先标定)，估计左右两视图对应的本征矩阵E，对本征矩阵E分解得到相机外参M1，M2。由相机内参K1，K2和外参M1，M2进一步得到左右两视图各自的相机投影矩阵P1＝K1M1，P2＝K2M2；(3)根据步骤1获得的N组关节点的初始二维位置，以及步骤2获得的相机投影矩阵，采用线性三角化技术得到这N组关节点的初始三维位置。利用每段骨头对应的两个关节点的三维位置，分别获得骨长信息，总共得到N组骨长信息；每一组骨长信息中，包含人体的11个骨长数据；针对每一个骨头bi，取N组骨长信息中对应位置的骨长数据的中位数作为该位置的骨长的可靠估计，记为(4)检测和矫正不可靠关节点(4.1)利用对极几何准则和骨长准则检测不可靠关节点：所述对极几何准则来源于两视图对极几何约束，该准则定义如下：对于关节点j，计算xj，1和xj，2到相应对极线lj，1和lj，2的最大距离，UE(j)＝max{d(xj，1，lj，1)，d(xj，2，lj，2)}其中，xj，1和xj，2分别为关节点j在左右视图中的位置，lj，1＝FTxj，2，lj，2＝Fxj，1，是左右两视图对应的基础矩阵。d(x，l)计算图像上点x到直线l的垂直距离。若：UE(j)＞η1η1＝12(像素)，则<xj，1，xj，2>不满足放松的对极几何约束条件，是不可靠估计。若该关节点的父关节点不是可靠的且矫正之后任然不可靠，则仅以对极几何准则判断该关节点的可靠性，否则进一步利用骨长准则检测关节点j的可靠性。所述骨长准则如下：不失一般性，假定关节点j与其父关节点k之间形成骨头bi，对应骨长的可靠估计为定义关节点j的二维初始坐标<xj，1，xj，2>经过三角化得到三维初始坐标为Xj，父关节点的三维位置为Xk，骨长准则计算与骨长之间的差异，表示Xj，Xk之间的欧氏距离，即：对于关节点j，若η2＝0.1，即<xj，1，xj，2>不满足放松的骨长约束，是不可靠估计。(4.2)矫正不可靠关节点：对于一对不可靠估计<xj，1，xj，2>，比较xj，1和xj，2的置信度大小，以置信度大的作为正确估计，另一个为错误估计。不失一般性，假定视图1提供正确估计，视图2为错误估计，即xj，1为正确估计，xj，2为错误估计。若该关节点j的父关节点可靠，或经校准后可靠，则以骨长矫正方法进行矫正。假定关节点j的父关节点为k，两者之间形成骨头bi，对应骨长为骨长矫正方法如下：将寻找最优二维估计xj，2的问题转化为在世界坐标系中寻找一个三维点Xj满足相机投影模型及骨长约束的优化问题，即s.t.P1Xj＝xj，1P1是视图1对应的投影矩阵。该优化问题的几何形式如下：在由图像点xj，1经过P1反投影的三维射线上寻找一个点Xj满足或者距离Xk最近。可通过投影得到的三维射线与以Xk为球心，为半径的球的交点或者距离球心最近的点求解。区分两者情况：射线与球没有交点或有交点。对于第一种情况(没有交点)，最优点Xj选取射线上距离Xk最近的点。对于第二种情况下(有交点)，设两个交点分别为A，B，将这两个交点均重投影到视图2(不可靠视图)得到P2A，P2B，这里，P2是视图2对应的投影矩阵。比较这两个二维点的置信度Sj，2(P2A)和Sj，2本文档来自技高网...

【技术保护点】
1.一种针对两视图的可信三维人体姿态估计方法，其特征在于，包括以下步骤：(1)从左右两个相机中分别获取N帧图像；利用N组一一对应的左右两个视图，分别进行二维人体姿态的初步估计，得到N组关节点的初始二维位置；每一组关节点中包含人体的14个关节点。各个关节点名称如下：

【技术特征摘要】
1.一种针对两视图的可信三维人体姿态估计方法，其特征在于，包括以下步骤：(1)从左右两个相机中分别获取N帧图像；利用N组一一对应的左右两个视图，分别进行二维人体姿态的初步估计，得到N组关节点的初始二维位置；每一组关节点中包含人体的14个关节点。各个关节点名称如下：<Head，Neck，Shoulder.L，Elbow.L，Wrist.L，Shoulder.R，Elbow.R，Wrist.R，Hip.L，Knee.L，Ankle.L，Hip.R，Knee.R，Ankle.R>，关节点对应编号依次为<1，2，3，4，5，6，7，8，9，10，11，12，13，14>，各关节点对应的父关节点编号依次为<#，1，2，3，4，2，6，7，2，9，10，2，12，13>。其中#表示无父节点，关节点9(Hip.L)和关节点13(Hip.R)与父关节点(Neck)之间不形成固定骨长，其余关节点与父关节点之间均形成具有固定骨长的骨头，共11段骨头，标记为<b1，...，b11>；所述二维人体姿态初步估计，以一张RGB图像作为输入，采用级联的全卷积神经网络模型回归14个关节点的置信度图Sj，j∈{1，2，...，14}，关节点j的初始二维坐标通过选取置信度图中置信度最大值所对应的像素点获得，即关节点j的坐标xj为：Sj(x)为置信图中像素点x的置信度；(2)根据步骤1获得的N组关节点的初始二维位置；即N*14个来自左右两个视图的关节点对，利用这些匹配关节点对的初始二维位置，以及两个相机内参K1，K2(已知或预先标定)，估计左右两视图对应的本征矩阵E，对本征矩阵E分解得到相机外参M1，M2。由相机内参K1，K2和外参M1，M2进一步得到左右两视图各自的相机投影矩阵P1＝K1M1，P2＝K2M2；(3)根据步骤1获得的N组关节点的初始二维位置，以及步骤2获得的相机投影矩阵，采用线性三角化技术得到这N组关节点的初始三维位置。利用每段骨头对应的两个关节点的三维位置，分别获得骨长信息，总共得到N组骨长信息；每一组骨长信息中，包含人体的11个骨长数据；针对每一个骨头bi，取N组骨长信息中对应位置的骨长数据的中位数作为该位置的骨长的可靠估计，记为(4)检测和矫正不可靠关节点(4.1)利用对极几何准则和骨长准则检测不可靠关节点：所述对极几何准则来源于两视图对极几何约束，该准则定义如下：对于关节点j，计算xj，1和xj，2到相应对极线lj，1和lj，2的最大距离，UE(j)＝max{d(xj，1，lj，1)，d(xj，2，lj，2)}其中，xj，1和xj，2分别为关节点j在左右视图中的位置，lj，1＝FTxj，2，lj，2＝Fxj，1，是左右两视图对应的基础矩阵。d(x，l)计算图像上点x到直线l的垂直距离。若：UE(j)＞η1η1＝12(像素)，则<xj，1，xj，2>不满足放松的对极几何约束条件，是不...

【专利技术属性】
技术研发人员：刘新国，李妙鹏，周子孟，
申请(专利权)人：浙江大学，杭州相芯科技有限公司，
类型：发明
国别省市：浙江,33