基于人体运动预测的多视角人体运动捕捉方法技术

本发明专利技术公开了一种基于人体运动预测的多视角人体运动捕捉方法，该方法对多张相机不同视角同步拍摄的图片进行三维人体重建，得到每个人体的三维骨架；对于后续帧，根据之前帧重建好的三维骨架，对当前帧的人体三维关键点位置给出预测结果和置信度；对于关键帧的图片运行人体检测器，检测出每个人体的二维包围盒；对于非关键帧的图片，将前一帧运动预测的三维骨架投影到当前帧各个视角的图像中，快速得到当前帧各个视角下人体的二维包围盒，进而减小人体检测器的开销，提高算法效率；本发明专利技术同时利用时序信息计算出人体关键点可见性，基于可见性提高人体三维骨架重建的准确性。

【技术实现步骤摘要】
基于人体运动预测的多视角人体运动捕捉方法
本专利技术属于计算机
，尤其涉及一种基于人体运动预测的多视角人体运动捕捉方法。
技术介绍
多视角人体运动捕捉是指基于多视角视频还原人体的三维运动，目前的相关方法大都包括了检测和重建两个阶段，虽然在公开数据集上达到了不错的效果，但它们的检测和重建模块是分离的，检测器无法受益于前面帧重建的结果，且缺乏运动预测。此外，关键点的可见性也没有被很好地利用。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出了一种基于运动预测的人体检测方法，并使用时序信息计算各个关键点的可见性，以提升多人运动捕捉的准确性和算法效率。本专利技术的目的是通过以下技术方案实现的：一种基于人体运动预测的多视角人体运动捕捉方法，该方法包括以下步骤：(1)输入多张相机不同视角同步拍摄的图片，进行三维人体重建，得到每个人体的三维骨架，作为初始帧结果；(2)运动预测：对于后续帧，根据之前帧重建好的三维骨架，维护一系列运动相关变量，利用运动预测方法，对当前帧的人体三维关键点位置给出预测结果和置信度；(3)对于关键帧的图片，运行人体检测器，检测出每个人体的二维包围盒；对于非关键帧的图片，将前一帧运动预测的三维骨架投影到当前帧各个视角的图像中，快速得到当前帧各个视角下人体的二维包围盒；(4)利用二维包围盒将单个人体从图像中截取出来，输入人体二维关键点检测器，输出每个关键点的热度图，从热度图中取出人体二维关键点的位置和置信度；利用时序信息计算各个关键点的可见性，对于判断为不可见的关键点，将其置信度置零；利用三角化重建出三维骨架，实现多视角的人体运动捕捉。进一步地，所述步骤(1)具体为：对每张图片进行二维关键点检测，建立各个视角间二维关键点之间的匹配关系，利用三角化对三维人体进行重建，得到每个人体关键点的三维坐标。进一步地，所述步骤(2)中，所述运动相关变量包括人体三维关键点的位置和速度。进一步地，所述步骤(2)中，所述运动预测采用卡尔曼滤波器，用三维关键点的位置和速度作为状态变量，用三维关键点的位置作为观测变量，建立线性系统；卡尔曼滤波器能够在考虑运动速度的基础上，给出三维关键点位置的预测结果，得到的协方差矩阵可以给出置信度信息；卡尔曼滤波器的预测过程可表示为：xt＝Fxt-1Pt＝FPt-1FT+Q其中，xt-1，xt分别为t-1和t刻的状态向量，Pt-1，Pt分别为xt-1，xt的协方差矩阵，Q为噪声协方差矩阵，F为状态转移矩阵，Δt表示相邻帧的时间间隔。进一步地，所述步骤(2)中，所述运动预测采用神经网络，网络记忆过去一段时刻的重建结果，根据时序记忆输出预测的当前时刻的三维关键点的位置，且给出置信度。进一步地，所述步骤(3)中，关键帧的确定具体为：每隔一定间隔取一帧作为关键帧，或者根据预测过程中的置信度进行调整，如果置信度一直不理想，则增加关键帧密度。进一步地，所述步骤(3)中，在具有前一帧估计的每个人体的三维关键点位置情况下，利用圆柱体近似每段人体骨头，根据圆柱体间的遮挡关系、人体在某个相机系下的前后关系，判断出各个人体关键点的可见性。进一步地，所述步骤(3)中，可见性判断具体为：使用半径为r，高为h的圆柱体对人体骨架进行近似，圆柱体的中心位于对应骨头两个相邻关键点前一帧重建的三维位置的平均值；在每个视角中，从相机中心到某个关键点确定一条线段，计算出该线段在三维空间中与各个圆柱体是否相交，按照前一帧重建得到的人体的前后位置关系，确定它们之间的遮挡关系，即判断后面的人的关节是否被前面的人的关节遮挡住，计算出该视角下所有关键点的可见性。本专利技术的有益效果是：本专利技术将前一帧的三维人体骨架，经过运动预测后，投影到当前帧各个视角的图像中，得到二维人体包围盒，进而减小人体检测器的开销，提高算法效率。本专利技术还利用时序信息计算出人体关键点可见性，基于可见性提高人体三维骨架重建的准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的整体流程示意图，其中，子图(a)是人体二维包围盒检测结果的示意图；子图(b)是人体二维关键点预测结果的示意图；子图(c)给出三维关键点的重建结果。图2是本专利技术实施例的人体三维关键点重建结果及其运动预测结果的示意图。图3是本专利技术实施例的人体二维关键点热度图的示意图。图4是本专利技术实施例的人体关键点的可见性判断示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。如图1所示，本专利技术提供一种基于人体运动预测的多视角人体运动捕捉方法，具体包括以下步骤：1.输入多张用已标定相机不同视角同步拍摄的图片，首先使用一种现有的多视角人体运动捕捉方法(如mvpose)进行三维人体重建，作为初始帧的结果。具体地，对每张图片进行二维关键点检测，利用匹配算法建立各个视角间二维关键点之间的匹配关系，利用三角化对三维人体进行重建，得到每个人体关键点的三维坐标，即最终得到每个人体的三维骨架。2.运动预测：对于后续帧，根据之前帧重建好的三维骨架，维护一系列运动相关的变量，包括人体三维关键点的位置、速度等，利用运动预测方法，如卡尔曼滤波器或者神经网络，对当前帧的人体三维关键点位置给出预测结果和置信度，这部分体现在图中从前一帧重建结果指向当前帧图片的箭头中。这一步的好处是，如果不进行运动预测，对于快速移动的人体，只用前一帧的投影和当前帧的观测进行匹配跟踪的做法容易造成跟踪丢失的情况，而有了运动预测便能解决这一问题。具体地，对于卡尔曼滤波器，可以用三维关键点的位置和速度作为状态变量，用三维关键点的位置作为观测变量，建立线性系统。滤波器能够在考虑运动速度的基础上，给出三维关键点位置的预测结果，并且得到的协方差矩阵可以给出置信度信息。设xt-1，xt分别为t-1和t刻的状态向量，Pt-1，Pt分别为xt-1，xt的协方差矩阵，Q为噪声协方差矩阵，F为状态转移矩阵，Δt表示相邻帧的时间间隔。则卡尔曼滤波器的预测过程可表示为：xt＝Fxt-1Pt＝FPt-1FT+Q其中，具体地，对于神经网络，如LSTM，网络会记忆过去一段时刻的重建结果，根据这些时序记忆，输出它预测的当前时刻的三维关键点的位置，且给出置信度。3.对于关键帧的图片，本专利技术会运行人体检测器(如yolo)检测出每个本文档来自技高网...

【技术保护点】
1.一种基于人体运动预测的多视角人体运动捕捉方法，其特征在于，该方法包括：/n(1)输入多张相机不同视角同步拍摄的图片，进行三维人体重建，得到每个人体的三维骨架，作为初始帧结果；/n(2)运动预测：对于后续帧，根据之前帧重建好的三维骨架，维护一系列运动相关变量，利用运动预测方法，对当前帧的人体三维关键点位置给出预测结果和置信度；/n(3)对于关键帧的图片，运行人体检测器，检测出每个人体的二维包围盒；对于非关键帧的图片，将前一帧运动预测的三维骨架投影到当前帧各个视角的图像中，快速得到当前帧各个视角下人体的二维包围盒；/n(4)利用二维包围盒将单个人体从图像中截取出来，输入人体二维关键点检测器，输出每个关键点的热度图，从热度图中取出人体二维关键点的位置和置信度；利用时序信息计算各个关键点的可见性，对于判断为不可见的关键点，将其置信度置零；利用三角化重建出三维骨架，实现多视角的人体运动捕捉。/n

【技术特征摘要】
1.一种基于人体运动预测的多视角人体运动捕捉方法，其特征在于，该方法包括：
(1)输入多张相机不同视角同步拍摄的图片，进行三维人体重建，得到每个人体的三维骨架，作为初始帧结果；
(2)运动预测：对于后续帧，根据之前帧重建好的三维骨架，维护一系列运动相关变量，利用运动预测方法，对当前帧的人体三维关键点位置给出预测结果和置信度；
(3)对于关键帧的图片，运行人体检测器，检测出每个人体的二维包围盒；对于非关键帧的图片，将前一帧运动预测的三维骨架投影到当前帧各个视角的图像中，快速得到当前帧各个视角下人体的二维包围盒；
(4)利用二维包围盒将单个人体从图像中截取出来，输入人体二维关键点检测器，输出每个关键点的热度图，从热度图中取出人体二维关键点的位置和置信度；利用时序信息计算各个关键点的可见性，对于判断为不可见的关键点，将其置信度置零；利用三角化重建出三维骨架，实现多视角的人体运动捕捉。


2.根据权利要求1所述的一种基于人体运动预测的多视角人体运动捕捉方法，其特征在于，所述步骤(1)具体为：对每张图片进行二维关键点检测，建立各个视角间二维关键点之间的匹配关系，利用三角化对三维人体进行重建，得到每个人体关键点的三维坐标。


3.根据权利要求1所述的一种基于人体运动预测的多视角人体运动捕捉方法，其特征在于，所述步骤(2)中，所述运动相关变量包括人体三维关键点的位置和速度。


4.根据权利要求1所述的一种基于人体运动预测的多视角人体运动捕捉方法，其特征在于，所述步骤(2)中，所述运动预测采用卡尔曼滤波器，用三维关键点的位置和速度作为状态变量，用三维关键点的位置作为观测变量，建立线性系统；卡尔曼滤波器能够在考虑运动速度的基础上，给出三维关键点位置的预测结果，得到的协方差矩阵可以给出...

【专利技术属性】
技术研发人员：周晓巍，鲍虎军，方琦，帅青，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33