一种人体姿态识别方法及系统技术方案

本发明专利技术公开了一种人体姿态识别方法，所述识别方法包括如下步骤：获取当前帧的不同视角下的多张人体图像；根据多张所述人体图像，采用卷积神经网络算法建立三维人体模型；分别将每张所述人体图像上的相邻像素进行聚类，获得多个像素块；建立每个所述像素块的二维像素块模型；根据每个所述像素块的二维像素块模型对所述三维人体模型进行优化，获得优化后的三维人体模型；根据优化后的三维人体模型确定当前帧的人体姿态。本发明专利技术首先采用卷积神经网络算法，简单快速的建立一个三维人体模型，然后利用图像中人体姿态对所述三维人体模型进行优化，利用优化后的三维人体模型进行姿态识别，实现了在保证人体姿态估计精度的同时，提高人体姿态估计的速度。

【技术实现步骤摘要】
一种人体姿态识别方法及系统
本专利技术涉及图像处理
，特别是涉及一种人体姿态识别方法及系统。
技术介绍
3D人体姿态估计是指从图像、视频或点云中估计人物目标的姿态，是围绕人体3D研究中的一项基本任务。3D人体姿态估计是3D人体重建的重要前提，也可以是人体动作驱动中动作的重要来源。目前，获取人体姿态主要有两种实现方式。一、使用神经网络，通过对某一特定数据集训练，实现对该场景下人体姿态估计的目标。这种方法需要大量的人工标记数据训练神经网络，同时，该方法的精度较低。二、建立一个人体模型，使模型拟合图片上的人体。这种方法依赖于人体模型的建立，人体模型建立过程比较复杂，该方法的速度较慢。因此，如何在保证人体姿态估计精度的同时，提高人体姿态估计的速度成为一个亟待解决的技术问题。
技术实现思路
本专利技术的目的是提供一种人体姿态识别方法及系统，以实现在保证人体姿态估计精度的同时，提高人体姿态估计的速度。为实现上述目的，本专利技术提供了如下方案：本专利技术提供一种人体姿态识别方法，所述识别方法包括如下步骤：获取当前帧的不同视角下的多张人体图像；根据多张所述人体图像，采用卷积神经网络算法建立三维人体模型；分别将每张所述人体图像上的相邻像素进行聚类，获得多个像素块；建立每个所述像素块的二维像素块模型；根据每个所述像素块的二维像素块模型对所述三维人体模型进行优化，获得优化后的三维人体模型；根据优化后的三维人体模型确定当前帧的人体姿态。可选的，所述根据每个所述像素块的二维像素块模型对所述三维人体模型进行优化，获得优化后的三维人体模型，之前还包括：根据当前帧之前的预设帧数内的每帧时每个人体部位的位置坐标，预测当前帧时每个人体部位的位置坐标，根据当前帧时每个人体部位的位置坐标对所述三维人体模型进行预调整，获得预调整后的三维人体模型。可选的，所述根据多张所述人体图像，采用卷积神经网络算法建立三维人体模型，具体包括：采用hourglass网络结构分别从每张所述人体图像中获得K个关键点；分别令k＝1,2，…，K，基于相机的参数，计算出第k个关键点在每个视角下的人体图像中的反投影射线，获得每个关键点对应的多条反投影射线；确定距离每个关键点对应的多条反投影射线的总距离最短的公共点的坐标，作为所述关键点在三维空间下的坐标，得到每个关键点在三维空间下的坐标；根据每个关键点在三维空间下的坐标进行线性插值运算，得到包含人体的每个人体部位的三维坐标的三维人体模型。可选的，所述三维人体模型为：其中，A(x)为三维人体模型，Aj(x)为第j个人体部位的三维人体模型，μj表示第j个人体部位的坐标，σj表示第j个人体部位的半径，x表示人体的任意一点的位置。可选的，所述二维像素块模型为：Bi(x)表示第i个像素块的二维像素块模型，ci表示第i个像素块中心的颜色，μi表示第i个像素块中心的坐标，δi表示第i个像素块的半边长，xi表示人体上任意一点的位置x在第i个像素块上的投影。可选的，所述根据每个所述像素块的二维像素块模型对所述三维人体模型进行优化，获得优化后的三维人体模型，具体包括：计算三维人体模型的第j个人体部位的模型与每个所述二维像素块模型的相似度的和，作为目标函数值；判断所述目标函数值是否大于预设阈值，得到判断结果；若所述判断结果表示否，则采用梯度下降法对三维人体模型中的第j个人体部位的模型进行优化，返回步骤“计算三维人体模型的第j个人体部位的模型与每个所述二维像素块模型的相似度的和，作为目标函数值”；若所述判断结果表示是，则令j的数值增加1，返回步骤“计算三维人体模型的第j个人体部位的模型与每个所述二维像素块模型的相似度的和，作为目标函数值”，对三维人体模型的下一个人体部位的模型进行优化，直到优化完成三维人体模型中的每个人体部位的模型。可选的，所述计算三维人体模型的第j个人体部位的模型与每个所述二维像素块模型的相似度的和，作为目标函数值，具体包括：采用如下公式，计算三维人体模型的第j个人体部位的模型与每个所述二维像素块模型的相似度：其中，Eij表示三维人体模型的第j个人体部位的模型与第i个像素块模型的相似度，d(ci,cj)表示第j个人体部位的模型的颜色cj与第i个像素块的颜色ci的相近程度，Bi(x)表示第i个像素块的二维像素块模型，Aj(x)表示三维人体模型的第j个人体部位的模型，x表示人体的任意一点的位置，μi表示第i个像素块中心的坐标，δi表示第i个像素块的半边长，表示第j个人体部位的模型的坐标在第i个像素块上的投影坐标，表示第j个人体部位的半径在第i个像素块上的投影长度；w为颜色的惩罚值，ε为颜色阈值，μjx、μjy、μjz分别表示第j个人体部位的x轴、y轴和z轴坐标，σj表示第j个人体部位的半径，fil表示获得第i个像素块的相机的参数。利用求和公式，计算三维人体模型的第j个人体部位的模型与每个所述二维像素块模型的相似度的和。一种人体姿态识别系统，所述识别系统包括：图像获取模块，用于获取当前帧的不同视角下的多张人体图像；三维人体模型建立模块，用于根据多张所述人体图像，采用卷积神经网络算法建立三维人体模型；像素聚类模块，用于分别将每张所述人体图像上的相邻像素进行聚类，获得多个像素块；二维像素块模型建立模块，用于建立每个所述像素块的二维像素块模型；三维人体模型优化模块，用于根据每个所述像素块的二维像素块模型对所述三维人体模型进行优化，获得优化后的三维人体模型；人体姿态识别模块，用于根据优化后的三维人体模型确定当前帧的人体姿态。可选的，所述识别系统还包括：位置坐标预测模块，用于根据当前帧之前的预设帧数内的每帧时每个人体部位的位置坐标，预测当前帧时每个人体部位的位置坐标；三维人体模型预调整模块，用于根据当前帧时每个人体部位的位置坐标对所述三维人体模型进行预调整，获得预调整后的三维人体模型。可选的，所述三维人体模型建立模块，具体包括：关键点获取子模块，用于采用hourglass网络结构分别从每张所述人体图像中获得K个关键点；反投影运算子模块，用于分别令k＝1,2，…，K，基于相机的参数，计算出第k个关键点在每个视角下的人体图像中的反投影射线，获得每个关键点对应的多条反投影射线；关键点坐标确定子模块，用于确定距离每个关键点对应的多条反投影射线的总距离最短的公共点的坐标，作为所述关键点在三维空间下的坐标，得到每个关键点在三维空间下的坐标；三维人体模型建立子模块，用于根据每个关键点在三维空间下的坐标进行线性插值运算，得到包含人体的每个人体部位的三维坐标的三维人体模型。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术公开了一种人体姿态识别方法，所述识别方法包括如下步骤本文档来自技高网...

【技术保护点】
1.一种人体姿态识别方法，其特征在于，所述识别方法包括如下步骤：/n获取当前帧的不同视角下的多张人体图像；/n根据多张所述人体图像，采用卷积神经网络算法建立三维人体模型；/n分别将每张所述人体图像上的相邻像素进行聚类，获得多个像素块；/n建立每个所述像素块的二维像素块模型；/n根据每个所述像素块的二维像素块模型对所述三维人体模型进行优化，获得优化后的三维人体模型；/n根据优化后的三维人体模型确定当前帧的人体姿态。/n

【技术特征摘要】
1.一种人体姿态识别方法，其特征在于，所述识别方法包括如下步骤：
获取当前帧的不同视角下的多张人体图像；
根据多张所述人体图像，采用卷积神经网络算法建立三维人体模型；
分别将每张所述人体图像上的相邻像素进行聚类，获得多个像素块；
建立每个所述像素块的二维像素块模型；
根据每个所述像素块的二维像素块模型对所述三维人体模型进行优化，获得优化后的三维人体模型；
根据优化后的三维人体模型确定当前帧的人体姿态。


2.根据权利要求1所述的人体姿态识别方法，其特征在于，所述根据每个所述像素块的二维像素块模型对所述三维人体模型进行优化，获得优化后的三维人体模型，之前还包括：
根据当前帧之前的预设帧数内的每帧时每个人体部位的位置坐标，预测当前帧时每个人体部位的位置坐标；
根据当前帧时每个人体部位的位置坐标对所述三维人体模型进行预调整，获得预调整后的三维人体模型。


3.根据权利要求1所述的人体姿态识别方法，其特征在于，所述根据多张所述人体图像，采用卷积神经网络算法建立三维人体模型，具体包括：
采用hourglass网络结构分别从每张所述人体图像中获得K个关键点；
分别令k＝1,2，…，K，基于相机的参数，计算出第k个关键点在每个视角下的人体图像中的反投影射线，获得每个关键点对应的多条反投影射线；
确定距离每个关键点对应的多条反投影射线的总距离最短的公共点的坐标，作为所述关键点在三维空间下的坐标，得到每个关键点在三维空间下的坐标；
根据每个关键点在三维空间下的坐标进行线性插值运算，得到包含人体的每个人体部位的三维坐标的三维人体模型。


4.根据权利要求1或3所述的人体姿态识别方法，其特征在于，所述三维人体模型为：



其中，A(x)为三维人体模型，Aj(x)为第j个人体部位的三维人体模型，μj表示第j个人体部位的坐标，σj表示第j个人体部位的半径，x表示人体的任意一点的位置。


5.根据权利要求1所述的人体姿态识别方法，其特征在于，所述二维像素块模型为：



其中，Bi(x)表示第i个像素块的二维像素块模型，ci表示第i个像素块中心的颜色，μi表示第i个像素块中心的坐标，δi表示第i个像素块的半边长，xi表示人体上任意一点的位置x在第i个像素块上的投影。


6.根据权利要求1所述的人体姿态识别方法，其特征在于，所述根据每个所述像素块的二维像素块模型对所述三维人体模型进行优化，获得优化后的三维人体模型，具体包括：
计算三维人体模型的第j个人体部位的模型与每个所述二维像素块模型的相似度的和，作为目标函数值；
判断所述目标函数值是否大于预设阈值，得到判断结果；
若所述判断结果表示否，则采用梯度下降法对三维人体模型中的第j个人体部位的模型进行优化，返回步骤“计算三维人体模型的第j个人体部位的模型与每个所述二维像素块模型的相似度的和，作为目标函数值”；
若所述判断结果表示是，则令j的数值增加1，返回步骤“计算三维人体模型的第j个人体部位的模型与每个所述二维像素块模型的相似度的和，作为目标函数值”，对三维人体模型的下一个人体部位的模型进行优化，直到优化完成...

【专利技术属性】
技术研发人员：江沛远，周余，于耀，都思丹，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32