一种通过2D图像推断人体动作姿态的方法及装置制造方法及图纸

本发明专利技术公开了一种通过2D图像推断人体动作姿态的方法，包括以下步骤：2D图像获取步骤：获取含有人体动作的2D图像；置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。本发明专利技术还提供了一种电子设备和计算机可读存储介质。本发明专利技术解决了现有技术中通过2D图像得到人体动作姿态的识别率低的问题。

【技术实现步骤摘要】
一种通过2D图像推断人体动作姿态的方法及装置
本专利技术涉及一种人体姿态重建，尤其涉及一种通过2D图像推断人体工作姿态的方法、电子设备及存储介质。
技术介绍
目前，目前对于通过单张2D图像来进行人体的动作姿态识别时由于单张2D图像中的人体往往会造成遮挡，比如被人自己的身体或衣服所遮挡，不能把所有的有用自由度提取到，造成信息采集不全，这样得到的人体动作姿态不准确。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种通过2D图像推断人体动作姿态的方法，其能够解决现有技术中通过2D图像识别人体动作姿态的识别率低下、信息采集不全的问题。本专利技术的目的之二在于提供一种电子设备，其能够解决现有技术中通过2D图像识别人体动作姿态的识别率低下、信息采集不全的问题。本专利技术的目的之三在于提供一种计算机可读存储介质，其能够解决现有技术中通过2D图像识别人体动作姿态的识别率低下、信息采集不全的问题。本专利技术的目的之四在于提供一种通过2D图像推断人体动作姿态的装置，其能够解决现有技术中通过2D图像识别人体动作姿态的识别率低下、信息采集不全的问题。本专利技术的目的之一采用如下技术方案实现：一种通过单张2D图像推断人体动作姿态的方法，包括以下步骤：2D图像获取步骤：获取含有人体动作的2D图像；置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。进一步地，所述匹配步骤之前还包括归一化步骤：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。进一步地，所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图。进一步地，所述3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵Pi，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。本专利技术的目的之二采用如下技术方案实现：一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：2D图像获取步骤：获取含有人体动作的2D图像；置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。进一步地，所述匹配步骤之前还包括归一化步骤：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。进一步地，所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图。进一步地，所述3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵Pi，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。本专利技术的目的之三采用如下技术方案实现：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的通过2D图像推断人体动作姿态的步骤。本专利技术的目的之四采用如下技术方案实现：一种通过2D图像推断人体动作姿态的装置，包括：2D图像获取模块，用于获取含有人体动作的2D图像；置信图计算模块，用于对所述2D图像做卷积神经网络算法得到对应的置信图；匹配模块，用于将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；映射模块，用于将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。相比现有技术，本专利技术的有益效果在于：本专利技术通过建立人体动作姿态的3D模型数据库，并结合多级卷积神经网络算法，从2D图像能够推断出精确的3D模型，进而得到对应的人体姿态模型，其解决了现有技术中从2D图像推断3D模型时，识别率低下、信息采集补全、达不到实际应用的需求的问题。附图说明图1为本专利技术提供的通过2D图像推断人体动作姿态方法的流程图；图2为本专利技术提供的3D模型示意图；图3为本专利技术提供的由2D图像以及推断出的3D模型示意图；图4为本专利技术提供的通过2D图像推断人体动作姿态装置的模块图。具体实施方式下面，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。实施例针对本专利技术所提供的两个技术难题，本专利技术采用了一种从2D图像来得到最优3D模型，并投影到2D空间，从而得到该2D图像所对应的在某个视角上的3D模型。其中从2D图像到3D模型的匹配，采用卷积神经网络算法来实现，可以将2D图像中被遮挡和缺失部分补齐。另外，本专利技术还提供了一个3D动作模型的数据库，该数据库中存储了所有人体所有动作的3D模型。本专利技术中指出当人体进行动作时，选取人身体上的多个关节点，并将关节点连线，也即是说3D模型就是指的人体动作时关节自由度的表达。也即是说，所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图，如图2所示，其中点代表关节自由度节点，线代表关节连线。由于只使用人体关节自由度作为节点，同时关节连线表示的是在图论层面的某两个关节自由度的拓补关系，所以3D人体姿态模型是具有通用型的，也即是说针对不同个体的人体(比如高、瘦、胖、矮等)其相同动作的3D人体姿态模型均相同。3D模型数据库是通过人体佩戴相应的采集设备，并对人体动作时关节自由度进行记录完成，从而构建了一个由20万个具有代表性的3D动作组成的人体动作3D模型数据库。比如，通过人体佩戴相应的采集设备，然后使得人体做不同的动作并实时采集人体动作时关节自由度节点的位置变化，从而形成不同人体动作所对应的关节自由度节点的位置并对关节自由度节点进行连线，形状对应的3D模型，构成3D模型数据库。对于3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵Pi，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。通过2D图像推断人体动作姿态的方法，如图1和3所示，包括以下步骤：S1、获取含有人体动作的2D图像；S2、对所述2D图像根据卷积神经网络算法获得2D图像的置信图；一般来说，输入的是2D图像的2D特征或RGB特征，这里的2D特征、RGB特征均指的是2D图像中的信息。其中，卷积神经网络算法是现有技术，以下描述为结合本专利技术给出简要的过程：S11、获取2D图像的RGB信息。S12、初始的RGB信息会作为原始输入，输入进深度学习模型的每一层。不同的是，在第一层输入的时候，初始的RGB信息作为唯一的输入，但在其他层，初始的RGB信息经过步骤3的卷积核池化后，会和上一层的输出一起作为联合的RGB特征使用。S13、对RGB特征做卷积及池化处理，包含3个9*9的卷积核，1个5*5的卷积核，还有3个2*2的池化。S14、经过卷积和池化过的RGB特征，再经9*9的卷积核，两个1*1的卷积核进行卷积，就得到了第一层的18个置信图谱，通过该置信图谱与3D模型库中的置信图谱进行匹配，寻找到最接本文档来自技高网...

【技术保护点】
一种通过2D图像推断人体动作姿态的方法，其特征在于包括以下步骤：2D图像获取步骤：获取含有人体动作的2D图像；置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。

【技术特征摘要】
1.一种通过2D图像推断人体动作姿态的方法，其特征在于包括以下步骤：2D图像获取步骤：获取含有人体动作的2D图像；置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹配，从而得到所述2D图像对应的3D模型；映射步骤：将所述3D模型在任意平面视角下进行映射，从而获取每个平面视角下的人体动作姿态。2.如权利要求1所述的方法，其特征在于：所述匹配步骤之前还包括归一化步骤：将3D模型数据库中的所有3D模型所在的坐标系归一化为同一坐标系。3.如权利要求1所述的方法，其特征在于：所述3D模型是由一系列人体上的多个关节自由度的节点以及关节自由度的节点之间的连线组成的人体模型示意图。4.如权利要求1-3中任一项所述的方法，其特征在于：所述3D模型数据库中，每个3D模型均表示为一个(3×L)的矩阵Pi，i∈{1,2,3,...L}，矩阵中的每个元素表示人体动作模型中关节自由度。5.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现以下步骤：2D图像获取步骤：获取含有人体动作的2D图像；置信图计算步骤：对所述2D图像做卷积神经网络算法得到对应的置信图；匹配步骤：将2D图像对应的置信图与预设的3D模型数据库进行匹...

【专利技术属性】
技术研发人员：郭继舜，
申请(专利权)人：大圣科技股份有限公司，
类型：发明
国别省市：广东,44