一种基于人体点云与测量参数的参数化人体模型拟合方法技术

本发明专利技术公开了一种基于人体点云与测量参数的参数化人体模型拟合方法，包括如下步骤：对人体点云以固定距离与不同的视角渲染得到多个视角下的全身人体图像；通过深度神经网络预测全身人体图像中人体的2D关节点；对2D关节点进行三角测量以预测出3D关节点；根据人体点云、3D关节点与输入的测量参数将参数化人体模型SMPL或SMPL

【技术实现步骤摘要】
一种基于人体点云与测量参数的参数化人体模型拟合方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于人体点云与测量参数的参数化人体模型拟合方法。

技术介绍

[0002]近年来，捕捉非结构化的三维点云的传感技术变得无处不在且更加准确，并推动了三维人体重建技术的发展。其中，将参数化人体模型拟合到穿着紧身衣的人体点云上是计算机视觉中的一项具有挑战性的任务，因为这需要去定位人体点云中的各个关节点位置，并且让网格顶点与人体点云尽可能地对齐、贴近。在基于学习的方法中，SMPL(
‑
X)模型的拟合可以分为两类：(1)使用深度神经网络去预测SMPL(
‑
X)的姿势和体型参数；(2)通过梯度下降的迭代优化方法搜索SMPL(
‑
X)的参数，优化一个目标函数以尽可能与人体点云匹配。这两种方法各有优劣，前者需要带有三维标注的数据集进行训练，但其非线性表示能力较强；后者虽然不需要额外的数据集，但需要寻找到合适的优化项和各种先验知识进行约束。
[0003]现有技术1《HuMMan:Multi
‑
Modal 4D Human Dataset for Versatile Sensing and Modeling》中搭建了一个多视角相机阵列，在采集了紧身着装的人体不同视角的点云数据后融合得到高精度的人体点云。为了注册到SMPL网格模型，采用多视角下2D关节点的预测，通过三角测量得到3D关节点，再通过最小化目标函数来优化SMPL的姿势和体型参数。但所提供的数据集缺乏紧身着装的扫描数据，因此难以评判注册后的SMPL模型在体型上的准度。此外，该方法对扫描数据的质量要求较高，否则重建出的SMPL模型与人体点云仍有一定差距；
[0004]现有技术2《3D Human Body Reshaping with Anthropometric Modeling》中提出了一个利用部分人体测量参数生成特定体型的参数化人体模型方法。在训练阶段，根据数据集中的人体网格模型和测量参数，通过基于特征选择的局部映射技术去学习相关性掩码，而顶点映射矩阵则通过线性回归从相关性掩码选出的参数进一步学习得到。在推理阶段，用户输入有限测量参数，通过多重插补处理缺失值，并在映射阶段通过采用相关性掩码和映射矩阵生成人体模型。然而该方法不能应用到SMPL(
‑
X)的人体模型上，且重建出的三维人体测量参数与输入参数的误差相对较高；
[0005]现有技术3《Accurate 3D Body Shape Regression using Metric and Semantic Attributes》中着重于从单幅图像预测更准确的SMPL体型参数。首先通过现有回归器去预测SMPL的姿势和体型参数，然后通过一个简单的神经网络输入体型参数来预测语义化体型特征，预测出的SMPL人体通过虚拟测量技术得到部分人体测量参数，最后结合语义化体型和测量参数来约束SMPL的体型参数。然而其运用的语义化体型特征是建立在多位标注员的主观评价上的，难以准确客观地表示人的体型特征，虽然有效提升了体型预测的准度，但其误差依然较大。
[0006]现有SMPL(
‑
X)模型的拟合方法大多难以恢复出准确的体型，或需要通过额外的顶
点偏移实现。基于深度神经网络的方法需要预先构建好的3D数据集进行训练，对体型的重建结果依然较差。

技术实现思路

[0007]本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于人体点云与测量参数的参数化人体模型拟合方法，该方法能够通过引入测量参数的约束实现对SMPL(
‑
X)体型的精确控制，不仅能够在拟合流程中提供体型的强约束，还能够直接通过测量参数生成目标体型的SMPL(
‑
X)模型。
[0008]本专利技术的目的可以通过采取如下技术方案达到：
[0009]一种基于人体点云与测量参数的参数化人体模型拟合方法，所述拟合方法包括以下步骤：
[0010]S1、将人体点云以固定距离与多个不同的视角渲染得到在每个不同视角下的全身人体图像；
[0011]S2、对每个视角下的全身人体图像，通过深度神经网络OpenPose预测出每个视角下的2D关节点集以及与各个关节点相对应的置信度；
[0012]S3、对所有视角下的2D关节点集，通过视角筛选与低置信度2D关节点排除，得到2D关节点筛选集，然后采用三角测量算法重建得到3D关节点，对重投影损失超过第一阈值的3D关节点通过排除噪声视角的方法进行优化；
[0013]S4、已知参数化人体模型SMPL(
‑
X)的初始姿势参数θ0与体型参数β0，以下参数化人体模型SMPL(
‑
X)简称SMPL(
‑
X)模型，在提供0向量姿势参数时，生成的人体模型呈现出T
‑
姿势，且手掌呈伸直展开状态；在SMPL(
‑
X)模型上预先定义测量所需的特征点，对特定体型参数生成的T
‑
姿势下SMPL(
‑
X)模型测量获取所需的测量参数；然后进行SMPL(
‑
X)模型的拟合，在拟合过程中，首先将SMPL(
‑
X)模型按臀中点平移到重建出的3D关节点的臀中点完成初步对齐，然后以重建出的3D关节点、人体点云与输入的测量参数作为约束，通过迭代优化的方式最小化目标函数，得到优化后SMPL(
‑
X)模型的姿势参数θ与体型参数β。
[0014]进一步地，所述步骤S1中将人体点云整体按重心平移至以原点为重心的位置，确保渲染得到的人体位于图像的中心，坐标单位为mm，然后将相机距离设置为1200mm，采用宽高比a＝1、垂直视场角近平面z
n
＝10mm、远平面z
f
＝10000mm的透视投影，在保证全身人体位于图像中的同时覆盖更多的像素区域，相机正对人体正面开始渲染，然后每次将人体点云绕y轴逆时针旋转30度，一共旋转11次，最终渲染得到12幅不同视角的分辨率为512x512的全身人体图像。
[0015]进一步地，所述步骤S2中将12幅全身人体图像作为深度神经网络OpenPose的输入，预测得到每幅全身人体图像的人体2D关节点集以及各个2D关节点对应的置信度，设K为OpenPose预测出的人体2D关节点数目，OpenPose可预测25个关节点的Body25或18个关节点的COCO这两种身体部位的关节点集，并额外支持对42个手掌关节点的预测或对70个脸部关节点的预测，根据全身人体图像的清晰程度，在选择身体部分关节点集的基础上决定是否需要添加手掌关节点或脸部关节点。
[0016]进一步地，所述步骤S3过程如下：
[0017]S31、从12幅全身人体图像筛选出N个视角的2D关节点集，部分视角由于存在人体
自遮挡的情况，使得OpenPose预测出的关节点置信度相比其余视角本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体点云与测量参数的参数化人体模型拟合方法，其特征在于，所述拟合方法包括以下步骤：S1、将人体点云以固定距离与多个不同的视角渲染得到在每个不同视角下的全身人体图像；S2、对每个视角下的全身人体图像，通过深度神经网络OpenPose预测出每个视角下的2D关节点集以及与各个关节点相对应的置信度；S3、对所有视角下的2D关节点集，通过视角筛选与低置信度2D关节点排除，得到2D关节点筛选集，然后采用三角测量算法重建得到3D关节点，对重投影损失超过第一阈值的3D关节点通过排除噪声视角的方法进行优化；S4、已知参数化人体模型SMPL(
‑
X)的初始姿势参数θ0与体型参数β0，以下参数化人体模型SMPL(
‑
X)简称SMPL(
‑
X)模型，在提供0向量姿势参数时，生成的人体模型呈现出T
‑
姿势，且手掌呈伸直展开状态；在SMPL(
‑
X)模型上预先定义测量所需的特征点，对特定体型参数生成的T
‑
姿势下SMPL(
‑
X)模型测量获取所需的测量参数；然后进行SMPL(
‑
X)模型的拟合，在拟合过程中，首先将SMPL(
‑
X)模型按臀中点平移到重建出的3D关节点的臀中点完成初步对齐，然后以重建出的3D关节点、人体点云与输入的测量参数作为约束，通过迭代优化的方式最小化目标函数，得到优化后SMPL(
‑
X)模型的姿势参数θ与体型参数β。2.根据权利要求1所述的一种基于人体点云与测量参数的参数化人体模型拟合方法，其特征在于，所述步骤S1中将人体点云整体按重心平移至以原点为重心的位置，坐标单位为mm，然后将相机距离设置为1200mm，采用宽高比a＝1、垂直视场角近平面z
n
＝10mm、远平面z
f
＝10000mm的透视投影，相机正对人体正面开始渲染，然后每次将人体点云绕y轴逆时针旋转30度，一共旋转11次，最终渲染得到12幅不同视角的分辨率为512x512的全身人体图像。3.根据权利要求2所述的一种基于人体点云与测量参数的参数化人体模型拟合方法，其特征在于，所述步骤S2中将12幅全身人体图像作为深度神经网络OpenPose的输入，预测得到每幅全身人体图像的人体2D关节点集以及各个2D关节点对应的置信度，设K为OpenPose预测出的人体2D关节点数目。4.根据权利要求3所述的一种基于人体点云与测量参数的参数化人体模型拟合方法，其特征在于，所述步骤S3过程如下：S31、从12幅全身人体图像筛选出N个视角的2D关节点集，然后在这N个视角的2D关节点集中排除掉所有置信度低于第二阈值的2D关节点，得到2D关节点筛选集；S32、在2D关节点筛选集中，通过三角测量方法重建出K个3D关节点：设为当前关节剩余的视角构成的2D关节点集，其中N'表示剩余的视角数，i表示剩余视角中的第i个视角，V
i
表示对应的视角编号，表示该关节在视角编号V
i
下的2D关节点，和分别表示的x坐标和y坐标，设定每个视角V
i
下的3
×
3相机旋转矩阵和平移向量其中向量和表示旋转
矩阵的第1列、第2列和第3列，和分别表示的x坐标、y坐标和z坐标，此外设定12个视角都有相同的4
×
4透视投影矩阵其中其中a表示宽高比，表示垂直视场角z
n
表示近平面位置距离，z
f
表示远平面位置距离，通过下面的公式对视角V
i
的2D关节点进行逆图片空间变换与逆投影变换，得到相机视角的3D方向向量：其中表示视角V
i
下的方向向量，和分别表示的x坐标和y坐标，W和H分别表示全身人体图像的宽和高；对每个视角V
i
列出下面两个方程：列出下面两个方程：其中x'为待求3D关节点位置；N'个剩余的视角列出2N'个方程，采用最小二乘法求解出3D关节点x'后，将x'投影到剩余视角的图片空间中，得到重投影2D关节点集通过下面的公式计算重投影2D关节点：其中，是位于投影空间的列向量，和表示的x坐标、y坐标、z坐标和w坐标，为视角编号V
i
的重投影2D关节点；最后通过下面的公式计算平均像素误差：
其中e为平均像素误差，||
·
||2用于求向量的欧氏距离；S33、若平均像素误差e小于第一阈值，或剩余视角数N'<4，得到最终预测的3D关节点x'，否则需要使用下述方法排除噪声视角直至满足条件：对当前关节剩余视角构成的2D关节点集设Q
i
为排除剩余视角中第i个视角对应的2D关节点得到的点集，对Q
i
进行三角测量重建出3D关节点x
i
'，然后进行重投影并计算出平均像素误差e
i
，设m为所求平均像素误差构成的集合中的最小值e
m
对应的下标，若e
m
小于第一阈值，或点集Q
m
的剩余视角数小于4，得到最终预测的3D关节点x
m
'，否则将Q
m
作为排除噪声视角方法的输入并继续执行。5.根据权利要求4所述的一种基于人体点云与测量参数的参数化人体模型拟合的方法，其特征在于，所述步...

【专利技术属性】
技术研发人员：毛爱华，禤骏，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：