一种基于图卷积的从图像中重建着装人体模型的方法技术

本发明专利技术公开了一种基于图卷积的从图像中重建着装人体模型的方法，包括以下步骤：S1、生成光滑人体模型，通过顶点偏差建立着装人体模型的表示方式；S2、搭建基于图卷积的神经网络，所述神经网络包括图像特征提取网络、基于图卷积的人体外貌优化网络以及图像特征转换模块；S3、训练所述基于图卷积的神经网络；S4、对于需要预测的图像预处理，并获取与之对应的光滑人体模型；S5、将预处理后的测试图像输入训练好的神经网络神经网络取最后阶段的输出与光滑人体模型叠加得到最终的着装人体模型。

【技术实现步骤摘要】
一种基于图卷积的从图像中重建着装人体模型的方法
本专利技术涉及计算机图形学、计算机视觉与机器学习的三维物体重建领域，具体涉及一种基于图卷积的从图像中重建着装人体模型的方法。
技术介绍
三维模型的重建一直是计算机图形图像领域的热门问题，其中三维人体重建更是一个受到广泛关注且具有巨大应用价值的领域。目前高质量三维人体模型往往需要借助一些相机阵列或者特殊的深度、激光相机来获得初步的图像信息，然后经过复杂的后处理得到模型。这种方法的精度较高，但是需要昂贵的专用设备，推广难度大，且重建过程操作复杂。另外一种获得三维人体的方法是基于单个深度或者彩色相机来获得图像，然后借助于神经网络的处理来快速获得重建结果。因为深度相机并不像普通彩色相机那么普遍，导致基于深度相机的方法受制于采集设备。而仅利用彩色图像的方法，由于输入图像中包含的人体信息有限，需要神经网络学习人体的先验知识作为补充。其中部分工作恢复的结果虽然可控，但是仅包含人体的体型与姿势，并不包含人体的着装，无法反应照片中真实人体的衣服外貌。另外有工作尝试从图像中恢复出着装的人体，但是它恢复的结果不具有可控性，无法直接进行二次的姿势或者体型的变化，这给人体重建结果推广与使用带来了困难。《一种人体二维图像采集装置及三维人体表面重建系统》(CN206162583U)由红外图像采集装置和三维人体表面重建系统组成。采集装置为一个红外相机，利用架设的滑轨或转盘，自动转动相机或人体，从而获得静止人体在各种角度下的红外图像。多视角的红外图像送入与采集装置相连的三维人体表面重建装置，重建三维人体。《基于图片的SMPL参数预测以及人体模型生成方法》(CN111968217A)分为基本人体模型(SMPL)的形状与姿势参数的预测。输入的图像通过特殊设计具有注意力机制的神经网络提取人体轮廓，依据人体轮廓预测SMPL的形态参数，利用姿态参数预测网络预测SMPL的姿势参数，姿势参数θ和形状参数β控制SMPL的生成结果，得到最终的三维人体模型。《一种基于简易测量服的三维人体快速重建方法》(CN108269302B)首先针对现有人体库中的人体，提取其中的特征参数与特征曲线作为人体的特征，然后利用PCA方法构建整个人体库的形状空间。神经网络被用来建立人体特征与形状空间之间的映射关系。然后测量待测人体特征参数以及利用简易测量服获取该人体的特征曲线，这两项输入到之前的神经网络映射模型，得到形状空间中的各特征向量对应的特征值，再还原重建得到三维人体模型。《基于RGBD单视角图像人体三维重建方法及装置》(CN110335343A)通过深度相机采集人体的RGB彩色图片与深度图片，依据图片得到对应人体在图像中包含的人体分割信息、二维关节点信息和三维关节点信息，凭借三维关节点对基本人体模型(SMPL)进行约束与初步的预测，将初步预测的三维人体渲染深度图像，使得预测模型深度值与采集的深度图数值尽可能相似，然后结合单视角彩色图像与从渲染中恢复三维形状的方法对初步预测的人体模型进行进一步的优化，并进行三角化重建获得三维人体模型。一种有遮挡情况下的人体三维重建方法、装置及电子设备》(CN111739161B)主要解决的是在遮挡情况下的三维人体重建。利用相机采集的彩色图像与深度图像，对彩色图像里的目标进行实例分割，得到人体掩码与遮挡物掩码，依此信息将深度图分为人体深度图与遮挡物深度图，利用神经网络估计遮挡物姿态然后重建遮挡物，基于彩色图像，人体深度图与遮挡物模型对人体造成的几何约束进行三维人体重建。《基于隐式函数和人体模板的单图像人体三维重建方法》(CN111340944A)采集人体几何模型，预处理生成数据集以用于神经网络训练。构建了二维图像特征提取网络以及三维参数化模板的体特征提取网络，然后将图像特征与三维参数化模板的体特征输入到隐式函数推断神经网络预测在固定空间内某一位置位于模型内部的概率，然后借助于MarchingCube算法提取等值面获得预测的人体。现有技术的缺点：1.依赖复杂的采样设备与后处理过程。有些方法为了获得足够重建人体的信息，需要多摄像头或者是特殊的特备以采集多个视角的人体图像，如专利(CN206162583U)需要红外相机以及对应的转动支架以便获得多视角图像，这要求带了了场地的限制，不利于大规模的应用，操作也相对来说较为复杂。同时多个摄像头获得的图像需要经过复杂的后处理才可以获得重建人体。此外还有专利(CN108269302B)需要特制的服装来辅助人体测量，这也提高了操作的复杂度。2.重建需要借助于深度相机采集深度图像，无法仅从单张彩色图像重建。目前有些方法借助于神经网络，操作上相对简化了，但是需要借助于深度相机以获得人体的点云，以优化人体体型外貌，如专利(CN110335343A)与(CN111739161B)。简单偏移的深度相机采集精度不足，并且会带来噪声，这为这种基于深度相机的技术的广泛应用带来麻烦。3.重建的人体缺乏对人体着装的表示。有些重建方法重建的人体是预测人体姿势参数θ和形状参数β，然后由参数化的人体模板(SMPL)获得结果，如专利(CN111968217A)。单纯的姿势参数与形状参数只包含了图像中人体的姿势与身体胖瘦等有限的信息，无法表达人体的衣服等外貌细节信息，重建的结果是SMPL较为光滑的人体，它没有对于人体衣服的重建，缺乏表达能力。4.重建的人体缺乏控制性。有一类方法仅从一张或有限几张图像中重建人体，它的使用操作较为简单，但是重建的结果缺乏二次变形的能力，如专利(CN111340944A)。这种方法重建的人体模型需要重新经过复杂的骨骼权重蒙皮才可以进行二次的形变，这不利于对重建人体进行二次变形以动画化的利用，且复杂的蒙皮技术限制了它结果的应用场景。
技术实现思路
本专利技术主要目的是借助于图卷积将SMPL的拓扑结构嵌入神经网络，从一张或者几张图像中生成对应的着装人体，同时保证重建的着装人体模型具有一定的可控性，可以二次变形或者动画化。本专利技术通过建立人体模型，本专利技术的人体模型结合了SMPL的可控性，同时加入对于每个SMPL模型的额外顶点，用于提高该表示法对于人体外貌的表达能力，使用一种基于相机投影的方式来完成特征与模型顶点的对齐，该种转换方式可以自然的适应从单张图像到多张图像的输入。本专利技术至少通过如下技术方案之一实现。一种基于图卷积的从图像中重建着装人体模型的方法，包括以下步骤：S1、生成光滑人体模型，通过顶点偏差建立着装人体模型的表示方式；S2、搭建基于图卷积的神经网络，所述神经网络包括图像特征提取网络、基于图卷积的人体外貌优化网络以及图像特征转换模块；S3、训练所述基于图卷积的神经网络；S4、对于需要预测的图像预处理，并获取与之对应的光滑人体模型；S5、将预处理后的测试图像输入训练好的神经网络神经网络取最后阶段的输出与光滑人体模型叠加得到最终的着装人体模型。优选的，所述光滑人体模型通过SMPL生成，所述光滑人体模型的形态由n个形状参数β和N个姿势参数θ控制。...

【技术保护点】
1.一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，包括以下步骤：/nS1、生成光滑人体模型，通过顶点偏差建立着装人体模型的表示方式；/nS2、搭建基于图卷积的神经网络，所述神经网络包括图像特征提取网络、基于图卷积的人体外貌优化网络以及图像特征转换模块；/nS3、训练所述基于图卷积的神经网络；/nS4、对于需要预测的图像预处理，并获取与之对应的光滑人体模型；/nS5、将预处理后的测试图像输入训练好的神经网络神经网络取最后阶段的输出与光滑人体模型叠加得到最终的着装人体模型。/n

【技术特征摘要】
1.一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，包括以下步骤：
S1、生成光滑人体模型，通过顶点偏差建立着装人体模型的表示方式；
S2、搭建基于图卷积的神经网络，所述神经网络包括图像特征提取网络、基于图卷积的人体外貌优化网络以及图像特征转换模块；
S3、训练所述基于图卷积的神经网络；
S4、对于需要预测的图像预处理，并获取与之对应的光滑人体模型；
S5、将预处理后的测试图像输入训练好的神经网络神经网络取最后阶段的输出与光滑人体模型叠加得到最终的着装人体模型。


2.根据权利要求1所述的一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，所述光滑人体模型通过SMPL生成，所述光滑人体模型的形态由n个形状参数β和N个姿势参数θ控制。


3.根据权利要求2所述的一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，所述着装人体模型的表示方式为SMPL+Dp，是在所述光滑人体模型的每个顶点上增加偏移，通过增加偏移来表示人体的服饰信息，所有顶点形成偏移集合Dp：
Dp＝W(Du,J(β),θ,W)
其中，Du表示默认姿势下的偏移，W(*)表示SMPL的线性蒙皮函数，W为对应的权重，J(β)表示由形状参数β确定的关节点位置，将默认姿势下的偏移Du与默认姿势下的光滑人体模型相加，通过控制形状参数β和姿势参数θ控制着装人体模型。


4.根据权利要求3所述的一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，步骤S2是利用神经网络PyTorch搭建图像特征提取网络、基于图卷积的人体外貌优化网络以及图像特征转换模块。


5.根据权利要求4所述的一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，所述图像特征提取网络包括s个卷积层，每个卷积层的卷积核大小都为m*m，除了最后一层卷积层，每个卷积层后面都接有修正线性单元作为激活函数来修正输出值。


6.根据权利要求5所述的一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，所述图像特征转换模块接收来自图像特征提取网络输出的特征图，基于网格拓扑图卷积输入光滑人体模型每个顶点的特征，利用对应的光滑人体模型或者基于图卷积的人体外貌优化网络输出的中间预测结果做相机投影，得到光滑人体模型上的顶点在每层特征图上的位置，然后以该位置为中心借助双线性插值的方法提取该顶点特征，分别在图像特征提取网络的特征图执行上述投影对齐操作，再将每个顶点在不同层的特征拼接在一起，作为该顶点在基于图卷积的人体外貌优化网络中的输入特征。


7.根据权利要求6所述的一种基于图卷积的从图像中重建着装人体模型的方法，其特征在于，所述基于图卷积的人体外貌...

【专利技术属性】
技术研发人员：毛爱华，禚冠军，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44