一种基于多视角图像的3D人体自监督重建方法技术

本发明专利技术提供了一种基于多视角图像的3D人体自监督重建方法，涉及三维人体重建技术领域，所述方法包括如下步骤：获取多视角图像，建立三维空间；将多视角图像、多视角图像对应的SMPL参数、相机参数输入至特征提取网络ResUnet34中，输出多视角特征图；通过双线性插值采样得到顶点在多视角特征图的特征；利用稀疏卷机网络SpareConvNet将所述结构化隐式编码扩散到周围的空间中；根据所述几何编码和外观编码得到通用型神经辐射场；使用体素渲染的方法给定一个新的视角相机参数，对所述通用型神经辐射场进行渲染，得到新视角相机参数下的2D图像。本发明专利技术通过利用稀疏的多视角对人体进行重建，然后渲染到目标视角下的图像，实现了2D图像到2D图像的自监督，避免了对3D真值的依赖。赖。赖。

【技术实现步骤摘要】
一种基于多视角图像的3D人体自监督重建方法


[0001]本专利技术涉及三维人体重建
，具体而言，尤其涉及一种基于多视角图像的3D人体自监督重建方法。

技术介绍

[0002]近年来，3D人体重建在学术界和工业界广受关注。大量不同的方法尝试去从单视角图像、多视角图像或者单目视频中重建数字化人体。
[0003]现有的3D人体重建方法中，一类方法利用扩展SMPL这类参数化身体模型去表达带衣服形变的人体形状，这些方法可以获得高质量纹理的可驱动的人体模型。另一方面，PIFu和PIFuHD这类利用神经网络隐式地表达3D表面的方法获得了令人惊艳的效果，这种新型的隐式3D表达方式理论上可表示任意拓扑结构的3D结构，例如复杂的姿态、头发和衣服等几何结构。还有另一类方法利用多视角图像或者视频进行自监督的3D重建，利用神经网络表达特定场景取得了巨大的成功，SRN提出给每个3D空间位置分配一个特征向量，然后使用可微分的体素渲染的算法生成图像。NeRF将3D坐标和视线方向通过神经网络映射层密度和颜色建立静态场景的表达。Nerfies和NGNeRF通过引入隐式变形场的方式扩展NeRF重建动态场景。NeuralBody将隐式的神经辐射场和人体参数化模型SMPL进行结合，使之能很好的处理人体的几何变形。
[0004]然而，现有的3D人体重建方法存在种种不足之处，利用扩展SMPL参数化身体模型由于模型分辨率的限制，不能够表达头发、裙子等复杂几何。利用神经网络隐式地表达3D表面的方法，从单张图像重建3D人体模型通常需要3D真值数据的监督，但是真实场景下难以获取大量的带有3D真值几何的数据，所以这类方法通常利用合成数据集进行训练，结果造成在真实场景下的泛化能力较低。利用多视角图像或者视频进行自监督的3D重建的这类方法，能够渲染出非常逼真的图像，但是限制于静态的场景。引入隐式变形场的方式难以显示地控制人体运动产生的复杂的非刚性变形。将隐式的神经辐射场和人体参数化模型进行结合的方法，只适用于单一场景或者同一目标人体的重建，没有对新的场景或者目标人体的泛化能力。综上所述，有待专利技术一种在将隐式的神经辐射场和人体参数化模型进行结合的同时，具备对新的场景或者目标人体的泛化能力的3D人体重建方法。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提出一种基于多视角图像的3D人体自监督重建方法，以解决现有基于图像的3D人体重建算法不具备对新的场景或者目标人体的泛化能力，从而实现从稀疏多视角图形中快速地重建出3D人体几何和纹理。
[0006]本专利技术采用的技术手段如下：
[0007]一种基于多视角图像的3D人体自监督重建方法，所述方法包括如下步骤：
[0008]获取多视角图像，建立三维空间；
[0009]获取不同视角下图像的相机参数、目标前景人体的分割图、目标人体的2D关键点、
人体的3D关键点和人体模型SMPL参数；
[0010]建立基于多视角的通用型3D人体重建模型，所述基于多视角的通用型3D人体重建模型的建立方法包括：
[0011]将所述多视角图像、多视角图像对应的SMPL参数、相机参数输入至特征提取网络ResUnet34中，输出多视角特征图；
[0012]定义结构化隐式编码；
[0013]将三维空间中的顶点根据所述相机参数投影到多视角特征图上的2D投影点；
[0014]通过双线性插值采样得到顶点在多视角特征图的特征；
[0015]获取顶点对应的结构化隐式编码；
[0016]利用稀疏卷机网络SpareConvNet将所述结构化隐式编码扩散到周围的空间中，得到一个密集的隐式编码体素；
[0017]建立神经辐射场；
[0018]对三维空间中的任意一点x，利用三线性插值采样所述隐式编码体素，得到x的几何编码；
[0019]将所述点x投影到多视角特征图进行提取特征并多视角融合，得到外观编码；
[0020]根据所述几何编码和外观编码得到通用型神经辐射场；
[0021]使用体素渲染的方法给定一个新的视角相机参数，对所述通用型神经辐射场进行渲染，得到新视角相机参数下的2D图像，所述基于多视角的通用型3D人体重建模型建立完成；
[0022]将所述多视角图像、多视角图像对应的相机参数，多视角图像对应的人体模型SMPL参数输入至基于多视角的通用型3D人体重建模型中，输出目标视角2D图像。
[0023]进一步地，所述获取多视角图像，建立三维空间包括：使用多架相机从不同视角同时对目标人体进行多角度拍摄，得到拍摄目标人体的多视角图像；以多架相机的中心位置作为世界坐标系的原点，建立三维空间。
[0024]进一步地，不同视角下图像的相机参数、目标前景人体的分割图、目标人体的2D关键点、人体的3D关键点和人体模型SMPL参数的获取方法为：
[0025]使用Opencv对所述多视角图像进行相机标定，得到不同视角下图像的相机参数；
[0026]对所述多视角图像使用人体分割算法CIHP获取目标前景人体的分割图；
[0027]使用Openpose算法对多视角图像进行检测，得到目标人体的2D关键点；
[0028]将所述相机参数和2D关键点输入至EasyMocap系统中，输出人体的3D关键点和人体模型SMPL参数。
[0029]进一步地，所述SMPL模型将人体形状和姿态分开建模，所述形状包括人体模型的身高、体重、身体属性；所述姿态包括人体模型的不同动作。
[0030]进一步地，利用平均池化或者注意力机制进行融合获取顶点对应的结构化隐式编码。
[0031]进一步地，还包括通过多目标优化函数对所述基于多视角的通用型3D人体重建模型进行训练，所述多目标优化函数为：
[0032][0033]其中，为图像重构损失，为图像感知损失，为背景正则化损失，λ
p
为图像感知损失权重，λ
d
为背景正则化损失权重。
[0034]进一步地，所述图像重构损失公式如下：
[0035][0036]其中，r为通过目标图像I
t
的一条摄像机光线，为使用体素渲染得到的像素颜色，C(r)为目标图像I
t
的对应像素颜色；
[0037]所述图像感知损失公式如下：
[0038][0039]其中，为渲染图片，为VGG网络，为VGG网络第i层提取的特征，N
i
为第i层特征的元素个数，M为特征层数；
[0040]所述背景正则化损失公式如下：
[0041][0042]其中，为使用体素渲染得到的密度，D(r)为通过分割得到的掩码。
[0043]较现有技术相比，本专利技术具有以下优点：
[0044]现有的3D人体重建方法只能对单一目标人体进行重建。本专利技术通过建立基于多视角的通用型3D人体重建模型，使3D人体重建方法可以泛化不同目标人体的重建，极大地提高了重建效率。
[0045]本专利技术通过利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视角图像的3D人体自监督重建方法，其特征在于，所述方法包括如下步骤：获取多视角图像，建立三维空间；获取不同视角下图像的相机参数、目标前景人体的分割图、目标人体的2D关键点、人体的3D关键点和人体模型SMPL参数；建立基于多视角的通用型3D人体重建模型，所述基于多视角的通用型3D人体重建模型的建立方法包括：将所述多视角图像、多视角图像对应的SMPL参数、相机参数输入至特征提取网络ResUnet34中，输出多视角特征图；定义结构化隐式编码；将三维空间中的顶点根据所述相机参数投影到多视角特征图上的2D投影点；通过双线性插值采样得到顶点在多视角特征图的特征；获取顶点对应的结构化隐式编码；利用稀疏卷机网络SpareConvNet将所述结构化隐式编码扩散到周围的空间中，得到一个密集的隐式编码体素；建立神经辐射场；对三维空间中的任意一点x，利用三线性插值采样所述隐式编码体素，得到x的几何编码；将所述点x投影到多视角特征图进行提取特征并多视角融合，得到外观编码；根据所述几何编码和外观编码得到通用型神经辐射场；使用体素渲染的方法给定一个新的视角相机参数，对所述通用型神经辐射场进行渲染，得到新视角相机参数下的2D图像，所述基于多视角的通用型3D人体重建模型建立完成；将所述多视角图像、多视角图像对应的相机参数，多视角图像对应的人体模型SMPL参数输入至基于多视角的通用型3D人体重建模型中，输出目标视角2D图像。2.根据权利要求1所述的基于多视角图像的3D人体自监督重建方法，其特征在于，所述获取多视角图像，建立三维空间包括：使用多架相机从不同视角同时对目标人体进行多角度拍摄，得到拍摄目标人体的多视角图像；以多架相机的中心位置作为世界坐标系的原点，建立三维空间。3.根据权利要求1所述的基于多视角图像的3D人体自监督重建方法，其特征在于，不同视角下图像的相机参数、目标前景人体的分割图、目...

【专利技术属性】
技术研发人员：陈建川，卢湖川，王一帆，
申请(专利权)人：大连维视科技有限公司，
类型：发明
国别省市：