一种渐进式高精度人体脚型重建方法技术

本发明专利技术公开了一种渐进式高精度人体脚型重建方法，步骤如下：从三张脚型轮廓图像和对应的相机内外参构建脚型的可视外壳，作为粗糙脚型形状；建立人体脚型可视外壳特征学习模型，学习脚型的可视外壳形状特征；建立人体脚型网格特征学习模型，学习脚型的网格形状特征；使用深度学习方法，建立人体脚型可视外壳特征和网格特征之间的特征转换模型。以脚型轮廓图和相机内外参作为输入，首先构造可视外壳作为粗糙脚型，提取可视外壳形状特征，转换为脚型网格形状特征，并由此重建高精度三维脚型。本发明专利技术降低了人体脚型模型重建的设备费用和人工费用，提高了脚型重建效率，使用渐进式高精度人体脚型重建方法能快速准确重建人体脚型的三维形状。脚型的三维形状。脚型的三维形状。

【技术实现步骤摘要】
一种渐进式高精度人体脚型重建方法


[0001]本专利技术属于计算机与三维脚型重建相结合领域，尤其涉及一种渐进式高精度人体脚型重建方法。

技术介绍

[0002]随着科技的进步和生活水平的提高，借助科技的力量定制自己的专属产品，逐渐成为用户的热门需求，个性化制鞋产业也因此蓬勃发展。在该产业中，从业人员通过采集用户的脚型三维模型和脚型测量参数，再根据脚型三维模型和脚型测量参数调整鞋楦尺寸，设计出与用户脚型相符合的定制鞋类款式。这种个性化制鞋方法通常对从业人员有着较高的专业知识要求，并且需要昂贵的三维扫描仪设备来获取脚型模型。因此整个制鞋流程效率低，且费用较高，难以推广。
[0003]三维物体重建是计算机视觉领域的热点研究问题。三维物体重建指的是从一张或者多张图像重建出图像中物体的完整三维模型。该技术在人机交互、自动驾驶、游戏设计等多个场景都有广泛的应用前景。传统的三维物体重建技术主要通过在多张标定好的图像中寻找特征点的对应关系，使用多视角立体几何(multi
‑
view stereo)恢复物体的三维信息。这种方法对场景的光照、物体的纹理等有严格的要求，难以进一步推广到实际应用场景中。并且由于物体的遮挡等原因，这种方法通常无法重建出完整的三维物体形状。
[0004]深度学习技术在最近的几年里迅速发展，并在一系列计算机视觉相关的任务中取得了显著的进展。在基于深度学习的三维物体重建方法中，按照图像类型可分为两类：一类是基于RGB图像的三维物体重建，这类方法以RGB图像作为输入，并通过深度卷积神经网络提取图像特征并重建物体的三维形状；另一类是基于深度图像的三维物体重建，这类方法以深度图像作为输入，将其表示为体素模型或三维点云，使用深度卷积神经网络从中提取特征并重建三维物体形状。
[0005]可视外壳(visual hull)是对多张图像的投影视锥求交生成的一种三维形体。该形体可以看作是图像中物体的粗糙三维模型，同时融合了图像以及对应的相机内外参信息。以可视外壳作为输入，在其基础上进行三维物体重建，能更好地融合多张图像包含的物体信息，重建出更高精度的三维物体形状。

技术实现思路

[0006]本专利技术的目的在于针对现有技术无法重建高精度人体脚型的不足，提供一种针对特定类别物体(即人体脚型)的三维重建方法。具体地，本专利技术提供一种渐进式高精度人体脚型重建方法，根据图像和对应的相机参数，构造可视外壳作为人体脚型的粗糙三维形状。针对人体脚型可视外壳和人体脚型网格形状，基于深度学习，建立脚型可视外壳特征学习模型、脚型网格特征学习模型、特征转换模型。以图像和相机参数作为输入，构建可视外壳，提取可视外壳特征，转换为网格特征，重建脚型三维形状。本专利技术简化了传统脚型重建方法的复杂流程，降低了数据采集过程中对场景光照、物体纹理的要求，使用渐进式人体脚型重
建方法能够快速准确地重建出高精度的三维脚型形状。
[0007]本专利技术的目的是通过以下技术方案来实现的：一种渐进式高精度人体脚型重建方法，包括如下步骤：
[0008](1)构建粗糙脚型形状。在公开的人体脚型三维模型数据集上，指定相机内参，使用随机的相机外参生成不同相机视角下的脚部轮廓图。使用三张脚部轮廓图以及图像对应的相机内外参，通过反投影的方式计算每张图像在世界坐标系下的视锥空间。对所有图像的视锥空间进行求交，得到脚型的可视外壳，并将其进行体素化，表示为三维体素模型。该三维体素模型表示的可视外壳即为粗糙脚型形状。在得到可视外壳后，对可视外壳的包围盒中心点进行坐标对齐等后处理。
[0009](2)建立人体脚型可视外壳特征学习模型。人体脚型可视外壳特征学习模型为自编码器(auto encoder)结构，以步骤(1)构建的人体脚型可视外壳作为输入，提取脚型可视外壳特征并重建脚型可视外壳。自编码器由编码器(encoder)和解码器(decoder)两部分构成。编码器从三维体素模型表示的脚型可视外壳中提取特征。解码器对脚型可视外壳特征进行解码，重建出脚型可视外壳。人体脚型可视外壳特征学习模型通过自监督学习(self
‑
supervised learning)的方法进行模型训练，计算输入的可视外壳与输出的可视外壳两者之间的损失函数，优化模型参数。
[0010](3)建立人体脚型网格特征学习模型。人体脚型网格特征学习模型为自编码器(auto encoder)结构，以人体脚型三维网格作为输入，提取脚型网格特征并重建脚型网格模型。自编码器由编码器和解码器两部分组成。编码器从脚型网格中提取特征。解码器从脚型网格特征提取脚型网格模型的PCA形状参数，并通过反主成分分析(inverse PCA)方法由形状参数重建脚型三维网格。人体脚型网格特征学习模型通过自监督学习的方法进行模型训练，计算输入的脚型三维网格与输出的脚型三维网格两者之间的损失函数，优化模型参数。
[0011](4)建立人体脚型可视外壳特征和网格特征之间的特征转换模型。特征转换模型为多层感知机结构(multi layer perception)。特征转换模型将脚型可视外壳特征学习模型和脚型网格特征学习模型进行连接，以脚型可视外壳特征学习模型提取到的可视外壳特征作为输入，将其转换为脚型网格特征，并使用脚型网格特征学习模型的解码器重建脚型三维网格。特征转换模型通过监督学习(supervised learning)的方法进行模型训练，计算重建的脚型三维网格与真实的脚型三维网格之间的损失函数，优化模型参数。
[0012](5)在进行高精度体脚型重建时，使用脚型可视外壳特征学习模型的编码器、脚型网格特征学习模型的解码器和特征转换模型进行脚型重建。以三张脚部轮廓图和对应的相机内外参作为输入，首先构造可视外壳作为粗糙脚型，再通过可视外壳特征学习模型的编码器网络提取脚型的可视外壳特征，随后使用特征转换模型将可视外壳特征转换为脚型的三维网格特征，最后利用脚型网格特征学习模型的解码器网络进行高精度三维脚型重建，输出高精度的三维脚型形状。
[0013]进一步的，所述步骤(1)中，相机外参在脚部前方、左侧、右侧三个方向分别随机生成，保证生成的脚型轮廓图在三个方向上分布均匀。在对脚型可视外壳进行体素化时，依据脚型长宽高的2:1:1比例关系，对世界坐标系下原点周围的320mm*160mm*160mm的三维空间进行离散化，将可视外壳表示为256*128*128的三维体素模型，其中每个体素尺寸为
1.25mm。
[0014]进一步的，所述步骤(2)中，人体脚型可视外壳特征学习模型为自编码器结构，由编码器和解码器两部分组成。编码器使用3D卷积网络和全连接网络从脚型可视外壳提取特征。解码器使用全连接网络和3D反卷积网络对编码器提取的特征进行解码，重建脚型可视外壳形状。模型训练时的损失函数为输入脚型可视外壳与重建脚型可视外壳逐体素的二元交叉熵损失(binary cross
‑
entropy)。
[0015]进一步的，所述步骤(3)中，人体脚型网格特征学习模型为自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种渐进式高精度人体脚型重建方法，其特征在于，包括如下步骤：(1)构建粗糙脚型形状：使用三张脚部轮廓图以及图像对应的相机内参和外参，构建每张轮廓图的视锥空间，并对所有视锥空间求交，得到脚型可视外壳，作为粗糙脚型形状；(2)建立人体脚型可视外壳特征学习模型：人体脚型可视外壳特征学习模型为自编码器结构，以人体脚型可视外壳作为输入，通过对脚型可视外壳进行特征提取并重建脚型可视外壳的方式，学习脚型可视外壳特征；(3)建立人体脚型网格特征学习模型：人体脚型网格特征学习模型为自编码器结构，以人体脚型三维网格作为输入，通过对脚型三维网格进行特征提取并重建脚型三维网格的方式，学习脚型网格特征；(4)建立人体脚型可视外壳特征和网格特征之间的特征转换模型：脚型可视外壳特征和网格特征之间的特征转换模型为多层感知机结构，学习可视外壳特征到网格特征之间的特征转换；(5)在进行高精度人体脚型重建时，以三张脚部轮廓图和对应的相机内外参作为输入，首先构造可视外壳作为粗糙脚型，再通过可视外壳特征学习模型提取脚型的可视外壳特征，随后使用特征转换模型将可视外壳特征转换为脚型的三维网格特征，最后利用脚型网格特征学习模型进行高精度三维脚型重建，输出高精度的三维脚型形状。2.根据权利要求1所述一种渐进式高精度人体脚型重建方法，其特征在于，所述步骤(1)中，构建粗糙脚型形状时结合人体脚型规律，基于人体脚型长宽高比例进行视锥空间的离散化，减少了不必要的空间占用，使用更高精度的体素模型表示可视外壳，生成的可视外壳更能体现出粗糙的脚型形状。3.根据权利要求1所述一种渐进式高精度脚型重建方法，其特征在于，所述步骤(2)中，人体脚型可视外壳特征学...

【专利技术属性】
技术研发人员：耿卫东，孙国飞，潘云鹤，毛卫航，刘健，
申请(专利权)人：浙江大学，
类型：发明
国别省市：