【技术实现步骤摘要】
本专利技术涉及数字几何处理、数字人建模，具体涉及一种基于自编码器的三维人体语义重建方法及装置，以根据人体语义信息，如人体尺寸精确重建人体模型。
技术介绍
1、三维人体建模是计算机图形学与数字几何处理领域的一个重要问题。三维人体建模可分为非参数化方法和参数化方法。非参数化方法需要利用昂贵的设备进行建模，参数化方法往往以非参数化方法得到的人体模型作为数据驱动，为高维人体模型坐标找到一组低维向量表示，只需要少量参数就可以重建人体，虽然在精确度上不及非参数化方法，但相对而言，参数化方法效率高且不需要用户穿着较少暴露在公众场合。因此，在虚拟试衣应用中多以参数化方法对人体进行重建。用户只需输入人体测量得到的尺寸这一语义参数，该方法能够建立语义参数到低维向量之间的映射，并高效地实现人体的参数化重建。
2、现有算法往往利用人体模型顶点坐标或局部仿射变换表示特征，并运用pca降维方法获取特征的低维表示。前者对人体数据集的质量较为敏感，如若数据集中的人体姿态存在差异，则对重建结果影响较大；后者采用局部仿射变换，能够克服人体姿态差异导致的重建问题，但直接对其进行pca降维，不能准确地表示仿射变换的旋转分量，也将导致重建结果与给定尺寸的差异较大，使得重建结果不太真实。
3、本专利技术针对已有方法的不足，将人体模型的局部仿射变换分解为旋转变换与剪切变换，并运用李代数方法表示旋转分量，构造人体特征；进而采用自编码器对人体特征进行降维；进一步采用深度神经网络构建人体语义参数与降维特征的映射；将所得的降维特征，通过解码器还原高维特征，最
技术实现思路
1、本专利技术提供一种能够达到更高精确度的三维人体重建方法。本专利技术提取人体模型的局部变换作为特征表示，将特征通过李代数转化并采用自动编码器进行降维，进而结合深度神经网络这一有着强大拟合能力的学习模型，学习精确测量的人体尺寸数据到降维后特征向量的映射，最后将特征采用解码器还原出人体特征参数，运用几何建模方法重建人体网格模型。
2、本专利技术的目的是通过以下技术方案来实现的：第一方面，本专利技术提供了一种基于自编码器的三维人体语义重建方法，包括以下步骤：
3、步骤一，获取目标重建人体的语义尺寸参数；
4、步骤二，提取基于局部仿射变换的三维人体特征；具体为：三维人体表示为三角网格模型，计算模型每个面片相对于人体数据集平均模型对应面片的仿射变换，对其进行稀疏矩阵值rs分解，并将旋转分量经过李代数转化后作为局部特征，最后把所有面片的局部特征向量进行拼接，形成高维参数化人体模型的特征；
5、步骤三，将三维人体特征输入编码器进行降维处理，然后通过深度神经网络模型，学习语义尺寸参数到低维人体模型特征向量之间的映射，输出通过解码器解码为高维特征数据，运用几何优化方法重建人体模型的几何。
6、进一步地，所述步骤一中，语义尺寸参数分为长度尺寸与围度尺寸，共计n个测量尺寸，对应人体各个部位，若输入尺寸小于n，则利用mice方法进行插值补全。
7、进一步地，在测量人体尺寸时，每个测量部位定义若干测量点，度量测量点之间的欧式或测地距离，将每一段距离相加得到对应的测量结果；根据人体测量学，对于长度测量，确定两个测量点，使用两点间的测地线或欧式距离作为测量结果；对于围度测量，为使用一致的测量算法，在每个测量部位定义多个测量点，所得到的多段测地线距离或欧式距离首尾相连，距离之和即为围度测量的测量结果。
8、进一步地，所述步骤二中，人体数据集由三维扫描仪采集数据并重建获得，其所有人体模型具有相同的网格拓扑连接关系与姿态；
9、为计算三角形面片的三维仿射变换并使其具有唯一性，对每个面片的第一个顶点的法向方向引入第四个顶点，形成一个四面体单元；该顶点的计算公式如下：
10、
11、其中v0,v1,v2为三角形面片按逆时针顺序排序的三个顶点坐标，v3为引入的第四个顶点坐标；则人体模型每个面片i相对于人体数据集平均模型对应面片的仿射变换ti的满足如下公式：
12、
13、其中f(i)表示面片i所包含的顶点序号，di为长度为3的列向量，表示顶点位移，表示变换后人体的顶点坐标，vij表示人体数据集平均模型的面片i上第j个顶点坐标。
14、进一步地，所述步骤二中，采用rs分解方法构造局部特征表示：
15、对于一个三维仿射变换矩阵t，将其分解为旋转矩阵r和伸缩/剪切矩阵s，即：
16、t＝rs
17、其中r＝uvt，s＝v∑vt，u和v分别代表t的左奇异向量和右奇异向量组成的正交矩阵，通过奇异值分解t＝uσvt得到；
18、将旋转矩阵r进一步转化成李代数形式：log(r)，并将面片局部特征向量表示为特征<log(r),s>；在求得每个面片的局部特征后，将人体模型所有面片的特征向量按面片的序号拼接起来，形成人体模型的特征表示。
19、进一步地，所述步骤三中，使用自编码器对三维人体模型的高维特征向量进行降维；该自编码器内部仅有一个隐藏层；在训练中要求输入数据与输出数据尽可能一致；该网络分解为一个由h＝f(x)表示的编码器和一个用于重构的解码器r＝g(h)；
20、自编码器在训练完成后，将自编码器拆分为编码器和解码器；其中编码器用于将高维特征数据降为低维隐变量，用于深度神经网络模型的训练；解码器用于将训练好的深度神经网络的输出解码为高维特征数据，与几何优化重建的流程相接，重建人体模型。
21、进一步地，所述步骤三中，结合自编码器，利用深度神经网络模型进行参数回归任务，学习人体语义尺寸参数与低维人体特征向量之间的映射，采用多层感知器前馈神经网络进行多元回归任务，使用反向误差传播方法进行网络训练，采用梯度下降算法对网络参数进行调优。
22、进一步地，所述步骤三中，通过自编码器中的解码器将低维特征还原为高维特征后，进一步采用几何优化方法还原人体模型的几何坐标，具体将高维特征依次分割为每个面片的局部特征<log(ri),si>，并通过李代数方法将所有特征分量log(ri)还原为旋转矩阵ri，进而运用最小二乘法拟合，通过极小化重建误差计算人体坐标，具体为：
23、
24、其中vi表示面片i上构造的四面体体积，ri与si表示面片i上的旋转矩阵和缩放/剪切矩阵，ti表示面片i对应的仿射变换，表示为：
25、
26、将所有待求解的坐标按顺序拉成向量x，大小为(3(|vn|+|fn|),1)，vn和fn代表模型顶点数量和面数量，其中每个面上新增的坐标v3位于第3|vn|到3(|vn|+|fn|)-1行；将每一个面需要最小化的方程写为9个线性方程，并将线性方程中的系数使用三元组填写到一个稀疏矩阵a中，最后得到大小为(9×|fn|,3(|vn|+|fn|))的系数矩阵，求坐标向量就转变为求方程的最小二乘解：ax＝b，其中b为线性本文档来自技高网...
【技术保护点】
1.一种基于自编码器的三维人体语义重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步骤一中，语义尺寸参数分为长度尺寸与围度尺寸，共计N个测量尺寸，对应人体各个部位，若输入尺寸小于N，则利用MICE方法进行插值补全。
3.如权利要求2所述的基于自编码器的三维人体语义重建方法，其特征在于，在测量人体尺寸时，每个测量部位定义若干测量点，度量测量点之间的欧式或测地距离，将每一段距离相加得到对应的测量结果；根据人体测量学，对于长度测量，确定两个测量点，使用两点间的测地线或欧式距离作为测量结果；对于围度测量，为使用一致的测量算法，在每个测量部位定义多个测量点，所得到的多段测地线距离或欧式距离首尾相连，距离之和即为围度测量的测量结果。
4.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步骤二中，人体数据集由三维扫描仪采集数据并重建获得，其所有人体模型具有相同的网格拓扑连接关系与姿态；
5.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步
6.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步骤三中，使用自编码器对三维人体模型的高维特征向量进行降维；该自编码器内部仅有一个隐藏层；在训练中要求输入数据与输出数据尽可能一致；该网络分解为一个由h＝f(x)表示的编码器和一个用于重构的解码器r＝g(h)；
7.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步骤三中，结合自编码器，利用深度神经网络模型进行参数回归任务，学习人体语义尺寸参数与低维人体特征向量之间的映射，采用多层感知器前馈神经网络进行多元回归任务，使用反向误差传播方法进行网络训练，采用梯度下降算法对网络参数进行调优。
8.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步骤三中，通过自编码器中的解码器将低维特征还原为高维特征后，进一步采用几何优化方法还原人体模型的几何坐标，具体将高维特征依次分割为每个面片的局部特征<log(Ri),Si>，并通过李代数方法将所有特征分量log(Ri)还原为旋转矩阵Ri，进而运用最小二乘法拟合，通过极小化重建误差计算人体坐标，具体为：
9.一种基于自编码器的三维人体语义重建装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1-8中任一项所述的一种基于自编码器的三维人体语义重建方法。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-8中任一项所述的一种基于自编码器的三维人体语义重建方法。
...【技术特征摘要】
1.一种基于自编码器的三维人体语义重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步骤一中，语义尺寸参数分为长度尺寸与围度尺寸，共计n个测量尺寸，对应人体各个部位，若输入尺寸小于n，则利用mice方法进行插值补全。
3.如权利要求2所述的基于自编码器的三维人体语义重建方法，其特征在于，在测量人体尺寸时，每个测量部位定义若干测量点，度量测量点之间的欧式或测地距离，将每一段距离相加得到对应的测量结果；根据人体测量学，对于长度测量，确定两个测量点，使用两点间的测地线或欧式距离作为测量结果；对于围度测量，为使用一致的测量算法，在每个测量部位定义多个测量点，所得到的多段测地线距离或欧式距离首尾相连，距离之和即为围度测量的测量结果。
4.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步骤二中，人体数据集由三维扫描仪采集数据并重建获得，其所有人体模型具有相同的网格拓扑连接关系与姿态；
5.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步骤二中，采用rs分解方法构造局部特征表示：
6.如权利要求1所述的基于自编码器的三维人体语义重建方法，其特征在于，所述步骤三中，使用自编码器对三维人体模型的高维特征向量进行降维；该自编码器内部仅有一个隐藏层；在训练中要求输...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。