3D身体模型生成制造技术

本公开内容的各方面涉及用于执行以下操作的系统和方法，所述操作包括：接收多个骨缩放系数，每个骨缩放系数对应于骨骼模型的相应的骨；接收共同限定骨骼模型的姿势的多个关节角度系数；基于所接收的骨缩放系数和所接收的关节角度系数来生成骨骼模型；基于多个骨缩放系数来生成基础表面；通过基础表面的变形来生成身份表面；以及通过将身份表面映射到摆姿势的骨骼模型上来生成3D身体模型。的骨骼模型上来生成3D身体模型。的骨骼模型上来生成3D身体模型。

【技术实现步骤摘要】
【国外来华专利技术】3D身体模型生成
[0001]优先权声明
[0002]本申请要求于2019年11月15日提交的美国临时申请第62/936,272号的优先权的权益，该申请的全部内容通过引用并入本文中。


[0003]本公开内容涉及3D身体模型的生成及其用于图像驱动的角色动画的用途。

技术介绍

[0004]现代用户设备提供允许用户彼此交换消息的消息应用。这种消息应用最近开始在这种通信中并入图形。图形可以包括模仿用户动作的化身或卡通。
附图说明
[0005]在不一定按比例绘制的附图中，相似的附图标记可以在不同的视图中描述类似的部件。为了容易识别对任何特定元件或动作的讨论，附图标记中的一个或更多个最高位数字指代该元件被首次引入时所在的图号。一些非限制性示例在附图的图中示出，在附图中：
[0006]图1是根据一些示例的其中可以部署本公开内容的联网环境的图解表示。
[0007]图2是根据一些示例的具有客户端侧和服务器端侧两者的功能的消息系统的图解表示。
[0008]图3是根据一些示例的在数据库中维护的数据结构的图解表示。
[0009]图4是根据一些示例的消息的图解表示。
[0010]图5是根据一些示例的由3D身体模型生成系统执行的操作的图解表示。
[0011]图6示出了根据一些示例的3D身体模型生成系统并且更具体地示出了3D身体模型生成系统的训练。
[0012]图7示出了根据一些示例的骨长度变化对模板的影响。
[0013]图8示出了根据一些示例的通过使模板沿一个有效自由度摆姿势来合成的示例网格。
[0014]图9是根据一些示例的图形用户接口的图解表示。
[0015]图10是示出根据示例实施方式的消息应用服务器的示例操作的流程图。
[0016]图11是根据一些示例的计算机系统形式的机器的图解表示，在该机器中，可以执行一组指令以使机器执行本文中讨论的任何一个或更多个方法。
[0017]图12是示出可以在其中实现示例的软件架构的框图。
具体实施方式
[0018]下面的描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节以提供对各种实施方式的理解。然而，对于本领域技术人员而言将明显的是，可以在没有这些具体细节
的情况下实践实施方式。一般地，公知的指令实例、协议、结构和技术不需要详细示出。
[0019]人体的网格级表示在计算机图形与计算机视觉之间形成了桥梁，促进了在运动捕获、单目3D重建、人体合成、角色动画和增强现实中的一系列广泛应用。铰接的人体变形可以通过装配建模来捕获，在装配建模中骨骼使模板(网格)形状动画化。当前的模型(例如蒙皮多人线性模型(SMPL))首先通过基于线性的扩展以标准姿势合成模板网格。然后通过从合成网格回归到关节来事后估计骨骼关节。虽然此类系统通常运行良好，但其复杂性使此类系统无法在移动设备和日常应用中实施。此外，由于此类系统的模型对形状和姿势信息进行编码，因此此类系统不容易(尤其是不能实时地)控制和适应新的姿势。
[0020]本公开内容描述了生成3D身体模型(特别是在模板合成之前设置骨缩放的骨级蒙皮模型)的方法。骨缩放可以在模板合成之前由用户手动指定，或者可以在自动化过程中确定(例如，使用一种或更多种机器学习技术)。具体地，所公开的实施方式提供了改进的系统，该系统通过将骨长度可变性与依赖于其他因素(例如锻炼或饮食习惯)获得的身体特征分离来生成3D模型。所公开的实施方式首先对骨长度驱动的网格可变性进行单独建模，然后将其与特定于身份的更新相结合以表示身体的完整分布。这种分离的表示导致更紧凑的模型，从而能够以低参数计数获得高度准确的重建。所公开的实施方式将网格合成建模为特定于身份的骨长度、特定于姿势的关节角度和特定于身份的表面变化(通过线性混合蒙皮捆绑在一起)的顺序规范。在一个应用中，将骨长度与特定于身份的变化解耦可以用于将装束重新定位到人，例如，通过缩放装配的装束的长度以匹配人的长度，同时保留装束形状的与骨长度无关的部分。
[0021]以这种方式，应用的实施方式提供了更有效的生成这种3D模型的过程。通过首先对骨骼进行建模，可以在大小上减小所需的输入参数集。输入参数集可以被显着减小为仅包括骨缩放系数和关节角度系数。此外，这些参数的使用对于用户来说可以更直观。通过使骨缩放系数显式可控，可以提供对输出3D身体形状的更直观控制。尽管结合基于人的3D身体描述了所公开的技术，但相同或相似的技术适用于任何其他类型的3D体(例如，动物体或者人体或动物体的各部分)。
[0022]根据第一方面，本公开内容描述了一种计算机实现的生成3D身体模型的方法，该方法包括：接收多个骨缩放系数，每个骨缩放系数对应于骨骼模型的相应的骨；接收共同限定骨骼模型的姿势的多个关节角度系数；基于所接收的骨缩放系数和所接收的关节角度系数来生成骨骼模型；基于多个骨缩放系数来生成基础表面；通过基础表面的变形来生成身份表面；以及通过将身份表面映射到摆姿势的骨骼模型上来生成3D身体模型。
[0023]骨骼模型可以基于树状结构图。生成骨骼模型可以包括：递归生成根骨元素和多个叶骨元素。
[0024]骨骼模型可以定义每个骨元素的静止位置。每个骨元素的静止位置可以由相应元素的平移矢量和模板旋转矩阵表示。
[0025]骨骼模型可以进一步定义每个骨元素的旋转因子和缩放因子。旋转因子和缩放因子按顺序递归地应用于每个骨元素。
[0026]多个关节角度系数中的每一个可以被限制在运动学有效的角度范围内。两个骨元素之间的每个关节可以被限制在某些实际自由度上。例如，肘部可以被限制在单个自由度上。每次旋转可以进一步被限制在实际范围内。例如，可以通过将对应的无约束变量映射到
运动学有效的角度范围来约束关节角度系数。
[0027]根据实施方式，可以存在与骨骼模型中的47个自由度对应的总共47个关节角度系数。然而，可以使用具有更多或更少数目的骨元素的其他骨骼模型。因此，其他骨骼模型可以具有更多或更少数目的关节角度系数。
[0028]以这种方式限制模型(限制关节角度系数的数目)可以使处理更有效。约束可以在模型本身内应用。因此，该方法避免了例如通过对抗性训练方法对所生成的模型的运动学准确性进行事后测试的需要。与运动学可行性的事后检查过程相比，该方法可以类似地改进姿势识别，其中运动学约束的应用提高了识别的准确性。
[0029]生成基础表面可以包括：生成平均表面，然后基于与骨长度相关的变形对平均表面应用校正。这样，对骨骼进行建模首先简化了生成3D身体模型所需的参数。体型的变化可以在与骨长度相关的变形中自动考虑。通过这种方式，体型和身份身体变化的特征可以被解耦。该方法的实施方式可以由此将许多参数减少到身份特征的水平，身份特征可以被映射为对一般体型表面的修改。
[0030]在一些实施方式中，线性混合蒙皮过程可以用于将身份表面映射到本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的生成3D身体模型的方法，所述方法包括：接收多个骨缩放系数，每个骨缩放系数对应于骨骼模型的相应的骨；接收共同限定所述骨骼模型的姿势的多个关节角度系数；基于所接收的骨缩放系数和所接收的关节角度系数来生成所述骨骼模型；基于所述多个骨缩放系数来生成基础表面；通过所述基础表面的变形来生成身份表面；以及通过将所述身份表面映射到摆姿势的骨骼模型上来生成所述3D身体模型。2.根据权利要求1所述的方法，其中，所述骨骼模型包括树状结构图，并且生成所述骨骼模型包括：递归生成根骨元素和多个叶骨元素。3.根据权利要求2所述的方法，其中，所述骨骼模型包括每个骨元素的静止位置以及每个骨元素的缩放因子和旋转因子，其中，所述旋转因子和所述缩放因子按顺序递归地应用于每个骨元素。4.根据权利要求3所述的方法，其中，每个骨元素的静止位置由相应的骨元素的平移矢量和模板旋转矩阵表示。5.根据权利要求1所述的方法，其中，所述多个关节角度系数中的每一个均被限制在运动学有效的角度范围内。6.根据权利要求5所述的方法，其中，通过将对应的无约束变量映射到所述运动学有效的角度范围来约束所述多个关节角度系数中的每一个。7.根据权利要求1所述的方法，其中，所述关节角度系数包括47个关节角度系数。8.根据权利要求1所述的方法，其中，生成所述基础表面包括：生成平均表面，以及基于与骨长度相关的变形对所述平均表面应用校正。9.根据权利要求1所述的方法，其中，生成所述身份表面包括：基于多个线性身份参数使所述基础表面变形。10.根据权利要求1所述的方法，其中，将所述身份表面映射到所述摆姿势的骨骼模型包括：使用线性混合蒙皮过程进行映射，其中，所述3D身体模型对应于人或动物。11.根据权利要求10所述的方法，其中，所述线性混合蒙皮过程包括通过以下操作基于所述骨骼模型的骨元素来映射所述身份表面上的表面点：相对于所述骨元素的静止位置绘制所述表面点；以及基于相应的骨元素的摆姿势的位置来传送所绘制的点。12.根据权利要求11所述的方法，其中，所述线性混合蒙皮过程包括：基于所述骨骼模型的每个骨元素来映射所述身份表面上的表面点，以及针对每个相应的映射计算加权因子。13.根据权利要求1所述的方法，其中，所述多个骨缩放系数和所述多个关节角度系数是基于...

【专利技术属性】
技术研发人员：王昊阳，勒扎，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：