身体姿势估计制造技术

一种系统，包括存储程序的计算机可读存储介质和用于检测用户姿势的方法。该程序和方法包括：接收包括对用户的身体的描绘的单目图像；检测单目图像中描绘的身体的多个骨骼关节；以及基于所检测的身体的多个骨骼关节来确定单目图像中描绘的身体所表示的姿势。通过基于所检测的身体的多个骨骼关节调整化身的骨架的一组骨骼关节来修改化身的姿势，以匹配单目图像中描绘的身体所表示的姿势；以及生成具有与由单目图像中描绘的身体所表示的姿势相匹配的修改姿势的化身，以供显示。以供显示。以供显示。

【技术实现步骤摘要】
【国外来华专利技术】身体姿势估计
[0001]优先权要求
[0002]本申请要求于2019年2月6日提交的申请号为16/269,312的美国专利申请的优先权，该申请的全部内容通过引用并入本文。


[0003]本公开一般涉及基于描绘用户的图像生成虚拟对象。

技术介绍

[0004]虚拟渲染系统可用于创建引人入胜且有趣的增强现实体验，在增强现实体验中，虚拟对象图形(例如化身)似乎存在于现实世界中。由于环境条件、用户动作、相机与正在渲染的对象之间的意外视觉中断等，此类系统可能会遇到呈现问题。这会导致虚拟对象消失或以其他方式表现不规则，从而打破虚拟对象存在于现实世界中的错觉。
附图说明
[0005]在不一定按比例绘制的附图中，相同的数字可以在不同的视图中描述相似的组件。为了容易地识别任何特定元素或行为的讨论，附图标记中的一个或多个最高有效数字是指首次引入该元素的附图编号。在附图的图中通过示例而非限制的方式示出了一些实施例，在附图中：
[0006]图1是示出根据示例实施例的用于在网络上交换数据(例如，消息和相关联的内容)的示例消息传递系统的框图。
[0007]图2是示出根据示例实施例的可以存储在消息传递服务器系统的数据库中的数据的示意图。
[0008]图3是示出根据示例实施例的由消息传递客户端应用生成的用于通信的消息的结构的示意图。
[0009]图4是示出根据示例实施例的示例身体姿势估计系统的框图。
[0010]图5是示出根据示例实施例的用于确定身体姿势的身体关节位置的图。/>[0011]图6是示出根据示例实施例的身体姿势估计系统的示例操作的流程图。
[0012]图7A
‑
8C是根据示例实施例的身体姿势估计系统的说明性输入和输出。
[0013]图9是根据示例实施例的说明代表性软件架构的框图，其可结合本文所述的各种硬件架构使用。
[0014]图10是示出根据一些示例性实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文中讨论的任何一种或多种方法的机器的组件的框图。
具体实施方式
[0015]以下描述包括体现本公开的说明性实施例的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对各种实施
例的理解。然而，对于本领域技术人员显而易见的是，也可以在没有这些具体细节的情况下实践实施例。通常，众所周知的指令实例、协议、结构和技术不必详细示出。
[0016]通常，虚拟现实(VR)和增强现实(AR)系统通过捕获用户的图像并另外使用在图像中描绘的现实世界人体的深度传感器获得深度图来显示代表给定用户的化身。通过一起处理深度图和图像，VR和AR系统可以模仿用户执行的动作。虽然这样的系统可以很好地呈现用户的化身，但对深度传感器的需求限制了它们的应用范围。这是因为向用户设备添加深度传感器以显示化身会增加设备的整体成本和复杂性，从而降低它们的吸引力。
[0017]所公开的实施例通过应用机器学习技术从用户身体的单个图像生成一个或多个虚拟对象以在VR或AR应用中呈现来提高使用电子设备的效率。虚拟对象(例如，三维对象，例如3D字幕、表情符号、角色、化身、动画、个性化化身或角色的循环动画、循环或非循环动画图形，例如跳舞的热狗、带有动画的艺术字体等)从单个红、绿、蓝(RGB)图像(例如，单目RGB图像)或描绘现实世界用户身体的RGB图像的视频直接生成。所公开的实施例生成虚拟对象而无需获得现实世界用户身体的深度图。这使得具有简单RGB相机(无深度传感器)的用户设备能够基于现实世界用户在VR或AR应用中的身体姿势准确且快速地渲染经动画化的虚拟对象，从而允许用户在更真实的环境中与VR或AR内容交互。
[0018]在一些实施例中，一个这样的虚拟对象被用户选择并添加到RGB图像，并且虚拟对象的姿势被修改以匹配用户身体的姿势从而提供所选择的虚拟对象是现实世界场景的一部分并且正在模仿用户的错觉。具体而言，所公开的实施例使用机器学习技术处理描绘用户身体的图像以识别骨骼关节。确定由所识别的骨骼关节所表示的姿势。在确定了由骨骼关节表示的姿势之后，调整化身骨架的对应骨骼关节以改变化身的姿势从而匹配由所识别的用户身体的骨骼关节表示的姿势。生成具有与所识别的用户身体的骨骼关节所表示的姿势相匹配的修改姿势的化身以显示给用户。
[0019]在一些实施例中，化身是第一化身，其被生成以用于在图像或视频中与第一用户同时显示。可以捕获模仿第一用户姿势的第一化身的图像并将其发送给第二用户。第二用户还可捕获其中第二化身模仿第二用户的姿势的图像。描绘第二用户和第二化身的所捕获的图像被发送给第一用户。具有第一化身的第一用户和具有第二化身的第二用户的所捕获的图像可被同时显示并与其他用户共享。
[0020]在一些实施例中，基于用户在图像或视频内的位置和/或姿势，相对于用户在给定图像或视频中的位置来调整化身的位置。例如，化身位置改变以跟随用户围绕图像或视频从一个地方到另一个地方。在另一个实现方式中，基于用户的姿势和关节位置，可以调整化身的移动，以使化身与图像中的其他虚拟对象进行交互。例如，可以举起用户的手臂以使化身的对应手臂被举起以接触图像或视频中呈现的虚拟对象(例如，树上的苹果)。
[0021]图1是示出了用于在网络106上交换数据(例如消息和相关联内容)的示例消息传递系统100的框图。消息传递系统100包括多个客户端设备102，每个客户端设备托管包括消息传递客户端应用104和AR/VR应用105的多个应用。每个消息传递客户端应用104和AR/VR应用105通过网络106(例如因特网)通信地耦接到消息传递客户端应用104和消息传递服务器系统108的其他实例。
[0022]因此，每个消息传递客户端应用104和AR/VR应用105能够经由网络106与另一个消息传递客户端应用104和AR/VR应用105和消息传递服务器系统108进行通信并交换数据。在
消息传递客户端应用104、AR/VR应用105之间以及在消息传递客户端应用104和消息传递服务器系统108之间交换的数据包括功能(例如调用函数的命令)以及有效载荷数据(例如文本、音频、视频或其他多媒体数据)。
[0023]AR/VR应用105是包括允许客户端设备102访问身体姿势估计系统124的一组功能的应用。在一些实现方式中，AR/VR应用105是作为消息传递客户端应用104的一部分的组件或特征。AR/VR应用105使用RGB相机来捕获用户的现实世界身体的单目图像。AR/VR应用105将各种经训练的机器学习技术应用于身体的所捕获的图像以生成化身。例如，化身被生成为具有与图像中描绘的用户身体的姿势相同的姿势。作为另一示例，化身被生成以与用户同时显示，并且化身的位置基于用户在图像中的相对位置而在帧之间改变。例如，化身位置改变以保持化身与用户之间的恒定距离，因此化身看起来跟随在用户周围。在一些实施方式中，AR/VR应用程序105实时或周期性地本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由一个或多个处理器接收包括对用户的身体的描绘的单目图像；由所述一个或多个处理器检测所述单目图像中描绘的身体的多个骨骼关节；由所述一个或多个处理器基于所检测的所述身体的多个骨骼关节来确定所述单目图像中描绘的身体所表示的姿势；由所述一个或多个处理器通过基于所检测的所述身体的多个骨骼关节调整化身的骨架的一组骨骼关节来修改化身的姿势以匹配由所述单目图像中描绘的身体所表示的姿势；以及由所述一个或多个处理器生成具有与由所述单目图像中描绘的身体所表示的姿势相匹配的修改姿势的化身，以供显示。2.根据权利要求1所述的方法，其中，所述单目图像是视频的第一帧，所述方法还包括：使用第一机器学习技术来识别所述单目图像的多个骨骼关节特征，其中，基于所识别的多个骨骼关节特征检测所述多个骨骼关节的位置；以及使用第二机器学习技术来估计在所述视频的第二帧中所述用户的位置和所述用户的图像的比例。3.根据权利要求2所述的方法，还包括：识别与所检测的多个骨骼关节相对应的多个骨骼关节位置，其中，基于与所述多个骨骼关节位置相关联的姿势来确定由所述身体表示的姿势。4.根据权利要求1所述的方法，还包括：由所述一个或多个处理器从多个化身中选择与所述骨架相关联的化身。5.根据权利要求1所述的方法，还包括：生成具有修改姿势的化身以与对所述用户的所述身体的所述描绘一起显示。6.根据权利要求5所述的方法，其中，所述用户是第一用户，并且其中，所述化身是第一化身，所述方法还包括：捕获第一图像，所述第一图像包括具有修改姿势的所述第一化身的显示以及对所述第一用户的所述身体的所述描绘；以及从所述第一用户的第一用户设备向第二用户的第二用户设备发送所捕获的第一图像。7.根据权利要求6所述的方法，还包括：从所述第二用户设备接收第二图像，所述第二图像包括第二化身和对所述第二用户的身体的描绘的同时显示，其中，在所述第二图像中所述第二化身的姿势与所述第二用户的所述身体所描绘的姿势相匹配。8.根据权利要求7所述的方法，还包括：生成所述第一图像和所述第二图像的同时显示。9.根据权利要求1所述的方法，还包括：接收包括多个单目图像的视频，所述多个单目图像包括对所述用户的所述身体的所述描绘；跨所述多个单目图像跟踪所述多个骨骼关节的变化；基于跟踪所述多个骨骼关节的所述变化来检测所述身体所表示的姿势的变化；以及连续或定期修改所述化身的姿势以匹配所述身体所表示的姿势的所述变化。10.根据权利要求9所述的方法，还包括：
在所述视频中呈现虚拟对象；以及基于所检测的所述身体所表示的姿势的变化，调整以下中的一个或多个：所述虚拟对象移动的速率、所述对象在所述视频中...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：