在人工现实环境中生成和修改手的表示制造技术

本申请涉及在人工现实环境中生成和修改手的表示。一种方法包括接收使用由用户佩戴的相机捕获的真实环境的图像，该图像包括用户的手，以及基于该图像确定手的姿势。基于具有所确定姿势的手的三维模型，生成表示如从用户的第一视点观看的手的二维表面，并将表示手的二维表面和一个或更多个虚拟对象表示定位在三维空间中。该方法还包括确定表示手的二维表面的一部分从三维空间中的第二视点是可见的，以及生成输出图像，其中与二维表面的可见的部分相对应的输出图像的一组图像像素被配置为使得显示器关闭一组对应的显示像素。得显示器关闭一组对应的显示像素。得显示器关闭一组对应的显示像素。

【技术实现步骤摘要】
在人工现实环境中生成和修改手的表示


[0001]本公开总体上涉及增强现实、虚拟现实、混合现实或混杂现实环境。
[0002]背景
[0003]人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观看者产生三维效果的立体视频)。人工现实可以与应用、产品、附件、服务或它们的某种组合相关联，这些应用、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容和/或在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主机计算机系统的头戴式显示器、独立的头戴式显示器、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
[0004]移动计算设备(例如智能手机、平板计算机或膝上型计算机)可以包括用于确定它的位置、方向或定向的功能，例如GPS接收器、罗盘、陀螺仪或加速度计。这种设备还可以包括用于无线通信(例如蓝牙通信、近场通信(NFC)、或红外(IR)通信、或与无线局域网(WLAN)或蜂窝电话网络的通信)的功能。这种设备还可以包括一个或更多个相机、扫描仪、触摸屏、麦克风或扬声器。移动计算设备还可以执行软件应用，例如游戏、web浏览器或社交网络应用。使用社交网络应用，用户可以与他们的社交网络中的其他用户关连(connect)、通信和分享信息。
[0005]特定实施例的概述
[0006]所公开的方法提供了用于通过生成和定位可表示用户手的一个或更多个表面来在AR/VR/MR环境中生成和修改的用户手的表示的技术。在特定实施例中，可以基于具有确定姿势的手的三维模型来生成表示手的表面，其中姿势是基于由与人工现实系统相关联的一个或更多个相机捕获的接收图像来确定的。表示手的二维表面可以表示如从用户的视点观看的手。可以将表示手的二维表面和一个或更多个虚拟对象表示定位在三维空间中。该定位还可以基于人工现实系统的用户的视点。所公开的方法还包括确定表示手的二维表面的一部分从三维空间中的第二视点是可见的，以及生成输出图像，其中与二维表面的可见部分相对应的输出图像的一组图像像素被配置为使得显示器关闭一组对应的显示像素。在这样做时，计算系统可以准确地预测并向HMD的用户生成沉浸式人工现实环境的视图。
[0007]所公开的方法还提供用于通过生成和定位可表示用户手的阴影(shadow)的一个或更多个表面来在AR/VR/MR环境中生成和修改用户手的阴影的表示的技术。在特定实施例中，计算系统可以基于确定的光源的光方向和手的三维模型来生成表示手的阴影的第二二维表面。表示手的阴影的二维表面可以表示如从用户的视点观看的手的阴影。可以将表示手的阴影的二维表面定位在三维空间中。该定位还可以基于人工现实系统的用户的视点。
所公开的方法还包括确定表示手的阴影的二维表面的一部分从三维空间中的第二视点是可见的，以及生成输出图像，其中与二维表面的可见部分相对应的输出图像的一组图像像素被配置为使得显示器关闭一组对应的显示像素。
[0008]在特定实施例中，所生成的图像可以由与设备(例如，膝上型计算机、手机、台式计算机、可穿戴设备)相关联的计算系统的一个或更多个部件(例如，CPU、GPU等)渲染。在特定实施例中，该设备与HMD上的计算系统通信，但可能以其它方式与HMD物理分离。作为示例而非限制，该设备可以是与HMD有线连接或与HMD无线通信的膝上型计算机设备。作为另一示例而非限制，该设备可以是与HMD有线连接或与HMD无线通信的可穿戴设备(例如，绑在手腕上的设备)、手持式设备(例如，电话)或某种其他合适的设备(例如，膝上型计算机、平板计算机、台式计算机)。在特定实施例中，该设备可以将该初始视图发送到HMD以用于显示。在特定实施例中，生成初始视图的设备的部件还可以生成表示该视图的感兴趣对象的一个或更多个表面。作为另一示例而非限制，HMD的机载计算系统在其从单独的计算系统(例如，从可穿戴设备、手持式设备或膝上型计算机设备的CPU或GPU)接收到初始视图之后，可以重新采样并调整一个或更多个表面的姿势，以考虑到在渲染初始图像时可能发生的HMD和/或感兴趣对象的移动。
[0009]在特定实施例中，图形应用(例如，游戏、地图、内容提供应用等)可以构建场景图，该场景图与给定的视图位置和时间点一起用于生成图元以在GPU上渲染。场景图可以定义场景中对象之间的逻辑和/或空间关系。在特定实施例中，显示引擎还可以生成并存储场景图，该场景图是完整应用场景图的简化形式。简化的场景图可用于指定表面之间的逻辑和/或空间关系(例如，由显示引擎渲染的图元，诸如在3D空间中定义的四边形或轮廓，其具有基于由应用渲染的主帧生成的相应纹理)。存储场景图允许显示引擎将场景渲染到多个显示帧，针对当前视点(例如，头部定位)、当前对象定位(例如，它们可能相对于彼此移动)和每个显示帧改变的其他因素来调整场景图中的每个元素。此外，基于场景图，显示引擎还可以针对由显示子系统引入的几何和颜色失真进行调整，然后将对象合成在一起以生成帧。存储场景图允许显示引擎以期望的高帧速率近似完成完整渲染的结果，而实际上以明显更低的速率运行GPU。
[0010]本文公开的实施例仅仅是示例，并且本公开的范围不限于它们。特定实施例可以包括本文公开的实施例的部件、要素、特征、功能、操作或步骤中的全部、一些，或不包括这些部件、要素、特征、功能、操作或步骤。在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中具体公开了根据本专利技术的实施例，其中在一个权利要求类别(例如方法)中提到的任何特征，也可以在另一个权利要求类别(例如系统)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何先前权利要求的有意往回引用(特别是多个从属关系)而产生的任何主题，从而权利要求及其特征的任何组合被公开并且可以被要求保护，而不管所附权利要求中选择的从属关系如何。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
[0011]附图简述
[0012]图1A示出了示例人工现实系统和用户。
[0013]图1B示出了示例增强现实系统。
[0014]图2A示出了体验人工现实环境的AR HMD的用户。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括由计算系统：接收使用由用户佩戴的相机捕获的真实环境的图像，所述图像包括所述用户的手；基于所述图像确定所述手的姿势；基于具有所确定的姿势的所述手的三维模型，生成表示从所述用户的第一视点观看的所述手的二维表面；将表示所述手的所述二维表面和一个或更多个虚拟对象表示定位在三维空间中；确定表示所述手的所述二维表面的一部分从所述三维空间中的第二视点是可见的；和生成输出图像，其中，与所述二维表面的可见的所述部分相对应的所述输出图像的一组图像像素被配置为使得显示器关闭一组对应的显示像素。2.根据权利要求1所述的方法，其中，生成所述二维表面包括：将所述手的所述三维模型的顶点投影到与所述第一视点相关联的图像平面上；在所述图像平面中生成围绕所投影的顶点的边界框；和基于所述边界框渲染所述二维表面的纹理。3.根据权利要求1所述的方法，还包括检测所述图像中的所述手的一个或更多个关键点；其中，在捕获所述图像时，基于所述一个或更多个关键点和所述相机的相机姿势来确定所述手的所述姿势。4.根据权利要求1所述的方法，还包括基于所述图像确定所述手与所述相机的距离；其中，所生成的二维表面的尺寸基于所述距离。5.根据权利要求1所述的方法，其中，定位所述二维表面包括调整所述表面的位置或取向以考虑所述手的视角的变化，所述视角的变化由以下项引起：在捕获所接收的图像的时间之后由所述用户佩戴的所述相机的一个或更多个移动；或在捕获所述接收的图像的所述时间之后所述手的一个或更多个移动。6.根据权利要求5所述的方法，其中，定位所述二维表面由物理连接到由所述用户佩戴的头戴式装置的所述计算系统的一个或更多个部件执行。7.根据权利要求1所述的方法，还包括：确定光源的光方向；根据所述光方向，将具有所述确定的姿势的所述手的所述三维模型投影到虚拟对象上；生成第二二维表面，所述第二二维表面表示从所述用户的所述第一视点观看的所述虚拟对象上的所述手的阴影；将所述第二二维表面定位在所述三维空间中；和确定表示所述手的所述阴影的所述第二二维表面的一部分从所述三维空间中的所述第二视点是可见的；其中，所述输出图像描绘所述第二二维表面的从所述第二视点可见的所述部分。8.根据权利要求7所述的方法，其中，确定表示所述手的所述阴影的所述第二二维表面的所述部分是可见的还基于所述第二二维表面的透明度级别，其中，所述第二二维表面包括多个纹素，其中，每个纹素被分配一个值，所述值指定将被赋给所述纹素的透明度级别。9.根据权利要求1所述的方法，其中，由所述用户佩戴的所述相机连接到头戴式显示器。
10.一个或更多个计算机可读非暂时性存储介质，其包含软件，所述软件在被执行时能够操作来：接收使用由用户佩戴的相机捕获的真实环境的图像，所述图像包括所述用户的手；基于所述图像确定所述手的姿势；基于具有所确定的姿势的所述手的三维模型，生成表示从所述用户的第一视点观看的所述手的二维表面；将表示所述手的所述二维表面和一个或更多个虚拟对象表示定位在三维空间中；确定表示所述手的所述二维表面的一部分从所述三维空间中的第二视点是可见的；和生成输出图像，其中，与所述二维表面的可见的所述部分相对应的所述输出图像的一组图像像素被配置为使得显示器关闭一组对应的显示像素。11.根据权利要求10所述的介质，其中，所述软件在被执行时还能够操作来：将所述手的所述三维模型的顶点投影到与所述第一视点相关联的图像平面上；在所述图像平面中生成围绕所投影的顶点的边界框；和基于所述边界框渲染所述二维表面的纹理。12.根据...

【专利技术属性】
技术研发人员：克里斯托弗，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：