共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全制造技术

“共享触觉沉浸式虚拟环境生成器”(STIVE生成器)构造全沉浸式共享虚拟现实(VR)环境，其中多个用户经由被映射和渲染到可以由多个用户触摸和操控的实际物体的虚拟元素来共享触觉交互。对共享现实空间的实时环境模型的生成实现将虚拟交互元素映射到与沉浸式VR环境向多个用户的多视点呈现组合的实际物体。实时环境模型对现实表面和物体的几何形状、定位和运动分类。另外，为每个用户生成包括定位、定向、骨架模型和手部模型的统一实时跟踪模型。STIVE生成器然后渲染与每个特定用户的实时视野对应的共享沉浸式虚拟现实的帧。这些帧中的每个帧由实时环境模型和统一实时跟踪模型二者联合地约束。

Shared tactile interaction and user security in shared space multi immersive virtual reality

The shared tactile immersive virtual environment generator (STIVE generator) constructs a totally immersive shared virtual reality (VR) environment, where multiple users share the haptic interaction by mapping and rendering virtual elements that can be touched and manipulated by multiple users. The real environment model of shared real space is generated to map the virtual interaction elements to the actual objects that are combined with the multiple viewpoints of multiple users in immersive VR environment. The real time environment model classifying the geometry, location and motion of the real surface and objects. In addition, a unified real-time tracking model, including positioning, orientation, skeleton model and hand model, is generated for each user. The STIVE generator then renders the frames of the shared immersive virtual reality corresponding to the real-time field of vision for each particular user. Each frame in these frames is constrained jointly by the real time environment model and the unified real time tracking model two.

【技术实现步骤摘要】
【国外来华专利技术】共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全
技术介绍
用于增强的现实(AR)设备和场景的许多应用构造增强的内容，比如2D叠加、文本、虚拟对象等。增强的内容也可以被添加到其它类型的应用，比如在图像之上的2D叠加和文本。换而言之，AR设备经常用某个叠加信息层来示出世界的视图。与这些类型的AR场景对照，虚拟现实(VR)设备(比如可穿戴头戴式耳机)一般地向用户呈现全虚拟环境。存在在AR和VR场景二者中提供触觉反馈的多种机制。例如，这样的机制包括由用户持有或者附着到用户的触觉设备。这些类型的触觉设备的示例包括力反馈视频游戏控制器、向用户的手部提供感觉或者刺激的可穿戴手套、接触用户的手指或者手部的可移动手臂、有向鼓风、有向声场等。这些类型的触觉反馈设备一般地被同步到正被向用户呈现的AR、VR或者其它媒体内容以增强对各种类型的触感的用户体验。
技术实现思路
提供以下
技术实现思路
以用简化的形式来介绍以下在具体实施方式中进一步描述的概念的选集。这一
技术实现思路
没有旨在于标识要求保护的主题内容的关键特征或者实质特征，并且它没有旨在于在确定要求保护的主题内容的范围时用作辅助。另外，尽管这里可以讨论其它技术的某些缺点，但是要求保护的主题内容没有旨在于限于可以解答或者解决那些其它技术的缺点中的任何或者所有缺点的实现方式。这一
技术实现思路
的仅有目的是以简化的形式呈现要求保护的主题内容的一些概念作为以下呈现的更具体实施方式的前序。一般而言，“共享触觉沉浸式虚拟环境生成器”(即“STIVE生成器”)如这里描述的那样用共享触觉交互来构造全沉浸式共享虚拟现实(VR)环境。这些全沉浸式共享VR环境使多个用户能够经由被映射和渲染到可以由多个用户触摸和操控的实际物体的虚拟元素来并发地共享触觉交互。由于VR环境是全沉浸式的，所以用该VR环境替换在多个用户周围的现实空间。换而言之，现实空间并且因此在该空间内的实际物体和人对用户不可见，除非那些物体或者人的虚拟表示被有意地渲染到共享沉浸式虚拟环境中。然而，被映射和渲染到现实中的实际物体和表面的定位的虚拟元素将使用户能够在物理地触摸被映射和渲染到实际物体和表面的虚拟元素并且与它们交互之时在现实空间内到处移动而没有看见该空间。对共享现实空间的实时环境模型的生成实现将虚拟交互元素映射到与沉浸式VR环境向多个用户的多视点呈现组合的实际物体。这些实时环境模型对现实表面和物体的几何形状、定位和运动分类。另外，STIVE生成器也构造用于每个用户的统一实时跟踪模型。在各种实现方式中，这些统一实时跟踪模型包括用户定位、用户定向、用户骨架模型、用户手部模型和用户脸部表情模型的各种组合。STIVE生成器然后渲染与每个特定用户的实时视野对应的共享沉浸式虚拟环境的帧。换而言之，每个用户看见对每个特定用户的实时视野定制的共享沉浸式虚拟环境的视图。这些帧中的每个帧由实时环境模型和统一实时跟踪模型二者联合地约束。有利地，STIVE生成器的各种特征和能力(比如多个用户在沉浸式虚拟环境中共享实际触觉反馈的能力)用来改善用户体验。另外，假定多个用户可以正在与其他人以及静态和动态物体二者相同的现实空间中参与沉浸式虚拟环境，在各种实现方式中，以关于在用户、其他人、物体、表面等之间的不利接触来增强用户安全的方式渲染沉浸式虚拟环境。按照以上
技术实现思路
，这里描述的STIVE生成器提供用于渲染和呈现全沉浸式共享虚拟现实(VR)环境的各种技术，在这些环境中，共享现实空间中的多个用户在沉浸式共享VR内共享触觉交互。除了以上描述的益处之外，STIVE生成器的其它优点将从在与附图结合阅读时的下文具体实施方式变得清楚。附图说明要求保护的主题内容的具体特征、方面和优点将参照以下描述、所附权利要求和附图而变得更好理解，在附图中：图1图示了多个用户在由如这里描述的“共享触觉沉浸式虚拟环境生成器”(STIVE生成器)为每个用户渲染的共享沉浸式虚拟现实(VR)环境中共享触觉反馈。图2图示了架构流程图，该架构流程图图示了用于实现如这里描述的STIVE生成器的各种实现方式的程序模块，这些程序模块用于渲染和呈现全沉浸式共享VR环境，在这些环境中，共享现实空间中的多个用户在沉浸式共享VR内共享触觉交互。图3图示了用于实现如这里描述的STIVE生成器的各种实现方式的用户骨架跟踪和手部建模的传感器融合的示例性实现方式。图4图示了用于实现如这里描述的STIVE生成器的各种实现方式的分级景物对象模型(SOM)的示例性实现方式。图5图示了对被渲染到用于实现如这里描述的STIVE生成器的各种实现方式的共享沉浸式VR环境中的“步行安全”指示符的渲染的示例性实现方式。图6图示了总体系统流程图，该总体系统流程图图示了用于实现如这里描述的STIVE生成器的各种实现方式的示例性方法。图7是描绘了简化的通用计算设备的总体系统示图，该通用计算设备具有用于在实现如这里描述的STIVE生成器的各种实现方式时使用的简化的计算和I/O能力。具体实施方式在对“共享触觉沉浸式虚拟环境生成器”(STIVE生成器)的各种实现方式的以下描述中，参照附图，这些附图形成其部分，并且在附图中通过说明示出了可以在其中实践STIVE生成器的具体实现方式。可以利用其它实现方式并且可以做出结构改变而没有脱离其范围。为了清楚，将在描述这里描述的各种实现方式时借助具体术语，并且这些实现方式没有旨在于限于被这样选择的具体术语。另外，将理解，每个具体术语包括以广义地相似方式操作以实现相似目的的所有它的技术等效物。这里对“一个实现方式”或者“另一实现方式”或者“示例性实现方式”或者“备选实现方式”或者相似短语的引用意味着可以在STIVE生成器的至少一个实现方式中包括与该实现方式结合而被描述的特定特征、特定结构或者特定特点。另外，贯穿说明书出现这样的短语未必地都是指相同实现方式，并且单独或者备选实现方式与其它实现方式并不互斥。这里对于表示STIVE生成器的一个或者多个实现方式的任何过程流程而被描述或者图示的顺序没有固有地指示任何对于按描述或者图示的顺序实施过程的任何要求，并且这里对于任何过程流程而被描述或者图示的任何这样的顺序没有意味着对STIVE生成器的任何限制。如这里被利用的那样，术语“部件”、“系统”、“客户端”等旨在于是指计算机有关实体、硬件、软件(例如，在执行中)、固件或者它们的组合。例如，部件可以是在处理器上运行的进程、对象、可执行文件、程序、函数、库、子例程、计算机或者软件与硬件的组合。举例而言，在服务器上运行的应用和服务器二者可以是部件。一个或者多个部件可以驻留在进程内并且部件可以被局限在一个计算上和/或在两个或者更多个计算机之间被分布。术语“处理器”被一般地理解为是指硬件部件，比如计算机系统的处理单元。另外，在这一具体实施方式或者权利要求中使用术语“包括(include)”、“具有”、“包含”、它们的变体和其它相似单词的程度上，这些术语旨在于以与作为开放式过渡词的术语“包括(comprise)”相似的方式具有包含意义而没有排除任何附加或者其它要素。1.0引言：一般而言，“共享触觉沉浸式虚拟环境生成器”(即，“STIVE生成器”)如这里描述的那样用共享触觉交互构造全沉浸式共享虚拟现实(VR)环境。这些全沉浸式共享VR环境使多个用本文档来自技高网...

【技术保护点】
一种用于构造共享虚拟环境的计算机实施的方法，包括：应用计算机以执行过程动作，所述过程动作用于：生成现实环境的实时环境模型，在所述现实环境中正在向两个或者更多个用户呈现共享沉浸式虚拟环境；所述实时环境模型对所述现实环境中的表面和物体的几何形状、定位和运动分类；生成用于所述两个或者更多个用户中的每个用户的统一实时跟踪模型；为每个特定用户生成与所述特定用户的实时视野对应的、所述共享沉浸式虚拟环境的帧；相对于所述实时环境模型和所述统一实时跟踪模型中的每个统一实时跟踪模型二者，联合地约束用于每个特定用户的、所述共享沉浸式虚拟环境的每个帧；以及将所述共享沉浸式虚拟环境的一个或者多个虚拟元素映射和渲染到能够由所述用户中的两个或者更多个用户触摸和操控的、所述现实环境中的实际物体以提供共享触觉交互。

【技术特征摘要】
【国外来华专利技术】2015.05.28 US 14/724,5031.一种用于构造共享虚拟环境的计算机实施的方法，包括：应用计算机以执行过程动作，所述过程动作用于：生成现实环境的实时环境模型，在所述现实环境中正在向两个或者更多个用户呈现共享沉浸式虚拟环境；所述实时环境模型对所述现实环境中的表面和物体的几何形状、定位和运动分类；生成用于所述两个或者更多个用户中的每个用户的统一实时跟踪模型；为每个特定用户生成与所述特定用户的实时视野对应的、所述共享沉浸式虚拟环境的帧；相对于所述实时环境模型和所述统一实时跟踪模型中的每个统一实时跟踪模型二者，联合地约束用于每个特定用户的、所述共享沉浸式虚拟环境的每个帧；以及将所述共享沉浸式虚拟环境的一个或者多个虚拟元素映射和渲染到能够由所述用户中的两个或者更多个用户触摸和操控的、所述现实环境中的实际物体以提供共享触觉交互。2.根据权利要求1所述的计算机实施的方法，其中每个统一实时跟踪模型包括用户定位、用户定向、用户骨架模型和用户手部模型中的一项或者多项。3.根据权利要求1或者权利要求2所述的计算机实施的方法，其中每个统一实时跟踪模型包括用户脸部表情建模。4.根据权利要求1或者权利要求2或者权利要求3所述的计算机实施的方法，还包括用于在与每个用户的现实定位对应的定位中向所述共享沉浸式虚拟环境中渲染每个用户的虚拟表示的过程动作。5.根据权利要求1或者权利要求2或者权利要求3或者权利要求4所述的计算机实施的方法，还包括用于在与每个非参与人的现实定位对应的定位中向所述共享沉浸式虚拟环境中渲染一个或者多个非参与人的虚拟表示的过程动作。6.根据权利要求1或者权利要求2或者权利要求3或者权利要求4或者权利要求5所述的计算机实施的方法，还包括用于向所述共享沉浸式虚拟环境中渲染一个或者多个安全标记的过程动作。7.根据权利要求6所述的计算机实施的方法，其中所述安全标记中的一个或者多个安全标记通过对所述共享沉浸式虚拟环境内的无现实障碍物的安全路径的指示的渲染而被表示。8.根据权利要求6所述的计算机实施的方法，其中所述安全标记中的一个或者多个安全标记通过对所述现实环境内的非参与人的半透明渲染而被表示，所述半透明渲染随着任何用户迫近该半透明渲染而实心度增加。9.一种用于构造交互式虚拟现实环境的系统，包括：通用计算设备；以及计算机程序，所述计算机程序包括由所述计算设备可执行的程序模块，其中所述计算设备由所述计算机程序的所述程序模块指引以：应用一个或者多个传感器以捕获实时跟踪信息，所述实时跟踪信息涉及参与对共享沉浸式虚拟环境的实时渲染的两个或者更多个用户的实际运动和定位，并且还涉及所述共享现实环境中的一个或者多个实际物体的运动和定位；应用...

【专利技术属性】
技术研发人员：L·沙皮拉，R·加尔，D·C·巴格，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US