使用3D深度相机和3D投影仪来提供交互式体验制造技术

描述了使用深度相机来捕捉放置在交互式表面上或附近的物理对象的深度图像的交互系统。交互系统还使用视频相机来捕捉物理对象的视频图像。交互系统随后可基于深度图像和视频图像来生成3D虚拟对象。交互系统随后使用3D投影仪来将3D虚拟对象以例如与物理对象呈镜像的关系投射回在交互式表面上。用户可随后以任何方式捕捉并操纵3D虚拟对象。此外，用户可基于较小的组件3D虚拟对象来构造复合模型。交互系统使用投影纹理技术来将看上去真实的3D虚拟对象呈现在具有任何几何结构的表面上。

【技术实现步骤摘要】
使用3D深度相机和3D投影仪来提供交互式体验
本专利技术涉及3D投影技术。
技术介绍
研究界已探寻了各种各样的用于创建并与诸如交互式桌面显示器和墙式显示器之类的对象进行交互的替代技术。然而，已知的技术无法在期望的程度上提供富有表现力、真实的以及身临其境感而同时又易于学习和使用的接口。
技术实现思路
在此描述了一种允许用户创建并与3D虚拟对象交互的交互系统。在一个实施方式中，交互系统通过捕捉被置于表面上或靠近表面的物理对象的深度图像来操作。例如，物理对象可包括无生命对象、身体部分、或其组合。交互系统同时捕捉物理对象的视频图像。交互系统随后基于深度图像和视频图像来生成3D虚拟对象。3D虚拟对象是物理对象的虚拟对应物。交互系统随后使用3D投影仪(诸如用于生成立体图像的投影仪)来将3D虚拟对象投影在表面上或靠近表面。根据另一说明性特征，交互系统可提供包括例如3D虚拟对象的虚拟场景的实时且动态的呈现。在任何时刻，用户可指示交互系统来捕捉物理对象的实例，包括例如无生命对象、身体部分、或其组合。这提供了捕捉的3D虚拟对象。根据另一说明性特征，用户可随后指示交互系统来以任何方式操纵虚拟场景的任何部分，例如通过在任意方向上偏移所捕捉的3D虚拟对象、对其进行缩放、和/或对其进行旋转等来操纵所捕捉的3D虚拟对象。根据另一说明性特征，交互系统可通过基于与深度图像相关联的点来标识几何形状来生成3D虚拟对象。交互系统随后将从视频图像中获取的纹理应用到该几何形状。这为该几何形状添加了外观。根据另一说明性特征，交互系统可使用投影纹理技术来应用纹理。这一方法可至少考虑以下内容：用户注意的方向；3D投影仪的位置；以及3D虚拟对象将要投影在其上的(如深度图像上所表示的)场景的几何结构。凭借这一技术，交互系统可提供(从用户的视角)看上去自然的3D虚拟对象，即使是在诸如用户杯状的手之类的不规则的实际表面上。根据另一说明性特征，交互系统可以与3D虚拟对象的对应的物理对象的镜像关系在表面上或靠近表面呈现3D虚拟对象。这允许用户获取物理对象及其虚拟对应物之间的相关性的理解，而不会干扰物理对象。根据另一说明性特征，用户可应用交互系统来基于3D虚拟对象构建块持续地构造复合模型，而3D虚拟对象构建块最终从一个或多个物理对象导出。根据另一说明性特征，本地和远程用户可使用各自的交互系统来生成并共享3D虚拟对象。在一个实施方式中，在本地位置呈现的物理对象表现为远程位置处的虚拟对象，反之亦然。根据另一说明性特征，交互系统可包含物理模拟器。当触发事件发生时，物理模拟器生成模拟效果并将该模拟效果应用于3D虚拟对象。触发事件对应于用户对3D虚拟对象执行的指示性动作(telltaleaction)。模拟效果定义了3D虚拟对象响应于触发动作的行为。上面的方法可以显现在各种类型的系统、组件，方法、计算机可读介质、数据结构、产品等等中。提供本
技术实现思路
是为了以简化的形式介绍一些概念，这些概念将在以下具体实施方式中进一步描述。本
技术实现思路
并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。附图说明图1显示了说明性交互系统的图示，说明性交互系统响应于放置在交互式表面上的对应物理对象，在交互式表面上呈现3D虚拟对象。图2是图1的交互系统的一个实施方式的图示。图3示出了一种使用图1的交互系统的方式。图4-7显示了使用图1的交互系统以各种方式已经创建的3D虚拟对象(其中使用实线来图示物理对象，而采用虚线来图示3D虚拟对象)。图8和9演示了图1的交互系统可被用于将3D虚拟对象投影到诸如用户杯状的手之类的不规则的实际表面上的方式。图10是可被投影到交互式表面上以实现图9的3D虚拟对象的视角经调整的图像的图示(图9中是从用户的立场所观看的)。图11显示了包含两个交互系统的说明性环境，第一个交互系统由本地用户使用，而第二个交互系统由远程用户使用。图12和13示出了图11中所示的环境的操作的两个说明性模式。图14显示了用于从用户的角度使用图1的交互系统的说明性过程。图15示出用于设置图1的交互系统的说明性过程。图16示出了用于使用图1的交互系统生成3D虚拟对象的说明性过程。图17示出了正与交互式表面交互的用户的图示。该图是用来说明交互系统可确定用户的注意方向的方式的载体。图18显示了用于响应于用户的指令来捕捉并操纵所捕捉的3D虚拟对象的说明性过程。图19示出了用于应用投影纹理技术的说明性过程。图20示出了用于生成3D虚拟对象并在本地用户与远程用户之间共享3D虚拟对象的说明性过程。图21示出了用于响应于用户对3D虚拟对象所执行的触发事件来生成模拟效果的说明性过程。图22是模拟的变形效果的演示。图23示出了可以用来实现前面的附图中所示出的特征的任何方面的说明性处理功能。贯穿本公开和附图使用相同的附图标记来引用相同的组件和特征。100系列标号指的是最初在图1中找到的特征，200系列标号指的是最初在图2中找到的特征，300系列标号指的是最初在图3中找到的特征，以此类推。具体实施方式本专利技术是按如下方式来组织的。章节A描述了用于允许用户生成3D虚拟对象并与之交互的说明性交互系统。章节B描述了解释章节A的交互系统的操作的说明性方法。章节C描述了可以被用来实现章节A和B中所描述的特征的任何方面的说明性处理功能。作为正文前的图文，一些附图是在一个或多个结构组件(不同地称为功能、模块、特征、元件等等)的上下文中来描述概念的。附图所示出的各种组件可以通过任何物理的并且有形的机制以任何方式来实现(例如，通过软件、硬件、固件等等，和/或其任何组合)。在一种情况下，附图中所示出的将各种组件分离为不同的单元可以反映在实际实现中使用对应的不同的物理和有形的组件。可另选地，或者另外，附图中所示出的任何单个组件都可以通过多个实际物理组件来实现。另选地或另外地，附图中的任何两个或更多分开组件的描绘可以反映单个实际物理组件所执行的不同功能。进而要讨论的图23提供了关于附图中示出的功能的一个说明性物理实现的附加细节。其他附图以流程图形式描述了概念。以此形式，某些操作被描述为构成以某一顺序执行的不同的框。这样的实现是说明性的而非限制性的。此处描述的某些框可被分组在一起并在单个操作中执行，某些框可被分成多个组成框，并且某些框可以按与此处所示出的不同的次序来执行(包括以并行方式执行这些框)。流程图所示出的框可以通过任何物理和有形的机制以任何方式来实现(例如，通过软件、硬件、固件等等，和/或其任何组合)。至于术语，短语“被配置成”包含任何类型的物理和有形的功能可以被构建来执行已标识的操作的任何方式。功能可以被配置成使用，例如，软件、硬件、固件、等等和/或其任何组合来执行操作。术语“逻辑”包含用于执行任务的任何物理和有形的功能。例如，流程图中示出的每一个操作都对应于用于执行该操作的逻辑组件。操作可以使用，例如，软件、硬件、固件、等等和/或其任何组合来执行。在由计算系统实现时，逻辑组件表示作为计算系统的物理部分的、无论如何实现的电子组件。下列的说明可以将一个或多个特征标识为“可选”。这种陈述不应该被解释为可以被视为可选的特征的穷尽的说明；也就是说，其他特征也可以被视为可选，虽然在文本中没有显式地标识。类似地，说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
2011.02.17 US 61/444,123;2011.03.29 US 13/074,0411.一种用于使用交互系统(100)向用户提供交互式体验的方法(1600)，包括：使用深度相机捕捉(1602)放置在表面(102)上或附近的物理对象的深度图像，所述深度图像包括关于所述物理对象的不同部分离所述深度相机的距离的信息；使用视频相机捕捉(1604)所述物理对象的视频图像，所述深度相机不是所述视频相机，并且其中所述视频图像与所述深度图像同时被捕捉；基于所述深度图像和所述视频图像生成(1612)作为所述物理对象的对应物的3D虚拟对象；以及使用3D投影仪将所述3D虚拟对象投影(618)在所述表面(102)上或附近。2.如权利要求1所述的方法，其特征在于，还包括，在生成所述3D虚拟对象之前：将所述深度图像划分成头部区域和对象区域；以及基于所述头部区域估计所述用户的注意方向。3.如权利要求1所述的方法，其特征在于，所述3D虚拟对象的生成涉及：基于与所述深度图像相关联的点来标识几何形状；以及将从视频图像中获取的纹理应用于几何形状以将外观添加到所述几何形状。4.如权利要求1所述的方法，其特征在于，所述3D虚拟对象的生成涉及：从用户的视角创建纹理图像；以及从所述3D投影仪的视角重新渲染所述纹理图像以提供视角经调整的图像形式的3D虚拟对象的表示，所述创建和重新渲染至少考虑了如所述深度图像中所表示的、所...

【专利技术属性】
技术研发人员：H·本克，R·J·J·科斯塔，A·D·威尔逊，
申请(专利权)人：微软公司，
类型：发明
国别省市：