合成增强现实环境的构造制造技术

揭示了涉及产生合成环境模型并从模型渲染各图像的各实施例，其中合成环境模型从环境的三维表示中导出。例如，所揭示的一个实施例提供了一种方法，该方法包括检测利用环境的三维表示来构建合成环境模型的触发，并且响应于该触发，获得合成图像元素的集合以供在构造该合成环境模型时使用。该方法还包括根据一组规则将来自合成图像元素的集合的一个或多个元素适配到环境的三维表示以产生合成环境模型，并从合成环境模型渲染图像供显示，该图像示出代替环境中的现实世界拓扑的来自合成图像元素的集合的一个或多个元素。

【技术实现步骤摘要】
【国外来华专利技术】背景增强现实系统可被配置来捕捉现实世界环境的图像，并渲染包括虚拟对象的合成图像，其中虚拟对象被显示为现实世界图像的至少一部分上的覆盖。以此方式，虚拟对象可被添加到现实世界图像以提供现实世界的增强视图。概述揭示了涉及产生合成环境模型并从模型渲染各图像的各实施例，其中合成环境模型从环境的三维表示中导出。例如，一个所揭示的实施例提供了一种方法，该方法包括检测利用环境的三维表示来构建合成环境模型的触发，并且响应于该触发，获得合成图像元素的集合以用于构造该合成环境模型。该方法还包括将来自合成图像元素的集合的一个或多个元素根据产生合成环境模型的一组规则来适配到环境的三维表示，并从合成环境模型渲染图像供显示，该图像包括代替环境的三维表示中的现实世界元素的来自合成图像元素的集合的一个或多个元素。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。附图简述图1示出了根据本公开的一实施例的合成环境模型的示例渲染。图2示出根据本公开的一实施例的用于产生从环境的三维表示中导出的合成环境模型的系统的框图。图3是描绘根据本公开的一实施例的用于产生从环境的三维表示中导出的合成环境模型的方法的流程图。图4示出了根据本公开的一实施例的合成环境模型的渲染的另一示例。图5示出根据本公开的一实施例的计算设备的示例。详细描述揭示了涉及基于所观察的现实世界环境来生成合成环境模型的各实施例，其中现实世界环境中的三维表示中的元素用合成环境模型中的合成图像元素(例如三维图形模型)来代替。在从这样的合成环境模型中渲染出的增强现实图像中，合成元素代替现实世界元素，而不是被表示为现实世界元素之上的覆盖。因此，使用这样的合成环境模型可帮助简化渲染(相比于渲染现实世界图像的覆盖)，因为现实世界图像和覆盖两者的渲染可能导致渲染现实世界图像中被覆盖遮挡的冗余数据。图1示出了包括通信地连接到显示设备104和传感器系统106的计算设备102的非限制性示例使用环境100。尽管环境100被示为房间，使用环境可以是任何合适的物理空间，包括室内和/或室外环境。计算设备102可被用于玩各种不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。计算设备102可接收来自一个或多个控制设备108的输入，控制设备108可包括任何合适的控制设备，诸如游戏控制器、遥控器、移动计算设备等。传感器系统106可包括可见光相机(例如，RGB相机)、立体或阵列相机系统、和/或深度相机(飞行时间和/或结构化光深度相机)。例如，传感器系统106可包括配置成对环境100进行成像的一个或多个传感器、透镜元素、和/或光源。由深度相机捕捉的深度图像可指示每像素成像的表面的深度，以便提供关于环境100的一个或多个特征的信息。传感器系统106可包括附加的传感器，包括但不限于，一个或多个话筒(例如，指向性话筒阵列)。传感器系统106可生成图像并通过一个或多个接口经由任何合适的有线或无线数据连接将图像发送到计算设备102。计算设备102可接收深度图像和/或描述环境100的其它信息(例如，RGB图像数据)，该信息捕捉人、表面、对象、和/或形成环境100的现实世界拓扑的其它元素。捕捉这些现实世界元素的图像数据可被用来生成环境100的三
维表示。参见图1，环境100包括诸如与瓶子114交互的用户112、控制设备108、书116、和诸如桌子118、书架、和大衣架的家具项目之类的各元素。尽管在图1中例示出单个传感器系统106，但是要理解一个或多个额外相机可被包括该环境中。在这样的实施例中，每个相机可从与其它相机不同的视角对环境进行成像。此外，一个或多个相机可在六个自由度中的任何一个中是可移动的(沿着三个垂直轴平移和绕三个垂直轴旋转)，以从不同视角随时间捕捉环境的图像。例如，集成到移动设备(诸如智能电话、平板电脑、膝上电脑)的相机可由用户移动来从多个视角捕捉环境的图像。类似地，用户可拿着传感器系统106环绕房间，同时传感器系统106正在获取图像数据以由此扫描房间。基于传感器系统106获取的图像数据，计算设备102可从传感器系统106捕捉的全部视角生成现实世界环境的三维表示。该三维表示可采取任何合适的形式，包括但不限于点云和/或网格表示。从这样的表示，计算设备102可接着通过根据一组规则(例如，全局规则、用户专用规则，和/或与合成图像元素特定集合相关联的规则)用合成图像元素替换现实世界环境的三维表示的体素空间来构建合成环境模型。在某些实施例中，用合成元素代替现实世界表示中的各元素可以是交互式的，因为，用户可指定要用来代替选定的现实世界对象的选定的合成元素。作为更特定的示例，用户可例如通过指着现实世界对象(例如，桌子)来指示该对象，并接着可指示要用来代替该现实世界元素的合成图像元素(例如，山)。用户可以以任何合适的方式(包括但不限于，通过语音命令、手势(例如，指向环境中的现实世界对象或位置或屏幕上显示的合成图像元素)、游戏控制器或其它物理致动器、触屏等)来执行这些输入以从列表中选择元素、搜索元素、浏览元素、或以其他方式指定元素以定义用户专用规则。得到的合成环境模型可接着被渲染以供作为增强现实呈现显示在显示设备104上。此外，随着传感器系统106的视图改变(例如，对象/人在现实世界环境中移动，和/或传感器系统106在现实世界环境中移动)，可在所渲染的增强现实图像中作出对应的改变，使得对应于现实世界对象的合成图像元素表现为跟踪对应的现实世界对象的移动。任何合适的合成图像元素可被用来代替三维现实世界表示中的对象。在图1的示例中，计算设备102用攻城引擎122的合成图像元素来代替瓶子114的三维表示。此外，书116由城堡的合成图像代替，书架和大衣架分别由宝箱和树代替，用户112由化身124代替。此外，控制设备108由一对岩石代替，且桌子118由地理或拓扑特征代替。这些专用的合成图像元素可对应于针对特定游戏、游戏标题等的合成图像元素集合，或可以不与任何特定程序相关联。如此，合成图像元素的不同集合和用于使用合成图像元素的对应的规则可被用于不同增强现实呈现。应当理解图1的示例是为了说明性示出的而不旨在进行限制，并且环境的三维模型中的任何合适的对象可由任何合适的合成图像元素来代替。此外，增强现实图像的至少部分可被渲染而不被合成图像元素代替，而改为用RGB相机获取的环境的图像数据代替。图2示出根据本公开的一实施例的计算设备200的框图，并示出了用于形成和/或渲染合成环境模型的系统的实施例。计算设备200包括用于生成并渲染从环境的三维表示导出的合成环境模型的图像处理器202。图2还示出了包括配置用于捕捉现实世界环境的深度图像的深度相机的相机系统204。在某些实施例中相机系统还可包括RBG相机。在图2的实施例中，来自相机系统的图像可经由现实世界建模器206来处理，以生成现实世界环境的三维表示。三维表示可包括环境的点云表示、环境的网格表示、和/或环境的基于从环境内各种视角获取的深度数据的其本文档来自技高网...

【技术保护点】
在一个计算设备上，一种显示图像的方法，所述方法包括：检测利用环境的三维表示来构建合成环境模型的触发；响应于所述触发，获取合成图像元素的集合以供在构造所述合成环境模型时使用；根据一组规则，将来自所述合成图像元素的集合的一个或多个元素适配到所述环境的所述三维表示，以产生所述合成环境模型；以及从所述合成环境模型渲染所述图像用于显示，所述图像示出代替所述环境中的现实世界拓扑的来自所述合成图像元素的集合的一个或多个元素。

【技术特征摘要】
【国外来华专利技术】2013.11.05 US 14/072,7081.在一个计算设备上，一种显示图像的方法，所述方法包括：检测利用环境的三维表示来构建合成环境模型的触发；响应于所述触发，获取合成图像元素的集合以供在构造所述合成环境模型时使用；根据一组规则，将来自所述合成图像元素的集合的一个或多个元素适配到所述环境的所述三维表示，以产生所述合成环境模型；以及从所述合成环境模型渲染所述图像用于显示，所述图像示出代替所述环境中的现实世界拓扑的来自所述合成图像元素的集合的一个或多个元素。2.如权利要求1所述从方法，其特征在于，所述合成图像元素的集合是从多个合成图像元素的集合中选择的。3.如权利要求2所述的方法，其特征在于，所述合成图像元素的集合是基于要被所述一个或多个元素代替的一个或多个现实世界对象的每一个的身份来选择的。4.如权利要求1所述从方法，其特征在于，将元素适配到所述三维表示包括执行所述元素的旋转和缩放中的一个或多个。5.一种计算系统，包括：显示设备；相机；逻辑子系统；以及配置用于保持能够由逻辑子系统执行的指令以进行以下操作的存储设备：检测利用环境的三维表示来构建合...

【专利技术属性】
技术研发人员：D·莫利内奥克斯，C·怀特，A·曹，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US