环境映射虚拟化机构制造技术

一种方法包括获取深度图像数据，将图像数据处理成环境的实时三维（3D）重构模型，操作数据集上的模型、纹理和图像，渲染经过修改的结果以用于显示，以及基于现有的空间和物理技能支持与显示器的交互。

【技术实现步骤摘要】
【国外来华专利技术】本申请要求保护2014年9月8日提交且目前在审的美国临时申请No.62/047,200的优先权的权益。
这里描述的实施例总体上涉及计算机。更特别地，实施例涉及交互式可视化和增强现实。
技术介绍
现在，存在用于数据可视化的许多系统，它们在要求用户完成数据的可视化和含义之间的心理映射的抽象空间（例如图、图表、谷歌地图覆盖等等）中操作。这导致较不直观以及没有太多身临其境的体验，并且不会利用用户对环境的理解。目前在增强现实空间中的部署寻求通过在视觉上将内容覆盖在真实世界上来解决这一问题。虽然这是正确方向的一步，但是已将重点放在登记正确地点处的信息而不是产生在其中数据变换用户自己环境的视觉和交互特征的引人入胜体验。附图说明在附图的各图中以示例的方式且不是以限制的方式来图示实施例，在附图中相似参考数字指的是类似的元件。图1图示根据一个实施例的映射虚拟化机构。图2图示根据一个实施例的映射虚拟化机构。图3A图示示例性增强现实应用的屏幕截图。图3B图示示例性虚拟现实效果的屏幕截图。图3C图示根据一个实施例的虚拟效果。图4图示根据一个实施例的后处理流水线。图5图示根据一个实施例的映射虚拟化过程。图6A图示根据一个实施例的纹理操作实现的屏幕截图。图6B图示根据一个实施例的虚拟现实实现。图6C图示根据一个实施例的基于后处理图像的操作实现的屏幕截图。图7图示根据一个实施例的适用于实施本公开的实施例的计算机系统。具体实施方式在后面的描述中，阐述了许多具体细节。然而，可以在没有这些具体细节的情况下实行如这里所描述的实施例。在其他实例中，没有详细示出公知电路、结构和技术，以便不模糊对本描述的理解。图1图示计算设备100的一个实施例。根据一个实施例，计算设备100充当用于主控映射可视化机构110的主机机器。在此类实施例中，映射可视化机构110从一个或多个深度感测设备（例如相机阵列或深度相机）接收数据以创建在其中数据变换用户的环境的视觉和交互特征的引人入胜的体验。在另一实施例中，交互可视化和增强现实被实施成变换用户的现有视觉和空间环境，并且改变其呈现和行为以适合对使用深度感测、3D重构和动态渲染的组合的应用的需要。在一个实施例中，用户的世界观察的视觉呈现（例如物理几何结构、纹理、后处理渲染效果）被改变以实现身临其境的、交互可视化。通过从深度感测设备收集实时深度数据并且将该数据处理成测定体积的3D模型、经过滤波的深度图或网格来实施改变。在另一实施例中，根据可视化的意图该空间信息随后经历动态渲染效果。根据一个实施例，映射可视化机构110可以被用来可视化各种数据源，诸如传感器数据、音乐流、视频游戏状态等等。因此，用户可以以自然的方式来与数据交互，因为数据是在用户的即时环境中可视的。例如，在实时音乐分析期间收集的数据实现世界的现场变换，在其中现实世界对象看起来扩展到产生即兴迪斯科厅的感觉的节拍节奏和动态灯光效果。在另一实施例中，映射可视化机构110可以被用于通过根据数据分析改变流行货架物品的呈现来可视化通过食品杂货店的步行交通的销售团队。如图2中所图示的，映射可视化机构110包括任何数目和类型的部件以有效地执行环境映射可视化，如将遍及该文档进一步描述的那样。计算设备100还可以包括任何数目和类型的通信设备（诸如大计算系统，诸如服务器计算机、桌上型计算机等等），并且还可以包括机顶盒（例如基于因特网的电缆电视机顶盒等等）、基于全球定位系统（GPS）的设备等等。计算设备100可以包括充当通信设备的移动计算设备，诸如包括智能手机的蜂窝电话、个人数字助理（PDA）、平板电脑计算机、膝上型计算机（例如笔记本、上网本、超极本TM系统等等）、e-阅读器、媒体因特网设备（“MID”）、智能电视、电视平台、可佩戴的设备（例如手表、手镯、智能卡、首饰、衣着用品等等）、媒体播放器等等。计算设备100可以包括充当计算机设备100的硬件和/或物理资源和用户之间的接口的操作系统（OS）106。计算设备100还包括一个或多个处理器102、存储器设备104、网络设备、驱动器等等，以及输入/输出（I/O）源108（诸如触摸屏、触摸板、触摸垫、虚拟或普通键盘、虚拟或普通鼠标等等）。要注意，遍及本文档可以可互换地使用比如“节点”、“计算节点”、“服务器”、“服务器设备”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机机器”、“设备”、“计算设备”、“计算机”、“计算系统”等等之类的术语。还要注意，遍及本文档可以可互换地使用比如“应用程序”、“软件应用程序”、“程序”、“软件程序”、“包“、“软件包”等等之类的术语。而且，遍及本文档可以可互换地使用比如“作业”、“输入”、“请求”、“消息”等等之类的术语。图2图示根据一个实施例的映射可视化机构110。在一个实施例中，可以在充当通信设备（诸如智能电话、可佩戴设备、平板电脑计算机、膝上型计算机、桌上型计算机等等）的计算设备100处采用映射可视化机构110。在另一实施例中，映射可视化机构110包括任何数目和类型的部件，诸如深度处理模块201、可视化映射逻辑202、用户接口203以及渲染和视觉变换模块204。此外，计算设备100包括深度感测设备211和显示器213以促进映射可视化机构110的实现。设想可以将任何数目和类型的部件添加到映射可视化机构110和/或从映射可视化机构110移除任何数目和类型的部件以促进包括添加、移除和/或增强某些特征的各种实施例。为了简洁、清楚且容易地理解映射可视化机构110，这里没有示出或讨论许多标准和/或已知部件，诸如计算设备的那些。设想如这里描述的实施例不限于任何特定技术、拓扑结构、系统、体系结构和/或标准，并且可以是动态的足以采用和适应任何将来的变化。深度处理模块201包括使用三维（3D）对象扫描和模型创建算法（例如由微软公司®开发的KinectFusion™）的用户环境的实时测定体积重建。深度处理模块201还可以包括作为输出的深度图。在此类实施例中，深度图是直接从传感器211得到的或者作为投影来自累积模型的深度的最终结果得到的。在更复杂的实施例中，深度处理模块201结合景物理解、提供每个对象3D模型输出的元件。在此类实施例中，这是经由图像/点-云分割算法和/或经由用户接口203的用户反馈实现的。可视化映射逻辑202接收数据并且考虑可视化意图（例如视频游戏、讲故事、数据分析等等）、以及指定变换的用户偏好。根据一个实施例，数据可以包括音频、财务数据、科学研究数据等等。在另一实施例中，数据可以被本地地存储在计算设备100处。然而，在其他实施例中，可以从外部源（例如服务器计算机）获取该数据。在此类实施例中，该数据可以是从平台或联网传感器上的别的地方获取的实时传感器数据。渲染和视觉变换模块204执行动态可视化。在传统增强现实应用中，真实世界信息（例如几何结构、纹理、相机姿态等等）充当信息锚定在那里的背景。然而，数据和真实世界环境并不混合。同时在虚拟现实中，用数字信息来替换真实世界环境。根据一个实施例，视觉变换模块204使得真实世界信息能够经历变换来在可视化中对数据编码，同时可视化利用不同的外观和感觉来变换真实世界环境。因此，用户可以使用现有的物理和空间技能来识别经过本文档来自技高网...

【技术保护点】
一种装置，其包括：深度感测设备，用于获取图像和深度数据；深度处理模块，用于从深度感测设备接收图像和深度数据并将该图像和深度数据处理成环境的实时三维（3D）重构模型；渲染和视觉变换模块，用于基于数据集操作模型、纹理和图像；以及用户接口，用于通过利用现有的空间和物理技能来实现与经过渲染的可视化的用户交互。

【技术特征摘要】
【国外来华专利技术】2014.09.08 US 62/0472001.一种装置，其包括：深度感测设备，用于获取图像和深度数据；深度处理模块，用于从深度感测设备接收图像和深度数据并将该图像和深度数据处理成环境的实时三维（3D）重构模型；渲染和视觉变换模块，用于基于数据集操作模型、纹理和图像；以及用户接口，用于通过利用现有的空间和物理技能来实现与经过渲染的可视化的用户交互。2.根据权利要求1所述的装置，其中该深度处理模块将图像和深度数据处理成经过良好滤波的深度图。3.根据权利要求1所述的装置，其中该渲染和视觉变换模块进一步动态地渲染该模型。4.根据权利要求1所述的装置，其中该渲染和视觉变换执行几何操作以调制3D几何形状来匹配可视化意图。5.根据权利要求1所述的装置，其中该渲染和视觉变换执行纹理操作以为三维几何形状提供纹理信息。6.根据权利要求1所述的装置，其中该渲染和视觉变换执行基于后处理图像的操作。7.根据权利要求6所述的装置，其中该深度处理模块包括：姿态估计模块，用于在基于后处理图像的操作期间传送数据；以及重构体积。8.根据权利要求7所述的装置，其中该渲染和视觉变换包括渲染流水线，用于从色调估计模块和重构体积接收数据。9.根据权利要求8所述的装置，其中该渲染和视觉变换还包括体积分割模块，用于从重构体积接收数据。10.根据权利要求1所述的装置，还包括可视化映射逻辑，用于基于可视化意图和用户偏好来分配变换并且将该变换传送给渲染和视觉变换模块。11.根据权利要求1所述的装置，还包括显示设备，用于显示经过渲染的模型。12.一种方法，其包括：获取深度图像数据；将图像数据处理成实时三维（3D）重构模型；操作数据...

【专利技术属性】
技术研发人员：JJ拉特克利夫，许彦，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US