虚拟环境的运动控制制造技术

对人类主体成像的深度相机的深度视频的光流被识别。由人类主体的运动创建的能量场根据该光流以及虚拟环境的物理模拟的指定规则来生成。能量场被映射到虚拟环境中的虚拟位置。响应于虚拟环境中的虚拟对象与能量场的虚拟位置的交互，基于能量场的多个能量元素来调节该虚拟环境中的该虚拟对象的属性。

【技术实现步骤摘要】
【国外来华专利技术】背景自然用户输入(NUI)技术目的在于在计算系统和人类之间提供直观的交互模式。例如，人类主体的运动输入可被识别为离散的姿势。该离散的姿势可被翻译为用于控制计算系统的命令。例如，该命令可调节虚拟环境的属性，诸如在视频游戏或其他虚拟模拟中。在一些情况下，基于离散姿势的控制可缺乏粒度和细微差别，这是因为在执行离散姿势时，对应的命令无法基于运动方面的变化来改变。例如，控制命令无法基于人类主体是快速地还是缓慢地执行离散姿势来改变。此外，没有严密地符合特定姿势的运动无法在虚拟环境中产生用户期望的结果。
技术实现思路
提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本
技术实现思路
并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。提供了涉及基于人类主体的运动来控制虚拟环境的各种实施例。在一个实施例中，对人类主体成像的深度相机的深度视频的光流可被识别。由人类主体的运动创建的能量场可根据光流以及虚拟环境的物理模拟的指定规则来生成。能量场可被映射到虚拟环境中的虚拟位置。可响应于虚拟环境中的虚拟对象与能量场的虚拟位置的交互，基于能量场的多个能量元素来调节该虚拟环境中的该虚拟对象的属性。在另一实施例中，用由三维位置表征的多个虚拟关节来对人类主体进行建模的虚拟骨架可被识别。该虚拟骨架可从对人类主体成像的深度相机的深度视频中导出。虚拟骨架可被用于标识由人类主体执行的姿势。深度视频的光流可被识别。光流可被用于将量级分配到人类主体执行的姿势。虚拟环境的属性可根据姿势和量级来被控制。附图说明图1显示根据本公开的一实施例的在其中NUI被用于控制计算或游戏系统的环境。图2显示根据本公开的一实施例的NUI流水线(pipeline)。图3显示根据本公开的一实施例的用于控制虚拟环境的方法。图4显示根据本公开的另一实施例的用于控制虚拟环境的方法。图5显示根据本公开的一实施例的其中指示人类主体的运动的能量场将伤害的量分配到虚拟对象的场景。图6显示根据本公开的一实施例的其中虚拟对象的属性可基于所感兴趣的能量场的区域来被调节的场景。图7显示根据本公开的一实施例的计算系统和NUI接口系统。具体实施方式本说明书涉及基于人类主体的运动来控制虚拟环境中(诸如视频游戏或其它虚拟模拟中)的属性。更为具体地，本说明书涉及识别人类主体的运动来扩展用于控制虚拟环境的属性的中间机制。例如，光流可从从对人类主体成像的NUI接口系统中接收到的视频(例如，深度/IR/RGB)中识别。尤其，光流可从被映射到视频的多个单元中导出。每个单元可包括运动值，该运动值指示在视频的连续图像帧之间识别的在该单元内的运动的量级、方向和/或另一属性。作为可由人类主体的特定身体部位执行的离散姿势的对比，光流可全盘地定义跨完整的图像帧的移动。换言之，光流可被用于测量人类主体的运动的总体特征，不管人类主体是否正确地执行该系统被训练识别的特定姿势。光流可被用于生成被映射到虚拟环境来控制该虚拟环境的一个或多个属性的动态能量场。此外，能量场可对虚拟环境中与该能量场进行交互的虚拟对象的属性产生影响。人类主体的被识别为具有光流形式的运动提供了可被用于扩展中间机制(诸如姿势或能量场)以便增强虚拟环境的控制的稳健输入。相比于仅仅使用离散的姿势，这样的控制可具有提升的响应度、粒度和/或细微差别等级。图1显示了示例环境100的各方面。所示出的环境是个人住处的起居室或家庭活动室。然而，在此描述的办法可等同地应用在其他环境中，诸如零售店和售货亭、餐馆、信息站、公共服务环境等。在环境100中，家庭娱乐系统102被安装。家庭娱乐系统包括大画幅的显示器104和NUI接口系统106，两者均被操作地耦合到计算系统108。计算和NUI接口系统可通过有线链路、无线链路或以另一合适的方式来被耦合。在示出的实施例中，显示器呈现计算机生成的影像(静止图像、视频、图形用户界面元素等)。计算系统可以是视频游戏系统；被配置成播放音乐和/或视频的多媒体系统；被用于因特网浏览和生产力应用的通用计算系统；和/或实质上任何其他类型的计算系统，包括移动计算系统，而不背离本公开的范围。计算系统108可被配置成接受各种形式的用户输入。如此，诸如键盘、鼠标、触摸屏、游戏垫或操纵杆控制器等传统的用户输入设备可被操作地耦合到计算系统。不管是否支持传统的用户输入模态，计算系统108都接受来自至少一个人类主体110所谓的自然用户输入(NUI)。在图1表示的场景中，人类主体是站立的；在其他场景中，人类主体可以躺下或坐下，而不背离本公开的范围。NUI接口系统106可包括用于跟踪人类主体的各种传感器。例如，NUI接口系统可包括深度相机、可见光(例如，RGB颜色)相机以及话筒。然而，在一些实施例中，可使用附加的和/或不同的传感器。在示出的示例中，虚拟环境被呈现在显示器104上。虚拟环境包括虚拟气球112，该虚拟气球112可经由人类主体110的运动来通过虚拟环114被导向。尤其，NUI接口系统106可对人类主体成像。视频输入可被发送到计算系统108，该计算系统108可从视频中识别人类主体运动的光流。此外，计算系统可基于人类主体运动的光流和虚拟环境的物理模拟的指定规则来生成能量场116。尤其，光流的每个单元都可具有对应的动态能量元素，该动态能量元素具有多个可基于物理模拟的指定规则来被设定和调节的能量属性。能量元素可被积聚来创建能量场，并且能量场可被映射到虚拟环境来操纵虚拟气球。例如，人类主体可用推运动来将他的手向虚拟气球移动。该推运动可产生具有指示对能量场贡献的量级的运动值的光流单元，并且该量级可通过物理模拟的指定规则来调节。能量场对虚拟气球的影响可通过计算能量场对虚拟气球的通量(flux)或其他物理属性来捕捉。例如，能量场可更改虚拟气球的方向、速度、取向、轨迹、形状或其他适当的属性。换言之，能量场可作为围绕在虚拟气球周围的“风”并且人类主体的运动可将导致风吹向气球的能量贡献到能量场。人类主体可变化推运动的速度和方向来影响风作用到虚拟气球的方向和力度以便通过虚拟环来操纵虚拟气球。注意的是，在该非限制示例中，所示出的推运动产生足够的能量来使得除了移动虚拟气球之外还使虚拟气球的形状变形。这样的变形可基于虚拟环境的物理本文档来自技高网...

【技术保护点】
一种用于控制虚拟环境的计算机实现的方法，包括：识别用由三维位置表征的多个虚拟关节来对人类主体进行建模的虚拟骨架，所述虚拟骨架从对所述人类主体成像的深度相机的深度视频中导出；使用所述虚拟骨架来标识由所述人类主体执行的姿势；识别所述深度视频的光流，所述光流从被映射到所述深度视频的多个单元中导出，每个单元具有指示在所述深度视频的连续图像帧之间识别的该单元中的运动的量级的运动值；使用所述光流来将一量级分配到由所述人类主体执行的所述姿势；以及根据所述姿势和所述量级来控制所述虚拟环境的属性。

【技术特征摘要】
【国外来华专利技术】2013.11.19 US 14/084,4811.一种用于控制虚拟环境的计算机实现的方法，包括：
识别用由三维位置表征的多个虚拟关节来对人类主体进行建模的虚拟骨
架，所述虚拟骨架从对所述人类主体成像的深度相机的深度视频中导出；
使用所述虚拟骨架来标识由所述人类主体执行的姿势；
识别所述深度视频的光流，所述光流从被映射到所述深度视频的多个单
元中导出，每个单元具有指示在所述深度视频的连续图像帧之间识别的该单元
中的运动的量级的运动值；
使用所述光流来将一量级分配到由所述人类主体执行的所述姿势；以及
根据所述姿势和所述量级来控制所述虚拟环境的属性。
2.如权利要求1所述的方法，其特征在于，所述多个单元被安排在被
映射到所述深度视频的图像帧的单元网格中。
3.如权利要求1所述的方法，其特征在于，进一步包括：
根据所述光流和所述虚拟环境的物理模拟的指定规则来生成由所述人类
主体的运动创建的能量场，所述能量场包括从所述光流的所述多个单元中导出
的多...

【专利技术属性】
技术研发人员：X·曹，T·希拉托里，X·童，F·徐，T·格斯滕，T·雷凡德，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US