经由凝视检测进行远程设备控制制造技术

公开了涉及基于凝视进行的远程设备控制的实施例。例如，一个公开的实施例在计算设备上提供一种方法，所述方法包括：检测用户的凝视方向；检测来自所述用户的对位于凝视方向的远程可控制设备进行控制的指示；以及对控制器设备的用户接口进行适配，以使得能够对所述远程可控制设备进行用户控制。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
随着技术的进步，人们日常使用越来越多的电子设备。例如，人们可能频繁地与智能手机、视频游戏控制台、家庭娱乐系统以及多种其它电子设备进行交互。为了从这些设备得到最大益处，用户必须主动控制它们。然而，对许多设备进行控制可能需要用户：从一个设备移动到另一设备、在每个设备上导航不同的用户接口、或者将多个遥控发送机保持在手边。
技术实现思路
公开的实施例涉及基于凝视而进行的远程设备控制。例如，公开的一个实施例在计算设备上提供了一种方法，其包括：检测用户的凝视方向，检测来自用户的对位于凝视方向的远程可控制设备进行控制的指示，以及对控制器设备的用户接口进行适配以使得能够对远程可控制设备进行用户控制。提供该“
技术实现思路
”是为了引入将在下文“具体实施方式”中进一步描述的简化形式的概念选集。该“
技术实现思路
”并不意图识别所要求保护的主题的关键特征或重要特征，并且也不意图用于限制所要求保护的主题的范围。此外，所要求保护的主题并不局限于对在本公开的任意部分中提及的任意或全部缺点进行解决的实施方式。附图说明图1示出了根据本公开实施例的用于可以远程控制电子设备的示例性环境的方面。图2是根据本公开实施例的计算机系统和互连系统的方面的高级示意图。图3示出了根据本公开实施例的可穿戴显示系统的方面。图4示出了根据本公开实施例的图3的可穿戴显示系统的右或左光学系统的方面。图5示出了根据本公开实施例的使得用户能够远程控制电子设备的示例性方法。图6示出了对根据本公开实施例的经由凝视或手势远程可控制的设备的用户接口进行导航(navigating)。具体实施方式本文公开的实施例可以使得用户能够以直观方式远程控制诸多电子设备。在一种方法中，用户仅仅通过凝视设备来选择要控制的设备。当系统确定用户的意图是要控制特定设备时，该系统显示专用于该设备的用户接口，或者以其他方式对现有的用户接口进行适配以使能对该设备的控制。然后，用户的输入通过该用户接口被接收，并且适当的控制信号被发送以实施控制。图1示出了个人住房的起居室或家庭房形式的示例性环境10的方面。然而，本文描述的系统和方法还适用于其它环境，例如零售和服务环境。图1的环境的特征是用于用户14的娱乐的家庭娱乐系统12。在图1中，示出用户14处于站立的姿态；在其它场景中，用户可以坐着或躺着。家庭娱乐系统12包括大幅面显示器16和扬声器18，这两者可操作地耦合到计算机系统20。另外，家庭娱乐系统包括音频-视频(AV)接收器22和电缆盒(cable box)24。可以理解的是，图示的家庭娱乐系统是以示例方式提供的，并且所公开的实施例可以与设备的任意其它适当配置一起使用。在一些配置中，例如，可以用被纳入用户穿戴的头饰或眼镜中的近眼显示器来替代显示器16。继续参见图1，环境10包括各种与家庭娱乐系统12的电子设备不相同的电子设备，用户对其可以进行控制。例如，这种设备包括室内照明系统26和恒温器28。图示的环境还包括移动计算设备30，例如智能手机、平板计算机等。环境10还可以包括一个或多个电子设备，其被配置为控制环境中的其它电子设备。在图1中，例如，示出用户14持有通用远程控制发送器32。通用远程控制发送器可以被配置为将适当的控制信号(红外、无线电、蓝牙等)发送到环境中的远程可控制设备，例如，显示器16、AV接收器22、电缆盒24、室内照明系统26、恒温器28、智能手机30和/或计算设备20等。在一些实施例中，还可以将其它设备(例如，移动计算设备30)用作控制器设备。如上所述，本文公开的实施例允许用户14仅仅通过凝视电子设备来选择要控制的电子设备。为此，计算机系统20包括对远程可控制电子设备在环境10中位于何处进行定义的数据。在一些实施例中，可以通过环境成像系统获取至少一部分该数据。在其它实施例中，可以通过用户输入获取该数据，如下所述。此外，计算机系统20可以包括这样的数据，其用于对控制器设备的用户接口进行适配以允许用户经由控制器设备方便地控制远程可控制设备。在图示实施例中，响应于在电缆盒(cable box)处检测到用户的凝视而显示电缆盒24的用户接口。在其它例子中，计算设备可以将远程控制32、智能手机30或其它适当的控制器设备的用户接口适配为可用于控制不同的远程可控制设备。在一些实施例中，环境成像系统可以包括深度摄像机或色彩摄像机。例如，其可以共享视觉系统38的图像捕捉部件，和/或可以在环境中包括其它图像捕捉设备(未示出)。在一些实施例中，环境成像系统可以由用户握持在手中并行走穿过所述环境，以对远程可控制设备进行成像。在其它实施例中，环境成像系统可以纳入到用户穿戴的眼镜或头饰中。位置跟踪部件可以使得能够将由环境成像系统捕捉到的图像数据映射到真实世界坐标。通过对图像数据的下游分析，可以建立各种远程可控制设备的位置并将其存储到在计算机系统20中维护的映射(map)中。所述映射可以通过凝视跟踪部件访问，以确定用户是否正在凝视远程可控制设备的任意一个。尽管环境成像提供了优点，但在一些实施例中该特征可以被省略，并且可以使用替代方法来建立远程可控制设备在环境中的位置。继续，计算机系统20的本质在本公开的不同实施例中可能不同。在一些实施例中，计算机系统可以是视频游戏系统，和/或被配置为播放音乐和/或视频的多媒体系统。在其它实施例中，计算机系统可以是用于因特网浏览和生产力应用的通用计算机系统。计算机系统20可以配置用于任意或全部上述目的，和/或任意其它适当的目的，而不背离本公开的范围。计算机系统20被配置为接受来自一个或多个用户的各种形式的用户输入。这样，用户输入设备(例如，键盘、鼠标、触摸屏、游戏垫或控制杆控制器(图中未示出))可以可操作地耦合到计算机系统，并用于直接输入数据。计算机系统20还被配置为接受来自一个或多个用户的所谓的自然用户输入(NUI)。为了传达(mediate)NUI，NUI系统36包含于计算机系统中。NUI系统被配置为捕捉NUI的各种方面，并向计算机系统提供对应的可行动(actionable)的输入。为此，NUI系统从外围传感部件接收低级输入，所述外围传感部件可以包括视觉系统38和听觉系统40，以及其它(例如，被配置为对环境成像的其它摄像机)。听觉系统40可以包括一个或多个麦克风，以拾取来自用户14和来自环境10中其它来源(例如，响铃电话、流送音频)的发声和其它可听输入，并可以包括一个或多个麦克风。在一些例子中，听觉系统40可以包括有向麦克风阵列。视觉系统38被配置为经由通过视觉系统获取的图像数据来检测输入，例如，用户手势、眼睛位置和其它身体手势和/或姿势信息。在图示实施例中，视觉系统和听觉系统共享共同外壳；在其它实施例中，它们可以是分离的部件。在其它实施例中，视觉系统、听觉系统和NUI系统可以集成在计算机系统内。计算机系统及其外围传感部件可以经由图中示出的有线通信链路耦合，或以任意其它适当方式。图2是在示例性环境中的计算机系统20和外围系统的方面的高级示意图。图示计算机系统包括操作系统(OS)42，其可以在软件和/或固件中实例化。计算机系统还可以包括一个或多个应用44，例如，视频游戏应用、数字媒体播放器、互联网浏览器、照片编辑器、文字处理器和/或电子表格应用。计算机系统20、视觉系本文档来自技高网...

【技术保护点】
在包括凝视方向检测器的计算系统上，一种用于进行基于凝视的远程设备控制的方法，所述方法包括：经由来自所述凝视方向检测器的数据，检测用户的凝视方向；检测来自所述用户的对位于所述凝视方向的远程能够控制的设备进行控制的指示；对控制器设备的用户界面进行适配，以使得能够对所述远程能够控制的设备进行用户控制；接收来自所述用户的输入，所述用户经由凝视方向与所述控制器设备的用户界面进行交互；以及基于接收到的所述输入，将信号发送到所述远程能够控制的设备，以控制所述远程能够控制的设备。

【技术特征摘要】
【国外来华专利技术】2014.03.12 US 14/207,2551.在包括凝视方向检测器的计算系统上，一种用于进行基于凝视的远程设备控制的方法，所述方法包括：经由来自所述凝视方向检测器的数据，检测用户的凝视方向；检测来自所述用户的对位于所述凝视方向的远程能够控制的设备进行控制的指示；对控制器设备的用户界面进行适配，以使得能够对所述远程能够控制的设备进行用户控制；接收来自所述用户的输入，所述用户经由凝视方向与所述控制器设备的用户界面进行交互；以及基于接收到的所述输入，将信号发送到所述远程能够控制的设备，以控制所述远程能够控制的设备。2.根据权利要求1所述的方法，其中，所述控制器设备包括所述用户能够查看的显示器，并且其中，适配的用户界面被呈现在所述显示器上。3.根据权利要求1所述的方法，其中，对所述远程能够控制的设备进行控制的所述指示包括在所述凝视方向的停留。4.根据权利要求1所述的方法，其中，对所述远程能够控制的设备进行控制的所述指示包括语音。5.根据权利要求1所述的方法，其中，对所述远程能够控制的设备进行控制的所述指示包括手势。6.根据权利要求1所述的方法，还包括：识别所述用户的面部，其中，所述控制器设备的用户界面是基于识别出的面部而被不同地适配的。7.根...

【专利技术属性】
技术研发人员：W·威莱拉特，V·图克拉尔，I·埃登，D·尼斯特，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US