用于改进眼睛跟踪的场景分析制造技术

本申请总体描述了与用于改进眼睛跟踪的场景分析相关的技术。在一些示例中，可从来自面对眼睛的传感器的凝视方向信息得到被检测凝视目标。可通过捕捉并分析来自眼睛可见的场景的数字场景信息来改进被检测凝视目标位置和/或运动。可分析由数字照相机捕捉的数字场景信息以标识潜在凝视目标，诸如静止型凝视目标、移动型凝视目标和/或加速型凝视目标。可将被检测凝视目标修改到被选定凝视目标的位置。

【技术实现步骤摘要】
用于改进眼睛跟踪的场景分析本申请为于2015年8月7日提交的专利技术名称为“用于改进眼睛跟踪的场景分析”、申请号为201510483043.4的中国专利申请的分案申请。
技术介绍
除非在本文中另外表明，否则本部分中所述的材料对于本申请中的权利要求来说不是现有技术并且不由于包括在本部分中而被承认是现有技术。眼睛跟踪系统可包括可跟踪人眼运动的小型照相机。眼睛跟踪具有各种有用且有趣的应用。例如，眼睛跟踪可被部署在增强现实(AR)应用以及各种医疗和工业应用中。眼睛跟踪还具有各种潜在的用户界面(UI)应用，诸如允许装置用户凝视来控制选择指针。装置用户可凝视诸如文件的虚拟对象，按下按钮，然后凝视对象的目的地位置，并释放按钮以传送该对象。眼睛跟踪还提供了收集用户兴趣和用户活动信息、例如以理解用户是否看过广告的机会。眼睛跟踪的这些和其它用途提供了许多有趣的可能性。然而，眼睛跟踪技术仍停留在相对早的开发阶段，并且随着眼睛跟踪成熟，存在许多要解决的挑战。概述本公开总体地描述了包括与用于改进眼睛跟踪的场景分析相关的装置、方法和计算机可读介质的技术。由计算装置执行的一些示例眼睛跟踪方法可包括：从面对眼睛的传感器接收眼睛凝视方向信息；从数字照相机接收数字场景信息，其中数字照相机可被定向为从眼睛可见的场景捕捉数字场景信息；基于凝视方向信息来确定数字场景信息内的被检测凝视目标；分析数字场景信息以标识数字场景信息内的潜在凝视目标，其中潜在凝视目标可包括例如静止型凝视目标、移动型凝视目标和/或加速型凝视目标；选择潜在凝视目标；和/或将被检测凝视目标修改到被选定凝视目标的位置。本公开还公开了具有实施本文中所述的各种技术的指令的计算装置和计算机可读介质。示例计算机可读介质可包括具有处理器可执行的计算机可执行指令的非暂时性计算机可读存储介质，这些指令当被处理器执行时使处理器实现本文中所提供的各种方法的任何组合。示例计算装置可包括例如头戴式装置，这些头戴式装置包括数字照相机、面对眼睛的传感器和计算装置，该计算装置配备有被配置为实现本文中所提供的各种方法的任何组合的眼睛跟踪精度提高器。前述概述仅仅是说明性的，而并不意图以任何方式是限制性的。除了说明性的方面，上述实施例和特征、另外的方面、实施例和特征将通过参考附图和下面的详细描述而变得显而易见。附图说明通过结合附图进行的以下描述和所附权利要求，本公开的前述和其它特征将变得更充分地显而易见。理解，这些附图仅仅描绘了根据本公开的几个实施例，因此，不应被认为是限制其范围，将通过使用附图来更具体地、更详细地描述本公开，在附图中：图1是说明被用户佩戴的示例头戴式装置的示图；图2是说明包括潜在凝视目标、被检测凝视目标和它们的运动的示图；图3是作为合并在头戴式装置内的计算机的一个示例的计算装置的框图；图4是说明示例眼睛跟踪方法的流程图；图5是说明示例眼睛跟踪精度提高器的框图；图6是说明包括潜在凝视目标、被检测凝视目标、被选定凝视目标的场景以及关于被选定凝视目标的AR信息的示图；图7是说明包括潜在凝视目标、被检测凝视目标和被选定凝视目标的场景的示图，其中被选定凝视目标可被用作控制至少一个计算装置功能的用户输入，所有附图都是依照本文所述的至少一些实施例来安排的。具体实施方式在以下详细描述中，对附图进行参考，所述附图形成详细描述的一部分。除非上下文另外指示，否则在附图中，相似的符号通常标识相似的部件。在详细描述、附图和权利要求中描述的说明性实施例并不意味着是限制性的。在不脱离这里所提供的主题的精神或范围的情况下，可以利用其它实施例，以及可以进行其它改变。将易于理解的是，如在本文中一般地描述的和在图中示出的那样，本公开的各方面可以以广泛多样的不同配置被布置、替代、组合和设计，所有这些都被明确地构想并成为本公开的部分。本公开尤其是针对包括与用于改进眼睛跟踪的场景分析相关的方法、装置、系统和/或部署在其中的计算机可读介质的技术进行一般性的描写的。在一些示例中，可从来自面对眼睛的传感器的凝视方向信息得到凝视目标。可通过捕捉并分析来自眼睛可见的场景的数字场景信息来改进凝视目标位置和/或运动。可分析由数字照相机捕捉的数字场景信息以标识潜在凝视目标，诸如，举例来说，静止型凝视目标、移动型凝视目标和/或加速型凝视目标。可将被检测凝视目标修改为包括被选定的潜在凝视目标(在本文中也被称为“被选定凝视目标”)的位置。在一些实施例中，本文中所述的技术可被合并到头戴式装置中，所述头戴式装置诸如，举例来说，GOOGLE类型的装置。这样的装置可提供例如用户可通过其观看物理世界的透明镜片。装置还可在镜片上显示数字对象和信息。装置可允许用户(诸如头戴式装置的佩戴者)选择将显示的数字对象和信息以及与这些对象和信息进行交互。装置可选地可以例如通过无线地连接到互联网而连接到计算机网络。装置还可包括集成数字照相机，并且装置可允许用户捕捉通过镜片观看的场景的数字照片和视频。除了示例装置中可包括的这些和其它特征之外，装置还可合并面对眼睛的传感器，并且可被配备为执行眼睛跟踪方法，诸如本文中所述的那些方法。面对眼睛的传感器可包括较高成本、较高精度的传感器或较低成本、较低精度的传感器。本公开的实施例可涉及任何类型的面对眼睛的传感器。较高成本、较高精度的传感器可以例如包括捕捉眼睛的高分辨率可见光图像的照相机，并且眼睛跟踪系统可进行相对多的处理来实现所计算的眼睛位置的较高精度。较低成本、较低精度的传感器可以例如包括捕捉眼睛的低分辨率红外(IR)光图像的照相机，并且眼睛跟踪系统可进行相对不太广泛的处理而实现所计算的眼睛位置的相对低的精度。在眼睛跟踪中存在由难以分辨光滑球体(即，眼睛)中的非常小的、低对比度的旋转而导致的基本困难。一些面对眼睛的传感器和相应的眼睛跟踪系统的一个问题是，适度强度和对比度的反射IR光导致跳跃的难以分辨的运动，该运动可导致估计不精确的凝视方向。虽然高分辨率可见光眼睛跟踪系统可能进展更好，但是这样的眼睛跟踪系统使用更昂贵的面对眼睛的传感器和更多处理能力，并且在低光状况下不会同样地作用。眼睛跟踪的困难在物理环境、而不是虚拟环境的背景下尤其明显。在物理环境下，当前技术没有提供关于人眼在所观看的物理场景内感兴趣的点或感兴趣的其它潜在凝视目标的信息。因此，在一些实施例中，本文中所述的技术可捕捉并分析来自眼睛可见的物理场景的数字场景信息，标识潜在凝视目标，并使用这样标识的潜在凝视目标来改进从面对眼睛的传感器得到的凝视目标位置和/或凝视目标运动。在一些实施例中，眼睛跟踪系统可通过将检测的眼睛跟踪位置、速度和/或加速度值和与物理世界潜在凝视目标相应的估计眼睛跟踪值进行比较来产生改进的眼睛跟踪目标估计(在本文中也被称为凝视目标估计)。潜在凝视目标可以例如在物理世界场景的实时视频中被标识。潜在凝视目标可以例如通过下述方式被标识，例如，使用对象识别，或者应用各种图形分析算法中的任何一种来标识潜在凝视目标，或者例如通过标识场景中的对象运动。实施例随后可确定每个标识的潜在凝视目标的位置值、速度值和/或加速度值，并且可将这样的确定的值与检测的眼睛跟踪位置值、速度值和/或加速度值进行比较。实施例可选择适当的潜在凝视目标，该目标包括基本上与检测的眼睛跟踪位置值、速度值和/本文档来自技高网...

【技术保护点】
1.一种眼睛跟踪方法，包括：计算装置从面对眼睛的传感器接收关于至少一只眼睛的凝视方向信息；所述计算装置从数字照相机接收数字场景信息，其中所述数字照相机被定向为从所述至少一只眼睛可见的场景捕捉所述数字场景信息；所述计算装置分析所述数字场景信息以标识所述数字场景信息内的一个或多个潜在凝视目标；所述计算装置将所述一个或多个潜在凝视目标的位置转换为估计凝视方向；以及所述计算装置将来自所述面对眼睛的传感器的所述凝视方向信息与对应于所述一个或多个潜在凝视目标的所述位置的估计凝视方向进行比较，以便从所述一个或多个标识出的潜在凝视目标中选择凝视目标。

【技术特征摘要】
2014.08.13 US 14/458,5771.一种眼睛跟踪方法，包括：计算装置从面对眼睛的传感器接收关于至少一只眼睛的凝视方向信息；所述计算装置从数字照相机接收数字场景信息，其中所述数字照相机被定向为从所述至少一只眼睛可见的场景捕捉所述数字场景信息；所述计算装置分析所述数字场景信息以标识所述数字场景信息内的一个或多个潜在凝视目标；所述计算装置将所述一个或多个潜在凝视目标的位置转换为估计凝视方向；以及所述计算装置将来自所述面对眼睛的传感器的所述凝视方向信息与对应于所述一个或多个潜在凝视目标的所述位置的估计凝视方向进行比较，以便从所述一个或多个标识出的潜在凝视目标中选择凝视目标。2.根据权利要求1所述的眼睛跟踪方法，其中所述凝视方向信息包括角坐标。3.根据权利要求1所述的眼睛跟踪方法，其中对应于所述被选定的凝视目标的估计凝视方向在围绕从所述面对眼睛的传感器接收的所述凝视方向信息的误差边界内。4.根据权利要求1所述的眼睛跟踪方法，其中所述计算装置分析所述数字场景信息以标识所述数字场景信息内的一个或多个潜在凝视目标的步骤包括：在所述数字场景信息内执行对象识别，从而确定包括被识别对象的潜在凝视目标。5.根据权利要求1所述的眼睛跟踪方法，其中所述计算装置分析所述数字场景信息以标识所述数字场景信息内的一个或多个潜在凝视目标的步骤包括：在所述数字场景信息内标识相关图形特征的一个或多个集合，从而确定包括相关图形特征的集合的潜在凝视目标。6.根据权利要求1所述的眼睛跟踪方法，其中所述一个或多个潜在凝视目标包括以下中的一个或多个：所述数字场景信息内的静止型凝视目标；所述数字场景信息内的移动型凝视目标；或所述数字场景信息内的加速型凝视目标。7.根据权利要求6所述的眼睛跟踪方法，还包括：通过所述计算装置对与跟随物理场景中的所述移动型凝视目标或所述加速型凝视目标相关联的眼睛运动进行建模；以及通过所述计算装置将建模眼睛运动与在所述面对眼睛的传感器处检测到的眼睛运动进行比较，以便从所述一个或多个标识出的潜在凝视目标中选择所述凝视目标。8.根据权利要求7所述的眼睛跟踪方法，其中对与跟随所述物理场景中的所述移动型凝视目标或所述加速型凝视目标相关联的眼睛运动进行建模包括应用眼睛机械模型仿真器。9.根据权利要求1所述的眼睛跟踪方法，其中所述计算装置从所述一个或多个标识出的潜在凝视目标中选择所述凝视目标的步骤包括：将权重动态分配给多个潜在凝视目标，并使用动态分配的权重来选择所述凝视目标。10.根据权利要求1所述的眼睛跟踪方法，还包括：所述计算装置基于所述被选定凝视目标来确定用于显示的增强现实信息。11.根据权利要求1所述的眼睛跟踪方法，还包括：所述计算装置应用所述被选定凝视目标作为控制至少一个计算装置功能的用户输入。12.根据权利要求1所述的眼睛跟踪方法，其中所述数字照相机具有默认帧率或默认分辨率中的一个或多个，并且其中所述方法还包括：所述计算装置以降低的帧率、降低的分辨率、提高的帧率或提高的分辨率中的一个或多个操作所述数字照相机，以捕捉所述数字场景信息，其中所述降低的帧率低于所述默认帧率，其中所述降低的分辨率低于所述默认分辨率，其中所述提高的帧率高于所述默认帧率，并且其中所述提高的分辨率高于所述默认分辨率。13.根据权利要求1所述...

【专利技术属性】
技术研发人员：E·克鲁格里克，
申请(专利权)人：英派尔科技开发有限公司，
类型：发明
国别省市：美国,US