用于改进眼睛跟踪的场景分析制造技术

本申请总体描述了与用于改进眼睛跟踪的场景分析相关的技术。在一些示例中，可从来自面对眼睛的传感器的凝视方向信息得到被检测凝视目标。可通过捕捉并分析来自眼睛可见的场景的数字场景信息来改进被检测凝视目标位置和/或运动。可分析由数字照相机捕捉的数字场景信息以标识潜在凝视目标，诸如静止型凝视目标、移动型凝视目标和/或加速型凝视目标。可将被检测凝视目标修改到被选定凝视目标的位置。

【技术实现步骤摘要】
【专利说明】用于改进眼睛跟踪的场景分析
技术介绍
除非在本文中另外表明，否则本部分中所述的材料对于本申请中的权利要求来说 不是现有技术并且不由于包括在本部分中而被承认是现有技术。 眼睛跟踪系统可包括可跟踪人眼运动的小型照相机。眼睛跟踪具有各种有用且有 趣的应用。例如，眼睛跟踪可被部署在增强现实（AR)应用以及各种医疗和工业应用中。眼 睛跟踪还具有各种潜在的用户界面（UI)应用，诸如允许装置用户凝视来控制选择指针。装 置用户可凝视诸如文件的虚拟对象，按下按钮，然后凝视对象的目的地位置，并释放按钮以 传送该对象。眼睛跟踪还提供了收集用户兴趣和用户活动信息、例如以理解用户是否看过 广告的机会。眼睛跟踪的这些和其它用途提供了许多有趣的可能性。然而，眼睛跟踪技术 仍停留在相对早的开发阶段，并且随着眼睛跟踪成熟，存在许多要解决的挑战。 概述 本公开总体地描述了包括与用于改进眼睛跟踪的场景分析相关的装置、方法和计 算机可读介质的技术。由计算装置执行的一些示例眼睛跟踪方法可包括：从面对眼睛的传 感器接收眼睛凝视方向信息；从数字照相机接收数字场景信息，其中数字照相机可被定向 为从眼睛可见的场景捕捉数字场景信息；基于凝视方向信息来确定数字场景信息内的被检 测凝视目标；分析数字场景信息以标识数字场景信息内的潜在凝视目标，其中潜在凝视目 标可包括例如静止型凝视目标、移动型凝视目标和/或加速型凝视目标；选择潜在凝视目 标；和/或将被检测凝视目标修改到被选定凝视目标的位置。 本公开还公开了具有实施本文中所述的各种技术的指令的计算装置和计算机可 读介质。示例计算机可读介质可包括具有处理器可执行的计算机可执行指令的非暂时性计 算机可读存储介质，这些指令当被处理器执行时使处理器实现本文中所提供的各种方法的 任何组合。示例计算装置可包括例如头戴式装置，这些头戴式装置包括数字照相机、面对眼 睛的传感器和计算装置，该计算装置配备有被配置为实现本文中所提供的各种方法的任何 组合的眼睛跟踪精度提高器。 前述概述仅仅是说明性的，而并不意图以任何方式是限制性的。除了说明性的方 面，上述实施例和特征、另外的方面、实施例和特征将通过参考附图和下面的详细描述而变 得显而易见。【附图说明】 通过结合附图进行的以下描述和所附权利要求，本公开的前述和其它特征将变得 更充分地显而易见。理解，这些附图仅仅描绘了根据本公开的几个实施例，因此，不应被认 为是限制其范围，将通过使用附图来更具体地、更详细地描述本公开，在附图中： 图1是说明被用户佩戴的示例头戴式装置的示图； 图2是说明包括潜在凝视目标、被检测凝视目标和它们的运动的示图；图3是作为合并在头戴式装置内的计算机的一个示例的计算装置的框图； 图4是说明示例眼睛跟踪方法的流程图； 图5是说明示例眼睛跟踪精度提高器的框图； 图6是说明包括潜在凝视目标、被检测凝视目标、被选定凝视目标的场景以及关 于被选定凝视目标的AR信息的示图； 图7是说明包括潜在凝视目标、被检测凝视目标和被选定凝视目标的场景的示 图，其中被选定凝视目标可被用作控制至少一个计算装置功能的用户输入，所有附图都是 依照本文所述的至少一些实施例来安排的。【具体实施方式】 在以下详细描述中，对附图进行参考，所述附图形成详细描述的一部分。除非上下 文另外指示，否则在附图中，相似的符号通常标识相似的部件。在详细描述、附图和权利要 求中描述的说明性实施例并不意味着是限制性的。在不脱离这里所提供的主题的精神或范 围的情况下，可以利用其它实施例，以及可以进行其它改变。将易于理解的是，如在本文中 一般地描述的和在图中示出的那样，本公开的各方面可以以广泛多样的不同配置被布置、 替代、组合和设计，所有这些都被明确地构想并成为本公开的部分。 本公开尤其是针对包括与用于改进眼睛跟踪的场景分析相关的方法、装置、系统 和/或部署在其中的计算机可读介质的技术进行一般性的描写的。在一些示例中，可从来 自面对眼睛的传感器的凝视方向信息得到凝视目标。可通过捕捉并分析来自眼睛可见的场 景的数字场景信息来改进凝视目标位置和/或运动。可分析由数字照相机捕捉的数字场景 信息以标识潜在凝视目标，诸如，举例来说，静止型凝视目标、移动型凝视目标和/或加速 型凝视目标。可将被检测凝视目标修改为包括被选定的潜在凝视目标（在本文中也被称为 "被选定凝视目标"）的位置。 在一些实施例中，本文中所述的技术可被合并到头戴式装置中，所述头戴式装置 诸如，举例来说，G00GLEGLASS?类型的装置。这样的装置可提供例如用户可通过其观看 物理世界的透明镜片。装置还可在镜片上显示数字对象和信息。装置可允许用户（诸如头 戴式装置的佩戴者）选择将显示的数字对象和信息以及与这些对象和信息进行交互。装置 可选地可以例如通过无线地连接到互联网而连接到计算机网络。装置还可包括集成数字照 相机，并且装置可允许用户捕捉通过镜片观看的场景的数字照片和视频。除了示例装置中 可包括的这些和其它特征之外，装置还可合并面对眼睛的传感器，并且可被配备为执行眼 睛跟踪方法，诸如本文中所述的那些方法。 面对眼睛的传感器可包括较高成本、较高精度的传感器或较低成本、较低精度的 传感器。本公开的实施例可涉及任何类型的面对眼睛的传感器。较高成本、较高精度的传 感器可以例如包括捕捉眼睛的高分辨率可见光图像的照相机，并且眼睛跟踪系统可进行相 对多的处理来实现所计算的眼睛位置的较高精度。较低成本、较低精度的传感器可以例如 包括捕捉眼睛的低分辨率红外（IR)光图像的照相机，并且眼睛跟踪系统可进行相对不太 广泛的处理而实现所计算的眼睛位置的相对低的精度。 在眼睛跟踪中存在由难以分辨光滑球体（S卩，眼睛）中的非常小的、低对比度的旋 转而导致的基本困难。一些面对眼睛的传感器和相应的眼睛跟踪系统的一个问题是，适度 强度和对比度的反射IR光导致跳跃的难以分辨的运动，该运动可导致估计不精确的凝视 方向。虽然高分辨率可见光眼睛跟踪系统可能进展更好，但是这样的眼睛跟踪系统使用更 昂贵的面对眼睛的传感器和更多处理能力，并且在低光状况下不会同样地作用。 眼睛跟踪的困难在物理环境、而不是虚拟环境的背景下尤其明显。在物理环境下， 当前技术没有提供关于人眼在所观看的物理场景内感兴趣的点或感兴趣的其它潜在凝视 目标的信息。因此，在一些实施例中，本文中所述的技术可捕捉并分析来自眼睛可见的物理 场景的数字场景信息，标识潜在凝视目标，并使用这样标识的潜在凝视目标来改进从面对 眼睛的传感器得到的凝视目标位置和/或凝视目标运动。 在一些实施例中，眼睛跟踪系统可通过将检测的眼睛跟踪位置、速度和/或加速 度值和与物理世界潜在凝视目标相应的估计眼睛跟踪值进行比较来产生改进的眼睛跟踪 目标估计（在本文中也被称为凝视目标估计）。潜在凝视目标可以例如在物理世界场景的 实时视频中被标识。 潜在凝视目标可以例如通过下述方式被标识，例如，使用对象识别，或者应用各种 图形分析算法中的任何一种来标识潜在凝视目标，或者例如通过标识场景中的对象运动。 实施例随后可确定每个标识的潜在凝视目标的位置值、速度值和/或加速度值，并且可将 这样的确定的值与检测的眼睛跟踪位置值、速度值和/或加速度值进行比较。 实施例可选择适本文档来自技高网...

【技术保护点】
一种眼睛跟踪方法，包括：计算装置从面对眼睛的传感器接收关于至少一只眼睛的凝视方向信息；所述计算装置从数字照相机接收数字场景信息，其中所述数字照相机被定向为从所述至少一只眼睛可见的场景捕捉所述数字场景信息；所述计算装置基于所述凝视方向信息来确定所述数字场景信息内的被检测凝视目标；所述计算装置分析所述数字场景信息以标识所述数字场景信息内的一个或多个潜在凝视目标，其中所述一个或多个潜在凝视目标包括以下中的一个或多个：所述数字场景信息内的静止型凝视目标；所述数字场景信息内的移动型凝视目标；或所述数字场景信息内的加速型凝视目标；所述计算装置在标识的所述一个或多个潜在凝视目标之中选择被选定凝视目标；以及所述计算装置将所述被检测凝视目标修改为包括所述被选定凝视目标的位置。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：E·克鲁格里克，
申请(专利权)人：英派尔科技开发有限公司，
类型：发明
国别省市：美国;US