公开了涉及基于用户眼睛的飞行时间深度图像数据来追踪用户眼睛的实施例。例如，一个所公开的实施例提供一种眼睛追踪系统，包括光源、配置成使用具有不受约束的基线距离的深度传感器来获取用户眼睛的二维图像和用户眼睛的深度数据的感测子系统、以及逻辑子系统，其配置成控制光源发射光、控制感测子系统获得用户眼睛的二维图像而同时点亮光源、控制感测子系统获得用户眼睛的深度数据、从二维图像确定用户眼睛的凝视方向、基于凝视方向和深度数据确定凝视方向与显示器相交的显示器上的地点、以及输出所述地点。
【技术实现步骤摘要】
【国外来华专利技术】【专利说明】
技术介绍
实时眼睛追踪可以用于估计用户的凝视方向并将其映射到显示设备上的坐标。例如，用户的凝视方向与显示器相交的显示器上的地点可以用作用于与显示器上所显示的用户界面对象交互的机制。可以使用各种眼睛追踪方法。例如，在一些方案中，来自一个或多个光源的光(例如，在红外范围或任何其它适当的频率中)可以朝向用户眼睛定向，并且相机可以用于捕获用户眼睛的图像数据。用户眼睛上的光的反射地点以及眼睛瞳孔的位置可以在图像数据中检测以确定用户凝视的方向。凝视方向信息可以与关于从用户眼睛到显示器的距离的信息组合地使用以确定用户眼睛凝视方向与显示器相交的显示器上的地点。
技术实现思路
公开了涉及利用用户眼睛的飞行时间深度图像数据的眼睛追踪的实施例。例如，一个所公开的实施例提供眼睛追踪系统，包括光源、配置成获取用户眼睛的二维图像和用户眼睛的深度数据的感测子系统、以及逻辑子系统，以控制光源发射光，控制感测子系统在从光源发射光时获得用户眼睛的二维图像，控制感测子系统获得用户眼睛的深度数据，从二维图像确定用户眼睛的凝视方向，基于从深度数据所获取的用户眼睛的深度和凝视方向来确定用户凝视与显示器相交的显示器上的地点，并且输出该地点。提供本
技术实现思路
来以简化形式引入以下在【具体实施方式】中进一步描述的概念的选择。本
技术实现思路
不意图标识所要求保护的主题的关键特征或必要特征，也不意图用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决本公开内容的任何部分中所指出的任何或全部缺点的实现方案。【附图说明】图1A-4示出了示例眼睛追踪场景。图5示出了依照本公开内容的眼睛追踪模块的实施例。图6图示了依照本公开内容的实施例的基于飞行时间深度图像数据的眼睛追踪的示例。图7示出了用于基于飞行时间深度图像数据追踪用户眼睛的方法的实施例。图8示意性地示出了计算系统的实施例。【具体实施方式】如以上描述的，眼睛追踪可以用于基于所估计的凝视与显示设备相交的地点而将用户的凝视映射到显示在显示设备上的用户界面。用户的凝视方向与显示设备相交的地点因而可以充当用于用户界面的用户输入机构。图1A-2A和1B-2B示意性地描绘了其中用户104凝视在显示设备120的不同地点处的示例场景(分别从顶视图和正视图)。显示设备120可以示意性地表示任何适当的显示设备，包括但不限于计算机监视器、移动设备、电视、平板计算机、近眼显示器和可穿戴计算机。用户104包括头部106、具有第一瞳孔110的第一眼睛108、以及具有第二瞳孔116的第二眼睛114，如图1A中所示。第一眼睛凝视方向112指示其中第一眼睛108所凝视的方向，并且第二眼睛凝视方向118指示其中第二眼睛114所凝视的方向。图1A和2A示出了在显示设备120上的第一聚焦地点122处会聚的第一眼睛凝视方向112和第二眼睛凝视方向118。图2A还示出了在第一聚焦地点122处与第一眼睛凝视方向112和第二眼睛凝视方向118相交的第一用户界面对象206。接下来，图1B和2B示出了由于眼睛114和108从朝向显示设备120的左侧的方向到朝向显示设备120的右侧的反向的旋转而在第二聚焦地点124处会聚的第一眼睛凝视方向112和第二眼睛凝视方向118。图2B还示出了在第二聚焦地点124处与第一眼睛凝视方向112和第二眼睛凝视方向118相交的第二用户界面对象208。因而，通过追踪用户的凝视，可以基于用户的凝视与显示设备相交的地点而生成作为用户界面输入的位置信号，由此允许用户至少部分地通过凝视与第一用户界面对象204和第二用户界面对象208交互。眼睛追踪可以以各种方式执行。例如，如上文描述的，从用户眼睛反射的来自经校准光源的闪光连同检测到或估计到的用户眼睛的瞳孔地点一起可以用于确定用户的凝视方向。然后可以估计或检测从用户眼睛到显示设备的距离以确定用户的凝视方向与显示器相交的显示器上的地点。作为一个示例，具有到显示器的固定的或以其它方式已知的关系的立体相机可以用于确定从用户眼睛到显示器的距离。然而，如下文描述的，立体相机可能强加使得其难以在一些环境中使用的几何约束。眼睛追踪可以在各种不同的硬件环境中使用。例如，图3示出了穿戴有被描绘为头部安装式增强现实显示设备的可穿戴计算设备304并且凝视在环境302中的对象306处的用户104。在该示例中，设备304可以包括集成式眼睛追踪系统以追踪用户的凝视并且检测与显示在设备304上的虚拟对象的交互，以及与通过可穿戴计算设备304可观看的背景中的真实世界对象的交互。图4描绘了眼睛追踪硬件环境的另一示例，其中眼睛追踪用于检测用户所凝视的计算机监视器404上的地点。在这些和/或其它硬件设置中，眼睛追踪系统的准确性和稳定性可以取决于从相机平面获取眼睛的距离的准确估计。当前的眼睛追踪系统可以通过使用立体相机对以使用计算机视觉算法估计三维眼睛位置来解决该问题。图4图示了如包括通过基线距离412分离的第一相机406和第二相机408的立体相机配置。图4还图示了可以被点亮而发射光414以用于从眼睛114反射的光源410。用户眼睛的图像(不管是由立体相机图像传感器获得还是由其它(多个)图像传感器获得)可以用于确定来自眼睛114的反射相对于眼睛的瞳孔116的地点以确定眼睛114的凝视方向。另外，来自第一相机406和第二相机408的眼睛的图像可以用于估计眼睛114距显示器402的距离，使得可以确定用户的凝视与显示器相交的地点。然而，第一相机406与第二相机408之间的基线距离412可以在几何上受约束为大于用于用户眼睛114与显示器402之间的距离的准确确定(三角测量)的阈值距离(例如大于10cm)。这可能限制减小这样的眼睛追踪单元的大小的能力，并且可能难以与一些硬件配置一同使用，诸如头部安装式显示器或其它紧凑的显示设备。确定用户眼睛与显示器之间的距离的其它方案可能依赖于单个相机系统并且利用眼睛距离的微弱估计。然而，这样的方案可能导致实际凝视地点与屏幕坐标之间的非稳定映射。相应地，本文公开了涉及在眼睛追踪系统中使用具有不受约束基线距离(S卩，没有最小基线距离，与立体相机布置相对)的深度传感器以获取关于用户眼睛的地点和位置的信息的实施例。这样的深度传感器的一个示例是飞行时间深度相机。飞行时间深度相机利用配置成发射光脉冲的光源，以及配置成快门式的(shuttered)以捕获相对于对应光脉冲定时的时间顺序图像帧的序列的一个或多个图像传感器。深度相机中的图像传感器的每一个像素处的深度，即来自光源的、通过对象反射的光从对象到图像传感器的该像素所行进的有效距离，可以基于每一个顺序图像中的光强度而确定，这是由于从不同深度处的对象所反射的光被捕获在不同顺序图像帧中。因为飞行时间深度相机可以从单个地点获得图像数据而不是像图像传感器的立体对那样从两个地点获得，所以利用飞行时间深度相机的眼睛追踪系统可以不具有如关于立体相机配置所发现的最小基线维度约束。这可以允许眼睛追踪系统在诸如头部安装式显示器、智能电话、平板计算机以及其中用于立体相机眼睛追踪系统的充足空间可能不可用的其它小设备之类的硬件配置中更为容易地利用。具有不受约束基线距离的深度传感器的其它示例可以包括但不限于LIDAR (光检测和测距)以及基于声音传播的方法。图本文档来自技高网...
【技术保护点】
一种眼睛追踪系统，包括：光源；配置成获取用户眼睛的二维图像以及包含用户眼睛的区的飞行时间深度图像数据的图像感测子系统；逻辑子系统，配置成： 控制光源发射光； 控制图像感测子系统获得用户眼睛的二维图像而同时经由光源发射光； 控制图像感测子系统获得用户眼睛的飞行时间深度图像； 从二维图像确定用户眼睛的凝视方向； 基于凝视地点确定凝视方向与显示器相交的地点；以及 输出所述地点。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：D尼斯特，I埃登，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。