眼睛注视跟踪制造技术

本发明专利技术提供用于眼睛注视跟踪的方法及系统，其中接收至少一只眼睛的多个图像，且针对所述眼睛的每一图像，识别与所述眼睛的脉管相关联的多个稳定脉管点。基于所述接收到的所述眼睛的图像中的所述所识别的稳定脉管点，确定所述眼睛的注视角。

【技术实现步骤摘要】
【国外来华专利技术】相关申请案的交叉参考本申请案主张2014年2月25日申请且标题为“眼纹注视跟踪(Eyeprint Gaze Tracking)”的第61/944,438号美国临时专利申请案的优先权及权益，所述美国临时专利申请案以全文引用的方式并入本文中。
技术介绍
本专利技术大体上涉及图像分析，且更特定来说，涉及用于实时眼睛注视跟踪的系统及方法。眼睛跟踪是指识别眼睛的注视或移动的过程。近来，眼睛跟踪技术的可得性已导致其在各种领域中的使用激增，例如，用户接口控制、网页设计、广告宣传、汽车工程及许多其它领域。鉴于眼睛跟踪技术的当前及潜在用途的数目，眼睛跟踪技术的准确度及效率的改进对保证眼睛跟踪功能性可易于并入到各种类型的装置(例如，可穿戴式及其它移动装置)中是关键的。
技术实现思路
描述用于基于眼白区域上的可见脉管的位置进行眼睛注视跟踪的系统及方法。用于跟踪的数字图像可来源于作为可穿戴式计算装置或其它装置(例如，智能电话或膝上型计算机)的部分的图像传感器硬件。一方面，一种计算机实施的方法包括：接收至少一只眼睛的多个图像；针对接收到的所述至少一只眼睛的每一图像，识别与所述至少一只眼睛的脉管相关联的多个稳定脉管点；及基于所述接收到的所述至少一只眼睛的图像中的所识别的稳定脉管点确定所述至少一只眼睛的注视角。此方面的其它实施例包含对应系统及计算机程序。在一个实施方案中，所述方法进一步包含：提取所述所识别的稳定脉管点周围的多个特征描述符；及基于所述特征描述符及所识别的稳定脉管点创建多个模板。所述方法可进一步包含：通过将所述模板中的一或多者与一或多个注册模板匹配以确定注视角来确定所述注视角。在另一实施方案中，所述方法进一步包含：基于所述接收到的所述眼睛的图像中的一或多者，识别一或多个稳定的眼周锚点。确定所述注视角可包含：随着时间跟踪所述所识别的稳定脉管点中的一或多者；及基于所述所识别的稳定脉管点中的一或多者相对于所述稳定的眼周锚点中的一或多者的位移确定所述注视角。特定的稳定的眼周锚点可包含眼角及/或眼球外部的其它标志物(例如，鼻梁)。在另外实施方案中，所述方法包含：增强接收到的眼睛的特定图像中的眼白部分的对比度；及/或从接收到的眼睛的特定图像中的眼白部分移除噪声(例如，眼睫毛)。所述方法可进一步包含：基于接收到的眼睛的特定图像，确定眼睛虹膜的近似位置。在附图及下文描述中陈述本说明书中描述的标的物的一或多个实施方案的细节。将从描述、图式及权利要求书明白标的物的其它特征、方面及优点。附图说明在图式中，相似的元件符号大体上是指贯穿不同视图的相似部件。此外，图式不一定是按比例的，而是通常将重点放在说明实施方案的原理上。在以下描述中，参考附图描述各种实施方案，其中：图1是描绘根据实施方案的用于眼睛注视跟踪的系统的实例架构的图。图2到4是描绘根据各种实施方案的用于眼睛注视跟踪的实例方法的流程图。图5到6分别是描绘测量的左眼及右眼的注视角的图。图7描绘对眼睛的图像执行的图像处理技术的实例结果。具体实施方式可使用眼白中的可见脉管的区别性特征跟踪眼睛的移动及/或确定眼睛注视(即，方向点)。举例来说，可通过多个时间实例获得个别人的眼白的图像，且分析所述图像以识别所关注的脉管点及其它眼睛特征。可使用这些特征随着时间的移动或变化以确定个别人在特定的时间点所看向的位置。可见脉管对应于眼白中所见的脉管。眼白具有数个层。巩膜是眼睛中含有胶原蛋白及弹性纤维的大部分不透明纤维状保护层。巩膜由结膜覆盖，结膜具有特别大量的延伸通过其及越过其的血管及静脉。巩膜外层由球结膜覆盖，球结膜是透明薄膜，其与眼睑介接，或在眼睑打开时与环境介接。血管(一般来说，脉管)中的一些，尤其是球结膜及巩膜外层中的血管，是可见的，且可在眼睛的图像中被检测到。图1说明用于眼睛注视跟踪的定位系统的一个实施方案。用户装置100包含图像传感器130、处理器140、存储器150、眼睛跟踪组件160，及系统总线，所述系统总线将包含存储器150的各种系统组件耦合到处理器140。眼睛跟踪组件160可包含硬件及/或软件模块，其对由图像传感器130捕获的图像执行操作。举例来说，眼睛跟踪组件160可处理及分析眼睛图像以识别脉管点、提取所关注点周围的特征描述符、基于脉管点及特征创建模板，及随着时间基于模板确定眼睛的移动。由眼睛跟踪组件160提供的功能性可包含用于下文进一步描述的注视跟踪的各种方法。使用与用户装置100相关联的图像传感器130(例如，摄像机)捕获用户眼睛的图像。用户装置100可包含(例如)可穿戴式装置及/或移动装置。用户装置100的实例可包含(但不限于)智能电话、智能手表、智能眼镜、平板计算机、膝上型计算机、游戏装置、掌上计算机、便携式计算机、电视机、个人数字助理、无线装置、工作站或操作为通用计算机或可执行本文中描述的功能性的专用硬件装置的其它计算装置。通过说明，摄像机可为数字摄像机、三维(3D)摄像机或光场传感器。在一些实施方案中，摄像机可为具有眼镜形状因子的可穿戴式装置中的面向内的模块，且所述摄像机可用于捕获眼白的图像。在一些实施方案中，可穿戴式装置上的各个位置处的多个摄像机可一起使用以捕获两只眼睛的眼白。可以静止模式或视频模式捕获图像。当用户看向左或右时，此可将较大的眼白区域暴露到虹膜的右侧或左侧以用于捕获数据，而当用户向前看向摄像机时，此可将两个较小的眼白片段提供到每只眼睛中的虹膜的左侧及右侧。在一些实施方案中，修剪所获取的图像以获得一或多只眼睛的RGB图像。因此，如本文中使用，“图像”或“捕获的图像”也都可指经修剪的眼睛的RGB图像。非常适于基于眼睛的图像识别特征的技术可在以下专利案中找到：2013年2月5日发布且标题为“用于生物认证的纹理特征(Texture Feature for Biometric Authentication)”的第8,369,595号美国专利案；及2014年5月9日申请且标题为“生物认证的特征提取及匹配(Feature Extraction and Matching for Biometric Authentication)”的第14/274,385号美国专利申请案，所述美国专利案以全文引用的方式并入本文中。举例来说，图像锐化技术可有助于有效的特征检测。脉管点检测(VPD)技术可检测来自眼睛的可见脉管的所关注的点，且扩展的多半径局部二值模式的模式直方图(PH-EMR-LBP)、增强的多半径局部二值模式(EMR-LBP)、增强的多半径中心对称局部二值模式(EMR-CS-LBP)，及/或扩展的多半径中心对称局部二值模式的模式直方图(PH-EMR-CS-LBP)可有效提供脉管的所关注点周围的图像的部分的特征描述。可见脉管被围封于巩膜掩模中，其可为包含眼白且从眼睛图像排除眼白周围的图像部分的二值图像掩模。匹配技术可通过使用异常值检测改进基于距离或相关性的匹配的效率及/或精确度。并入的参考文献中描述的技术还允许创建、更新及匹配从参考图像导出的模板(其包含(例如)通常用于生物认证的注册及验证模板)。特定模板可包含一些关注点(例如，脉管点)以及对应特征描述符。本文中描述的系统的实施方案可使用适当的硬件或软件；举例来说，系统可执行于能够运行例如Microsoft操作系本文档来自技高网...

【技术保护点】
一种计算机实施的方法，其包括：接收至少一只眼睛的多个图像；对于接收到的所述至少一只眼睛的每一图像，识别与所述至少一只眼睛的脉管相关联的多个稳定的脉管点；及基于所述接收到的所述至少一只眼睛的图像中所述所识别的稳定的脉管点确定所述至少一只眼睛的注视角。

【技术特征摘要】
【国外来华专利技术】2014.02.25 US 61/944,4381.一种计算机实施的方法，其包括：接收至少一只眼睛的多个图像；对于接收到的所述至少一只眼睛的每一图像，识别与所述至少一只眼睛的脉管相关联的多个稳定的脉管点；及基于所述接收到的所述至少一只眼睛的图像中所述所识别的稳定的脉管点确定所述至少一只眼睛的注视角。2.根据权利要求1所述的方法，其进一步包括：提取所述所识别的稳定的脉管点周围的多个特征描述符；及基于所述特征描述符及所识别的稳定的脉管点创建多个模板。3.根据权利要求2所述的方法，其中确定所述注视角包括：使所述模板中的一或多者与一或多个注册模板匹配以确定所述注视角。4.根据权利要求1所述的方法，其进一步包括：基于所述接收到的所述至少一只眼睛的图像中的一或多者识别一或多个稳定的眼周锚点。5.根据权利要求4所述的方法，其中确定所述注视角包括：随着时间跟踪所述所识别的稳定的脉管点中的一或多者；及基于所述所识别的稳定的脉管点中的一或多者相对于所述稳定的眼周锚点中的一或多者的位移确定所述注视角。6.根据权利要求5所述的方法，其中特定的稳定的眼周锚点包括所述至少一只眼睛的眼角。7.根据权利要求5所述的方法，其中所述所识别的稳定的脉管点包括左眼及右眼上的稳定的脉管点，且其中所述稳定的眼周锚点包括相对于所述左眼及所述右眼的稳定眼周锚点。8.根据权利要求1所述的方法，其进一步包括：增强接收到的所述至少一只眼睛的特定图像中所述至少一只眼睛的眼白部分的对比度；及从接收到的所述至少一只眼睛的特定图像中的所述至少一只眼睛的眼白部分移除噪声。9.根据权利要求8所述的方法，其中所述噪声包括眼睫毛。10.根据权利要求1所述的方法，其进一步包括：基于接收到的所述至少一只眼睛的特定图像确定所述至少一只眼睛的虹膜的近似位置。11.一...

【专利技术属性】
技术研发人员：左使·K·萨里帕勒，R·R·德拉赫沙尼，维卡斯·格特木库拉，
申请(专利权)人：眼验股份有限公司，
类型：发明
国别省市：美国;US