使用瞳孔中心位置的映射进行注视跟踪制造技术

由相机(302)捕获眼睛(100)的图像。对于这些图像中的每个图像，获得注视数据(402)，并且估算(403)该图像中瞳孔中心(103)的位置。该注视数据指示当捕获该图像时该眼睛(100)的注视点(111)和/或注视方向(107)。使用所获得的注视数据和瞳孔中心的估算位置来校准(404)映射(510，520，530)。该映射将由该相机捕获的图像(501)中瞳孔中心的位置映射到一表面(512，522)上的注视点(511，521)，或映射到注视方向(531)。由该相机捕获该眼睛的另一图像。估算(406)该另一图像中瞳孔中心的位置。使用经校准的映射和该另一图像中瞳孔中心的估算位置来执行(407)注视跟踪。这些步骤可以例如在HMD(1501)上被执行。

Gaze tracking using the mapping of pupil center position

【技术实现步骤摘要】
使用瞳孔中心位置的映射进行注视跟踪
本公开总体上涉及注视跟踪。
技术介绍
已经形成了用于监测用户正在看向哪个方向(或显示器上的哪个点)的不同技术。这通常被称为注视跟踪或眼睛跟踪。通常采用一个或多个相机来捕获用户眼睛的图像。采用图像处理来检测图像中的眼睛的各种特征(例如，瞳孔中心和照明器在角膜处的反射)。然后，采用这些检测到的特征来估算用户正在看向何处。例如可以采用注视跟踪以允许用户通过眼睛移动来控制计算机(或某个其他类型的系统)，或者可以采用注视跟踪来提升头戴式装置(如头戴式显示器(HMD))中的虚拟现实(VR)体验。注视跟踪的准确性和精度对于提供良好的用户体验可能很重要。图像中的噪声可能会影响注视跟踪性能。可能会影响注视跟踪性能的另一个问题是，在某些注视角下，可能难以检测由(多个)相机捕获的图像中的特征。诸如瞳孔中心和/或角膜反射(也称为闪光)等特征可能例如难以在某些图像中准确地检测到。这可能会对注视跟踪性能产生负面影响。解决该问题的一种方法是在注视跟踪系统中配备相对于用户头部布置在适当位置的附加相机和照明器，以确保相机和照明器可用于尽可能多的注视角。然而，这种附加设备可能增加注视跟踪系统的成本，并且可能占据本该被用于注视跟踪设备以外的其他部件占据的空间。希望提供新的方法来解决上述问题中的一个或多个问题。
技术实现思路
提供了具有在独立权利要求中定义的特征的方法、系统和计算机可读存储介质，以解决上述问题中的一个或多个问题。在从属权利要求中定义了优选的实施例。因此，第一方面提供了注视跟踪方法的实施例。该注视跟踪方法包括：获得由相机捕获的一组眼睛图像。针对来自该组图像的每个图像，该注视跟踪方法包括：获得注视数据，该注视数据指示当捕获该图像时眼睛正在注视的点和/或当捕获该图像时眼睛正在注视的方向，并估算该图像中眼睛瞳孔中心的位置。该注视跟踪方法包括：使用所获得的注视数据和瞳孔中心的估算位置来校准映射。该映射适于将由该相机捕获的图像中的眼睛瞳孔中心的位置映射到某一表面上的眼睛注视点、或映射到眼睛的某些注视方向。该注视跟踪方法包括：获得由该相机捕获的另一眼睛图像；估算该另一图像中瞳孔中心的位置；以及使用经校准的映射和该另一图像中瞳孔中心的估算位置来执行注视跟踪。基于瞳孔中心角膜反射(PCCR)的注视跟踪已广泛用于远程注视跟踪和对诸如虚拟现实(VR)头戴式设备或增强现实(AR)头戴式设备等头戴式装置的注视跟踪。在对头戴式装置的注视跟踪中，基于PCCR的方法通常会在大注视角时提供比小注视角时更低的准确性和精度，这主要是由于检测图像中的角膜反射时产生的噪声。在对头戴式装置的注视跟踪中，头戴式设备和安装在其上的相机通常完全静止，并且瞳孔的移动反映了眼球和注视方向的移动。因此，瞳孔中心的位置对于估算注视很有用。换言之，如上文关于根据第一方面的方法的实施例描述的，注视跟踪可以使用经校准的映射和图像中瞳孔中心的估算位置来执行。例如，这种注视跟踪可以用作基于PCCR的注视跟踪的替代或补充，以针对至少一些注视角或在基于PCCR的注视跟踪不太可靠的情况下改善注视跟踪性能(诸如准确性和/或精度)。上文提到的一些问题可能发生在远程注视跟踪中，并且因此本专利技术同样适用于远程注视跟踪。第二方面提供了注视跟踪系统的实施例，该注视跟踪系统包括被配置成获得由相机捕获的一组眼睛图像的处理电路系统(或一个或多个处理器)。针对来自该组图像的每个图像，该处理电路系统被配置成：获得注视数据，该注视数据指示当捕获该图像时眼睛正在注视的点和/或当捕获该图像时眼睛正在注视的方向，并估算该图像中眼睛瞳孔中心的位置。该处理电路系统被配置成：使用所获得的注视数据和瞳孔中心的估算位置来校准映射。该映射适于将由该相机捕获的图像中眼睛瞳孔中心的位置映射到某一表面上的眼睛注视点、或映射到眼睛的注视方向。该处理电路系统被配置成：获得由该相机捕获的另一眼睛图像；估算该另一图像中瞳孔中心的位置；并且使用经校准的映射和该另一图像中瞳孔中心的估算位置来执行注视跟踪。该处理电路系统(或一个或多个处理器)可以例如被配置成执行如本文(换言之，在权利要求、
技术实现思路
或具体实施方式中)所披露的第一方面的任何实施例中所定义的方法。该系统例如可以包括存储有指令的一个或多个非暂时性计算机可读存储介质(或一个或多个存储器)，这些指令在由该处理电路系统(或一个或多个处理器)执行时使该注视跟踪系统执行如本文所披露的第一方面的任何实施例中所定义的方法。在本公开内容中针对根据第一方面的方法的实施例呈现的效果和/或优点同样可以适用于根据第二方面的系统的相应实施例。第三方面提供了存储有指令的非暂时性计算机可读存储介质的实施例，这些指令当由注视跟踪系统执行时使该注视跟踪系统执行以下操作：a)获得由相机捕获的眼睛的一组图像；b)针对该组图像中的每个图像：-获得注视数据，该注视数据指示当捕获该图像时眼睛正在注视的点和/或当捕获该图像时眼睛正在注视的方向，并且-估算该图像中眼睛瞳孔中心的位置；c)使用所获得的注视数据和瞳孔中心的估算位置来校准映射，其中，该映射适于将由该相机捕获的图像中眼睛瞳孔中心的位置映射到：-眼睛在某一表面上的注视点，或-眼睛的注视方向；d)获得由该相机捕获的眼睛的另一图像；e)估算该另一图像中瞳孔中心的位置；并且f)使用经校准的映射和该另一图像中瞳孔中心的估算位置来执行注视跟踪。该非暂时性计算机可读存储介质可以例如存储有指令，这些指令当由注视跟踪系统(或由包括在该注视跟踪系统中的处理电路系统)执行时使该注视跟踪系统执行如本文(换言之，在权利要求、
技术实现思路
或具体实施方式中)所披露的第一方面的任何实施例中所定义的方法。可以例如在计算机程序产品中提供该非暂时性计算机可读存储介质。换言之，计算机程序产品可以例如包括存储有指令的非暂时性计算机可读存储介质，这些指令当由该注视跟踪系统执行时使该注视跟踪系统执行如本文所披露的第一方面的任何实施例中所定义的方法。在本公开内容中针对根据第一方面的方法的实施例呈现的效果和/或优点同样可以适用于根据第三方面的非暂时性计算机可读存储介质的相应实施例。注意，本公开内容的实施例涉及权利要求中叙述的特征的所有可能组合。附图说明在下文中，将参考附图更详细地描述示例实施例，在附图中：图1是眼睛的正视图；图2是从眼睛的侧部观察得到的图1的眼睛的截面视图；图3是根据实施例的注视跟踪系统的示意性概览图；图4是根据实施例的注视跟踪方法的流程图；图5展示了根据一些实施例的可以在图4的方法中采用的示例映射；图6示出了根据实施例的可以在图4的方法中采用的已知刺激点的图案；图7示出了眼睛视野中的不同区域；图8是根据实施例的涉及针对图7中的不同区域的不同类型注视跟踪的注视跟踪方法的流程图；图9是根据实施例的涉及用于注视跟踪的映射校正的注视跟踪方法的流程图；图10是根据一些本文档来自技高网...

【技术保护点】
1.一种注视跟踪方法(400)，包括：/n获得(401)由相机(302)捕获的眼睛(100)的一组图像；/n针对来自所述一组图像的每个图像：/n获得(402)注视数据，所述注视数据指示当捕获所述图像时所述眼睛正在注视的点(111)和/或当捕获所述图像时所述眼睛正在注视的方向(107)，以及/n估算(403)在所述图像中所述眼睛的瞳孔(102)的中心(103)的位置；/n使用所获得的所述注视数据和所述瞳孔的中心的估算位置来校准(404)映射(510，520，530)，其中，所述映射适于将由所述相机捕获的图像(501)中所述眼睛的所述瞳孔的中心的位置映射到：/n所述眼睛在表面(512，522)上的注视点(511，521)，或/n所述眼睛的注视方向(531)；获得(405)由所述相机捕获的所述眼睛的另一图像；估算(406)所述另一图像中所述瞳孔的中心的位置；以及/n使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置来执行(407)注视跟踪。/n

【技术特征摘要】
20181031 SE 1851354-91.一种注视跟踪方法(400)，包括：
获得(401)由相机(302)捕获的眼睛(100)的一组图像；
针对来自所述一组图像的每个图像：
获得(402)注视数据，所述注视数据指示当捕获所述图像时所述眼睛正在注视的点(111)和/或当捕获所述图像时所述眼睛正在注视的方向(107)，以及
估算(403)在所述图像中所述眼睛的瞳孔(102)的中心(103)的位置；
使用所获得的所述注视数据和所述瞳孔的中心的估算位置来校准(404)映射(510，520，530)，其中，所述映射适于将由所述相机捕获的图像(501)中所述眼睛的所述瞳孔的中心的位置映射到：
所述眼睛在表面(512，522)上的注视点(511，521)，或
所述眼睛的注视方向(531)；获得(405)由所述相机捕获的所述眼睛的另一图像；估算(406)所述另一图像中所述瞳孔的中心的位置；以及
使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置来执行(407)注视跟踪。


2.如权利要求1所述的方法，其中，来自所述一组图像的某图像是当所述眼睛正在注视刺激点(601)时捕获的，并且其中，针对所述图像获得的注视数据指示所述刺激点的已知位置和/或从所述眼睛朝向所述刺激点的已知方向。


3.如前述权利要求中任一项所述的方法，其中，所述映射适于将由所述相机捕获的图像中所述眼睛的所述瞳孔的中心的位置映射到所述眼睛在平面(512)上的注视点。


4.如前述权利要求中任一项所述的方法，其中，所述映射适于将由所述相机捕获的图像中所述眼睛的所述瞳孔的中心的位置映射到所述眼睛在所述表面上的注视点，并且其中，所获得的注视数据指示当捕获所述图像时所述眼睛在所述表面上正在注视的点。


5.如前述权利要求中任一项所述的方法，包括：
估算(801)所述眼睛是否朝向所述眼睛的视野的中央区域(701)；以及
响应于所述眼睛正朝向所述中央区域之外的区域(702)，输出(802)通过使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置执行注视跟踪而确定的注视数据。


6.如前述权利要求中任一项所述的方法，包括：
估算(801)所述眼睛是否朝向所述眼睛的视野的中央区域(701)；以及
响应于所述眼睛正朝向所述中央区域，输出(804)通过执行(803)第二类型的注视跟踪而确定的注视数据，所述第二类型的注视跟踪与使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置的注视跟踪不同。


7.如前述权利要求中任一项所述的方法，包括：
执行(901)第二类型的注视跟踪，所述第二类型的注视跟踪与使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置的注视跟踪不同；
估算(902)所述眼睛是否朝向所述眼睛的视野的中央区域(701)；以及
响应于所述眼睛正朝向所述中央区域，基于经由所述第二类型的注视跟踪获得的注视数据对所述映射应用(903)校正。


8.如权利要求7所述的方法，其中，所述第二类型的注视跟踪使用所述另一图像中照明器(301)在所述眼睛的角膜(101)处的反射(112)的估算位置以及所述另一图像中所述瞳孔的中心的估算位置。


9.如权利要求5至8中任一项所述的方法，其中，所述另一图像是在用照明器(301)照射所述眼睛时捕获的，其中，所述方法包括：
估算(1001)所述另一图像中所述照明器在所述眼睛的角膜(101)处的反射(112)的位置；以及
估算(1002)所述另一图像中所述眼睛的所述瞳孔的中心的位置，
其中，估算所述眼睛是否朝向所述中央区域是使用所述另一图像中所述照明器的所述反射的估算位置和所述瞳孔的中心的估算位置来执行的。


10.如权利要求9所述的方法，包括：
响应于所述眼睛正朝向所述中央区域，输出通过使用所述另一图像中所述照明器的所述反射的估算位置和所述瞳孔的中心的估算位置执行注视跟踪而确定的注视数据。


11.如权利要求5至10中任一项所述的方法，其中，所述中央区域对应于小于阈值的注视角(703)，例如，小于25度的注视角、或小于10度的注视角、或小于5度的注视角。


12.如前述权利要求中任一项所述的方法，其中，使用经校准的映射和所述另一图像中所述瞳孔的中心的估算位置来执行注视跟踪包括：
对所述映射应用径向校正，其中，所述径向校正涉及使用校正函数，其中，所述校正函数的大小取决于所述眼睛的注视角(703)。


13.如权利要求12所述的方法，包括：在对所述映射应用径向校正之前：
获得...

【专利技术属性】
技术研发人员：王铁生，吉尔弗雷多·雷蒙·萨拉扎，王一木，普拉文·库马尔·拉娜，马克·安斯利·莱恩，约翰内斯·克朗，托尔比约恩·桑德伯格，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：瑞典;SE