【技术实现步骤摘要】
本公开总体涉及眼睛跟踪领域。特别是，本公开涉及基于虹膜检测的眼睛注视跟踪的方法和系统以及用于虹膜检测的方法和系统。
技术介绍
1、在眼睛跟踪应用中，获取用户眼睛的数字图像并分析该数字图像，以估计用户的注视方向。对注视方向的估计可以基于对成像眼睛的特征的计算机图像分析。一种已知的眼睛跟踪的示例方法包括使用红外光和图像传感器。红外光被引导朝向用户的眼睛，图像传感器捕捉该光的反射。
2、便携式或可穿戴式眼睛跟踪装置在之前已有描述。美国专利第9,041,787号和pct专利公布号wo 2019/158709(其全文在此并入作为参考)中描述了这样一种眼睛跟踪系统。其中描述了一种可穿戴眼睛跟踪设备，该设备使用照明装置和相机来确定注视方向。
3、注视估计的目的是寻找眼睛的注视轴(或视轴)。注视轴可被定义为通过中央凹(眼睛后部的视网膜上的一个点)和角膜曲率中心(即眼睛的光学中心)的直线。在pccr(瞳孔中心-角膜反射)方法中，角膜中心和瞳孔中心的位置是使用照明装置、相机和图像处理找到的。穿过角膜中心和瞳孔中心的直线，即瞳孔轴，与视轴并不重合，但它们之间的关系(由中央凹偏移定义)可通过个人校准过程估算出来，在该个人校准过程中，受试者注视已知的刺激点，例如显示屏上的刺激点。校准后，对于每个时帧，瞳孔轴的估计可以被变换为视轴的估计。但在实践中，瞳孔轴和视轴之间的关系对每个受试者来说并不完全固定，而是随着时间的推移而变化，这是由于以下所谓的瞳孔偏心现象造成的：当瞳孔扩大或收缩时，瞳孔中心相对于眼睛的其他部分会略有移动。所公开的系
技术实现思路
1、根据本公开的第一方面，提供了一种用于眼睛注视跟踪的方法，该方法包括:
2、接收用户的眼睛的图像以及与图像相关联的眼睛的角膜中心；
3、从图像中检测眼睛的瞳孔位置；
4、从图像中检测眼睛的虹膜位置；
5、根据角膜中心、虹膜位置的虹膜中心和瞳孔位置的瞳孔中心确定眼睛的注视轴。
6、根据角膜中心、虹膜中心和瞳孔中心确定眼睛的注视轴可包括：
7、根据角膜中心和瞳孔中心确定眼睛的瞳孔轴；
8、通过用变换映射变换瞳孔轴来确定眼睛的注视轴；以及
9、根据虹膜中心和瞳孔中心更新瞳孔轴到注视轴的变换映射。
10、更新变换映射可包括：
11、对于图像，将瞳孔-虹膜偏移计算为瞳孔中心和虹膜中心之间的差异；以及根据图像的瞳孔-虹膜偏移更新变换映射。
12、根据图像的瞳孔-虹膜偏移更新变换映射可包括：
13、根据图像的瞳孔-虹膜偏移和一个或多个先前图像的瞳孔-虹膜偏移的组合来计算变换映射。
14、该组合可包括该图像和一个或多个先前图像的瞳孔-虹膜偏移的低通滤波组合。图像与多个先前图像的瞳孔-虹膜偏移的组合可包括加权组合。每个图像可包含一个权重，其中较新图像的权重高于较晚图像的权重。
15、变换映射可包括:
16、瞳孔-光学变换映射，用于将瞳孔轴变换为眼睛的光轴；以及
17、光轴和注视轴之间的固定几何关系。
18、该方法还可包括接收变换映射。该方法可包括接收固定几何关系。变换映射和固定几何关系可在校准步骤中确定。
19、更新变换映射可包括：
20、根据角膜中心和虹膜中心确定眼睛的光轴；
21、对于图像，计算用于将瞳孔轴变换为光轴的瞳孔-光学变换映射；以及
22、根据图像的瞳孔-光学变换映射和一个或多个先前图像的瞳孔-光学变换映射来更新变换映射。
23、更新变换映射可包括：
24、根据角膜中心和虹膜中心确定眼睛的光轴；
25、通过用于将光轴变换为注视轴的固定几何关系变换光轴，来计算注视轴；
26、对于图像，计算用于将瞳孔轴变换为注视轴的图像变换映射；以及
27、根据图像的图像变换映射和一个或多个先前图像的图像变换映射来更新变换映射。
28、该方法还可包括在校准过程中：
29、接收用户的眼睛的多个校准图像和多个角膜中心，每个角膜中心与相应的校准图像相关联，其中每个校准图像具有已知的注视轴；
30、对于每个校准图像：
31、检测眼睛的瞳孔位置；以及
32、根据角膜中心和瞳孔位置的瞳孔中心确定眼睛的瞳孔轴；
33、检测眼睛的虹膜位置；
34、根据虹膜位置的虹膜中心确定眼睛的光轴；
35、根据每个校准图像的瞳孔轴和已知的注视轴之间的关系来确定变换映射的初始值；以及
36、根据每个校准图像的光轴和已知的注视轴，确定光轴和注视轴之间的固定几何关系。
37、更新变换映射可包括：如果检测到的虹膜位置的测量置信度超过虹膜置信度阈值，则更新变换映射。
38、该方法可包括确定具有相关测量置信度的虹膜位置。根据角膜中心、虹膜中心和瞳孔中心确定眼睛的注视轴可包括：
39、根据虹膜中心计算第一注视值；
40、根据穿过角膜中心和瞳孔中心的瞳孔轴以及从图像中确定的瞳孔半径来计算第二注视值；以及
41、将注视轴确定为第一注视值和第二注视值的加权组合，其中第一注视值和第二注视值的权重基于测量置信度。
42、计算第一注视值可包括:
43、使用角膜中心和虹膜中心确定光轴；以及
44、根据光轴以及光轴与注视轴之间的固定几何关系来确定注视轴。
45、计算第一注视值可包括：
46、根据图像的瞳孔-虹膜偏移和一个或多个先前图像的瞳孔-虹膜偏移的组合来计算变换映射；以及
47、通过用变换映射变换瞳孔轴来确定眼睛的注视轴。
48、计算第二注视值可包括：
49、对于图像，根据瞳孔半径计算用于将瞳孔轴变换为注视轴的瞳孔-注视变换映射；以及
50、根据瞳孔轴和瞳孔-注视变换映射计算注视轴。
51、根据瞳孔半径计算瞳孔-注视变换映射的值可包括通过使用瞳孔偏心模型处理瞳孔半径来计算瞳孔-注视变换映射。瞳孔偏心模型可将瞳孔-注视变换映射建模为依赖于瞳孔半径的线性函数。该方法可包括确定瞳孔-注视变换映射的初始值，该确定作为校准过程的一部分。该方法可包括确定瞳孔半径的初始值，该确定作为校准过程的一部分。该方法可包括确定瞳孔半径与瞳孔-注视变换映射之间的关系的初始值，该确定作为校准过程的一部分。
52、该方法可包括确定具有相关测量置信度的虹膜位置，其中根据光轴和瞳孔轴确定眼睛的注视轴包括：如果测量置信度大于或等于测量置信度阈值，则根据光轴和瞳孔轴确定注视轴。
53、该方法可包括：如果测量置信度小于测量置信度阈值，则根据瞳孔轴确定注视轴。
54、该方法可包括根据以下一个或多个因素确定测量置信度：
55本文档来自技高网...
【技术保护点】
1.一种眼睛注视跟踪方法，所述方法包括：
2.根据权利要求1所述的方法，其中根据所述角膜中心、所述虹膜中心和所述瞳孔中心确定所述眼睛的注视轴包括：
3.根据权利要求2所述的方法，其中更新所述变换映射包括：
4.根据权利要求3所述的方法，其中根据所述图像的所述瞳孔-虹膜偏移更新所述变换映射包括：
5.根据权利要求2至4中任一项所述的方法，其中所述变换映射包括：
6.根据权利要求5所述的方法，还包括在校准过程中：
7.根据权利要求2至6中任一项所述的方法，其中更新所述变换映射包括：如果检测到的虹膜位置的测量置信度超过虹膜置信度阈值，则更新所述变换映射。
8.根据前述任一权利要求所述的方法，包括确定具有相关测量置信度的虹膜位置，其中根据所述角膜中心、所述虹膜中心和所述瞳孔中心确定所述眼睛的所述注视轴包括：
9.根据权利要求8所述的方法，包括根据以下一个或多个因素确定所述测量置信度：
10.根据权利要求8或9所述的方法，还包括在校准过程中：
11.根据前述权利要求中任一
12.根据权利要求11所述的方法，包括：
13.根据权利要求11或12所述的方法，还包括：
14.一种校准眼睛跟踪系统的方法，所述方法包括以下步骤：
15.一种虹膜检测方法，所述方法包括：
16.根据权利要求15所述的方法，其中每个虹膜点的权重包括：
17.根据权利要求15所述的方法，其中所述权重与所述夹角的大小成反比。
18.根据权利要求15至17中任一项所述的方法，其中所述权重包括用户的个性化权重，所述方法还包括在用户校准过程中确定所述个性化权重。
19.一种眼睛跟踪系统，包括一个或多个处理器，所述处理器被配置用于执行前述任一权利要求的方法。
20.一种计算机可读介质，包括指令，当所述指令被一个或多个处理器执行时，使所述一个或多个处理器执行权利要求1至18中任一项所述的方法。
...【技术特征摘要】
1.一种眼睛注视跟踪方法，所述方法包括：
2.根据权利要求1所述的方法，其中根据所述角膜中心、所述虹膜中心和所述瞳孔中心确定所述眼睛的注视轴包括：
3.根据权利要求2所述的方法，其中更新所述变换映射包括：
4.根据权利要求3所述的方法，其中根据所述图像的所述瞳孔-虹膜偏移更新所述变换映射包括：
5.根据权利要求2至4中任一项所述的方法，其中所述变换映射包括：
6.根据权利要求5所述的方法，还包括在校准过程中：
7.根据权利要求2至6中任一项所述的方法，其中更新所述变换映射包括：如果检测到的虹膜位置的测量置信度超过虹膜置信度阈值，则更新所述变换映射。
8.根据前述任一权利要求所述的方法，包括确定具有相关测量置信度的虹膜位置，其中根据所述角膜中心、所述虹膜中心和所述瞳孔中心确定所述眼睛的所述注视轴包括：
9.根据权利要求8所述的方法，包括根据以下一个或多个因素确定所述测量置信度：
10.根据权利要求8...
【专利技术属性】
技术研发人员：乔纳斯·斯月斯特朗，萨拉·斯约伯格，亚当·莱，维克多·阿贝格，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。