用于确定注视关注目标的对物体映射的多线迹注视制造技术

本申请公开了一种用于在三维(“3D”)场景中确定用户注视的关注目标的方法。所述方法包含确定用户对3D场景的第一注视方向，其中所述3D场景包含多个部件。所述方法还包含在3D场景中执行多个第一线迹，其中该多个第一线迹中的每一个线迹接近所述第一注视方向。所述方法还包含为与所述多个第一线迹中的至少一个线迹相交的每个部件确定置信度值。所述方法可附加地包含将与所述多个第一线迹中的至少一个线迹相交的所有部件中具有最高置信度值的部件识别为所述用户的关注目标。识别为所述用户的关注目标。识别为所述用户的关注目标。

【技术实现步骤摘要】
用于确定注视关注目标的对物体映射的多线迹注视
[0001]本申请是申请日为2019年3月29日、国家申请号为201910251739.2、专利技术名称为“用于确定注视关注目标的对物体映射的多线迹注视”的专利技术专利申请的分案申请。


[0002]本专利技术的实施例涉及在用户观察3D场景时跟踪用户的注视，以及具体地涉及如何确定用户的注视是否朝向在3D场景中的兴趣区域的方向。
[0003]相关申请的交叉引用
[0004]本申请是于2016年6月2日提交的美国专利申请No.15/171,548的部分继续申请，美国专利申请No.15/171,548要求于2015年6月3日提交的英国专利申请No.1509622.5的权益，这两件申请的全文如在本文中完整阐述的那样出于所有目的通过引用结合在此。

技术介绍

[0005]探测眼睛和其注视方向是众所周知的，这可以通过(例如)以下步骤来完成：使用红外照射来照亮区域，眼睛在该区域中被寻找；捕捉该区域的图像；以及探测在该图像中的明亮点，所述图像中的明亮点来自眼睛的瞳孔和角膜。这个方法利用摄影者所知的亮眼(bright
‑
eye)或“红眼(red
‑
eye)”效应，其中，光进入眼睛，并且光被反射通过瞳孔或光被吸收并且重新发射通过瞳孔，使得瞳孔比眼睛的其他部分和脸显得更亮。分开的、更小的明亮点(也称为闪光点)由角膜产生。瞳孔和角膜闪光点的相对位置可以被用于确定眼睛的注视方向。更多的细节在美国专利No.6,152,563中给出，其全文内容如在本文中完整阐述的那样出于所有目的通过引用结合在此。
[0006]可选择或补充的，可以使用相似的技术，其中，红外线照明器与图像传感器间隔开，因此被图像传感器捕捉到的图像具有不明亮瞳孔，这也被称为“暗瞳孔”效应。
[0007]这种注视跟踪技术可以在(例如)邻近显示器的远程注视跟踪器中实施，或在可穿戴设备(例如，一副眼镜、虚拟现实头戴装置、增强现实头戴装置、头盔或类似物)中实施。
[0008]这样的注视跟踪技术可以用于确定用户是否看着屏幕上的特定物体或区(这些物体或区在本文件中总体称为“区域”)。例如，这可以作为游戏的一部分。这允许用户通过看着屏幕上的图像而与屏幕上的图像交互(看着图像的行为具有预定结果)，或通过将看着图像与另一控制的结合(例如，用户的注视朝向图像的同时，用户按压键盘上的键或鼠标)来与屏幕上的图像交互。
[0009]典型地，屏幕上的图像可以包括注视
‑
可交互区域以及非注视
‑
可交互的区域。
[0010]用于确定用户的注视是否朝向图像中的注视
‑
可交互区域的先前方法趋向于基于需要开发者指定“交互遮掩(interaction mask)”以表明可交互元素在屏幕中的位置。在一定限制条件中这些方法可以工作得很好。那些限制条件包含静态的“摄影机”(即，视点，从该视点确定在屏幕上的图像)的使用，以及维持少数量的作为遮挡体(occluder)的可移动物体(需要被标记为注视
‑
可交互的元素，但该元素仅用于传输视觉选择信息的目的，而它们本身不是“可交互的”)。并且，这样的系统典型地依赖注视
‑
可交互物体在视觉场景中时
可见的。
[0011]此外，测验(poll)或以其他方式从虚拟摄影机投射线以确定场景中与其相交的物体在先前是可能的。然而由于注视跟踪技术中100％精确度的固有缺乏，更优选的是，测验场景中的区以考虑(account)用户的经确定的注视位置中的错误或偏差。事实上，这需要搜索从视觉摄影机投射的圆锥体形状的内部。这是处理密集的和低效率的解决方案。
[0012]然而，在3D中(例如，在许多计算机游戏或在虚拟现实头戴装置中，摄影机可以旋转通过场景，并且典型地存在定义场景的大量几何形状，该大量几何形状可以作为遮挡体)，先前的方法是不太成功的。即使没有遮挡体，3D情况是有问题的。创造必要的遮掩来应对3D环境以及从不同的视点观察到的物体(不论它们是交互体或遮挡体)的不同的位置变得非常复杂。
[0013]这是因为，例如，3D游戏中的演员(能够以主动的方式与游戏者交互的游戏实体)的数量典型地比在2D应用中的多很多。实际上，这意味着在场景中的每个物体需要被认为是潜在的遮挡体。相反的，实际上是注视
‑
可交互的物体(例如，其他人物的部分，其中，人物是可以被AI或者游戏者控制的演员)可能构成每个场景的仅仅5
‑
10％。结果，需要十倍或者更多倍的带宽用于遮挡体，而不是用于注视
‑
可交互物体。这对于实施来说是低效率的，并且对游戏开发者来说是难以实施的。
[0014]此外，游戏场景中的一些实体，例如，世界几何形状(world geometry)(房子、山等)，不自然地暴露渲染界限或物理界限，这意味着需要将这些网格投射在屏幕上，以为它们创造交互体遮挡体。这在计算方面可以是代价很高的。此外，这个世界几何形状中的一些是非常笨重的(山等)，所以为了以有意义的方式投射它们(以获得合适的遮挡体)，在执行任何投射前，首先采用网格分割算法是必要的。这变得不切实际。
[0015]最后，在一些情景中，期望知道用户的注视是否朝着在监视器或屏幕上显示的图像中未被视觉渲染的物体或范围。例如，物体或范围可能是不可见的、或可能不再在显示在屏幕上的图像的边界中。
[0016]因此，存在如何在3D场景中有效率地实施注视跟踪的问题。本专利技术的目标在于至少部分地克服这个问题。

技术实现思路

[0017]在一个实施例中，提供一种用于在三维(“3D”)场景中确定用户注视的关注目标(或焦点目标，focus target)的方法。所述方法可以包含确定用户对3D场景的第一注视方向，其中所述3D场景包含多个部件(构成元素,components)。所述方法也可以包含在3D场景中执行多个第一线迹，其中多个第一线迹中的每一个线迹接近所述第一注视方向。所述方法也可以包含为与所述多个第一线迹中的至少一个线迹相交的每个部件确定置信度值。所述方法可以附加地包含将与所述多个第一线迹中的至少一个线迹相交的所有部件中具有最高置信度值的部件识别为所述用户的关注目标。所述方法此外可以包含确定用户对3D场景的第二注视方向。所述方法可以还包含在3D场景中执行多个第二线迹，其中多个第二线迹中的每一个线迹接近所述第二注视方向。所述方法也可以包含为与所述多个第二线迹中的至少一个线迹相交并且与所述多个第一线迹中的至少一个线迹不相交的每个部件确定置信度值。所述方法还可以包含，如果与所述多个第二线迹中的至少一个线迹相交的所有
部件的最高置信度值比与所述多个第一线迹中的至少一个线迹相交的所有部件的最高置信度值至少高出阈值量，则将用户的关注目标改变为与所述多个第二线迹中的至少一个线迹相交的所有部件中具有最高置信度值的部件。
[0018]在另一个实施例中，提供一种用于在3D场景中确定用户注视的关注目标的系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在三维(“3D”)场景中确定用户注视的关注目标的方法，其中所述方法包括：确定用户对3D场景的第一注视方向，其中所述3D场景包含多个部件；在所述3D场景中执行多个第一线迹，其中所述多个第一线迹中的每一个线迹接近所述第一注视方向，并且其中所述多个第一线迹包括至少两个线迹，其中所述至少两个线迹中的每一个线迹与所述第一注视方向呈不同的角距离；为与所述多个第一线迹中的至少一个线迹相交的每个部件确定置信度值；以及将与所述多个第一线迹中的至少一个线迹相交的所有部件中具有最高置信度值的部件识别为所述用户的关注目标。2.根据权利要求1所述的用于在3D场景中确定用户注视的关注目标的方法，其中所述方法还包括：确定所述用户对所述3D场景的第二注视方向；在所述3D场景中执行多个第二线迹，其中所述多个第二线迹中的每一个线迹接近所述第二注视方向；为与所述多个第二线迹中的至少一个线迹相交并且与所述多个第一线迹中的至少一个线迹不相交的每个部件确定置信度值；如果与所述多个第二线迹中的至少一个线迹相交的所有部件的最高置信度值比与所述多个第一线迹中的至少一个线迹相交的所有部件的最高置信度值至少高出阈值量，则将所述用户的关注目标改变为与所述多个第二线迹中的至少一个线迹相交的所有部件中具有最高置信度值的部件。3.根据权利要求2所述的用于在3D场景中确定用户注视的关注目标的方法，其中所述方法还包括：随着时间衰减与所述多个第一线迹中的至少一个线迹和所述多个第二线迹中的至少一个线迹相交的每个部件的置信度值。4.根据权利要求2所述的用于在3D场景中确定用户注视的关注目标的方法，其中所述方法还包括：随着时间以第一速率衰减与所述多个第一线迹中的至少一个线迹和所述多个第二线迹中的至少一个线迹相交的每个部件的置信度值；以及随着时间以第二速率衰减与所述多个第一线迹中的至少一个线迹相交、但与所述多个第二线迹中的至少一个线迹不相交的每个部件的置信度值，其中所述第二速率比所述第一速率大。5.根据权利要求1所述的用于在3D场景中确定用户注视的关注目标的方法，其中：所述3D场景被渲染在至少一个二维显示器上。6.根据权利要求1所述的用于在3D场景中确定用户注视的关注目标的方法，其中所述多个第一线迹中的每一个线迹接近所述第一注视方向包括：所述多个第一线迹中的每一个线迹角接近所述第一注视方向。7.根据权利要求1所述的用于在3D场景中确定用户注视的关注目标的方法，其中：所述至少两个线迹中的每一个线迹的所述角距离比预定最大角距离小。8.根据权利要求7所述的用于在3D场景中确定用户注视的关注目标的方法，其中：
所述第一注视方向与所述至少两个线迹中的任意一个线迹的角距离是随机的。9.根据权利要求1所述的用于在3D场景中确定用户注视的关注目标的方法，其中所述多个第一线迹包括：至少两个线迹，其中所述至少两个线迹中的每一个线迹与所述第一注视方向呈不同的角方向。10.根据权利要求9所述的用于在3D场景中确定用户注视的关注目标的方法，其中：所述至少两个线迹中的每一个线迹在以所述第一注视方向为中心的圆的不同扇区中。11.根据权利要求1所述的用于在3D场景中确定用户注视的关注目标的方法，其中：如果所述多个第二线迹中没有一个线迹与和所述多个第一线迹中的至少一个线迹相交的特定部件相交：确定所述特定部件的先前位置；并且在所述先前位置的方向上执行至少一个线迹。12.根据权利要求11所述的用于在3D场景中确定用户注视的关注目标的方法，其中朝所述先前位置执行至少一个线迹包括：执行多个第三线迹，所述多个第三线迹角接近所述先前位置的方向。13.根据权利要求1所述的用于在3D场景中确定用户注视的关注目标的方法，其中为与所述多个第一线迹中的至少一个线迹相交的每个部件确定置信度值包括：对所述置信度值指定预定最小值；或者所述置信度值是以下各项的函数：所述多个线迹中与所述部件相交的线迹的数量；和所述多个线迹中线迹的总数。14.根据权...

【专利技术属性】
技术研发人员：弗雷德里克，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：