用于确定当前注视方向的方法和系统技术方案

一种用于确定用户关于三维(“3D”)场景的当前注视方向的方法，3D场景通过渲染功能进行采样以产生3D场景的二维(“2D”)投影图像，采样基于虚拟相机来执行，虚拟相机进而与3D场景中的相机位置和相机方向相关联，方法包括以下步骤：由注视方向检测装置确定用户在第一注视时间点处的与3D场景相关的第一注视方向；确定虚拟相机3D变换，3D变换表示第一注视时间点与晚于第一注视时间点的第二采样时间点之间虚拟相机位置和/或方向的变化，以及将当前注视方向确定为经修改的注视方向，经修改的注视方向进而是基于第一注视方向而计算的并且是进一步基于时间依赖的虚拟相机3D变换的逆变换而计算的。本发明专利技术还涉及一种系统和一种计算机软件功能。件功能。件功能。

【技术实现步骤摘要】
用于确定当前注视方向的方法和系统
[0001]本申请是申请日为2020年2月3日、申请号为202010078496.X、专利技术名称为“用于确定当前注视方向的方法和系统”的专利技术专利申请的分案申请。


[0002]本专利技术涉及一种用于确定用户关于三维(“3D”)场景的当前注视方向的方法。本专利技术还涉及一种用于执行这种方法的系统和计算机软件功能。
[0003]本专利技术的实施例涉及在用户观察3D场景时跟踪用户的注视，并且特别涉及如何确定3D场景中用户的注视当前所指向的点或区。

技术介绍

[0004]已知的是，检测眼睛及其注视方向。例如，这可以通过以下操作来完成：利用红外辐射照亮在其中寻找眼睛的区域；捕获该区域的图像；以及检测该图像中源自眼睛的瞳孔和角膜的亮点。这种方法利用摄影师已知的亮眼或“红眼”效应，通过使光线进入眼睛并通过瞳孔反射或吸收并重新发射，从而使瞳孔看起来比眼睛的其余部分和脸部更明亮。角膜会产生单独的较小的亮点(也被称为闪光)。瞳孔和角膜闪光的相对位置可以用于确定眼睛的注视方向。美国专利号6,152,563中给出了更多细节。
[0005]可替代地或附加地，可以使用类似的技术，通过将红外照明器与图像传感器间隔开，因此由图像传感器捕获的图像具有非明亮瞳孔，亦被称为“暗瞳孔”效应。
[0006]该注视跟踪技术可以在例如邻近显示器而定位的远程注视跟踪器中来实施，或者在定位于诸如一副眼镜、虚拟现实头戴装置、增强现实头戴装置、头盔等可穿戴设备中的远程注视跟踪器中来实施。
[0007]这种注视跟踪技术可以用于判定用户是否正在观看屏幕上的特定对象或区域(这些对象或区域在本申请中通常被称为
‘
区
’
)。这可以作为游戏的一部分，例如，允许用户通过观看屏幕上的图像来与图像进行交互(观看图像的动作具有预定结果)，或者通过观看图像与其他控制的组合来与图像进行交互(例如，用户在其注视指向图像的同时按压键盘或鼠标上的按键)。
[0008]当确定用户的注视关于3D场景当前指向何处时，必须考虑关于诸如屏幕等物理查看区域该用户的物理注视方向。然而，还必须考虑3D场景本身的当前状态、以及虚拟相机的当前虚拟3D空间位置和方向。
[0009]已经证明，由于各种延迟，在例如所有这些参数都可能快速变化的动态游戏情况下，用户体验将通常不够完美。
[0010]例如，考虑用户观看如监视器屏幕上示出的虚拟3D场景中的特定对象。然后，被观看的对象出现在所述屏幕上的特定位置处。然后，旋转和/或平移用于将3D场景渲染为在屏幕上查看的2D图像的虚拟相机，并且因此所查看的2D图像相应地发生改变。然而，由于延迟，用户在所述屏幕上的注视点将保持不变，直到用户的眼睛通过用户移动其注视以便再次聚焦在先前由于虚拟相机移位而移动的所述对象上来对虚拟相机移位做出反应为止。此
后，硬件延迟导致游戏控制器(或类似设备)检测到屏幕上已改变的用户注视点之前的时间延迟，使得用户交互功能可以适当地做出反应。
[0011]随着3D场景本身内的改变，诸如由于所述对象移动通过虚拟3D场景，即使虚拟相机位置或方向没有发生改变，也将会产生类似的延迟效应。
[0012]这些问题不仅导致较差的用户体验，而且限制了可以用于实施用户与3D场景的交互的时间粒度。
[0013]对于GTOM(注视到对象映射)实施，会出现特别的问题，其中系统尝试检测屏幕上的可移动对象以作为用户以其注视跟随的当前聚焦对象。
[0014]通过提供更快的硬件和更高效的软件，可以部分地克服这些问题。然而，这很昂贵并且不能解决所有问题。
[0015]因此，存在关于如何在动态更新的3D场景中高效地实施注视跟踪的许多问题。本专利技术旨在至少部分地克服这些问题。

技术实现思路

[0016]因此，本专利技术涉及一种用于确定用户关于三维(“3D”)场景的当前注视方向的方法，该3D场景通过渲染功能进行采样以产生该3D场景的二维(“2D”)投影图像，该采样基于虚拟相机来执行，该虚拟相机进而与该3D场景中的相机位置和相机方向相关联，其中，该方法包括以下步骤：由注视方向检测装置确定该用户在第一注视时间点处的第一注视方向，该第一注视方向与所述3D场景相关；确定虚拟相机3D变换，该3D变换表示该第一注视时间点与第二采样时间点之间虚拟相机位置的变化和/或虚拟相机方向的变化，其中，该第二采样时间点晚于该第一注视时间点；以及将所述当前注视方向确定为经修改的注视方向，该经修改的注视方向进而是基于该第一注视方向而计算的并且是进一步基于所述时间依赖的虚拟相机3D变换的逆变换而计算的。
[0017]此外，本专利技术涉及一种用于确定用户关于三维(“3D”)场景的当前注视方向的系统，该3D场景通过渲染功能进行采样以产生该3D场景的二维(“2D”)投影图像，该采样基于虚拟相机来执行，该虚拟相机进而与该3D场景中的相机位置和相机方向相关联，该系统包括注视方向检测装置，该注视方向检测装置被布置用于确定该用户在第一注视时间点处的第一注视方向，该第一注视方向与所述3D场景相关，该系统被布置用于确定虚拟相机3D变换，该3D变换表示该第一注视时间点与第二采样时间点之间虚拟相机位置的变化和/或虚拟相机方向的变化，其中，该第二采样时间点晚于该第一注视时间点，并且该系统被布置用于将所述当前注视方向确定为经修改的注视方向，该经修改的注视方向进而是基于该第一注视方向而计算的并且是进一步基于所述时间依赖的虚拟相机3D变换的逆变换而计算的。
[0018]而且，本专利技术涉及一种计算机软件功能，该计算机软件功能被布置用于在执行时确定用户关于三维(“3D”)场景的当前注视方向，该3D场景通过渲染功能进行采样以产生该3D场景的二维(“2D”)投影图像，该采样基于虚拟相机来执行，该虚拟相机进而与该3D场景中的相机位置和相机方向相关联，其中，该计算机软件功能被布置用于在执行时进一步执行以下步骤：由注视方向检测装置确定该用户在第一注视时间点处的第一注视方向，该第一注视方向与所述3D场景相关；确定虚拟相机3D变换，该3D变换表示该第一注视时间点与第二采样时间点之间虚拟相机位置的变化和/或虚拟相机方向的变化，其中，该第二采样时
间点晚于该第一注视时间点；以及将所述当前注视方向确定为经修改的注视方向，该经修改的注视方向进而是基于该第一注视方向而计算的并且是进一步基于所述时间依赖的虚拟相机3D变换的逆变换而计算的。
[0019]在下文中，将参考本专利技术的例示性实施例和附图来详细描述本专利技术，在附图中：
附图说明
[0020]图1是用于说明如何将3D场景渲染为2D图像的简图；
[0021]图2是用于实施注视检测的系统的简图；
[0022]图3是展示了根据本专利技术的方法的流程图；
[0023]图4是展示了在根据本专利技术的方法中使用的不同时间线的时间图；以及
[0024]图5至图7是在三个连续时间点处例示性屏幕的各个视图。
[0025]在所有附图中，相同的附图标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定用户关于三维场景(10)的当前注视方向的方法，所述三维场景(10)通过渲染功能被采样以产生在屏幕(41)上显示的所述三维场景(10)的二维投影图像，其中，所述二维投影图像是将所述三维场景(10)投影到所述屏幕(41)上产生的图像，其中，在屏幕像素位置中的每一个对所投影的图像执行采样，其中，所述方法包括以下步骤：由注视方向检测装置(42)确定所述用户在第一注视时间点处的第一注视方向，其中，所述第一注视方向与所述三维场景(10)相关；确定虚拟相机(20)三维变换，所述虚拟相机(20)三维变换表示在所述第一注视时间点与采样时间点之间虚拟相机(20)位置的变化和/或虚拟相机(20)方向的变化，其中，所述采样时间点晚于所述第一注视时间点；以及将所述当前注视方向确定为经修改的注视方向，所述经修改的注视方向进而是基于所述第一注视方向而计算的，并且是进一步基于所述虚拟相机(20)三维变换的逆变换而计算的。2.根据权利要求1所述的方法，其中，所述虚拟相机(20)三维变换是基于第一采样时间点与所述采样时间点之间的插值而确定的，其中，所述第一采样时间点在所述采样时间点之前。3.根据权利要求2所述的方法，其中，调节所述插值的插值时间，以补偿对所述用户的眼睛移动的生理延迟的估算，并且其中，所述虚拟相机(20)三维变换是使用经调节的所述插值时间基于所述插值而确定的。4.根据前述权利要求中任一项所述的方法，其中，所述虚拟相机(20)三维变换包括虚拟相机(20)旋转。5.根据权利要求1所述的方法，其中，所述虚拟相机(20)三维变换包括虚拟相机(20)平移。6.根据权利要求1所述的方法，其中，所述采样时间点是考虑了所述渲染功能执行所述采样的预期时间的预计未来时间点。7.根据权利要求1所述的方法，其中，所述方法进一步包括以下步骤：确定所述第一注视时间点与将要确定所述当前注视方向的时间点之间的时间差；并且其中，所述当前注视方向仅在所述时间差大于时间差阈值的情况下才被确定为所述经修改的注视方向。8.根据权利要求7所述的方法，其中，所述方法进一步包括以下步骤：确定当前虚拟相机(20)变换速度；并且其中，所述当前注视方向仅在所述变换速度大于变换速度阈值的情况下才被确定为所述经修改的注视方向。9.根据权利要求8所述的方法，其中，所述时间差阈值是基于所述当前虚拟相机(20)变换速度而确定的。10.根据权利要求1所述的方法，其中，所述第一注视方向由所述注视方向检测装置(42)来确定以作为所述用户的眼睛关于所述二维投影图像的经测量的生理注视方向，或者所述第一注视方向由所述注视方向检测
装置基于经测量的生理注视方向来确定。11.根据权利要求1所述的方法，其中，所述方法进一步包括以下步骤：确定当前场景(10)改变变换，所述当前场景(10)改变变换影响所述场景(10)的一部分，所述一部分的二维投影在所述二维投影图像中可见地呈现；并且其中，所述经修改的注视方向是进一步基于所述当前场景(10)改变变换而计算的。12.一种用于识别三维场景(10)中的对象(1)的方法，所述对象是当前用户注视的聚焦目标，其中，所述方法包括：使用根据前述权利要求中任一项所述的方法来确定当前注视方向；以及使用确定的所述当前注视方向来识别所述对象(1)。13.根据权利要求12所述的方法，其中，在不使所述渲染功能获得关于所述第一注视方向的直接信...

【专利技术属性】
技术研发人员：弗雷德里克，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：