用于眼睛注视跟踪的方法技术

本发明专利技术涉及一种用于将注视点定位到屏幕(151)上的计算机实施的方法。该方法包括启动获取图像(300)的步骤(210)和启动定位图像(300)中的第一面部地标位置(301)和第二面部地标位置(302)的步骤(220、230)。该方法还包括启动选择图像(300)中的关注区域(310)的步骤(240)，所述选择通过使用上述地标位置(301、302)来执行。该方法包括启动构建注视向量的步骤(250)，其中构建注视向量借助于使用第一关注区域(310)作为输入的人工神经网络来执行。此外，该方法包括启动将注视点定位到屏幕(151)上的步骤(260)，其中定位注视点借助于注视向量来执行。视向量来执行。视向量来执行。

【技术实现步骤摘要】
【国外来华专利技术】用于眼睛注视跟踪的方法


[0001]本专利技术涉及用于将注视点定位到屏幕上(例如计算设备的显示单元上)的眼睛注视跟踪方法和眼睛注视跟踪设备的领域。根据本专利技术，计算设备例如可以是个人计算机、平板电脑、膝上型电脑、智能手机、视频游戏机、相机、头戴式显示器(HMD)、智能电视或类似设备。

技术介绍

[0002]眼睛注视跟踪方法广泛用于人机交互。实施所述方法的计算机程序能够跟踪用户的注视点，从而能够在不使用常规输入设备(键盘、鼠标设备、触摸板或类似设备)的情况下通过在计算设备的显示单元上简单看向特定位置来向计算设备提供输入。例如，用户可以在不需要使用手的情况下向计算机的图形用户界面(GUI)提供输入，从而例如使有运动障碍的用户能够成功地与计算机交互。
[0003]用于眼睛注视跟踪的方法也用于复杂系统的组装或维护。执行此类组装或维护任务的操作者通常使用HMD，并且特别地是增强现实HMD，它借助于计算机图形技术增强操作者的自然视觉。实施眼睛注视跟踪方法的HMD可以由操作者进行免伸手(hands
‑
free)控制，因此使双手可用于执行任务。
[0004]眼睛注视跟踪方法在汽车行业也是重要的。例如，这些方法可以在驾驶辅助系统中实施，从而能够跟踪驾驶员的眼睛注视以看见他/她是否正在注意道路。例如，他/她是否正在透过车的挡风玻璃查看。例如，实施眼睛注视跟踪方法的驾驶辅助系统能够检测驾驶员是否正在看向车辆后视相机的屏幕，并且仅在需要时才激活所述相机，即仅当驾驶员看向屏幕时。
[0005]用于眼睛注视跟踪的方法还可以允许驾驶员和车辆的软件之间的免伸手交互，以便驾驶员可以在不将她/他的手从方向盘上移开的情况下向软件给出指令。因此，驾驶员可以通过简单地看向特定方向来指示软件执行特定活动，诸如调节车灯的强度、锁定/解锁车门、控制车速和类似活动。
[0006]用于将注视点定位到屏幕上的眼睛注视跟踪方法在本领域中是已知的。已知的眼睛注视跟踪方法只有在依靠专用硬件部件(诸如红外(IR)相机、可穿戴硬件部件和眼睛跟踪眼镜)或者依赖于用户的校准程序的情况下，才可以获得相对高的准确性。例如，使用IR相机的方法可以达到0.5
°
量级的准确性。然而，此类专用硬件部件相对昂贵，并且在主流计算设备(诸如笔记本电脑和智能手机)中不存在。此外，可穿戴硬件部件可能使用起来不舒服并妨碍用户的移动性。相反，校准过程是耗时的，并且限制了设备实施已知的用于眼睛注视跟踪的方法的可用性，并且进而限制了它们的实用性。
[0007]通常，在现实世界的操作条件下，例如在没有专用硬件部件和/或在以眼睛外观、照明、头部姿势、相机的技术规格、图像质量等相对广泛的可变性为特征的条件下，已知的眼睛注视跟踪方法遭受有限的准确性。

技术实现思路

[0008]本申请的专利技术至少部分地解决了这些问题，本申请的专利技术涉及根据权利要求1的计算机实施的方法、根据权利要求14的设备、根据权利要求15的计算机程序产品以及根据权利要求16的计算机可读存储介质。本专利技术的实施例是从属权利要求的主题。
[0009]本专利技术涉及一种用于将第一注视点定位到屏幕上的计算机实施的方法，该方法包括至少以下步骤：
[0010]·
启动获取至少第一图像；
[0011]·
启动定位第一图像中的第一面部地标(landmark)的第一面部地标位置；
[0012]·
启动定位第一图像中的第二面部地标的第二面部地标位置；
[0013]·
启动选择第一图像中的第一关注区域，其中选择第一关注区域通过使用至少第一面部地标位置和第二面部地标位置来执行；
[0014]·
启动构建第一注视向量，其中构建第一注视向量借助于至少人工神经网络来执行，该人工神经网络使用至少第一关注区域作为输入；以及
[0015]·
启动将第一注视点定位到屏幕上，其中定位第一注视点借助于至少第一注视向量来执行。
[0016]屏幕可以是凹面或凸面。特别地，屏幕可以是或基本上是平坦的表面，例如诸如帆布的面板、玻璃面板和/或车辆的挡风玻璃。屏幕可以是计算设备的显示单元。例如，屏幕可以是监视器或计算设备的屏幕，例如计算设备的基本上平坦的区域，在其上显示GUI和/或数据，特别是图像形式的数据。屏幕上的点可以按照定义在屏幕上的二维参考系中的二维屏幕坐标来表达。屏幕坐标特别地可以是笛卡尔坐标或极坐标。例如，屏幕的点的屏幕位置由其相对于以屏幕上的点(例如屏幕的左上角)为中心的屏幕参考系的二维屏幕坐标(a,b)来描述的。
[0017]根据本专利技术，图像可以是向量图像或像素的二维网格，例如像素的矩形网格。特别地，图像中的像素的位置可以按照其在图像中的二维图像坐标来明确地确定，所述坐标表示所述像素在像素的二维网格中的位置。二维图像坐标可以是相对于图像的平面中(例如在包括像素的网格的平面中)的二维参考系的笛卡尔坐标或极坐标。例如，像素的二维图像坐标是该像素在第一图像的图像平面参考系中的坐标。
[0018]特别地，第一图像是像素的第一二维网格，例如像素的第一矩形网格。第一二维网格的条目可以按列和行排列，列和行可以按每列和每行分别与列号和行号相关联的方式按升序编号。特别地，第一图像中的每个像素的位置可以按照像素所属的行的行号和像素所属的列的列号来明确地确定。因此，第一图像中的所述像素的二维图像坐标可以是二维向量例如，第一图像的像素的二维图像坐标为该像素在第一图像的图像平面参考系中的坐标。
[0019]图像(例如第一图像)可以由至少位图编码。对图像或其一部分进行编码的位图可以包括位的阵列(例如由位的阵列组成)，位的阵列指定所述图像或其部分的每个像素的颜色。位图可以是调色板索引的，使得阵列的条目是到颜色表的索引。阵列的条目可以存储对像素的颜色进行编码的位。特别地，位图可以包括点矩阵数据结构(例如由点矩阵数据结构
组成)，点矩阵数据结构表示像素的二维网格。位图还可以包括关于每像素的位的数目、像素的二维网格的每行的像素的数目和/或所述矩形网格的每列的像素的数目的信息。图像观看器可以使用在位图中编码的信息来在计算设备的(例如执行本专利技术的方法的计算设备的)屏幕上呈现图像或其部分。
[0020]图像(例如第一图像)可以被存储(特别是临时存储)在计算设备的(例如执行本专利技术的方法的计算设备的)主存储器和/或辅助存储器中。根据本专利技术，可以通过访问在其中存储所述图像的存储器来获取图像。可替代地，或结合上文，图像的获取可以通过借助于记录设备(例如照片和/或视频记录设备，诸如照片或视频相机)捕获所述图像来执行。照片记录设备和/或视频记录设备可以集成在计算设备中，特别是集成在执行本专利技术的方法的计算设备中。捕获的图像然后可以存储在计算设备的主存储器和/或辅助存储器中，并且可以被访问以定位面部地标和/或选择关注区域。
[0021]面部地标特别地是人类面部的形状中的点，其通常标记其独特的解剖区域。例如，面部地标可以是鼻尖、右嘴角或左嘴角。类似本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于将第一注视点定位到屏幕(151)上的计算机实施的方法，所述方法包括至少以下步骤：
·
启动获取(210)至少第一图像(300)；
·
启动定位(220)所述第一图像(300)中的第一面部地标的第一面部地标位置(301)；
·
启动定位(230)所述第一图像(300)中的第二面部地标的第二面部地标位置(302)；
·
启动选择(240)所述第一图像(300)中的第一关注区域(310)，其中选择所述第一关注区域(310)通过使用至少所述第一面部地标位置(301)和所述第二面部地标位置(302)来执行；
·
启动构建(250)第一注视向量，其中构建所述第一注视向量借助于至少人工神经网络来执行，所述人工神经网络使用至少所述第一关注区域(310)作为输入；以及
·
启动将所述第一注视点定位(250)到所述屏幕(151)上，其中定位所述第一注视点借助于至少所述第一注视向量来执行。2.根据权利要求1所述的方法，其中所述人工神经网络在所述第一关注区域(310)中检测至少第一眼睛地标的第一眼睛地标位置(403)和第二眼睛地标的第二眼睛地标位置(404)。3.根据前述权利要求中任一项所述的方法，其中构建所述注视向量借助于支持向量回归算法来执行，所述支持向量回归算法使用至少所述第一眼睛地标位置(403)和所述第二眼睛地标位置(404)作为输入。4.根据前述权利要求中任一项所述的方法，其中所述人工神经网络是沙漏神经网络。5.根据前述权利要求中任一项所述的方法，还包括以下步骤：
·
启动构建头部姿势估计向量，其中构建所述头部姿势估计向量通过使用至少所述第一面部地标位置(301)和所述第二面部地标位置(302)来执行。其中将所述第一注视点定位到所述屏幕(151)上基于所述头部姿势估计向量。6.根据权利要求5所述的方法，其中构建所述头部姿势估计向量至少借助于三维面部模型来执行，并且其中所述三维面部模型使用至少所述第一面部地标位置(301)和所述第二面部地标位置(302)作为输入。7.根据前述权利要求中任一项所述的方法，还包括以下步骤：
·
启动获取至少第二图像；
·

【专利技术属性】
技术研发人员：A，
申请(专利权)人：伊里斯邦克劳邦丁公司，
类型：发明
国别省市：