注视点确定方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种注视点确定方法、装置、设备及存储介质。包括：确定坐标系转换关系；确定用户在所述相机坐标系下的第一视线方向矢量及第一眼球坐标；根据所述坐标系转换关系将所述第一视线方向矢量及第一眼球坐标转换为所述注视平面系下的第二视线方向矢量和第二眼球坐标；根据所述第二视线方向矢量、第二眼球坐标及注视平面确定用户落在所述注视平面上的注视点。本发明专利技术实施例提供的注视点确定方法，基于相机坐标系与注视平面坐标系间的转换关系确定用户落在注视平面上的注视点，可以解除眼动相关硬件和所用智能终端间的物理结构依赖关系，从而提高眼动追踪的便捷性，同时可以降低硬件成本。时可以降低硬件成本。时可以降低硬件成本。

【技术实现步骤摘要】
注视点确定方法、装置、设备及存储介质


[0001]本专利技术实施例涉及眼动追踪
，尤其涉及一种注视点确定方法、装置、设备及存储介质。

技术介绍

[0002]视线追踪技术，亦被称为眼动追踪技术，是一种用于计算人眼注视点或者视线方向的技术。可以实时、准确地记录人们观察场景信息时的眼球运动情况，已被广泛应用于航空、车辆驾驶和生理学检测等领域。
[0003]目前应用于笔记本电脑、平板电脑、手机等智能终端上的眼动追踪模块，普遍存在如下隐性设计限制：参与眼动追踪的传感器、红外光源等光学器件需和设备的待追踪面保持一定的物理结构关联性，简单地说，额外添加的用于眼动追踪的硬件，需要和设备的屏幕所在平面保持相对静止于某一预设关系。由于要使得眼动相关硬件和所用智能终端有较为固定的物理结构依赖，其硬件结构设计会受到较大限制。使得眼动追踪设备无法轻量化。

技术实现思路

[0004]本专利技术实施例提供一种注视点确定方法、装置、设备及存储介质，可以解除眼动相关硬件和所用智能终端间的物理结构依赖关系，从而提高眼动追踪的便捷性，同时可以降低硬件成本。
[0005]第一方面，本专利技术实施例提供了一种注视点确定方法，包括：
[0006]确定坐标系转换关系；其中，坐标系转换关系为相机坐标系与注视平面坐标系间的转换关系；且所述相机设置于眼动追踪模块中；
[0007]确定用户在所述相机坐标系下的第一视线方向矢量及第一眼球坐标；
[0008]根据所述坐标系转换关系将所述第一视线方向矢量及第一眼球坐标转换为所述注视平面系下的第二视线方向矢量和第二眼球坐标；
[0009]根据所述第二视线方向矢量、第二眼球坐标及注视平面确定用户落在所述注视平面上的注视点。
[0010]第二方面，本专利技术实施例还提供了一种注视点确定装置，包括：
[0011]坐标系转换关系确定模块，用于确定坐标系转换关系；其中，坐标系转换关系为相机坐标系与注视平面坐标系间的转换关系；且所述相机设置于眼动追踪模块中；
[0012]视线方向矢量确定模块，用于确定用户在所述相机坐标系下的第一视线方向矢量及第一眼球坐标；
[0013]视线方向矢量转换模块，用于根据所述坐标系转换关系将所述第一视线方向矢量及第一眼球坐标转换为所述注视平面系下的第二视线方向矢量和第二眼球坐标；
[0014]注视点确定模块，用于根据所述第二视线方向矢量、第二眼球坐标及注视平面确定用户落在所述注视平面上的注视点。
[0015]第三方面，本专利技术实施例还提供了一种计算机设备，所述设备包括：包括存储器、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例所述的注视点确定方法。
[0016]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本专利技术实施例所述的注视点确定方法。
[0017]本专利技术实施例公开了一种注视点确定方法、装置、设备及存储介质。确定坐标系转换关系；确定用户在相机坐标系下的第一视线方向矢量及第一眼球坐标；根据坐标系转换关系将第一视线方向矢量及第一眼球坐标转换为注视平面系下的第二视线方向矢量和第二眼球坐标；根据第二视线方向矢量、第二眼球坐标及注视平面确定用户落在注视平面上的注视点。本专利技术实施例提供的注视点确定方法，基于相机坐标系与注视平面坐标系间的转换关系确定用户落在注视平面上的注视点，可以解除眼动相关硬件和所用智能终端间的物理结构依赖关系，从而提高眼动追踪的便捷性，同时可以降低硬件成本。
附图说明
[0018]图1是本专利技术实施例一中的一种注视点确定方法的流程图；
[0019]图2是本专利技术实施例一中的将眼动追踪模块设置于笔记本电脑的键盘所在平面的示例图；
[0020]图3是本专利技术实施例一中的确定注视点的示例图；
[0021]图4是本专利技术实施例一中的确定注视点的另一个示例图；
[0022]图5是本专利技术实施例二中的一种注视点确定装置的结构示意图；
[0023]图6是本专利技术实施例三中的一种计算机设备的结构示意图。
具体实施方式
[0024]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0025]相关技术中，由于要使得眼动相关硬件和所用智能终端有较为固定的物理结构依赖，其硬件结构设计会受到较大限制，例如，对于笔记本这一终端，其要添加眼动追踪功能就需要在显示屏所在平面的底端添加相关硬件，其会一定程度上加厚和加高显示屏所在的屏面，进而使得整个笔记本更加臃肿，无法轻量化。
[0026]实施例一
[0027]图1为本专利技术实施例一提供的一种注视点确定方法的流程图，本实施例可适用于确定用户落在注视平面的注视点位置的情况，该方法可以由注视点确定装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有注视点确定功能的设备中，该设备可以是服务器或服务器集群等电子设备。如图1所示，该方法具体包括如下步骤：
[0028]步骤110，确定坐标系转换关系。
[0029]其中，坐标系转换关系为相机坐标系与注视平面坐标系间的转换关系；且相机设置于眼动追踪模块中。相机坐标系可以是以相机中心为原点建立的直角坐标系，注视平面坐标系可以是以注视平面的中点为原点建立的直角坐标系。本实施例中，相机所在的眼动追踪模块和注视平面(如显示屏)间的物理关系是解耦的，即眼动追踪模块和注视平面间的
相对位置是可变的，因此，在确定注视点(眼动追踪)之前，需要确定二者间的坐标转换关系。
[0030]具体的，确定坐标系转换关系的过程可以是：获取相机中心的第一位置信息，根据第一位置信息建立相机坐标系；获取注视平面中心的第二位置信息，根据第二位置信息建立注视平面坐标系；根据相机坐标系和注视平面坐标系确定坐标系转换关系。
[0031]其中，相机中心可以理解为相机的聚焦中心。本实施例中，根据第一位置信息建立相机坐标系的方式可以是：以第一位置为原点，以光轴为Z轴建立三维直角坐标系，X轴与图像的X轴平行，Y轴与图像的Y轴平行。
[0032]注视平面可以是终端设备的显示装置所在的平面，例如：终端设备的显示屏、投影仪投影的屏幕等。本实施例中，根据第二位置信息建立注视平面坐标系的方式可以是：以第二位置为原点，以注视平面的法向量为Z轴建立三维直角坐标系，X轴为注视平面的X轴，Y轴为注视平面的Y轴。示例性的，图2是本实施例中将眼动追踪模块设置于笔记本电脑的键盘所在平面的示例图，如图2所示，由于笔记本电脑的显示屏是可旋转的，因此当显示屏位置发生变化时，需要重新建立显示屏所在平面的坐标系。眼动追踪模块设置于键盘所在平面，由于笔记本电脑是可移动的，因此，当笔记本电脑位置发生变化时，也需要重新建立相机坐标系。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注视点确定方法，其特征在于，包括：确定坐标系转换关系；其中，坐标系转换关系为相机坐标系与注视平面坐标系间的转换关系；且所述相机设置于眼动追踪模块中；确定用户在所述相机坐标系下的第一视线方向矢量及第一眼球坐标；根据所述坐标系转换关系将所述第一视线方向矢量及第一眼球坐标转换为所述注视平面系下的第二视线方向矢量和第二眼球坐标；根据所述第二视线方向矢量、第二眼球坐标及注视平面确定用户落在所述注视平面上的注视点。2.根据权利要求1所述的方法，其特征在于，确定坐标系转换关系，包括：获取相机中心的第一位置信息，根据所述第一位置信息建立相机坐标系；获取所述注视平面中心的第二位置信息，根据所述第二位置信息建立注视平面坐标系；根据所述相机坐标系和所述注视平面坐标系确定坐标系转换关系。3.根据权利要求1所述的方法，其特征在于，根据所述第二视线方向矢量、第二眼球坐标及注视平面确定用户落在所述注视平面上的注视点，包括：根据所述第二视线方向矢量、第二眼球坐标及注视平面确定用户视线与所述注视平面的交点，将所述交点确定为用户落在所述注视平面上的注视点。4.根据权利要求1所述的方法，其特征在于，确定用户在所述相机坐标系下的第一视线方向矢量及第一眼球坐标，包括：提取所述相机拍摄的眼部图像中的瞳孔信息及光斑信息；根据红外光源与所述光斑信息间的匹配关系确定角膜曲率中心；根据所述角膜曲率中心和所述瞳孔信息确定实际瞳孔中心，并将所述实际瞳孔中心确定为第一眼球坐标；根据所述角膜曲率中心和所述实际瞳孔中心确定第一视线方向矢量。5.根据权利要求4所述的方法，其特征在于，根据红外光源与所述光斑信息间的匹配关系确定角膜曲率中心，包括...

【专利技术属性】
技术研发人员：请求不公布姓名，黄通兵，请求不公布姓名，
申请(专利权)人：北京七鑫易维科技有限公司，
类型：发明
国别省市：