一种眼球追踪校准方法、装置及可佩戴式设备制造方法及图纸

本发明专利技术提供了一种眼球追踪校准方法、装置及可佩戴式设备，涉及眼球追踪技术领域。其中，该方法包括：获取第一眼球图像；第一眼球图像为左眼/右眼眼球图像；确定第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；根据第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；确定第二瞳孔椭圆参数与第一瞳孔椭圆参数之间的差值；根据该差值，对注视点坐标进行校准。本发明专利技术实施例中，第一瞳孔椭圆参数也即当前瞳孔的实际参数，第二瞳孔椭圆参数也即当前瞳孔对应的理论参数，设备可以确定当前瞳孔相对于设备与人眼未发生相对滑动的初始情况的变化量，进而根据该变化量校准注视点坐标，使得眼球追踪精度不会随设备的使用而降低。

An eye tracking calibration method, device and wearable device

【技术实现步骤摘要】
一种眼球追踪校准方法、装置及可佩戴式设备
本专利技术涉及眼球追踪
，特别是涉及一种眼球追踪校准方法、装置及可佩戴式设备。
技术介绍
眼球追踪技术在虚拟现实(VirtualReality，VR)、增强现实(AugmentedReality，AR)、混合现实(MixedReality，MR)等领域的应用十分广泛。目前，在使用眼球追踪设备播放视频之前，眼球追踪系统首先会对用户进行5点标定或9点标定，即利用已知的瞳孔中心位置和注视点位置，建立起瞳孔中心位置与注视点位置之间的映射关系。后续使用眼球追踪设备播放视频时，便能够根据当前的瞳孔中心位置和建立起的映射关系，确定用户当前的注视点位置，从而实现眼球追踪。但是，随着用户的使用，眼球追踪设备可能会因为与人眼发生相对滑动等原因，逐渐脱离原始的标定位置，使得原先建立的瞳孔中心位置与注视点位置之间的映射关系无法继续适用，进而造成眼球追踪的精度急剧下降。
技术实现思路
本专利技术提供一种眼球追踪校准方法、装置及可佩戴式设备，以解决眼球追踪精度会随设备的使用而降低的问题。为了解决上述问题，本专利技术公开了一种眼球追踪校准方法，包括：获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；根据所述第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；确定所述第二瞳孔椭圆参数与所述第一瞳孔椭圆参数之间的差值；根据所述差值，对注视点坐标进行校准。可选地，所述获取第一眼球图像之前，还包括：获取多个第二眼球图像；所述第二眼球图像与所述第一眼球图像属性相同；确定每个所述第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数；根据每个所述第二瞳孔中心坐标和每个所述第三瞳孔椭圆参数，确定所述预设矩阵参数。可选地，所述第一瞳孔椭圆参数包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的至少一种；所述第二瞳孔椭圆参数和所述第三瞳孔椭圆参数均与所述第一瞳孔椭圆参数的属性相同。可选地，所述根据所述差值，对注视点坐标进行校准，包括：确定所述预设矩阵参数对应的逆矩阵参数；根据所述差值和所述逆矩阵参数，确定瞳孔中心坐标的变化量；根据所述瞳孔中心坐标的变化量，确定所述注视点坐标的补偿值；将所述注视点坐标的补偿值与所述注视点坐标的坐标值相加，得到校准后的所述注视点坐标。为了解决上述问题，本专利技术还公开了一种眼球追踪校准装置，包括：第一获取模块，用于获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；第一确定模块，用于确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；第二确定模块，用于根据所述第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；第三确定模块，用于确定所述第二瞳孔椭圆参数与所述第一瞳孔椭圆参数之间的差值；校准模块，用于根据所述差值，对注视点坐标进行校准。可选地，所述装置还包括：第二获取模块，用于获取多个第二眼球图像；所述第二眼球图像与所述第一眼球图像属性相同；第四确定模块，用于确定每个所述第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数；第五确定模块，用于根据每个所述第二瞳孔中心坐标和每个所述第三瞳孔椭圆参数，确定所述预设矩阵参数。可选地，所述第一瞳孔椭圆参数包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的至少一种；所述第二瞳孔椭圆参数和所述第三瞳孔椭圆参数均与所述第一瞳孔椭圆参数的属性相同。可选地，所述校准模块包括：第一确定子模块，用于确定所述预设矩阵参数对应的逆矩阵参数；第二确定子模块，用于根据所述差值和所述逆矩阵参数，确定瞳孔中心坐标的变化量；第三确定子模块，用于根据所述瞳孔中心坐标的变化量，确定所述注视点坐标的补偿值；校准子模块，用于将所述注视点坐标的补偿值与所述注视点坐标的坐标值相加，得到校准后的所述注视点坐标。为了解决上述问题，本专利技术还公开了一种可佩戴式设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的眼球追踪校准方法的步骤。为了解决上述问题，本专利技术还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的眼球追踪校准方法的步骤。与现有技术相比，本专利技术包括以下优点：在本专利技术实施例中，可佩戴式设备可以获取第一眼球图像，然后确定第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数，第一瞳孔椭圆参数也即当前瞳孔椭圆的实际参数值，之后可以根据第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数，第二瞳孔椭圆参数也即当前瞳孔椭圆对应的理论参数值，进而可以确定第二瞳孔椭圆参数与第一瞳孔椭圆参数之间的差值，得到当前瞳孔椭圆的理论参数值与实际参数值之间的偏差，并可根据该差值，对注视点坐标进行校准。在本专利技术实施例中，可佩戴式设备可以确定当前瞳孔相对于可佩戴式设备与人眼之间未发生相对滑动的初始情况的变化量，进而可以根据该变化量对注视点坐标进行校准，保证了眼球追踪的精度，使得眼球追踪精度不会随设备的使用而降低。附图说明图1示出了本专利技术实施例一的一种眼球追踪校准方法的流程图；图2示出了本专利技术实施例一的一种瞳孔椭圆相对于预设方向的旋转角的示意图；图3示出了本专利技术实施例二的一种眼球追踪校准装置的结构框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。实施例一参照图1，示出了本专利技术实施例一的一种眼球追踪校准方法的步骤流程图，该方法包括以下步骤：步骤101：获取第一眼球图像；第一眼球图像为左眼眼球图像或右眼眼球图像。在本专利技术实施例中，该方法可以应用于具有眼球追踪功能的可佩戴式设备，可选地，该可佩戴式设备具体可以是可佩戴式VR设备、可佩戴式AR设备以及可佩戴式MR设备中的任一种。在此类具有眼球追踪功能的可佩戴式设备中，由于左右眼距相对于观看距离来说较大，因此，可佩戴式设备通常包括两个显示屏，左眼可以对应一个屏幕，右眼可以对应另一个屏幕，两个屏幕同时进行显示时，用户可以通过左右眼观察到完整的画面。在具体应用时，可以在可佩戴式设备的两个显示屏附近各设置一个摄像头，从而左眼对应的摄像头可以拍摄到用户观看画面时的左眼眼球图像，右眼对应的摄像头可以拍摄到用户观看画面时的右眼眼球图像。可佩戴式设备可以在播放VR、AR等视频的过程中，通过摄像头拍摄第一眼球图像。在一种可选的实现方式中，可以是根据左眼眼球图像，校准左眼的注视点坐标，并根据右眼眼球图像，校准右眼的注视点坐标，也即是左眼和右眼的注视点坐标可以分别通过本方法进行校准本文档来自技高网...

【技术保护点】
1.一种眼球追踪校准方法，其特征在于，所述方法包括：/n获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；/n确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；/n根据所述第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；/n确定所述第二瞳孔椭圆参数与所述第一瞳孔椭圆参数之间的差值；/n根据所述差值，对注视点坐标进行校准。/n

【技术特征摘要】
1.一种眼球追踪校准方法，其特征在于，所述方法包括：
获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；
确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；
根据所述第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；
确定所述第二瞳孔椭圆参数与所述第一瞳孔椭圆参数之间的差值；
根据所述差值，对注视点坐标进行校准。


2.根据权利要求1所述的方法，其特征在于，所述获取第一眼球图像之前，还包括：
获取多个第二眼球图像；所述第二眼球图像与所述第一眼球图像属性相同；
确定每个所述第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数；
根据每个所述第二瞳孔中心坐标和每个所述第三瞳孔椭圆参数，确定所述预设矩阵参数。


3.根据权利要求2所述的方法，其特征在于，所述第一瞳孔椭圆参数包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的至少一种；所述第二瞳孔椭圆参数和所述第三瞳孔椭圆参数均与所述第一瞳孔椭圆参数的属性相同。


4.根据权利要求1所述的方法，其特征在于，所述根据所述差值，对注视点坐标进行校准，包括：
确定所述预设矩阵参数对应的逆矩阵参数；
根据所述差值和所述逆矩阵参数，确定瞳孔中心坐标的变化量；
根据所述瞳孔中心坐标的变化量，确定所述注视点坐标的补偿值；
将所述注视点坐标的补偿值与所述注视点坐标的坐标值相加，得到校准后的所述注视点坐标。


5.一种眼球追踪校准装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；
第一确定模块，用于确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；
第二确定模块，用于根据所述第一瞳孔中心坐标和...

【专利技术属性】
技术研发人员：孙建康，张浩，陈丽莉，薛亚冲，董泽华，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京;11