眼球追踪方法、装置和存储介质制造方法及图纸

本申请公开了一种眼球追踪方法、装置和存储介质，涉及计算机视觉技术领域，所述方法包括：在头戴式眼动装置启动时，获取使用者的目标虹膜信息；从数据库中获取所述目标虹膜信息所对应的目标校准标定信息，所述数据库中存储有不同虹膜信息和各自对应的校准标定信息；根据所述目标校准标定信息对所述使用者使用所述头戴式眼动装置时的眼球运动进行眼球追踪。解决了现有技术每次使用时均需要进行标定，使用较为繁琐效率较低的问题，达到了可以调取数据库中的校准标定信息，进而实现眼球追踪无需每次标定，提高使用效率的效果。提高使用效率的效果。提高使用效率的效果。

【技术实现步骤摘要】
眼球追踪方法、装置和存储介质


[0001]本专利技术涉及一种眼球追踪方法、装置和存储介质，属于计算机视觉


技术介绍

[0002]随着眼动追踪技术的快速发展，眼动追踪在计算机视觉领域的关注度也日益增加。
[0003]目前，现有的眼球追踪方法中特别是头戴式眼动设备中，在用户每次使用前需要用户有意识地注视屏幕内出现的若干个点，或者透过屏幕注视现实生活中的具体物体，进而实现校准。
[0004]显而易见的，上述方案中用户每次均需要进行校准，较为繁琐，无法实现使用时即拿即用的目的。

技术实现思路

[0005]本专利技术的目的在于提供一种眼球追踪方法、装置和存储介质，用于解决现有技术中存在的问题。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]根据第一方面，本专利技术实施例提供了一种眼球追踪方法，所述方法包括：
[0008]在头戴式眼动装置启动时，获取使用者的目标虹膜信息；
[0009]从数据库中获取所述目标虹膜信息所对应的目标校准标定信息，所述数据库中存储有不同虹膜信息和各自对应的校准标定信息；
[0010]根据所述目标校准标定信息对所述使用者使用所述头戴式眼动装置时的眼球运动进行眼球追踪。
[0011]可选地，所述获取使用者的目标虹膜信息，包括：
[0012]获取所述使用者的眼部图像；
[0013]识别所述眼部图像中的虹膜区域；
[0014]通过虹膜特征匹配算法对所述虹膜区域进行识别，得到所述目标虹膜信息。
[0015]可选地，所述根据所述目标校准标定信息对所述使用者使用所述头戴式眼动装置时的眼球运动进行眼球追踪，包括：
[0016]实时获取所述使用者使用所述头戴式眼动装置时的目标眼部图像；
[0017]将所述目标眼部图像和所述目标校准标定信息输入至追踪模型，通过所述追踪模型实时识别所述使用者的注视点位置。
[0018]可选地，所述目标校准标定信息包括n个校准样本以及每个校准样本对应的标签，n为正整数，所述将所述目标眼部图像和所述目标校准标定信息输入至追踪模型，通过所述追踪模型实时识别所述使用者的注视点位置，包括：
[0019]将所述目标眼部图像输入至所述追踪模型，得到所述追踪模型预测得到的预测注视点位置；
[0020]将所述n个校准样本分别输入至所述追踪模型，得到所述追踪模型预测得到的每个样本对应的样本预测位置；
[0021]根据所述n个样本预测位置以及每个校准样本对应的标签对所述预测注视点位置进行校准，得到识别得到的所述注视点位置。
[0022]可选地，所述根据所述n个样本预测位置以及每个校准样本对应的标签对所述预测注视点位置进行校准，得到识别得到的所述注视点位置，包括：
[0023]若所述预测注视点位置为Pj，第i个校准样本的样本预测位置为Pi，第i个校准样本的标签为Li，校准后的注视点位置为Rj；则：
[0024][0025]可选地，所述追踪模型包括至少两个CNN模块和全连接模块；其中；
[0026]每个CNN模块包括多个卷积层以及在每个卷积层之后的Relu层和BN层；且第i+1个卷积层的通道输出量为第i个卷积层的通道输出量的预设倍数，预设倍数大于1；
[0027]所述全连接模块，用于对所述至少两个CNN模块提取到的特征进行全连接，并输出得到预测位置。
[0028]可选地，所述方法还包括：
[0029]若在所述数据库中未获取到所述目标校准标定信息，则展示提示信息，所述提示信息用于提示进行校准；
[0030]引导所述使用者进行校准，得到所述使用者的校准标定信息；
[0031]将所述目标虹膜信息和得到的所述校准标定信息关联存储至所述数据库中。
[0032]可选地，所述方法还包括：
[0033]在进行眼球追踪过程时，每隔预设时间间隔再次执行所述获取所述使用者的目标虹膜信息的步骤。
[0034]第二方面，提供了一种眼球追踪装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如第一方面所述的方法。
[0035]第三方面，提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如第一方面所述的方法。
[0036]在头戴式眼动装置启动时，获取使用者的目标虹膜信息；从数据库中获取所述目标虹膜信息所对应的目标校准标定信息，所述数据库中存储有不同虹膜信息和各自对应的校准标定信息；根据所述目标校准标定信息对所述使用者使用所述头戴式眼动装置时的眼球运动进行眼球追踪。解决了现有技术每次使用时均需要进行标定，使用较为繁琐效率较低的问题，达到了可以调取数据库中的校准标定信息，进而实现眼球追踪无需每次标定，提高使用效率的效果。
[0037]上述方案中，在头戴式眼动装置的使用过程中，可以支持已知使用者的自由切换而无需进行多次校准，提高了使用效率。
[0038]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。
附图说明
[0039]图1为本专利技术一个实施例提供的眼球追踪方法的方法流程图；
[0040]图2a为本专利技术一个实施例提供的眼球追踪方法中识别得到的使用者的粗糙虹膜轮廓；
[0041]图2b为本专利技术一个实施例提供的眼球追踪方法中识别得到的使用者的精准虹膜轮廓；
[0042]图3为本专利技术一个实施例提供的眼球追踪方法中使用者标定的一种可能的流程图；
[0043]图4为本专利技术一个实施例提供的眼球追踪方法中追踪模型的一种可能的网络模型的示意图；
[0044]图5为本专利技术一个实施例提供的通过追踪模型进行追踪的示意图；
[0045]图6为本专利技术一个实施例提供的眼球追踪方法的完整的流程图。
具体实施方式
[0046]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0047]在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0048]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种眼球追踪方法，其特征在于，所述方法包括：在头戴式眼动装置启动时，获取使用者的目标虹膜信息；从数据库中获取所述目标虹膜信息所对应的目标校准标定信息，所述数据库中存储有不同虹膜信息和各自对应的校准标定信息；根据所述目标校准标定信息对所述使用者使用所述头戴式眼动装置时的眼球运动进行眼球追踪。2.根据权利要求1所述的方法，其特征在于，所述获取使用者的目标虹膜信息，包括：获取所述使用者的眼部图像；识别所述眼部图像中的虹膜区域；通过虹膜特征匹配算法对所述虹膜区域进行识别，得到所述目标虹膜信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标校准标定信息对所述使用者使用所述头戴式眼动装置时的眼球运动进行眼球追踪，包括：实时获取所述使用者使用所述头戴式眼动装置时的目标眼部图像；将所述目标眼部图像和所述目标校准标定信息输入至追踪模型，通过所述追踪模型实时识别所述使用者的注视点位置。4.根据权利要求3所述的方法，其特征在于，所述目标校准标定信息包括n个校准样本以及每个校准样本对应的标签，n为正整数，所述将所述目标眼部图像和所述目标校准标定信息输入至追踪模型，通过所述追踪模型实时识别所述使用者的注视点位置，包括：将所述目标眼部图像输入至所述追踪模型，得到所述追踪模型预测得到的预测注视点位置；将所述n个校准样本分别输入至所述追踪模型，得到所述追踪模型预测得到的每个样本对应的样本预测位置；根据所述n个样本预测位置以及每个校准样本对应的标签对所述预测注视点位置进行校准，得到识别得到的所述注视点位置。5.根据权利要求4所述的方法，其特征在于，所述根据所述...

【专利技术属性】
技术研发人员：印二威，白晓伟，王小东，闫野，谢良，张敬，张亚坤，张皓洋，赵少楷，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：