视线方向检测方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例提供一种视线方向检测方法、装置、电子设备及存储介质，通过获取双目图像，并基于双目预测模型处理双目图像，得到双目预测结果，双目预测结果表征双目图像对应的第一视线方向；根据双目预测结果，生成单目校准数据，并利用单目校准数据配置单目预测模型；在检测到单目图像时，利用单目预测模型处理单目图像，得到单目图像对应的目标视线方向。通过使用正常状态加采集到的双目图像，以及对应的双目预测结果生成单目校准数据，并对单目预测模型进行校准，使单目预测模型获得与生成双目预测结果的双目预测模型具有相似的预测能力，进而使基于单目预测模型得到的目标视线方向具体更高的准确性。具体更高的准确性。具体更高的准确性。

【技术实现步骤摘要】
视线方向检测方法、装置、电子设备及存储介质


[0001]本公开实施例涉及虚拟现实
，尤其涉及一种视线方向检测方法、装置、电子设备及存储介质。

技术介绍

[0002]在虚拟现实技术中，通过检测用户的视线方向，在显示屏上显示交互标识，从而实现基于用户视线的人机交互，有效提高人机交互的效率和使用体验。
[0003]现有技术中，终端设备在进行视线方向检测前，通常需要首先进行参数标定，并基于标定结果配置双目预测模型，从而减少使用双目图像预测视线方向时的检测误差。
[0004]然而，在实际应用过程中，当出现单目遮挡、眨眼等情况时，终端设备只能基于单目图像进行视线方向预测，此种情况下，会导致视线方向检测结果不准确、交互标识跳变等问题。

技术实现思路

[0005]本公开实施例提供一种视线方向检测方法、装置、电子设备及存储介质，以克服视线方向检测结果不准确、交互标识跳变等问题。
[0006]第一方面，本公开实施例提供一种视线方向检测方法，包括：
[0007]获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。
[0008]第二方面，本公开实施例提供一种视线方向检测装置，包括：
[0009]获取模块，用于获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；
[0010]生成模块，用于根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；
[0011]处理模块，用于在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。
[0012]第三方面，本公开实施例提供一种电子设备，包括：
[0013]处理器，以及与所述处理器通信连接的存储器；
[0014]所述存储器存储计算机执行指令；
[0015]所述处理器执行所述存储器存储的计算机执行指令，以实现如上第一方面以及第一方面各种可能的设计所述的视线方向检测方法。
[0016]第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的视线方向检测方法。
[0017]第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的视线方向检测方法。
[0018]本实施例提供的视线方向检测方法、装置、电子设备及存储介质，通过获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。通过使用正常状态加采集到的双目图像，以及对应的双目预测结果生成单目校准数据，并对单目预测模型进行校准，使单目预测模型获得与生成双目预测结果的双目预测模型具有相似的预测能力，进而使基于单目预测模型得到的目标视线方向具体更高的准确性，同时，降低视线方向连续检测过程中，由于单目预测模型和双目预测模型切换而导致的检测结果跳变，提高交互标识的稳定性。
附图说明
[0019]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本公开实施例提供的视线方向检测方法的一种应用场景图；
[0021]图2为本公开实施例提供的视线方向检测方法的流程示意图一；
[0022]图3为图2所示实施例中步骤S102的具体实现方式的流程图；
[0023]图4为本公开实施例提供的一种检测单目图像的目标视线方向的过程示意图；
[0024]图5为本公开实施例提供的视线方向检测方法的流程示意图二；
[0025]图6为本公开实施例提供的一种目标视觉区域的示意图；
[0026]图7为本公开实施例提供的另一种目标视觉区域的示意图；
[0027]图8为图5所示实施例中步骤S208的具体实现方式的流程图；
[0028]图9为图5所示实施例中步骤S210的具体实现方式的流程图；
[0029]图10为本公开实施例提供的一种生成目标视线方向的示意图；
[0030]图11为图5所示实施例中步骤S211的具体实现方式的流程图；
[0031]图12为本公开实施例提供的视线方向检测装置的结构框图；
[0032]图13为本公开实施例提供的一种电子设备的结构示意图；
[0033]图14为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0034]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0035]需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人
信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
[0036]下面对本公开实施例的应用场景进行解释：
[0037]图1为本公开实施例提供的视线方向检测方法的一种应用场景图，本公开实施例提供的视线方向检测方法，可以应用于虚拟现实(Virtual Reality，VR)、混合现实(Mix Reality，MR)等应用场景下。更具体地，可以应用于虚拟现实场景下，基于用户视线的人机交互过程中，如图1所示，本公开实施例提供的方法，可以应用于终端设备，其中，终端设备例如为图中所示的VR头盔，在所述虚拟现实头盔中设置有用于采集眼部图像的摄像头，以及用于显示图像内容的显示屏，虚拟现实头盔通过摄像头采集佩戴者的眼部图像后，基于眼部图像进行分析，得到视线方向，再根据该视线方向，在显示屏上生成对应的交互标识，例如图中所示的手型图标，之后基于交互标识的停留时长等信息，来完成人机交互过程。
[0038本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线方向检测方法，其特征在于，包括：获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。2.根据权利要求1所述的方法，其特征在于，所述双目预测结果中包括表征所述第一视线方向的弧度信息，以及对应的双目图像特征；根据所述双目预测结果，生成单目校准数据，包括：根据所述弧度信息，得到校准弧度；根据双目图像特征，得到单目模型参数，所述单目模型参数用于配置于所述单目预测模型，以使所述单目预测模型建立单目图像特征与对应的视线方向的映射关系；根据所述单目模型参数和所述校准弧度，得到单目校准数据。3.根据权利要求2所述的方法，其特征在于，所述双目图像特征包括左目图像特征和右目图像特征，所述根据双目图像特征，得到单目模型参数，包括：基于角膜反射法分别处理所述左目图像特征和所述右目图像特征，分别得到对应的第一单目模型参数和第二单目模型参数；根据所述第一单目模型参数和所述第二单目模型参数的组合，得到单目模型参数。4.根据权利要求1所述的方法，其特征在于，所述双目预测结果包括至少两个初始数据，所述初始数据中包括弧度坐标，所述弧度坐标用于表征所述第一视线方向的方向向量；所述根据所述双目预测结果，生成单目校准数据，包括：根据所述初始数据的弧度坐标，从所述至少两个初始数据中，确定至少两个第一目标数据，其中，各所述第一目标数据对应的弧度坐标均匀分布于目标视觉区域内，所述目标视觉区域对应视线方向可到达的预设弧度范围；根据所述至少两个第一目标数据，生成单目校准数据。5.根据权利要求4所述的方法，其特征在于，所述第一目标数据的弧度坐标对应的向量长度，大于第一阈值和/或小于第二阈值，其中，所述第一阈值表征所述视线方向的弧度下限、所述第二阈值表征所述视线方向的弧度上限。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取所述至少两个初始数据中除所述第一目标数据之外的剩余数据；根据所述剩余数据的评估值，生成第二目标数据，其中，所述评估值表征所述剩余数据通过所述单目预测模型得到的视线方向的准确性；所述根据所述至少两个第一目标数据，生成单目校准数据，包括：根据所述第二目标数据和所述至少两个第一目标数据，生成单目校准数据。7.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述双目预测结果中的弧度信息，确定所述双目预测结果对应的注视状态，其中，所述...

【专利技术属性】
技术研发人员：池立盈，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：