视线坐标确定方法及装置、计算机可读介质和电子设备制造方法及图纸

本公开提供一种视线坐标确定方法及装置、计算机可读介质和电子设备，涉及人机交互技术领域。该方法包括：获取人脸图像；将人脸图像输入到视线估计模型中，确定人脸图像对应的视线估计坐标；获取构建好的视线校正模型，该视线校正模型是通过隐藏式校正过程得到的；通过视线校正模型对视线估计坐标进行校正处理，确定人脸图像对应的视线真实坐标。本公开通过隐藏式校正过程，能够有效提升视线校正模型的校正准确度，进而有效提升视线真实坐标的准确性，同时，隐藏式校正过程并不需要用户进行额外的操作，减少用户操作，降低用户使用时的学习成本，有效提升视线校正模型的构建效率。有效提升视线校正模型的构建效率。有效提升视线校正模型的构建效率。

Line of sight coordinate determination method and device, computer readable medium and electronic equipment

【技术实现步骤摘要】
视线坐标确定方法及装置、计算机可读介质和电子设备


[0001]本公开涉及人机交互
，具体涉及一种视线坐标确定方法、视线坐标确定装置、计算机可读介质和电子设备。

技术介绍

[0002]随着科学技术的飞速发展，视线估计(Gaze Estimation)技术越来越得到人们的关注。视线估计技术可以分为注视点估计、注视目标估计以及三维视线估计。其中注视点估计即估算人双目视线聚焦的落点，注视点估计的应用场景一般是估计人在一个二维平面上的注视点，例如二维平面可以是手机屏幕、电视屏幕等，而模型输入的图像则可以是这些设备的前置摄像头进行采集。
[0003]目前，相关的注视点估计校正方案中，需要用户进行专门的校正过程，即在屏幕中的不同位置显示亮点，并指引用户依次盯着每个亮点，该校正过程所需要的操作较复杂，用户的学习成本较高，进而大概率可能导致用户在校正过程出现操作失误，得到的视线校正模型的校正准确度较低；同时，若操作失误可能需要重新进行校正过程，所需要的校正时间较长，导致视线校正模型的构建时间或者更新时间较长。

技术实现思路

[0004]本公开的目的在于提供一种视线坐标确定方法、视线坐标确定装置、计算机可读介质和电子设备，进而至少在一定程度上提升视线校正模型的校正准确度，保证视线真实坐标的准确性，同时提升视线校正模型的构建效率。
[0005]根据本公开的第一方面，提供一种视线坐标确定方法，包括：
[0006]获取人脸图像；
[0007]将所述人脸图像输入到视线估计模型中，确定所述人脸图像对应的视线估计坐标；
[0008]获取构建好的视线校正模型，所述视线校正模型是通过隐藏式校正过程得到的；
[0009]通过所述视线校正模型对所述视线估计坐标进行校正处理，确定所述人脸图像对应的视线真实坐标。
[0010]根据本公开的第二方面，提供一种视线坐标确定装置，包括：
[0011]人脸图像获取模块，用于获取人脸图像；
[0012]视线估计坐标确定模块，用于将所述人脸图像输入到视线估计模型中，确定所述人脸图像对应的视线估计坐标；
[0013]校正模型获取模块，用于获取构建好的视线校正模型，所述视线校正模型是通过隐藏式校正过程得到的；
[0014]视线真实坐标确定模块，用于通过所述视线校正模型对所述视线估计坐标进行校正处理，确定所述人脸图像对应的视线真实坐标。
[0015]根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算
机程序被处理器执行时实现上述的方法。
[0016]根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
[0017]处理器；以及
[0018]存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
[0019]本公开的一种实施例所提供的视线坐标确定方法，可以在检测到视线输入操作时，获取人脸图像，并将人脸图像输入到视线估计模型中，确定人脸图像对应的视线估计坐标，然后通过隐藏式校正过程得到的视线校正模型对视线估计坐标进行校正处理，确定人脸图像对应的视线真实坐标。一方面，通过视线校正模型对视线估计模型输出的视线估计坐标进行校正，能够有效提升视线真实坐标的准确性，并且视线校正模型可以对不同的用户进行更加个性化的校正，增加校正精度；另一方面，隐藏式校正过程并不需要设置专门的校正过程，并不需要用户进行额外的操作，避免可能由于用户在校正过程出现操作失误导致样本数据出错的问题，能够有效提升视线校正模型的校正准确度，进而有效保证校正得到的视线真实坐标的准确性；再一方面，由于隐藏式校正过程不需要用户进行额外的操作，能够有效减少用户操作，降低用户使用时的学习成本，有效提升视线校正模型的构建效率。
[0020]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0021]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0022]图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
[0023]图2示意性示出本公开示例性实施例中一种视线坐标确定方法的流程示意图；
[0024]图3示意性示出本公开示例性实施例中一种视线隐藏式矫正过程的流程示意图；
[0025]图4示意性示出本公开示例性实施例中一种过滤样本视线估计坐标的流程示意图；
[0026]图5示意性示出本公开示例性实施例中一种确定图形用户界面的界面范围的示意图；
[0027]图6示意性示出本公开示例性实施例中一种过滤样本视线估计坐标的原理示意图；
[0028]图7示意性示出本公开示例性实施例中另一种过滤样本视线估计坐标的流程示意图；
[0029]图8示意性示出本公开示例性实施例中视线坐标确定装置的组成示意图；
[0030]图9示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
[0031]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形
式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0032]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0033]图1示出了可以应用本公开实施例的一种视线坐标确定方法及装置的示例性应用环境的系统架构的示意图。
[0034]如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
[0035]本公开实施例所提供的视线坐标确定方法一般由终端设备1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线坐标确定方法，其特征在于，包括：获取人脸图像；将所述人脸图像输入到视线估计模型中，确定所述人脸图像对应的视线估计坐标；获取构建好的视线校正模型，所述视线校正模型是通过隐藏式校正过程得到的；通过所述视线校正模型对所述视线估计坐标进行校正处理，确定所述人脸图像对应的视线真实坐标。2.根据权利要求1所述的方法，其特征在于，所述隐藏式校正过程包括：响应于在图像用户界面中检测到触控操作，获取所述触控操作对应的触控位置；获取检测到所述触控操作时采集的注视人脸图像，并将所述触控位置作为所述注视人脸图像对应的样本视线真实坐标；将所述注视人脸图像输入到所述视线估计模型中，得到样本视线估计坐标；基于所述样本视线真实坐标以及所述样本视线估计坐标对预构建的视线校正模型进行参数拟合，得到构建好的视线校正模型。3.根据权利要求1或2所述的方法，其特征在于，所述视线校正模型是基于最小二乘法的线性模型。4.根据权利要求2所述的方法，其特征在于，所述将所述注视人脸图像输入到所述视线估计模型中，得到样本视线估计坐标，包括：将所述注视人脸图像输入到所述视线估计模型中，得到初始视线估计坐标；若所述初始视线估计坐标位于所述图像用户界面的界面范围之内，则将所述初始视线估计坐标作为样本视线估计坐标；若所述初始视线估计坐标位于所述图像用户界面的界面范围之外，则将所述初始视线估计坐标进行删除处理。5.根据权利要求2或4所述的方法，其特征在于，所述将所述注视人脸图像输入到所述视线估计模型中，得到样本视线估计坐标，包括：将所述注视人脸图像输入到所述视线估计模型中，得到初始视线估计坐标；计算所述样本视线真实坐标与所述初始视线估计坐标的坐标距离；若检测到所述坐标距离小于预设的距离阈值，则将所述初始视线估计坐标作为样本视线估计坐标；若...

【专利技术属性】
技术研发人员：邱榆清，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：