视线估计方法及电子设备技术

本申请公开了一种视线估计方法及电子设备，涉及终端领域，该方法包括：电子设备通过第一摄像头采集到包括第一用户人脸的第一图像。电子设备基于第一图像，确定出第一用户的视线在第一坐标系下的注视方向。电子设备基于第一用户的视线在所述第一坐标系下的注视方向和第一用户的头部相对于第一摄像头的位置与姿态，确定出第一用户在第二坐标系下的注视方向。电子设备基于第一用户在第二坐标系下的注视方向与显示屏在第二坐标系下的坐标，确定出第一用户的视线聚焦于显示屏的第一位置。当电子设备确定出第一位置位于显示屏的预设区域时，电子设备执行第一指令。电子设备执行第一指令。电子设备执行第一指令。

【技术实现步骤摘要】
视线估计方法及电子设备


[0001]本申请涉及终端领域，尤其涉及一种视线估计方法及电子设备。

技术介绍

[0002]随着终端技术的发展以及设备交互技术的成熟，用户逐渐脱离鼠标键盘输入或者触摸显示屏以控制电子设备执行相应指令等传统的交互方式，开始探索更为方便的人机交互方法，例如基于视线交互、语音交互或手势交互等方式来控制电子设备。在上述视线交互方法中，电子设备可以基于用户的眼球运动确定出相应的控制指令，以执行用户的意图操作。然而，在当前的视线交互
，用户的视线估计需要借助头戴式设备获取眼球运动的信息，因此，该视线交互方法的应用场景不够广泛，操作十分繁琐，眼球运动信息的获取方式也较为复杂。

技术实现思路

[0003]本申请提供了一种视线估计方法及电子设备，实现了电子设备不需要借助除电子设备外的其他设备(例如前述的头戴式设备)即可确定出用户针对电子设备100上显示屏的视线聚焦位置，应用场景更为广泛，且操作十分方便，极大地提升了电子设备100的计算效率，节约了电子设备100的计算资源。
[0004]第一方面，本申请提供了一种视线估计方法，应用于包括第一摄像头和显示屏的电子设备，所述第一摄像头和所述显示屏位于所述电子设备的同一侧，该方法包括：该电子设备通过该第一摄像头采集到第一图像，该第一图像包括第一用户的人脸图像。该电子设备基于该第一图像，确定出该第一用户的视线在第一坐标系下的注视方向。其中，该第一坐标系是以该第一用户头部的预设点为原点的坐标系。该电子设备基于该第一用户的视线在该第一坐标系下的注视方向和该第一用户的头部相对于该第一摄像头的位置与姿态，确定出该第一用户在第二坐标系下的注视方向。其中，该第二坐标系是以该第一摄像头的光心为原点，该第一摄像头的光轴为坐标系Z轴的坐标系。该电子设备基于该第一用户在该第二坐标系下的注视方向与该显示屏在该第二坐标系下的坐标，确定出该第一用户的视线聚焦于该显示屏的第一位置。当该电子设备确定出该第一位置位于该显示屏的预设区域时，该电子设备执行第一指令。
[0005]在一种可能的实现方式中，该电子设备通过该第一摄像头采集到第一图像，该第一图像包括第一用户的人脸图像，具体包括：该电子设备检测该显示屏的显示状态。当该电子设备检测到该显示屏处于亮屏状态时，该电子设备通过该第一摄像头采集到第一图像，该第一图像包括第一用户的人脸图像。
[0006]在一种可能的实现方式中，该电子设备基于该第一图像，确定出该第一用户的视线在第一坐标系下的注视方向，具体包括：该电子设备对该第一图像进行畸变校正。该电子设备基于无畸变的该第一图像提取出该第一用户的人脸关键点。该电子设备基于该第一用户的人脸关键点，确定出该第一用户的头部位姿。该电子设备基于该第一用户的头部位姿，
对无畸变的该第一图像进行透视变换。该电子设备基于透视变换后的该第一图像进行灰度均衡化处理，得到第一标准图像。该电子设备基于该第一标准图像，提取出该第一用户的头部特征和面部特征。该电子设备基于该第一用户的头部特征和面部特征，确定出该第一用户的视线在第一坐标系下的注视方向。
[0007]在一种可能的实现方式中，该电子设备基于该第一用户的头部位姿，对无畸变的该第一图像进行透视变换，具体包括：该电子设备基于该第一用户的头部位姿，将位于该第二坐标系下的该第一图像，变换至预设坐标系下的图像。
[0008]在一种可能的实现方式中，该第一用户的面部特征表示该第一用户双眼的位置、该第一用户双眼的睁开/闭合状态等。该第一用户的头部特征表示该第一用户的头部转动姿态。
[0009]在一种可能的实现方式中，基于该第一用户在该第二坐标系下的注视方向与该显示屏在该第二坐标系下的坐标，确定出该第一用户的视线聚焦于该显示屏的第一位置，具体包括：该电子设备确定出第一用户在该第二坐标系下的注视方向与该显示屏的交点。该电子设备确定出该交点在该第二坐标系下的三维坐标。该电子设备基于该交点在该第二坐标系下的三维坐标与第一映射关系，确定出该交点在屏幕坐标系下的二维坐标。其中，该二维坐标为第一位置的坐标，该第一映射关系用于将该第二坐标系下的坐标映射为该屏幕坐标系下的坐标。
[0010]在一种可能的实现方式中，该屏幕坐标系为：以该显示屏左上角为原点，显示屏所在平面为xoy平面的坐标系。
[0011]在一种可能的实现方式中，该第一指令为：显示通知界面、打开指定应用或显示桌面界面。
[0012]第二方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器和显示屏。该一个或多个存储器与一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。
[0013]第三方面，本申请实施例提供了一种计算机可读存储介质，包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。
[0014]第四方面，本申请实施例提供了一种芯片或芯片系统，包括处理电路和接口电路，该接口电路用于接收代码指令并传输至该处理电路，该处理电路用于运行该代码指令以执行上述第一方面任一项可能的实现方式中的方法。
[0015]第五方面，本申请实施例提供了一种计算机程序产品，其特征在于，当该计算机程序产品在电子设备上运行时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。
附图说明
[0016]图1A为本申请实施例提供的一种应用场景示意图；
[0017]图1B为本申请实施例提供的一种用户界面示意图；
[0018]图2为本申请实施例提供的一种视线估计方法的具体流程示意图；
[0019]图3A为本申请实施例提供的一种电子设备配置示意图；
[0020]图3B为本申请实施例提供的另一种应用场景示意图；
[0021]图3C为本申请实施例提供的一种用户图像示意图；
[0022]图3D为本申请实施例提供的一种图像标准化处理的流程示意图；
[0023]图3E为本申请实施例提供的一种图像扭曲成像的示意图；
[0024]图3F为本申请实施例提供的一种人脸关键点提取示意图；
[0025]图3G为本申请实施例提供的一种确定用户的头部位姿的流程示意图；
[0026]图3H为本申请实施例提供的一种建立归一化相机坐标系的方法示意图；
[0027]图3I为本申请实施例提供的一种原始图像标准化后生成新图像的示意图；
[0028]图3J为本申请实施例提供的一种确定用户注视位置的流程示意图；
[0029]图3K为本申请实施例提供的一种坐标转换示意图；
[0030]图3L为本申请实施例提供的另一种坐标转换示意图；
[0031]图3M为本申请实施例提供的一种电子设备基于用户注视位置执行指令的示意图；
[0032]图4为本申请实施例提供的一种电子设备的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线估计方法，应用于包括第一摄像头和显示屏的电子设备，所述第一摄像头和所述显示屏位于所述电子设备的同一侧，其特征在于，所述方法包括：所述电子设备通过所述第一摄像头采集到第一图像，所述第一图像包括第一用户的人脸图像；所述电子设备基于所述第一图像，确定出所述第一用户的视线在第一坐标系下的注视方向；其中，所述第一坐标系是以所述第一用户头部的预设点为原点的坐标系；所述电子设备基于所述第一用户的视线在所述第一坐标系下的注视方向和所述第一用户的头部相对于所述第一摄像头的位置与姿态，确定出所述第一用户在第二坐标系下的注视方向；其中，所述第二坐标系是以所述第一摄像头的光心为原点，以所述第一摄像头的光轴为坐标系Z轴的坐标系；所述电子设备基于所述第一用户在所述第二坐标系下的注视方向与所述显示屏在所述第二坐标系下的坐标，确定出所述第一用户的视线聚焦于所述显示屏的第一位置；当所述电子设备确定出所述第一位置位于所述显示屏的预设区域时，所述电子设备执行第一指令。2.根据权利要求1所述的方法，其特征在于，所述电子设备通过所述第一摄像头采集到第一图像，所述第一图像包括第一用户的人脸图像，具体包括：所述电子设备检测所述显示屏的显示状态；当所述电子设备检测到所述显示屏处于亮屏状态时，所述电子设备通过所述第一摄像头采集到第一图像，所述第一图像包括第一用户的人脸图像。3.根据权利要求1所述的方法，其特征在于，所述电子设备基于所述第一图像，确定出所述第一用户的视线在第一坐标系下的注视方向，具体包括：所述电子设备对所述第一图像进行畸变校正；所述电子设备基于无畸变的所述第一图像提取出所述第一用户的人脸关键点；所述电子设备基于所述第一用户的人脸关键点，确定出所述第一用户的头部位姿；所述电子设备基于所述第一用户的头部位姿，对无畸变的所述第一图像进行透视变换；所述电子设备基于透视变换后的所述第一图像进行灰度均衡化处理，得到第一标准图像；所述电子设备基于所述第一标准图像，提取出所述第一用户的头部特征和面部特征；所述电子设备基于所述第一用户的头部特征和面部特征，确定出所述第一用户的视线在第一坐标系下的注视方向。4.根据权利要求3所述的方法，其特征在于，所述电子设备基于所述第一用户的头部位姿，对无畸变的所述第一图像进行透视变换，具体包括：所述电子设备基于...

【专利技术属性】
技术研发人员：邸皓轩，李丹洪，谢字希，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：