一种视线的追踪方法及电子设备技术

本申请提供了一种视线的追踪方法，应用于电子设备，获取面部图像，建立第一视线方向向量，所述第一视线方向向量基于所述面部图像中眼部区域图像和虹膜区域图像确定；计算所述面部图像中第一三维面部姿态角度；基于所述眼部区域图像和所述虹膜区域图像，更新所述第一三维面部姿态角度，获得第二三维面部姿态角度；基于所述第二面部三维姿态角度和所述第一视线方向向量，获得第二视线方向向量，从而实现了视线追踪。了视线追踪。了视线追踪。

【技术实现步骤摘要】
一种视线的追踪方法及电子设备


[0001]本申请涉及终端
，尤其涉及一种视线的追踪方法及电子设备。

技术介绍

[0002]视线跟踪的目的是在视频或图像中，对连续存在的人眼目标的视线方向进行连续检测，视线方向主要为由脸部或眼部指向待观测物的向量，结合与待观测物的相对位置信息，可用于估计待测物的位置信息。视线跟踪技术是人脸活体检测、疲劳监测、人眼对焦、视线控制、视线交互、VR等技术的基础，具有重要的地位。
[0003]现有相关的视线跟踪技术中，大多通过将眼部区域的能量强度和边界强度相结合以定位眼睛虹膜中心，基于曲率尺度空间和模板匹配复检的方法进行眼角位置探测，构建由虹膜中心指向眼角的眼矢量，建立起由眼矢量至视线目标上的视线点的映射关系，结合映射关系进行实现追踪。
[0004]申请人发现，上述方案的缺点是，由于采用了固定的映射方式，如果眼矢量的计算存在较大偏差，预测结果将存在较大偏差，而在计算眼部虹膜中心和眼角时采用了固定人脸模型和模板来进行检测，这样会导致复杂光照情况下眼部虹膜中心和眼角定位不够准确。

技术实现思路

[0005]本申请提供了一种视线的追踪方法及电子设备，本申请还提供一种计算机可读存储介质，以提供一种视线的追踪方法，以提高实现追踪的准确性。
[0006]第一方面本申请提供了一种视线的追踪方法，应用于电子设备，方法包括：
[0007]获取面部图像，建立第一视线方向向量，第一视线方向向量基于面部图像中眼部区域图像和虹膜区域图像确定；
[0008]计算面部图像中第一三维面部姿态角度；
[0009]基于眼部区域图像和虹膜区域图像，更新第一三维面部姿态角度，获得第二三维面部姿态角度；
[0010]基于第二面部三维姿态角度和第一视线方向向量，获得第二视线方向向量。
[0011]进一步地，建立第一视线方向向量，包括：
[0012]获取眼部区域关键点坐标；
[0013]基于眼部区域关键点坐标，确定第一目标区域，其中，第一目标区域内的图像为眼部区域图像，第一目标区域为包围关键点坐标的最小区域；
[0014]对对象的眼部区域图像进行椭圆拟合，获取虹膜区域图像；
[0015]基于眼部区域图像和虹膜区域图像，建立第一视线方向向量。
[0016]进一步地，建立第一视线方向向量，包括：
[0017]获取眼部区域关键点坐标；
[0018]基于眼部区域关键点坐标，确定第一目标区域，其中，第一目标区域为包围眼部区
域关键点坐标的最小区域；
[0019]将第一目标区域放大预设倍数，确定第二目标区域，第二目标区域内的图像为眼部区域图像；
[0020]对眼部区域图像进行椭圆拟合，获取虹膜区域图像；
[0021]基于眼部区域图像和虹膜区域图像，建立第一视线方向向量。
[0022]进一步地，基于眼部区域图像和虹膜区域图像，更新第一三维面部姿态角度，获得第二三维面部姿态角度，包括：
[0023]计算虹膜区域图像的中心坐标在水平方向占眼部图像的宽度比例，以及在竖直方向占眼部图像的高度比例；
[0024]基于宽度比例、高度比例以及眼部区域图像的中心坐标，计算偏差值；
[0025]基于偏差值，更新第一三维面部姿态角，获得第二三维面部姿态角。
[0026]进一步地，基于第二面部三维姿态角度和第一视线方向向量，获取第二视线方向向量，包括：
[0027]基于第二三维面部姿态角，计算人脸姿态旋转矩阵；
[0028]基于人脸姿态旋转矩阵和第一视线方向向量，获得第二视线方向向量。
[0029]进一步地，第一视线方向向量由眼部区域图像的中心坐标指向虹膜区域图像中心坐标。
[0030]第二方面，提供了一种视线的追踪装置，包括：
[0031]获取模块，用于获取面部图像，建立第一视线方向向量，第一视线方向向量基于面部图像中眼部区域图像和虹膜区域图像确定；
[0032]计算模块，用于计算面部图像中第一三维面部姿态角度；
[0033]更新模块，用于基于眼部区域图像和虹膜区域图像，更新第一三维面部姿态角度，获得第二三维面部姿态角度；
[0034]获得模块，用于基于第二面部三维姿态角度和第一视线方向向量，获得第二视线方向向量。
[0035]进一步地，获取模块还用于
[0036]获取眼部区域关键点坐标；
[0037]基于眼部区域关键点坐标，确定第一目标区域，其中，第一目标区域内的图像为眼部区域图像，第一目标区域为包围关键点坐标的最小区域；
[0038]对对象的眼部区域图像进行椭圆拟合，获取虹膜区域图像；
[0039]进一步地，获取模块还用于
[0040]获取眼部区域关键点坐标；
[0041]基于眼部区域关键点坐标，确定第一目标区域，其中，第一目标区域为包围眼部区域关键点坐标的最小区域；
[0042]将第一目标区域放大预设倍数，确定第二目标区域，第二目标区域内的图像为眼部区域图像；
[0043]对眼部区域图像进行椭圆拟合，获取虹膜区域图像；
[0044]基于眼部区域图像和虹膜区域图像，建立第一视线方向向量。
[0045]进一步地，更新模块还用于
[0046]计算虹膜区域图像的中心坐标在水平方向占眼部图像的宽度比例，以及在竖直方向占眼部图像的高度比例；
[0047]基于宽度比例、高度比例以及眼部区域图像的中心坐标，计算偏差值；
[0048]基于偏差值，更新第一三维面部姿态角，以获得第二三维面部姿态角。
[0049]进一步地，获得模块还用于
[0050]基于第二三维面部姿态角，计算人脸姿态旋转矩阵；
[0051]基于人脸姿态旋转矩阵和第一视线方向向量，获得第二视线方向向量。
[0052]进一步地，第一视线方向向量由眼部区域图像的中心坐标指向虹膜区域图像中心坐标。
[0053]第三方面，本申请提供了一种芯片模组，包括第二方面中的追踪装置。
[0054]第四方面，本申请提供了一种电子设备，电子设备还包括处理器和存储设备，存储设备存有应用程序，应用程序由处理器运行时，使得电子设备执行上述第一方面中的视线的追踪方法。
[0055]第五方面，提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在计算机设备上运行时，使得计算机设备执行如上述第一方面中视线的追踪方法。
附图说明
[0056]图1为本申请实施例提供的视线追踪方法的流程图；
[0057]图2为本申请实施例提供的视线追踪装置的结构示意图；
[0058]图3为本申请实施例提供的芯片模组的结构示意图。
具体实施方式
[0059]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线的追踪方法，其特征在于，应用于电子设备，所述方法包括：获取面部图像，建立第一视线方向向量，所述第一视线方向向量基于所述面部图像中眼部区域图像和虹膜区域图像确定；计算所述面部图像中第一三维面部姿态角度；基于所述眼部区域图像和所述虹膜区域图像，更新所述第一三维面部姿态角度，获得第二三维面部姿态角度；基于所述第二面部三维姿态角度和所述第一视线方向向量，获得第二视线方向向量。2.根据权利要求1所述的追踪方法，其特征在于，所述建立第一视线方向向量，包括：获取眼部区域关键点坐标；基于所述眼部区域关键点坐标，确定第一目标区域，其中，所述第一目标区域内的图像为眼部区域图像，所述第一目标区域为包围所述关键点坐标的最小区域；对所述对象的眼部区域图像进行椭圆拟合，获取虹膜区域图像；基于所述眼部区域图像和所述虹膜区域图像，建立第一视线方向向量。3.根据权利要求1所述的追踪方法，其特征在于，所述建立第一视线方向向量，包括：获取眼部区域关键点坐标；基于所述眼部区域关键点坐标，确定第一目标区域，其中，所述第一目标区域为包围所述眼部区域关键点坐标的最小区域；将所述第一目标区域放大预设倍数，确定第二目标区域，所述第二目标区域内的图像为眼部区域图像；对所述眼部区域图像进行椭圆拟合，获取虹膜区域图像；基于所述眼部区域图像和所述虹膜区域图像，建立第一视线方向向量。4.根据权利要求1所述的追踪方法，其特征在于，所述基于所述眼部区域图像和所述虹膜区域图像，更新所述第一三维面部姿态角度，获得第二三维面部姿态角度，包括：计算所述虹膜区域图像的中心坐标在水平方向占所述眼部图像的宽度比例，以及在竖直方向占所述眼部图像的高度比例；基于所述宽度比例、所述高度比例以及所述眼部区域图像的中心坐标，计算偏差值；基于所述偏差值，更新所述第一三维面部姿态角，获得第二三维面部姿态角。5.根据权利要求4所述的追踪方法，其特征在于，所述基于所述第二面部三维姿态角度和所述第一视线方向向量，获取第二视线方向向量，包括：基于所述第二三维面部姿态角，计算人脸姿态旋转矩阵；基于所述人脸姿态旋转矩阵和所述第一视线方向向量，获得第二视线方向向量。6.根据权利要求1
‑
5所述的追踪方法，其特征在于，所述第一视线方向向量由所述眼部区域图像的中心坐标指向所述虹膜区域图像中心坐标。7.一种视线的追踪装置，其特征在于，包括：获取模块，用于获取面部图像，建立第一视线方向向量，所述第一视线方向向量基于所述面部图像中眼部区域图像和虹膜区域图像确定；计算模块，...

【专利技术属性】
技术研发人员：茹愿，
申请(专利权)人：展讯通信天津有限公司，
类型：发明
国别省市：