一种基于非线性偏差校准的视线估计方法及装置制造方法及图纸

本发明专利技术公开了一种基于非线性偏差校准的视线估计方法及装置，首先获取测试者的原始人脸图像及所述原始人脸图像对应的视线落点数据，并对所述原始人脸图像进行处理，分别获得所述原始人脸图像对应的人脸图像数据及人眼图像数据，通过预先训练好的偏差校准模型对所述人脸图像数据及所述人眼图像数据进行处理，获得第一视线估计值及偏差估计值的第一系数，再通过预设的目标函数，获得所述偏差估计值的第二系数，根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者对应的原始人脸图像对应的视线估计值，提高视线估计的精准度。计的精准度。计的精准度。

【技术实现步骤摘要】
一种基于非线性偏差校准的视线估计方法及装置


[0001]本专利技术涉及人机交互
，尤其涉及一种基于非线性偏差校准的视线估计方法及装置。

技术介绍

[0002]视线估计作为眼动跟踪的重要任务之一，具有非常广泛的应用场景，如人机交互、智能驾驶、情感分析、意图识别等等。随着深度学习方法的发展，基于外观的视线估计方法越来越受到研究者的关注。基于外观的视线估计方法，通常只需要借助简单的设备，如网络摄像头。该方法主要通过学习摄像头获取的人脸信息与注视视线的映射关系，实现视线估计功能。
[0003]然而模型的估计结果往往与真实结果存在偏差。由于人体眼球结构的差异，视轴与光轴之间存在角度偏差，且该偏差无法通过图像信息学习得到，导致学习到的模型无法适用于所有人，在应用过程中往往需要通过个性化校准来提高视线估计的精度。常用的个性化校准方法包括模型微调、偏差估计等方法。模型微调的方法，通常需要比较多的用户数据，且校准过程比较耗时；偏差估计的方法，速度较快，但当前基于偏差估计的方法没有考虑到不同外形输入偏差不同的问题，且对于整体的偏差估计通常是线性的，在校准过程中，对于每一个新用户来说，只是计算得到一个固定的偏差估计值，即该方法最终的输出结果只是对模型的输出结果进行了线性变换。不同的视线会有不同的偏差，固定的偏差估计没法很好地适用于真实场景。同时，当前的方法没有考虑到不同外形输入偏差不同的问题。

技术实现思路

[0004]本专利技术公开了一种基于非线性偏差校准的视线估计方法及装置，提高视线估计的精准度。
>[0005]为了实现上述目的，本专利技术提供了一种基于非线性偏差校准的视线估计方法，包括：通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据；通过预先训练好的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数；根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数；根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。
[0006]本专利技术公开了一种基于非线性偏差校准的视线估计方法，首先收集测试者对应的
原始人脸图像及所述原始人脸图像对应的视线落点数据，接着根据预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据，便于后续根据所述人脸图像数据及所述人眼图像数据进行处理，接着通过预设的偏差校准模型对所述人脸图像数据及所述人眼图像数据进行识别处理，获得与人无关的第一视线估计值和所述人脸图像及所述人眼图像分别对应的偏差估计值的第一系数，接着根据所述第一系数、第一视线估计值及所述收集到的所述视线落点，通过预设的目标函数获得与人有关的第二系数，根据所述第一系数及所述第二系数，通过预设的非线性偏差函数及所述视线估计函数获得所述测试者对应的原始人脸图像对应的视线估计值，本专利技术根据预设的偏差校准模型获得与人无关的第一视线估计值及第一系数，并通过偏差校准模型得到校准数据的第一系数和第一视线估计值，及利用预设的目标函数获取与人有关的第二系数，考虑到了不同外形输入偏差不同的问题，同时，基于所述获得的第一系数及所述第二系数，根据预设的非线性偏差函数进而获得视线估计值，更好的适用不同的应用场景，提高了视线估计的精准度。
[0007]作为优选例子，在所述收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，具体包括：通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据。
[0008]本专利技术在进行视线估计之前，根据预设的视线采集装置在不同的位置显示视觉标志物，收集不同的用户在所述视觉标志物出现在不同的位置时对应的视线落点数据，以使得后续根据所述视线落点数据获得偏差值。
[0009]作为优选例子，在所述通过预设的人脸检测方式对所述原始人脸图像进行处理，具体包括：根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点；根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。
[0010]本专利技术根据预设的人脸检测模型及人脸关键点检测模型对所述原始人脸图像数据进行处理，以使得根据所述原始人脸图像数据获取对应的人脸图像数据及人眼图像数据，一方面剔除原始人脸图像中的无关数据，提高计算的效率，一方面通过分别获得用户的人脸及人眼图像，用于后续提取与用户有关的特征，提高视线估计的精度。
[0011]作为优选例子，在所述通过预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，具体包括：根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据；通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对
应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数。
[0012]本专利技术根据预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据对应的偏差估计值的系数，同时基于所述人脸图像数据及所述人眼图像数据的特征提取，所述偏差校准模型输出与人无关的第一视线估计值，便于后续进行最终视线估计。
[0013]作为优选例子，在所述通过预设的目标函数，获得所述偏差估计值的第二系数，具体包括：根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得所述偏差估计值的第二偏差系数；通过预设的数值优化函数对所述第二偏差系数不断进行优化，获得所述偏差估计值的第二系数。
[0014]本专利技术根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得与人有关的第二偏差系数，并根据预设的数值优化函数对所述第二偏差系数进行优化处理，提高了所述第二系数的准确度，同时本专利技术基于所述目标函数获得的与人有关的第二系数，考虑到了外形不同而造成的偏差不同的问题，提高了视线估计的精准度。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非线性偏差校准的视线估计方法，其特征在于，包括：通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据；通过预先训练好的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数；根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数；根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。2.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，具体包括：通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据。3.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述通过预设的人脸检测方式对所述原始人脸图像进行处理，具体包括：根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点；根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。4.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述通过预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，具体包括：根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据；通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数。5.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述通过预设的目标函数，获得所述偏差估计值的第二系数，具体包括：根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得所述偏差估计值的第二偏差系数；
通过预设的数值优化函数对所述第二偏差系数不断进行优化，获得所述偏差估计值的第二系数。6.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值，具体包括：根据所述预先训练好的偏差校准模型获得的所述第一系数及所述偏差估计值的第二系数，通过预设的非线性偏差函数，获得所述测试者的原始人脸图像对应的视线偏差值；根据所述视线偏差值及所述预先训...

【专利技术属性】
技术研发人员：谢伟浩，郑小宾，
申请(专利权)人：广州视景医疗软件有限公司，
类型：发明
国别省市：