一种校准助力的视线评估方法及系统技术方案

本发明专利技术公开了一种校准助力的视线评估方法及系统，包括以下步骤：获取采集设备采集的视线评估视频帧数据；其中，所述视线评估视频帧数据包括：动态数据和静态数据；将所述视线评估视频帧数据进行数据分割，获得左眼视线数据、右眼视线数据和人脸视线数据；分别对左眼视线数据、右眼视线数据和人脸视线数据进行卷积操作提取特征，并推算视线落点坐标；根据预设的多规则联合数据清理方法，对所述视线落点坐标进行数据清洗，对清洗后的数据通过卷积神经网络和全连接层进行偏移量校准，输出视线评估结果。本发明专利技术可获得精准的视线评估结果。本发明专利技术可获得精准的视线评估结果。本发明专利技术可获得精准的视线评估结果。

【技术实现步骤摘要】
一种校准助力的视线评估方法及系统


[0001]本专利技术涉及视觉跟踪评估领域，尤其是一种校准助力的视线评估方法及系统。

技术介绍

[0002]近年来，随着计算机视觉技术的迅猛发展，视线评估技术也得到了广泛的关注和研究。视线评估技术是指通过对用户眼部运动轨迹的分析来确定用户在屏幕上的视线位置。该技术在很多领域都有应用，如人机交互、眼动追踪、虚拟现实、智能驾驶等。其中，视线评估有2D视线估计和3D视线估计两种。然而，由于3D视线评估存在硬件成本高、复杂度高、限制用户移动等问题。
[0003]但在现有技术中，通常面临如下问题：1)缺乏真实场景数据集，在无约束的现实生活中获得的数据集往往具有低分辨率和低辨识度的特点；2)校准数据样本收集的方法有待提高，为了更准确的收集校准点，通常情况下是使用多个的固定点让用户盯着看，易使得用户产生疲劳进一步造成数据有误差；3)用户视线评估任务的准确率低。如何更好地提高视线评估的准确率十分重要，而现有的技术在用户视线评估准确率方面存在一定的问题和挑战。

技术实现思路

[0004]本专利技术提供了一种校准助力的视线评估方法及系统，以获得精准的视线评估结果。
[0005]为了解决上述技术问题，本专利技术提供了一种校准助力的视线评估方法及系统，包括以下步骤：
[0006]获取采集设备采集的视线评估视频帧数据；其中，所述视线评估视频帧数据包括：动态数据和静态数据；
[0007]将所述视线评估视频帧数据进行数据分割，获得左眼视线数据、右眼视线数据和人脸视线数据；
[0008]分别对左眼视线数据、右眼视线数据和人脸视线数据进行卷积操作提取特征，并推算视线落点坐标；
[0009]根据预设的多规则联合数据清理方法，对所述视线落点坐标进行数据清洗，对清洗后的数据通过卷积神经网络和全连接层进行偏移量校准，输出视线评估结果。
[0010]本专利技术通过动静态数据采集，为视线评估提供多类型的数据样本，丰富了数据类型，获得了准确、符合实际生活场景的数据，解决数据不真实的缺陷；通过对采集到的数据进行快速分割用户人脸和左右眼数据，为后续视线评估和校准提供模块化的基础数据；通过对模块化的基础数据进行卷积处理，进一步提取关键特征点，推算出视线落点坐标，通过卷积处理数据具有简单、快速并且支持端到端训练的特点；通过多规则联合清洗数据，对数据进行过滤处理，可以过滤并剔除无效数据，提高了校准的精度并减少了输出结果的误差；将清洗过后的数据通过卷积，神经网络和全连接层进行偏移量校准，进一步提高校准的精
准度，获得精准的实现评估结果。
[0011]作为优选例子，所述分别对左眼视线数据、右眼视线数据和人脸视线数据进行卷积操作提取特征，具体为：将所述左眼数据、右眼数据和人脸数据分别经过三个相同且独立的卷积操作提取特征；所提取特征分别为左眼特征、右眼特征和人脸特征。
[0012]本优选例子通过对获取的数据模块进行卷及处理以得到数据模块的特征，用于为下一步数据处理作准备，以使下一步数据处理有直观的数据以使用。
[0013]作为优选例子，所述推算视线落点坐标，具体为：
[0014]将所述人脸数据经过卷积操作而得到的结果经过第一全连接层处理，得到人脸结果；
[0015]将所述左眼数据经过卷积操作而得到的结果经过第二全连接层处理，得到左眼概率；将所述左眼数据经过卷积操作而得到的结果经过第三全连接层处理，得到左眼结果；
[0016]将所述右眼数据经过卷积操作而得到的结果经过第二全连接层处理，得到右眼概率；将所述右眼数据经过卷积操作而得到的结果经过第三全连接层处理，得到右眼结果；
[0017]将所述左眼结果与所述右眼结果相加，将二者相加后的结果分别与左眼结过于右眼结果相乘以得到融合后的眼睛特征；
[0018]将融合后的眼睛特征经过第四全连接层处理后与人脸结果融合再经过第二全连接层处理，经过Sigmoid函数计算推算出视线落点坐标。
[0019]本优选例子通过计算出左右眼概率作为下一阶段个性化校准中的输入；同时，卷积操作对于图像分类识别有提取特征的作用，可以提取出信号中的特征，比如边缘、纹理等，对图像进行增强，有助于提高图像的视觉效果和品质；同时，全连接层在整个卷积神经网络中起到“分类器”作用，对卷积网络中提取出的图像特征做进一步分类。
[0020]作为优选例子，所述根据预设的多规则联合数据清理方法包括多检测评估、距离阈值评估和模糊样本丢弃；
[0021]所述多检测评估包含人脸检测、面部关键点检测和通用视线评估；具体为判断当前视频帧中的图片是否检测出一对眼睛，根据双眼概率与眼睛特征的IoU值，将眼睛分类概率阈值设置为第一预设值，若左眼概率和右眼概率低于第一预设值，则判断当前样本为无效样本，否则为有效样本；
[0022]所述距离阈值评估具体为，指定距离阈值第二预设值，若推断结果坐标与真实坐标之间的欧氏距离大于第二预设值，则认为当前图片样本无效；
[0023]所述模糊样本丢弃具体为，通过样本采集器采集视线评估数据，丢弃视频开始的第一预设时间采集到的图片，丢弃视频最后第二预设时间采集到的图片。
[0024]本优选例子通过对样本进行判定，将低于第一预设值样本、大于距离阈值样本以及模糊样本进行无效判定，降低数据误差。
[0025]作为优选例子，所述将融合后的眼睛特征经过第四全连接层处理后与人脸结果融合再经过第二全连接层处理，还包括分别得到融合后眼睛特征的矫正值和人脸结果的矫正值。
[0026]本优选例子通过计算出融合后眼睛特征的矫正值和人脸结果的矫正值为下一阶段个性化校准中的输入。
[0027]作为优选例子，所述对所述视线落点坐标进行数据清洗，具体为：
[0028]将根据多规则联合数据清理方法判断的无效样本丢弃，保留根据多规则联合数据清理方法判断的有效样本。
[0029]本优选例子通过将无效样本进行丢弃，降低数据误差以提高视线评估的精准性。
[0030]作为优选例子，所述对清洗后的数据通过卷积神经网络和全连接层进行偏移量校准，具体为：
[0031]将所述左眼特征、右眼特征和人脸特征合并得到用户特征；
[0032]将所述用户特征经过卷积神经网络处理后经过全连接层以得到视线的具体偏移量。
[0033]本优选例子通过将用户特征经过卷积神经网络处理以进一步提取特征，具有简单、快速并且支持端到端训练的特点；再通过全连接层处理以分类该特征以取得精准的结果。
[0034]作为优选例子，所述将所述用户特征经过卷积神经网络处理后经过全连接层以得到视线的具体偏移量，具体为：
[0035]所述全连接层包含第五全连接层和第六全连接层。
[0036]本优选例子通过卷积神经网络中提取的特征做两步分类处理，实用两层全连接层，可取得更加精准的分类结果，进一步得到精准的校准效果。
[0037]作为优选例子，所述输出视线评估结果，具体为：将所述得到融合后眼睛特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种校准助力的视线评估方法，其特征在于，包括以下步骤：获取采集设备采集的视线评估视频帧数据；其中，所述视线评估视频帧数据包括：动态数据和静态数据；将所述视线评估视频帧数据进行数据分割，获得左眼视线数据、右眼视线数据和人脸视线数据；分别对左眼视线数据、右眼视线数据和人脸视线数据进行卷积操作提取特征，并推算视线落点坐标；根据预设的多规则联合数据清理方法，对所述视线落点坐标进行数据清洗，对清洗后的数据通过卷积神经网络和全连接层进行偏移量校准，输出视线评估结果。2.根据权利要求1所述的一种校准助力的视线评估方法，其特征在于，所述分别对左眼视线数据、右眼视线数据和人脸视线数据进行卷积操作提取特征，具体为：将所述左眼数据、右眼数据和人脸数据分别经过三个相同且独立的卷积操作提取特征；所提取特征分别为左眼特征、右眼特征和人脸特征。3.根据权利要求1所述的一种校准助力的视线评估方法，其特征在于，所述并推算视线落点坐标，具体为：将所述人脸数据经过卷积操作而得到的结果经过第一全连接层处理，得到人脸结果；将所述左眼数据经过卷积操作而得到的结果经过第二全连接层处理，得到左眼概率；将所述左眼数据经过卷积操作而得到的结果经过第三全连接层处理，得到左眼结果；将所述右眼数据经过卷积操作而得到的结果经过第二全连接层处理，得到右眼概率；将所述右眼数据经过卷积操作而得到的结果经过第三全连接层处理，得到右眼结果；将所述左眼结果与所述右眼结果相加，将二者相加后的结果分别与左眼结过于右眼结果相乘以得到融合后的眼睛特征；将融合后的眼睛特征经过第四全连接层处理后与人脸结果融合再经过第二全连接层处理，经过Sigmoid函数计算推算出视线落点坐标。4.根据权利要求1所述的一种校准助力的视线评估方法，其特征在于，所述根据预设的多规则联合数据清理方法，包括多检测评估、距离阈值评估和模糊样本丢弃；所述多检测评估包含人脸检测、面部关键点检测和通用视线评估；具体为判断当前视频帧中的图片是否检测出一对眼睛，根据双眼概率与眼睛特征的IoU值，将眼睛分类概率阈值设置为第一预设值，若左眼概率和右眼概率低于第一预设值，则判断当前样本为无效样本，否则为有效样本；所述距离阈值评估具体为，指定距离阈值第二预设值，若推断结果坐标与真实坐标之间的欧氏距离...

【专利技术属性】
技术研发人员：丁烨，陆丽，谢育泰，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：