一种桌面便携式视线跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种桌面便携式视线跟踪方法及装置，方法步骤：用户点击屏幕预设标定点进行标定，系统捕获用户面部图像；对捕获的用户面部图像进行瞳孔定位、普尔钦亮斑定位，提取特征向量，并将特征向量标准化；通过标定点数据得到映射关系，将每一帧图像的标准化特征向量代入映射关系即可得到实际注视点坐标；通过提取所有图帧中的注视点坐标即可实现视线跟踪。其中提出一种基于椭圆拟合的改进方法来对瞳孔进行精确定位，通过一种基于聚类的方法同时对两个普尔钦亮斑进行定位，具有定位快速、精确的优点。

【技术实现步骤摘要】

本专利技术涉及人眼检测、视线跟踪研究领域，特别涉及一种桌面便携式视线跟踪方法及装置。
技术介绍
人们通过各种感官来获取外界信息，其中有大约80％的信息是通过视觉获得的，准确测量一个人的视线注视点或注视方向，是研究其心理活动的重要手段。目前视线跟踪技术在人机交互和心理研究等领域有着广泛的应用，如汽车安全驾驶、市场研究与广告分析、残疾人辅助装置、犯罪心理分析和虚拟现实等各种领域，前景十分广阔。视线跟踪技术主要是针对人类眼睛运动的检测与识别，从而检测出用户的注视点或注视方向。在早期，由于技术以及设备的限制，检测手段比较简易贫乏，视线跟踪方法主要有直接观察法、机械记录法、后像法，这些方法受主观影响大，精度很低，在使用中有很大的局限性。随着测量手段的发展，更加高级、精确的视线跟踪方法开始出现，陆续出现了眼电图法、电磁线圈法等视线跟踪方法，眼电图法和电磁线圈法都属于接触式测量方法，使用这两种方法测量注视点会对被测对象产生一定的干扰。近年来，随着计算机技术、图像处理技术、电子技术的迅速发展，视线追踪技术取得了很大的进步，基于视觉的非侵入性、高精度眼动记录技术成为主流；而在视频图像中精确检测并跟踪人眼位置是基于视觉的眼动技术的核心。同时目前市面上的一些视线跟踪装置仍然存在装置笨重、价格昂贵、操作繁琐、跟踪精度低、用户需佩戴头盔等不足，因此，寻找一种简单便携、低成本、高精度、用户尽量不受限制的视线跟踪方法及装置具有重要意义。
技术实现思路
本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种桌面便携式视线跟踪方法，该方法可以对捕获视频中用户的视线进行精确跟踪定位，一般用于后期处理跟踪。本专利技术的另一目的在于提供一种实现上述桌面便携式视线跟踪方法的装置，该装置具有简单便携、成本低的优点。本专利技术的目的通过以下的技术方案实现：一种桌面便携式视线跟踪方法，包括步骤：(1)系统标定：预先在屏幕上设置标定点，用户用鼠标依次点击屏幕上的标定点；在上述点击过程中捕获用户面部图像；(2)对捕获的用户面部图像，进行人眼检测、瞳孔定位、普尔钦亮斑定位，提取出瞳孔的中心点坐标(xp,yp)、两个普尔钦亮斑的中心点坐标(xg1,yg1)、(xg2,yg2)；计算两个普尔钦亮斑之间中间点到瞳孔中心点的特征向量以及两个普尔钦亮斑之间的间距将特征向量(xgp,ygp)除以间距D，得到标准化特征向量；(3)拟合映射关系：利用屏幕标定点坐标，以及对应的面部图像中提取的标准化特征向量，得到实际注视点坐标与标准化特征向量之间的映射关系；(4)实际视线跟踪：在实际的跟踪过程中，对捕获的用户面部图像先进行步骤(2)的操作，得到标准化特征向量，然后将标准化特征向量代入步骤(3)的映射关系得到实际的注视点坐标；通过提取所有图帧中的注视点坐标即可实现视线跟踪。优选的，所述捕获用户面部图像时采用两个波长为850nm的红外光源。由于瞳孔与虹膜对于红外光的吸收差异较大，红外光源下采集的图像中瞳孔清晰可见，不易受眼皮遮挡，可更精准定位，且不受外界光照影响。为了减少数据处理量，优选的，对采集的用户面部图像先利用Adaboost级联分类器及Haar特征，通过OpenCV的训练器和检测器，初步定位眼睛区域，设置合适大小窗口，得到眼部图像。优选的，在进行瞳孔定位之前，对眼部图像先进行图像预处理，步骤是：先对图像进行高斯平滑，然后对图像进行灰度形态学开运算，以消除两个红外光源在瞳孔附近产生的两个普尔钦亮斑。便于后面瞳孔的精确定位。更进一步的，在图像预处理后，先对瞳孔进行粗定位，步骤是：预设一个滑动窗口，在图像预处理后的图像中搜索像素灰度值最小区域的中心位置，设其平均灰度值为g0；设定一阈值m，搜索上述像素灰度值最小区域的附近位置，找出滑动窗口内平均灰度值在[g0‐m，g0+m]的区域，取以上所有区域内各窗口中心的坐标平均值，作为瞳孔的粗定位位置。优选的，所述步骤(2)中，瞳孔定位的方法是：在瞳孔中心左右附近区域分别搜索灰度梯度值最大的点，即为瞳孔边缘点，取这两点的平均灰度值作为二值化阈值T，然后以此阈值对图像进行二值化，二值化后进行边缘提取，将提取的瞳孔边缘进行椭圆拟合，得到瞳孔的中心点坐标(xp,yp)、长短轴(a,b)以及偏角θ。更进一步的，在瞳孔定位过程中，二值化后利用Canny算子进行边缘提取。优选的，所述步骤(2)中，普尔钦亮斑定位的方法是：在瞳孔定位步骤的基础上，将开运算前的图像减去开运算后的图像，得到包含亮斑的差分图像；设置两个阈值T1及T2，搜索差分图像中所有像素值大于T1且距瞳孔中心距离小于T2的点，得到亮斑点集合；搜索差分图像中灰度值最大的位置(xm,ym)，以(xm,ym)、(xm+1,ym)作为初始类C1、C2的中心，利用聚类算法对亮斑点集合进行聚类，得到两个普尔钦亮斑的中心位置。更进一步的，所述利用聚类算法对亮斑点集合进行聚类的方法是：(2-1)以差分图像中灰度值最大的位置(xm,ym)、(xm+1,ym)作为初始类C1、C2的中心；(2-2)计算各亮斑点分别到C1、C2类中心的距离，距离哪一类近则将该点划分为此类；(2-3)计算C1、C2类的质心位置，以此质心位置作为C1、C2类新的中心；(2-4)重复步骤(2-2)、(2-3)，经过数次迭代，直至C1、C2类的中心位置不再变化；(2-5)以开运算前亮斑点像素灰度值的平方为加权因子，计算C1、C2类的加权质心位置，得到两类的加权质心位置，即为两个亮斑点的中心位置(xg1,yg1)、(xg2,yg2)。优选的，所述步骤(3)中，已知用户标定时的实际注视点坐标，以及两普尔钦亮斑中间点到瞳孔中心点的标准化特征向量(x′gp,y′gp)，基于最小二乘法，将标准化特征向量和对应的实际注视点坐标进行二项式拟合，得到标准化特征向量和对应的实际注视点坐标之间的映射关系(xs,ys)＝f(x′gp,y′gp)，拟合的形式为： x s = a 0 + a 1 x g p ′ + a 2 y g p 本文档来自技高网...

【技术保护点】
一种桌面便携式视线跟踪方法，其特征在于，包括步骤：(1)系统标定：预先在屏幕上设置标定点，用户用鼠标依次点击屏幕上的标定点；在上述点击过程中捕获用户面部图像；(2)对捕获的用户面部图像，进行人眼检测、瞳孔定位、普尔钦亮斑定位，提取出瞳孔的中心点坐标(xp,yp)、两个普尔钦亮斑的中心点坐标(xg1,yg1)、(xg2,yg2)；计算两个普尔钦亮斑之间中间点到瞳孔中心点的特征向量以及两个普尔钦亮斑之间的间距将特征向量(xgp,ygp)除以间距D，得到标准化特征向量；(3)拟合映射关系：利用屏幕标定点坐标，以及对应的面部图像中提取的标准化特征向量，得到实际注视点坐标与标准化特征向量之间的映射关系；(4)实际视线跟踪：在实际的跟踪过程中，对捕获的用户面部图像先进行步骤(2)的操作，得到标准化特征向量，然后将标准化特征向量代入步骤(3)的映射关系得到实际的注视点坐标；通过提取所有图帧中的注视点坐标即可实现视线跟踪。

【技术特征摘要】
1.一种桌面便携式视线跟踪方法，其特征在于，包括步骤：(1)系统标定：预先在屏幕上设置标定点，用户用鼠标依次点击屏幕上的标定点；在上述点击过程中捕获用户面部图像；(2)对捕获的用户面部图像，进行人眼检测、瞳孔定位、普尔钦亮斑定位，提取出瞳孔的中心点坐标(xp,yp)、两个普尔钦亮斑的中心点坐标(xg1,yg1)、(xg2,yg2)；计算两个普尔钦亮斑之间中间点到瞳孔中心点的特征向量以及两个普尔钦亮斑之间的间距将特征向量(xgp,ygp)除以间距D，得到标准化特征向量；(3)拟合映射关系：利用屏幕标定点坐标，以及对应的面部图像中提取的标准化特征向量，得到实际注视点坐标与标准化特征向量之间的映射关系；(4)实际视线跟踪：在实际的跟踪过程中，对捕获的用户面部图像先进行步骤(2)的操作，得到标准化特征向量，然后将标准化特征向量代入步骤(3)的映射关系得到实际的注视点坐标；通过提取所有图帧中的注视点坐标即可实现视线跟踪。2.根据权利要求1所述的桌面便携式视线跟踪方法，其特征在于，所述捕获用户面部图像时采用两个波长为850nm的红外光源。3.根据权利要求1所述的桌面便携式视线跟踪方法，其特征在于，对采集的用户面部图像先利用Adaboost级联分类器及Haar特征，通过OpenCV的训练器和检测器，初步定位眼睛区域，设置合适大小窗口，得到眼部图像。4.根据权利要求1所述的桌面便携式视线跟踪方法，其特征在于，在进行瞳孔定位之前，对眼部图像先进行图像预处理，步骤是：先对图像进行高斯平滑，然后对图像进行灰度形态学开运算，以消除两个红外光源在瞳孔附近产生的两个普尔钦亮斑。5.根据权利要求4所述的桌面便携式视线跟踪方法，其特征在于，在图像预处理后，先对瞳孔进行粗定位，步骤是：预设一个滑动窗口，在图像预处理后的图像中搜索像素灰度值最小区域的中心位置，设其平均灰度值为g0；设定一阈值m，搜索上述像素灰度值最小区域的附近位置，找出滑动窗口内平均灰度值在[g0‐m，g0+m]的区域，取以上所有区域内各窗口中心的坐标平均值，作为瞳孔的粗定位位置。6.根据权利要求5所述的桌面便携式视线跟踪方法，其特征在于，所述步骤(2)中，瞳孔定位的方法是：在瞳孔粗定位位置左右附近区域分别搜索灰度梯度值最大的点，即为瞳孔边缘点，取这两点的平均灰度值作为二值化阈值T，然后以此阈值对图像进行二值化，二值化后进行边缘提取，将提取的瞳孔边缘进行椭圆拟合，得到瞳孔的中心点坐标(xp,yp)、长短轴(a,b)以及偏角θ。7.根据权利要求6所述的桌面便携式视线跟踪方法，其特征在于，所述步骤(2)中，普尔钦亮斑定位的方法是：在步骤(6)的基础上，将开运算前的图像减去开运算后的图像，得到包含亮斑的差分图像；设置两个阈值T1及T2，搜索差分图像中所有像素值大于T1且距瞳孔中心距离小于T2的点，得到亮斑点集合；搜索差分图像中灰度值最大的位置(xm,ym)，以(xm,ym)、(xm+1,ym)作为初始类C1、C2的中心，利用聚类算法对亮斑点集合进行聚类，得到两个普尔钦亮斑的中心位置。8.根据权利要求7所述的桌面便携式视线跟踪方法，其特征在于，所述利用聚类算法对亮斑点集合进行聚类的方法是：(2-1)以差分图像中灰度值最大的位置(xm,ym)、(xm+1,ym)作为初始类C1、C2的中心；(2-2)计算各亮斑点分别到C1、C2类中心的距离，距离哪一类近则将该点划分为此类；(2-3)计算C1、C2类的质心位置，以此质心位置作为C1、C2类新的中心；(2-4)重复步骤(2-2)、(2-3)，经过数次迭代，直至C1、C2类的中心位置不再变化；(2-5)以开运算前亮斑点像素灰度值的平方为加权因子，计算C1、C2类的加权质心位置，得到两类的加权质心位置，即为两个亮斑点的中心位置(xg1,yg1)、(xg2,yg2)。9.根据权利要求1所述的桌面便携式视线跟踪方法，其特征在于，所述步骤(3)中，已知用户标定时的实际注视点坐标，以及两普尔钦亮斑中间点到瞳孔中心点的标准化特征向量(x′gp,y′gp)，基于最小二乘法，将标准化特征向量和对应的实际注视点坐标进行二项式拟合，得到标准化特征向量和对应的实际注视点坐标之间的映射关系(xs,ys)＝f(x′gp,y′gp)，拟合的形式为： x s = a 0 + a 1 x g p ′ + a 2 y g p ′ + a 3 x ...

【专利技术属性】
技术研发人员：欧阳丹，罗斌，何赛灵，蔡夫鸿，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：广东;44