一种基于特征的多级瞳孔中心定位技术实现方法技术

本发明专利技术涉及一种基于特征的多级瞳孔中心定位技术实现方法，首先使用Haar‑like特征检测子来完成瞳孔的快速粗定位，并使用积分图来提高计算效率；然后使用星射线算法在这个粗中心位置开始搜索，提取瞳孔轮廓特征点；接下来用RANSAC算法对瞳孔椭圆进行估计，得到椭圆参数；最后使用3D眼球模型评价椭圆参数，对于评价为不准确的椭圆参数改用基于3D眼球模型的椭圆匹配算法对瞳孔椭圆参数进行估计。采用本方法可以显著提高瞳孔中心定位的鲁棒性，在存在遮挡的情况下，也可以获得精确的瞳孔中心。

A method of multi-level pupil center location based on feature

【技术实现步骤摘要】
一种基于特征的多级瞳孔中心定位技术实现方法
本专利技术属于计算机视觉图像处理
，涉及一种基于特征的多级瞳孔中心定位方法。
技术介绍
眼动交互就是研究如何利用眼睛的视线与可交互设备进行控制与交互。由于眼动交互具有输入自然、高效且直接的优点，其可以在一些控制操作上替代手动交互。随着眼动跟踪技术和应用的发展，眼跟踪设备由复杂到简单，对使用者的约束愈发的减少，普适性和精度也越来越高。眼动跟踪技术是通过眼电图、电磁感应或者眼部光学图像处理等技术手段进行研究，并估计使用者眼睛注视的精确位置或者视线方向的技术。目前，眼动跟踪技术被广泛应用于计算机交互应用，驾驶员疲劳监测系统，虹膜身份认证，AR/VR游戏，三维全息演示系统，营销与广告市场分析，客户体验计划，残疾人辅助系统，军事应用，神经科学与心理学研究等领域。在航空航天领域，眼动跟踪技术引入使得航天员利用眼动控制实现对舱外航天服控制面板的控制与交互，一定程度上解放了航天员的双手，实现航天服的多模态人机交互，提高航天员工作效率。在测量技术手段比较简单的早期，研究人员为了客观的记录眼动数据，先后使用了诸如观察法、电流记录法、双普金野像法及基于图像处理的瞳孔角膜反射法等来检测和记录眼动数据。观察法仅仅用肉眼来观察，只能得到被试者一些幅度较大的眼动，其结果也不够精确。电流记录法只测量出眼睛相对于头部的与运动，且受到的干扰因素很大，而且需要在受试者脸部贴上电极，不利于长期的使用和人机交互。双普金野像法需要特殊的光学设备，价格昂贵，导致普适性不高。随着机器视觉和数字图像处理技术的不断发展，利用摄像机记录眼动过程并采用数字图像处理方法的光学记录法得到了广泛的应用。这种方法对受试者的侵害程度较小，并且能达到较高的测量精度。基于图像处理的眼动跟踪方法不仅可用于桌面式眼动跟踪系统，还可用于头戴式眼动跟踪系统。一般地，通过摄像机拍摄眼部图像，经过图像处理提取出人眼能够反映视线方向的信息，然后利用标定算法或几何建模建立该信息与注视点的映射关系，达到视线估计或注视点估计的目的。采用数字图像处理的方法完成眼动跟踪过程，具有精度高、能耗低和便携性的优点。人眼定位技术主要包括以下三方面内容：1)判断眼睛在图像中是否存在；2)精确定位眼睛的像素位置；3)跟踪视频每一帧中的眼睛的位置。人眼定位通常是从眼睛的几何结构、颜色特点以及眼睛与周围器官的位置或灰度分布特征来分析眼睛的位置。目前，头戴式眼动仪基本都是采用瞳孔角膜向量法来提取瞳孔中心，但是在存在上下眼睑、眼角或镜片遮挡的情况下，获得精确的瞳孔中心会有较大难度，算法的鲁棒性不高。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于特征的多级瞳孔中心定位技术实现方法。技术方案一种基于特征的多级瞳孔中心定位技术实现方法，其特征在于步骤如下：步骤1：输入眼部图像，基于Haar-like特征的瞳孔粗定位得到瞳孔局部区域：使用眼部图像的积分图，在线性时间内计算每个像素位置的Haar-like特征的响应，即对积分图8个角点位置的值进行采样后计算就能得到响应值，选择该特征响应值最大值的位置作为瞳孔粗中心：其中，a、b、c、d、e、f、h、g为图像积分图的8个角点位置；SAT(·)为图像积分图中的每个点的值，即原图像中该点与图像原点构成的矩形的所有像素的和；步骤2：星射线算法提取瞳孔轮廓特征点：在从步骤1得到的瞳孔粗中心出发的一周射线上搜索，若当前点满足灰度差分阈值就放入瞳孔特征点集合，完成这样的一个过程以后，再反过来，以特征点为中心，反向沿和初始中心的连线方向重复求瞳孔轮廓特征点；步骤3：RANSAC算法估计瞳孔椭圆：利用RANSAC算法对特征点集合进行多次随机采样，每次随机取出5个作为内点，其余放入外点集；用内点集使用最小二乘法确定椭圆参数P＝{xc,yc,a,b,φ}，并计算外点集中的点到椭圆边界的距离d；若d<距离阈值t，则将该点放入内点集合，如果内点集的点个数占特征点总和的比重达到设定阈值的时候，输出当前椭圆参数P＝{xc,yc,a,b,φ}；步骤4：给定瞳孔中心(xc,yc)，采用3D眼球模型计算其他三个椭圆参数：其中，rp为以瞳孔的轮廓为圆的半径，D为眼球中心到瞳孔中心的距离；(x′c,y′c)是(xc,yc)在相机坐标系下的坐标，两者满足关系：f是相机的焦距，u0和v0是图像中心，zp是瞳孔轮廓平面的Z轴坐标、tx和ty是外参矩阵的平移变换阵参数；步骤5：判断步骤3和步骤4得到的两组椭圆对应的参数是否在阈值内，设步骤3中3个参数为{a,b,φ}，步骤4中3个参数为{a′,b′,φ′}，如果则认为在阈值内，否则认为步骤3中的椭圆不满足条件；如果满足选择对轮廓特征点匹配最好的椭圆参数；如果不满足，基于3D眼球模型的椭圆匹配方法，输出最优瞳孔椭圆参数：1)查找表中选择n个与初始瞳孔中心xc(xc,yc)最相似的椭圆参数Pk(k＝1,…,n)；所述的查找表为对瞳孔中心坐标均匀离散化采样后计算得到的椭圆参数，i＝1…N，N为采样点个数；2)依据从n组椭圆参数对瞳孔轮廓特征点拟合效果最好的一组参数其中||edge_xi-Pk||表示轮廓点到椭圆的距离；3)以中的作为初始点，按照步长step_length，0°开始间隔45°8个方向确定该点的8个待搜索点；4)对初始点及其8个待搜索点，利用3D眼球模型求解对应的椭圆参数Pk，依据损失函数计算各点的损失，其中R(Pk)表示椭圆及其内部区域；5)比较9个点的损失，若初始点的损失最小，则转到6)；否则将损失最小的搜索点作为初始点，重复3)4)5)；6)若步长step_length不为1，则步长除以2，转到3)；否则，输出此时的初始点的椭圆参数，终止。有益效果本专利技术提出的一种基于特征的多级瞳孔中心定位技术实现方法，采用多级瞳孔中心定位算法，在存在上下眼睑、眼角或镜片遮挡的情况下，相比于瞳孔角膜向量法提取瞳孔中心，可以获得较为精确的瞳孔中心。本算法的鲁棒性较高，速度也较快。本专利技术使用了Haar-like特征来获取瞳孔粗中心，并以此中心作为初始点进行星射线算法，这样做可以减少干扰点的产生，因为眼摄像头拍摄人眼时并不能保证瞳孔在图像中心，而原本的星射线算法是从图像中心开始计算。同时，该方法加上了一个3D眼球模型来对最后的结果进行验证，若评价有较大误差时，需要基于3D眼球模型的椭圆匹配算法得到最优的瞳孔中心，这样可以保证得到精确的瞳孔中心，可以提升眼动交互的稳定性和准确性。本专利技术经过与目前先进的同类算法(如ELSE算法、Swirski算法和starburst算法)相比，取得了较好的效果。在实际使用过程中，包含眼睑遮挡、眼角遮挡、镜片遮挡以及杂斑干扰的情况下，能够较准确检测到瞳孔中心，并且使用粗中心定位的方法提取局部区域，大大提高了算法的处理速度，多线程优化后实际运行最终能够达到10本文档来自技高网...

【技术保护点】
1.一种基于特征的多级瞳孔中心定位技术实现方法，其特征在于步骤如下：/n步骤1：输入眼部图像，基于Haar-like特征的瞳孔粗定位得到瞳孔局部区域：/n使用眼部图像的积分图，在线性时间内计算每个像素位置的Haar-like特征的响应，即对积分图8个角点位置的值进行采样后计算就能得到响应值，选择该特征响应值最大值的位置作为瞳孔粗中心：/n

【技术特征摘要】
1.一种基于特征的多级瞳孔中心定位技术实现方法，其特征在于步骤如下：
步骤1：输入眼部图像，基于Haar-like特征的瞳孔粗定位得到瞳孔局部区域：
使用眼部图像的积分图，在线性时间内计算每个像素位置的Haar-like特征的响应，即对积分图8个角点位置的值进行采样后计算就能得到响应值，选择该特征响应值最大值的位置作为瞳孔粗中心：



其中，a、b、c、d、e、f、h、g为图像积分图的8个角点位置；SAT(·)为图像积分图中的每个点的值，即原图像中该点与图像原点构成的矩形的所有像素的和；
步骤2：星射线算法提取瞳孔轮廓特征点：
在从步骤1得到的瞳孔粗中心出发的一周射线上搜索，若当前点满足灰度差分阈值就放入瞳孔特征点集合，完成这样的一个过程以后，再反过来，以特征点为中心，反向沿和初始中心的连线方向重复求瞳孔轮廓特征点；
步骤3：RANSAC算法估计瞳孔椭圆：
利用RANSAC算法对特征点集合进行多次随机采样，每次随机取出5个作为内点，其余放入外点集；用内点集使用最小二乘法确定椭圆参数P＝{xc,yc,a,b,φ}，并计算外点集中的点到椭圆边界的距离d；若d<距离阈值t，则将该点放入内点集合，如果内点集的点个数占特征点总和的比重达到设定阈值的时候，输出当前椭圆参数P＝{xc,yc,a,b,φ}；
步骤4：给定瞳孔中心(xc,yc)，采用3D眼球模型计算其他三个椭圆参数：









其中，...

【专利技术属性】
技术研发人员：赵歆波，任鑫伟，邹晓春，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61