一种眼球跟踪的方法及装置制造方法及图纸

本发明专利技术公开了一种眼球跟踪的方法及装置，该方法包括获取待检测的面部灰度图集合，判断待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓，若否，则对第N帧面部灰度图进行眼球瞳孔检测，确定第N帧面部灰度图中眼球瞳孔的中心位置，在第N帧面部灰度图中，以眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，根据眼球窗口对应的灰度图区域，确定第N帧面部灰度图中的眼球虹膜的轮廓。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。

【技术实现步骤摘要】

本专利技术涉及视觉跟踪
，尤其涉及一种眼球跟踪的方法及装置。
技术介绍
眼球跟踪是跟踪眼球运动的一种算法，该算法可以对视频录像中的每一帧图片进行眼球虹膜轮廓检测和定位，然后在使用最优的框去拟合和标记出来，并且可以计算出瞳孔中心的位置。
技术实现思路
本专利技术实施例提供一种眼球跟踪的方法及装置，用以实现自动检测眼球的起始点，在眼球轮廓识别错误时自动进行调整。本专利技术实施例提供的一种眼球跟踪的方法，包括：获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。较佳地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼
球虹膜的轮廓，则将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。较佳地，所述对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置，包括：将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。较佳地，所述将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线，包括：去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。较佳地，所述根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标，包括：对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的
第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。较佳地，所述根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，包括：对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。较佳地，根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置，包括：从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。较佳地，所述以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，包括：以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。较佳地，所述根据所述眼球窗口对应的灰度图区域，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓，包括：以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。较佳地，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。相应地，本专利技术实施例提供了一种眼球跟踪的装置，包括：获取单元，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；判断单元，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；中心位置确定单元，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；眼球窗口确定单元，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；眼球轮廓确定单元，用于根据所述眼球窗口对应的灰度图区域，确定所述
第N帧面部灰度图中的眼球虹膜的轮廓。较佳地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；眼球窗口确定单元还用于在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；眼球轮廓确定单元还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。较佳地，所述中心位置确定单元具体用于：将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；根据所述第N帧面部灰度图的垂直投影曲线，确定本文档来自技高网...

【技术保护点】
一种眼球跟踪的方法，其特征在于，包括：获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。

【技术特征摘要】
1.一种眼球跟踪的方法，其特征在于，包括：获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。2.如权利要求1所述的方法，其特征在于，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。3.如权利要求1所述的方法，其特征在于，所述对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置，包括：将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。4.如权利要求3所述的方法，其特征在于，所述将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线，包括：去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。5.如权利要求3所述的方法，其特征在于，所述根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标，包括：对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。6.如权利要求3所述的方法，其特征在于，所述根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，包括：对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐
\t标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。7.如权利要求3所述的方法，其特征在于，根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置，包括：从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。8.如权利要求1或2所述的方法，其特征在于，所述以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，包括：以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。9.如权利要求1或2所述的方法，其特征在于，所述根据所述眼球窗口对应的灰度图区域，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓，包括：以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。10.如权利要求9所述的方法，其特征在于，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；当所述移动角度大于等于a2时，停...

【专利技术属性】
技术研发人员：蔡子豪，冯亮，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海;31