一种基于投影积分和边缘检测的瞳孔区域定位方法技术

本发明专利技术提出一种基于投影积分和边缘检测的瞳孔区域定位方法，包括：S1，图像预处理，对摄像头捕获的人脸图像进行预处理；S2，投影积分计算，使用积分投影方法计算人脸图像的灰度变化；S3，人眼区域定位，根据人眼比例和积分计算结果定位人眼区域；S4，瞳孔区域定位，使用边缘检测定位瞳孔区域。本发明专利技术方案使用灰度投影积分，将人脸结构特征结合灰度投影积分，在水平和垂直两个方向上计算人眼区域的灰度变化，从而得到人眼区域定位，再使用边缘检测算子实现瞳孔区域的精确定位，无需使用LED光源直射用户眼睛，且计算快捷，易于实现。

【技术实现步骤摘要】
一种基于投影积分和边缘检测的瞳孔区域定位方法
本专利技术涉及人机交互领域，具体涉及一种基于投影积分和边缘检测的瞳孔区域定位方法。
技术介绍
为了帮助残疾人/老年人保持与外界的交流、沟通，提高他们的独立生活能力，减轻家庭、社会的负担，世界各地许多科学家们开始探索研究新型的人机交互方式。所谓交互技术包括人与执行机构(如机器人等)的交互和执行机构与环境的交互。前者的意义在于可由人去实现执行机构在未知或非确定环境中难以做到的规划和决策；而后者的意义在于可由机器人去完成人所不能达到的恶劣环境或远距离环境中的作业任务。传统的人机交互设备主要有键盘、鼠标、手写板、触摸屏、游戏控制器等，这些设备利用使用者的手部运动来实现人机交互的功能。然而对于许多残疾人士，尤其是如上所述的肢体残体人士(全身瘫痪、肌肉萎缩症患者等)，这些传统的设备通常无法满足其正常交互的需求。基于眼动信息的人机交互方式是通过摄像机采集用户图像、进行模式识别来实现的，由于其具有直接性、自然性与双向性的特点，代替键盘输入、鼠标移动的交互功能。常用的基于眼动信息的人机交互方式依靠LED红外光源提取角膜反射信息，进而获得判别特征，但LED红外光源易受光线影响，且LED光源长期照射人眼，对人眼容易造成损伤。基于眼动信息的人机交互方式关键在于眼睛瞳孔定位和瞳孔动作识别的准确性，因此如何在自然光环境下，使用单目摄像头准确定位出瞳孔区域，对于实现高效的基于眼动信息的人机交互，具有重要的意义。
技术实现思路
本专利技术目的在于克服现有技术的不足，尤其解决现有使用LED红外光的基于眼动信息的人机交互技术中，LED红外光源易受光线影响，且LED光源长期照射人眼，对人眼容易造成损伤的问题。为解决上述技术问题，本专利技术提出一种基于投影积分和边缘检测的瞳孔区域定位方法，主要步骤包括：S1，图像预处理，对摄像头捕获的人脸图像进行预处理；S2，投影积分计算，使用积分投影方法计算人脸图像的灰度变化；S3，人眼区域粗定位，根据人眼比例和积分计算结果定位人眼区域；S4，瞳孔区域定位，使用边缘检测定位瞳孔区域。进一步地，所述步骤S1图像预处理操作包括：S11图像灰度化、S12图像均衡化、图像二值化、图像负片操作；进一步地，所述步骤S2投影积分计算操作包括：水平垂直积分操作和垂直积分投影操作；进一步地，所述步骤S2投影积分计算操作中，将图像分成左右两部分，分别进行投影积分计算；进一步地，所述步骤S3人眼区域定位操作中，根据人左右两眼间距的比例获取人眼区域；进一步地，所述步骤S4瞳孔区域定位操作包括：S41高斯滤波平滑、S42计算梯度幅值和方向、S43梯度幅值非极大值抑制、S44边缘检测和连接。本专利技术与现有技术相比具有以下的有益效果：本专利技术方案使用灰度投影积分，将人脸结构特征结合灰度投影积分，在水平和垂直两个方向上计算人眼区域的灰度变化，从而得到人眼区域定位，再使用边缘检测算子实现瞳孔区域的精确定位，无需使用LED光源直射用户眼睛，且计算快捷，易于实现。附图说明图1为本专利技术基于投影积分和边缘检测的瞳孔区域定位方法的一个实施例的流程图。图2为本专利技术实施例的图像二值化结果示意图。图3为本专利技术实施例的图像负片结果示意图。图4为本专利技术实施例的积分投影计算结果曲线图。图5为本专利技术实施例的人眼参数比例关系示意图。图6为本专利技术实施例的瞳孔区域定位效果图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。参见图1，本专利技术实施例的基于投影积分和边缘检测的瞳孔区域定位方法，主要步骤包括：S1，图像预处理，具体过程包括：S11图像灰度化、S12图像均衡化、S13图像二值化、S14图像负片操作。S11图像灰度化：相机获取的人眼图像是彩色图像，包含的信息量大，图像处理速度较慢。考虑到人机交互对实时性的要求高，对彩色图像进行灰度化处理是必须的。灰度化就是使彩色像素的R、G、B分量值相等的过程，灰度图像中的灰度值等于原彩色图像中的RGB平均值，即Gray＝(R+G+B)/3(1)S12图像均衡化：直方图均衡化使图像的灰度间距拉开或使灰度分布均匀，从而增大反差，使图像细节清晰，达到图像增强的目的。其具体方法是：首先给出原始图像的所有灰度级Sk(k＝0,1,......,L-1)；然后统计原始图像各灰度级的像素数nk；利用式(2)计算原始图像的直方图后再用(3)式计算原始图像的积累直方图：P(Sk)＝nk/n,k＝0,1,...,L-1(2)p(tk)＝nk/n(4)其中，n是图像像素总数。对灰度值tk取整，确定Sk→tk的映射关系后统计新直方图各灰度级的像素数nk；最后利用式(4)计算新的直方图。S13图像二值化：用最大类间方差法进行图像二值化，过程为：设图像共有L个灰度级，灰度值为i的像素点共有ni个，图像共有N个像素点，归一化灰度直方图，令设定一个阈值t，根据灰度值将像素点分成c0和c1两类。c0的概率ω0、均值μ0：c1的概率ω1、均值μ1：其中，由此可知c0和c1的类间方差σ2(t)为：σ2(t)＝ω0(μ-μ0)2+ω1(μ1-μ)2(9)于是将t从0到i进行取值，当σ取最大值时t为最佳阈值，即可得到最佳的二值化图像，二值化结果参见图2。S14图像负片：图像负片是指将二值化图像中，黑色部分映射为白色，白色部分映射为黑色，从而突出原本为黑色部分的眼部区域，负片结果参见图3。S2，投影积分计算；对于人脸图像来说，由于可能存在一定角度的平面内旋转，人的双眼并非处于同一水平线上，若对整张人脸图像进行全局水平投影，则得到的眼睛纵坐标就不够准确。因此在本实施例中，首先将人脸图像居中分为大小完全相同的左右两部分，分别包含人的左、右眼睛，对这左、右两部分图像分别作水平积分投影计算：I(x,y)是图像I在位置点(x,y)处的像素灰度值，则图像分别在区间[y1,y2]和[x1,x2]上的垂直积分投影IPFv(x)和水平积分投影IPFh(x)分别为：本实施例中，对左、右两部分图像分别作水平积分投影计算，得到结果参见图4，横轴代表各个位置点，纵轴代表在这点位置上的像素和，图4(a)中最大峰值所对应的横轴上的位置点就是相应的右眼的纵坐标值yR，图4(b)中最大峰值所对应的横轴上的位置点就是相应的左眼的纵坐标值yL，图4(c)中两段波形中最大的波峰值所对应的横轴上的两个位置点是相应的左右眼的横坐标值，即xL和xR，且xR<xL。S3，人眼区域定位。用灰度积分投影的方法计算出来的人眼中心坐标，就是人眼灰度积分的水平极大值和垂直极大值所在直线的交点坐标，即点(xL,yL)对应左眼睛中心点，点(xR,yR)对应右眼睛中心点。参见图5，根据图5所示的人眼参数比例关系划出矩形人眼窗口，矩形人眼窗口即人眼定位区域。S4，瞳孔区域定位，使用边缘检测定位瞳孔区域，具体过程包括：S41高斯滤波平滑；S42计算梯度幅值和方向；S43梯度幅值非极大值抑制；S44边缘检测和连接。S41高斯滤波平滑。给定粗定位的人眼区域f(x,y)，使用高斯函数H(x,y)对人眼区域图像进行平滑：其中，G(x,y)表示平滑后的人眼区域图像，σ表示高斯核系数。S42计算梯度幅值和本文档来自技高网...

【技术保护点】
1.一种基于投影积分和边缘检测的瞳孔区域定位方法，其特征在于，包括：S1，图像预处理，对摄像头捕获的人脸图像进行预处理；S2，投影积分计算，使用积分投影方法计算人脸图像的灰度变化；S3，人眼区域定位，根据人眼比例和积分计算结果定位人眼区域；S4，瞳孔区域定位，使用边缘检测定位瞳孔区域。

【技术特征摘要】
1.一种基于投影积分和边缘检测的瞳孔区域定位方法，其特征在于，包括：S1，图像预处理，对摄像头捕获的人脸图像进行预处理；S2，投影积分计算，使用积分投影方法计算人脸图像的灰度变化；S3，人眼区域定位，根据人眼比例和积分计算结果定位人眼区域；S4，瞳孔...

【专利技术属性】
技术研发人员：钟鸿飞，覃争鸣，杨旭，
申请(专利权)人：广州映博智能科技有限公司，
类型：发明
国别省市：广东,44