一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法技术

本发明专利技术提供一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，包括：一种数据驱动的方法，输入人眼图像，与虚拟眼球外观合成数据进行匹配，稳定求解其三维视线方向；2种新颖的眼球外观优化匹配准则，有效降低图像缩放和噪声等不可控因素对结果的影响；在连续拍摄多张人眼图像的情况下，发明专利技术一种联合优化方法，进一步提高计算精度。本发明专利技术的应用之一是虚拟现实和人机交互，其原理是通过拍摄用户的眼部图像，计算用户视线方向，从而与智能系统界面或虚拟现实对象进行交互。本发明专利技术也可广泛用于训练培训、游戏娱乐、视频监控、医疗监护等领域。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和图像处理领域，具体地说是一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法。
技术介绍
视线追踪/眼动追踪对于用户行为理解和高效人机交互具有重要意义。人类可感知信息中超过80％的部分由人眼接收，而其中超过90％的部分由视觉系统处理。因此，视线是反映人与外界交互过程的重要线索。近年来，由于虚拟现实技术和人机交互技术的迅速发展，视线追踪技术的应用价值逐渐凸显；另一方面，视线方向计算在计算机视觉领域仍然是一个极富挑战性的问题。目前的解决方法大多基于主动光源和红外摄像，因此需要额外的硬件，并且对使用环境要求较高。另一类方法不需要假设主动光照，仅用单相机拍摄人眼图像并进行视线方向计算，但需要提前获取大量的训练样本，用来学习得到回归计算模型。例如，Baluja和Pomerleau提出的早期的神经网络系统，需要使用数千个训练样本进行训练。Tan等人提出了基于局部线性插值的方法，将人眼图像与视线坐标进行映射，其系统需要大约两百个训练样本。为了减少对训练样本量的需求，Williams等人提出了一种能够同时使用标记样本和无标记样本进行训练的半监督的方法。Lu等人提出了一个基于稀疏最优化的自适应回归框架，允许使用更少的训练样本进行计算，同时够解决视线计算中的一系列相关问题。Sugano等人从视频中抽取视觉显著性来自动生成训练样本，并用于系统训练。以上方法的缺点在于，其均假定头部姿势固定不动，如果要求这些方法用于头部姿势改变的情况，则需要更多的训练样本来解决头部运动问题。为了彻底避免系统训练，考虑视线方向是由眼球朝向唯一决定的，而眼球朝向能够从虹膜圆盘朝向或其中心位置计算获得，因此，Yamazoe等人和Heyman等人提出了通过计算虹膜中心和眼球中心间的相对位置实现视线方向计算的方法。他们的方法需要对头部进行三维建模，并且精确追踪人脸的三维特征点，包括眼角位置和眼球中心位置等。在现实中，这些特征点往往难以精确提取，甚至是不可见的。Ishikawa等人使用基于主动外观模型(AAM)的方法跟踪人脸特征点，同样面临上述难题。另一些方法使用椭圆
拟合虹膜轮廓，之后将该椭圆反向投影为三维空间上的圆形。这是因为虹膜轮廓可以被近似为圆形，而其在二维图像中投影为椭圆，通过分析该椭圆形状能够求解虹膜在三维世界中的朝向。这是常见的基于虹膜轮廓形状的方法。但是，传统的虹膜轮廓分析方法在实际应用中并不可靠，原因是虹膜区域在图像中面积小、噪声大，其轮廓难以精确提取，而对其轮廓提取的若干像素的微小误差即可造成非常大的视线方向计算偏差。因此，很多情况下只能通过拍摄超高分辨率人眼图像，或者使用可穿戴相机来提高精度，同时也增加了对硬件的要求和对实际应用场景的限制。在此前提下，本专利技术提供了一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，结合虹膜外观的虚拟生成，主要用于解决在拍摄普通分辨率人眼图像的条件下，传统的虹膜轮廓匹配方法稳定性差，精度低的缺点，进而实现高精度三维视线方向计算。
技术实现思路
根据上述实际需求和技术难题，本专利技术的目的在于：提出一种三维视线的计算方法，通过虚拟眼球外观合成，生成不同视线方向下的虚拟眼球外观数据集，通过与人眼图像匹配，实现对人眼三维视线方向的计算。本方法对系统没有额外需求，仅使用单相机拍摄的人眼图像作为输入。同时，本方法通过提出两种虹膜轮廓形状分析匹配技术，实现了相比其它类似方法更好的鲁棒性。本专利技术技术解决方案：一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，首先，针对人眼图像获取，本专利技术包含以下流程。使用单相机，拍摄含有用户面部区域的图像。利用已有人脸分析方法定位左眼或右眼区域。对提取出的人眼图像进行预处理，得到亮度修正的人眼图像，以及通过边缘检测产生部分虹膜边缘像素。其次，专利技术了针对不同视线方向下的虚拟眼球外观合成和数据集建立方法。对眼球建立三维球体模型，并在其上添加虹膜轮廓等重要细节；遍历物理可能的眼球朝向参数，即绕水平和垂直两轴转动的角度，对于每个眼球朝向，将对应的三维虚拟眼球外观投射到二维平面(对应眼球正前方向)，记录投射后的虹膜形态、眼球中心位置、虹膜中心位置等二维坐标信息；将所有转角与对应生成的二维坐标信息保存到数据集。进一步，专利技术了人眼图像和合成得到的虚拟眼球外观匹配的方法，通过最大化匹配度，选取与人眼图像最一致的虚拟眼球外观，得知对应的眼球朝向和位置。针对眼球外观匹配，专利技术了基于圆周对称性度量和虹膜轮廓匹配度度量两种约束的匹配算法。对于前者，给定任意一组匹配参数(相对平移量和眼球朝向)，确定其对应的虚拟眼球虹膜轮廓及虹膜中心位置的坐标；将这些坐标叠加到人眼图像上，在虹膜轮廓附近区域内，度量人眼图像像素梯度的变化规律，考察以虹膜椭圆轮廓为参考的二维圆周对称性，并
以此作为准则衡量匹配效果。对于后者，给定任意一组匹配参数(相对平移量和眼球朝向)，可以确定其对应的虚拟眼球虹膜轮廓的坐标；遍历人眼图像中提取的虹膜边缘像素，计算各边缘像素与虚拟眼球虹膜轮廓的距离；检查这些距离的分布，统计明显与众不同的距离的数量，该数量越少，虹膜轮廓匹配度度量结果越好。另外，对于连续拍摄的人眼图像，在假设眼球中心位置不变或已对齐的条件下，专利技术了一种联合优化方法，能够提高从多张人眼图像中计算视线方向时的准确性。在前述人眼图像与虚拟眼球外观匹配结果的基础上，对于每一张人眼图像，分别计算得到眼球朝向和眼球中心位置坐标；对于所有图像的结果，排除其中明显有偏差的眼球中心坐标，利用剩余坐标，加权计算眼球中心的标准坐标；分别继续进行外观匹配，同时增加一项优化约束，即匹配后的眼球中心坐标与标准眼球中心坐标尽可能重合。计算结果更新为各张人眼图像中眼球朝向的最终结果。本专利技术具体实现步骤如下：(1)构造球体眼球模型，遍历不同的物理可能的眼球朝向，通过几何计算，生成不同朝向下的二维虚拟眼球外观，将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集，以备具体应用时使用；(2)应用时，首先拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，完成亮度修正并提取图像中的虹膜边缘像素；(3)对于拍摄并预处理的人眼图像，以及数据集内的虚拟眼球外观数据，通过人眼图像与虚拟眼球外观数据匹配优化算法，进行人眼图像与虚拟眼球外观数据匹配，匹配结果确定了与人眼图像最吻合的眼球朝向和位置；(4)对于连续拍摄的人眼图像，在眼球中心位置不变或人眼图像已被对齐的条件下，以步骤(3)的眼球外观匹配为基础，进一步进行联合优化，精确同时求解各图像对应的三维视线方向。所述步骤(1)的虚拟眼球外观数据生成方法如下，首先，建立眼球的三维球体模型，并在其表面添加圆形虹膜轮廓重要元素；遍历不同的物理可能的眼球朝向，即不同的绕水平和垂直轴转动的角度，对于每个转动角度，将对应的三维虚拟眼球外观投射到二维平面即对应眼球正前方，记录投射后的虹膜轮廓坐标、眼球中心坐标、虹膜中心坐标二维眼球外观数据；将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集。所述步骤(3)中的人眼图像与虚拟眼球外观数据匹配优化算法，具体如下：求解的匹配参数为人眼图像与虚拟眼球外观在二维图像域内的相对平移量，以及虚拟眼球外观对应的眼球朝向，通过寻找这两个匹配参数的最佳值，本文档来自技高网...

【技术保护点】
一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于包含以下步骤：(1)构造球体眼球模型，遍历不同的物理可能的眼球朝向，通过几何计算，生成不同朝向下的二维虚拟眼球外观，将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集，以备具体应用时使用；(2)应用时，首先拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，完成亮度修正并提取图像中的虹膜边缘像素；(3)对于拍摄并预处理的人眼图像，以及数据集内的虚拟眼球外观数据，通过人眼图像与虚拟眼球外观数据匹配优化算法，进行人眼图像与虚拟眼球外观数据匹配，匹配结果确定了与人眼图像最吻合的眼球朝向和位置；(4)对于连续拍摄的人眼图像，在眼球中心位置不变或人眼图像已被对齐的条件下，以步骤(3)的眼球外观匹配为基础，进一步进行联合优化，精确同时求解各图像对应的三维视线方向。

【技术特征摘要】
1.一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于包含以下步骤：(1)构造球体眼球模型，遍历不同的物理可能的眼球朝向，通过几何计算，生成不同朝向下的二维虚拟眼球外观，将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集，以备具体应用时使用；(2)应用时，首先拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，完成亮度修正并提取图像中的虹膜边缘像素；(3)对于拍摄并预处理的人眼图像，以及数据集内的虚拟眼球外观数据，通过人眼图像与虚拟眼球外观数据匹配优化算法，进行人眼图像与虚拟眼球外观数据匹配，匹配结果确定了与人眼图像最吻合的眼球朝向和位置；(4)对于连续拍摄的人眼图像，在眼球中心位置不变或人眼图像已被对齐的条件下，以步骤(3)的眼球外观匹配为基础，进一步进行联合优化，精确同时求解各图像对应的三维视线方向。2.根据权利要求1所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于：步骤(1)的虚拟眼球外观数据生成方法如下，首先，建立眼球的三维球体模型，并在其表面添加圆形虹膜轮廓重要元素；遍历不同的物理可能的眼球朝向，即不同的绕水平和垂直轴转动的角度，对于每个转动角度，将对应的三维虚拟眼球外观投射到二维平面即对应眼球正前方，记录投射后的虹膜轮廓坐标、眼球中心坐标、虹膜中心坐标二维眼球外观数据；将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集。3.根据权利要求1所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于：所述步骤(3)中的人眼图像与虚拟眼球外观数据匹配优化算法，具体如下：求解的匹配参数为人眼图像与虚拟眼球外观在二维图像域内的相对平移量，以及虚拟眼球外观对应的眼球朝向，通过寻找这两个匹配参数的最佳值，最优化人眼图像与虚拟眼球外观的匹配度，从而实现进行人眼图像与虚拟眼球外观数据匹配。4.根据权利要求3所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于：所述匹配度由如下函数度量计算：(31)圆周对称性度量：当匹配趋于理想时，人眼图像中处于虚拟眼球虹膜轮廓...

【专利技术属性】
技术研发人员：陆峰，陈小武，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11