一种人眼左右眼图像联合的视线方向计算方法技术

本发明专利技术提供了一种人眼左右眼图像联合的视线方向计算方法，包括：双眼信息的提取模型，输入人眼图像，通过双通道模型，分别自动的提取出图像中蕴含的左眼和右眼的信息特征；人眼联合信息特征的提取模型，输入用户的双眼图像，模型结合双眼信息，提取人眼的联合信息特征；发明专利技术了一种联合算法，通过输入特征信息，计算得到三维视线方向。本发明专利技术的应用之一是虚拟现实和人机交互，其原理是通过拍摄用户的眼部图像，计算用户视线方向，从而与智能系统界面或虚拟现实对象进行交互。本发明专利技术也可广泛用于训练培训、游戏娱乐、视频监控、医疗监护等领域。

【技术实现步骤摘要】
一种人眼左右眼图像联合的视线方向计算方法
本专利技术涉及计算机视觉和图像处理领域，具体地说是一种人眼左右眼图像联合的视线方向计算方法。
技术介绍
视线追踪/眼动追踪对于用户行为理解和高效人机交互具有重要意义。人类可感知信息中超过80％的部分由人眼接收，而其中超过90％的部分由视觉系统处理。因此，视线是反映人与外界交互过程的重要线索。近年来，由于虚拟现实技术和人机交互技术的迅速发展，视线追踪技术的应用价值逐渐凸显；另一方面，视线方向计算在计算机视觉领域仍然是一个极富挑战性的问题。目前的视线追踪技术从根本上分为了基于外观的视线追踪技术和基于模型的视线追踪技术两种。在当前的环境中，由于基于模型的视线追踪技术往往有着很高的正确率，从而使得大多数的人们都专注于基于模型的视线追踪方法的研究。基于模型的视线追踪技术需要实验者提供很多的几何特征，比如说瞳孔的方向，并以此来建立一个眼睛模型，通过模型来预测人们视线的方向。正因如此，基于模型的视线追踪技术有着以下几点缺陷:1)需要昂贵的设备仪器。基于模型的视线追踪技术是通过建立一个眼睛模型或者其他的几何模型来预测参与者的视线方向，所以它需要通过使用一些独特的设备来提取参与者的一些关于眼睛的几何特征，并以此建立模型。2)基于模型的视线追踪技术需要在严格的室内环境中进行。由于基于模型的视线追踪技术中需要实验者提供的几何特征一般是由红外线所测量得到的，而一些其他的干扰源，比如太阳光中蕴含了太多的红外光，这会对仪器的测量结果造成非常严重的干扰，所以测量的设备也需要放在严格的室内环境中，以此来避免太阳光等其他红外光的干扰。3)基于模型的视线追踪技术需要高分辨率的图像来进行训练，所以有着被限制的工作距离，一般来说不超过60cm。因此，基于模型的实验方法不能普遍的使用于大部分的普通环境中。与此相反的，基于外观的视线追踪技术直接通过从人眼图片中学习到各种信息，建立图片和人眼视线之间的映射关系，以此来得到视线的方向，它并没有上述基于模型的视线追踪技术所拥有的种种限制，它只需要通过一个普通的相机去拍摄到人眼的外观图片。这一条件使得基于外观的视线追踪技术有着普遍的适用性，也使得基于外观的视线追踪技术有着无可媲美的应用前景。但是由于基于外观的视线追踪技术对于采样工具、采样环境的要求并不严格，从而使得模型的输入数据，往往有着多种多样的环境因素影响，比如说：光照、参与者、头部位置等。光照的强度会使得图片变得明亮或暗，在极暗环境中，人们更是难以从图片上分辨出一个人的眼睛图像；同样的，头部位置的不同更是对于人眼的采样有着很大的影响，对于同一个人来说，拍摄它的正面照和侧向拍照所得到的人眼图像就有所不同。以上的种种因素，使得基于外观的视线追踪技术的输入数据中就有着很大的噪声信息，这也正是基于外观的视线追踪技术所面临的一个挑战，正因为这个缺陷，基于外观的视线追踪技术，在精确度上，远远不如基于模型的视线追踪方法。同时，目前的基于外观的视线追踪方法，往往是以用户的单眼图像作为输入信息的，然而在实际的应用中，每一次对于用户信息的采集得到的往往都是用户某一时刻的双眼图像，将同一时刻的双眼图像分开输入，也正忽略了双眼图像中关于某一时刻的相关性。在近些年来，各种各样的新式模型也是应运而生，在这各种各样的模型中，神经网络的表现尤为突出。深度学习中的卷积神经网络作为神经网络的一个类别，更是十分火热。由于深度学习中的卷积神经网络具有了局部感知的特性，使得它能够很好的提取出图片的局部特征，保留图片的局部相关信息，同时由于权值共享的原因，使得深度学习中的卷积神经网络也不会需要消耗大量的时间去进行训练，也正因此，深度学习中的卷积神经网络在各种图像处理任务中表现尤为突出，例如：图像分类，目标检测,以及语义分隔等。同时，近些年来，硬件的飞速发展，更是让深度学习中的卷积神经网络在图像处理方法表现的更加出色。但用于人眼视线方向确定方法还尚未有相似文献报导。
技术实现思路
本专利技术技术解决问题：克服现有技术的不足，提供一种人眼左右眼图像联合的视线方向计算方法，通过使用神经网络去提取图像中蕴含着的信息因素，并通过自适应的方法调整神经网络模型，最终预测双眼的视线方向，主要通过结合双眼的图像信息，从而用于解决基于外观的视线追踪方法中输入的单眼图像噪声较大的问题，从而实现了高精度的三维视线方向预测。本专利技术技术解决方案：一种人眼左右眼图像联合的视线方向计算方法,包含以下步骤：(1)拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，实现对头部位置的修正，并得到固定像素大小的人眼图像；(2)建立双通道模型，分别输入人眼图像中左眼和右眼的图像信息，使用深度神经网络模型分别提取并输出左眼和右眼的信息特征；(3)建立单通道模型，输入左眼和右眼的图像信息，使用深度神经网络模型提取并输出左右眼图像联合信息特征；(4)使用回归分析的方法，结合左眼和右眼的信息特征及左右眼图像联合信息特征，并经过联合优化，预测双眼分别对应的三维视线方向；或者单独使用左眼和右眼的信息特征或左右眼图像联合信息特征，使用回归分析的方法，经过优化后，预测双眼分别对应的三维视线方向所述步骤(2)建立双通道模型，分别输入人眼图像中左眼和右眼的图像信息，经过双通道模型分别提取并输出左眼和右眼的信息特征的具体过程如下：(21)将修正后的固定大小的左眼和右眼图像Il和Ir输入双通道模型中,Il和Ir分别经过一个通道处理；(22)每个通道均为一个深度神经网络模型，所述模型对输入的人眼图像进行卷积、池化、全连接操作，输出固定长度的特征向量；(23)每个通道产生的固定长度的特征向量即是对应输入图像经过深度神经网络提取后的信息特征，将两个通道所产生的信息特征连接起来，得到最终的左眼和右眼的信息特征。所述步骤(3)建立单通道模型，输入左眼和右眼的图片信息，使用单通道模型提取并输出左右眼图像联合信息特征的具体过程如下：(31)将修正后的固定大小的人眼图像输入单通道模型中；(32)分别使用深度神经网络模型，分别对左右眼的图像进行卷积、池化、全连接操作，输出精简后的左右眼信息特征；(33)连接左右眼信息特征，在深度神经网络模型后添加多个全连接层，使用全连接层合并左右眼的信息特征，最终得到左右眼图像联合信息特征。所述步骤(4)利用使用回归分析的方法，结合左眼和右眼的信息特征，及左右眼图像联合信息特征，并经过联合优化，预测双眼分别对应的三维视线方向的具体过程如下：(41)输入修正后的左眼和右眼图像Il和Ir，以及图像所对应的真实左眼视线方向gl和真实右眼视线方向gr；(42)使用步骤(2)以及步骤(3)中提出的深度神经网络模型，提取图像所对应的双眼信息特征以及联合信息特征；(43)连接所有提取的信息特征或单独使用一种特征作为整体特征，使用回归分析的方法，得到预测的左眼视线方向f(I)l和预测的右眼视线方向f(I)r；(44)以角度差作为误差值，使用梯度下降的方法，对模型进行迭代优化，使得预测的视线方向越来越接近于真实的视线方向；(45)选择预测视线方向最接近于真实视线方向的模型作为最终的模型，模型通过输入人眼图像，得到预测的视线方向，并将该视线方向作为最终预测结果。与其它的视线追踪的方法相比，本专利技术有益的特点在于：(本文档来自技高网...

【技术保护点】
一种人眼左右眼图像联合的视线方向计算方法,其特征在于，包含以下步骤：(1)拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，实现对头部位置的修正，并得到固定像素大小的人眼图像；(2)建立双通道模型，分别输入人眼图像中左眼和右眼的图像信息，使用深度神经网络模型分别提取并输出左眼和右眼的信息特征；(3)建立单通道模型，输入左眼和右眼的图像信息，使用深度神经网络模型提取并输出左右眼图像联合信息特征；(4)使用回归分析的方法，结合左眼和右眼的信息特征及左右眼图像联合信息特征，并经过联合优化，预测双眼分别对应的三维视线方向；或者单独使用左眼和右眼的信息特征或左右眼图像联合信息特征，使用回归分析的方法，经过优化后，预测双眼分别对应的三维视线方向。

【技术特征摘要】
1.一种人眼左右眼图像联合的视线方向计算方法,其特征在于，包含以下步骤：(1)拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，实现对头部位置的修正，并得到固定像素大小的人眼图像；(2)建立双通道模型，分别输入人眼图像中左眼和右眼的图像信息，使用深度神经网络模型分别提取并输出左眼和右眼的信息特征；(3)建立单通道模型，输入左眼和右眼的图像信息，使用深度神经网络模型提取并输出左右眼图像联合信息特征；(4)使用回归分析的方法，结合左眼和右眼的信息特征及左右眼图像联合信息特征，并经过联合优化，预测双眼分别对应的三维视线方向；或者单独使用左眼和右眼的信息特征或左右眼图像联合信息特征，使用回归分析的方法，经过优化后，预测双眼分别对应的三维视线方向。2.根据权利要求1所述的人眼左右眼图像联合的视线方向计算方法，其特征在于：所述步骤(2)建立双通道模型，分别输入人眼图像中左眼和右眼的图像信息，经过双通道模型分别提取并输出左眼和右眼的信息特征的具体过程如下：(21)将修正后的固定大小的左眼和右眼图像Il和Ir输入双通道模型中,Il和Ir分别经过一个通道处理；(22)每个通道均为一个深度神经网络模型，所述模型对输入的人眼图像进行卷积、池化、全连接操作，输出固定长度的特征向量；(23)每个通道产生的固定长度的特征向量即是对应输入图像经过深度神经网络提取后的信息特征，将两个通道所产生的信息特征连接起来，得到最终的左眼和右眼的信息特征。3.根据权利要求1所述的人眼左右眼图像联合的...

【专利技术属性】
技术研发人员：陆峰，陈小武，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11