基于单目摄像机的视线检测的方法和装置制造方法及图纸

本公开提供了一种基于单目摄像机的视线检测的方法和装置。所述方法包括：基于单目摄像机获取的图像提取面部区域的面部特征和包括在面部区域中的眼部区域，其中，眼部区域包括眼眶区域和虹膜区域；基于眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向；基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息。征推测三维视线信息。征推测三维视线信息。

【技术实现步骤摘要】
基于单目摄像机的视线检测的方法和装置


[0001]本公开涉及眼动跟踪领域，具体地，本公开提供了一种基于单目摄像机实现的视线检测的方法和使用该方法的装置。

技术介绍

[0002]视线方向检测在几十年来都是比较活跃的研究方向。视线检测在心理学有着重要的作用，例如能够以视线检测为基础，统计出眼跳、注视、扫视等一些能够反应心理活动的状态。视线检测在人机交互领域中也能够拥有很广泛的应用，可以作为一种新式的人机交互手段。
[0003]现有技术中的视线检测方式主要分为穿戴式设备和中远距离多摄像头检测方式。设备复杂、成本昂贵，因此限制了实际应用场景下广泛应用的可能。

技术实现思路

[0004]本公开提供了一种基于单目摄像机实现的视线检测的方法和使用该方法的装置。本公开提供的实施例能够基于单目摄像机(例如，普通的RGB摄像机)推测出视线方向，而无需特殊设备或特殊摄像头。从而在设备上降低了成本与设备的获取难度。
[0005]本公开的一方面提供了一种基于单目摄像机的视线检测的方法，所述方法包括：基于单目摄像机获取的图像提取面部区域的面部特征和包括在面部区域中的眼部区域，其中，眼部区域包括眼眶区域和虹膜区域；基于眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向；基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息。
[0006]可选地，基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息的步骤可以包括：基于左眼视线方向、右眼视线方向和面部特征使用预先训练的多层感知机网络来推测三维视线信息，其中，预先训练的多层感知机网络包括：输入层，被配置为将左眼视线方向、右眼视线方向和面部特征用作输入；第一隐含层，被配置为包括第一子层和第二子层，其中，输入层中的左眼视线方向和面部特征与第一子层形成全连接，输入层中的右眼视线方向和面部特征与第二子层形成全连接；第二隐含层，被配置为与第一隐含层形成全连接；以及输出层，被配置为与第二隐含层形成全连接。
[0007]可选地，基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息的步骤可以包括：通过单目视线滤波器对视线方向进行滤波处理，并且基于经滤波处理的视线方向和面部特征推测所述三维视线信息，其中，视线方向包括左眼视线方向和右眼视线方向，其中，单目视线滤波器可以包括：自回归积分滑动平均模型，将当前帧的视线方向作为输入基于模型参数输出当前帧的经滤波处理的视线方向；多层感知机，将当前帧的视线方向和当前帧的经滤波处理的视线方向作为输入，并向自回归积分滑动平均模型输出经优化的所述模型参数，其中，自回归积分滑动平均模型基于经优化的模型参数对下一帧的视线方向进行滤波处理。
[0008]可选地，基于眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向
的步骤可以包括：将眼眶区域中的每个眼眶区域划分为彼此相等的四个象限；计算对应的虹膜区域落在四个象限中的每个象限中的积分值；以及基于积分值分别推测左眼视线方向和右眼视线方向。
[0009]本公开的另一方面公开了一种基于单目摄像机的视线检测的装置，所述装置包括：特征提取单元，被配置为基于单目摄像机获取的图像提取面部区域的面部特征和包括在面部区域中的眼部区域，其中，眼部区域包括眼眶区域和虹膜区域；单眼视线推测单元，被配置为基于眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向；三维视线推测单元，被配置为基于左眼视线方向、右眼视线方向和面部特征推测三维视线信息。
[0010]可选地，三维视线推测单元被配置为：基于左眼视线方向、右眼视线方向和面部特征使用预先训练的多层感知机网络来推测三维视线信息，其中，预先训练的多层感知机网络包括：输入层，被配置为将左眼视线方向、右眼视线方向和面部特征用作输入；第一隐含层，被配置为包括第一子层和第二子层，其中，输入层中的左眼视线方向和面部特征与第一子层形成全连接，输入层中的右眼视线方向和面部特征与第二子层形成全连接；第二隐含层，被配置为与第一隐含层形成全连接；以及输出层，被配置为与第二隐含层形成全连接。
[0011]可选地，三维视线推测单元被配置为：通过单目视线滤波器对视线方向进行滤波处理，并且基于经滤波处理的视线方向和面部特征推测三维视线信息，其中，视线方向包括左眼视线方向和右眼视线方向，其中，单目视线滤波器包括：自回归积分滑动平均模型，将当前帧的视线方向作为输入基于模型参数输出当前帧的经滤波处理的视线方向；多层感知机，将当前帧的视线方向和当前帧的经滤波处理的视线方向作为输入，并向自回归积分滑动平均模型输出经优化的模型参数，其中，自回归积分滑动平均模型基于经优化的模型参数对下一帧的视线方向进行滤波处理。
[0012]可选地，基于眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向的步骤包括：将眼眶区域中的每个眼眶区域划分为彼此相等的四个象限；计算对应的虹膜区域落在所述四个象限中的每个象限中的积分值；以及基于积分值分别推测左眼视线方向和右眼视线方向。
[0013]本公开的另一方面提供了一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序在被处理器执行时实现如上所述的视线检测的方法。
[0014]本公开的另一方面提供了一种计算机设备，其特征在于，所述计算机设备包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的视线检测的方法。
[0015]根据本公开的一个或多个方面，提出了一种基于单目可见光摄像机的眼部识别和追踪的方法和使用该方法的装置。通过仅一个单目可见光摄像机即可实现基于普通RGB图像的视线检测。与现有的技术相比，本公开在实际应用场景下具有更好的可用性。布置简单、无需主动光源、无需佩戴，并且因只采用了一个单目可见光相机，故降低了使用成本。
附图说明
[0016]通过以下结合附图的详细描述，本公开的以上和其它方面、特征和优点将被更清楚地理解，在附图中：
[0017]图1是示出实施根据本公开的实施例的基于单目摄像机的视线检测的方法的使用
场景的示意图；
[0018]图2是示出根据示例性实施例的基于单目摄像机的视线检测的方法的流程图；
[0019]图3是示出根据示例性实施例的单目视线滤波器的示意图；
[0020]图4是示出根据示例性实施例的推测三维视线信息的流程图；
[0021]图5是示出根据示例性实施例的用于推测三维视线信息的多层感知机网络的示意图；
[0022]图6是示出根据示例性实施例的推测三维视线信息的示例；
[0023]图7是示出根据示例性实施例的基于单目摄像机的视线检测的装置的框图；以及
[0024]图8是示出根据本公开的实施例的电子设备的框图。
具体实施方式
[0025]提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，对于本领域普通技术人员在此描述的方法、设备和/或系统的各种改变、变型和等同物将是显而易见的。例如，在此描述的操作的顺序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目摄像机的视线检测的方法，其特征在于，所述方法包括：基于单目摄像机获取的图像提取面部区域的面部特征和包括在所述面部区域中的眼部区域，其中，所述眼部区域包括眼眶区域和虹膜区域；基于所述眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向；基于所述左眼视线方向、所述右眼视线方向和所述面部特征推测三维视线信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述左眼视线方向、所述右眼视线方向和所述面部特征推测三维视线信息的步骤包括：基于所述左眼视线方向、所述右眼视线方向和所述面部特征使用预先训练的多层感知机网络来推测所述三维视线信息，其中，所述预先训练的多层感知机网络包括：输入层，被配置为将所述左眼视线方向、所述右眼视线方向和所述面部特征用作输入；第一隐含层，被配置为包括第一子层和第二子层，其中，所述输入层中的所述左眼视线方向和所述面部特征与所述第一子层形成全连接，所述输入层中的所述右眼视线方向和所述面部特征与所述第二子层形成全连接；第二隐含层，被配置为与所述第一隐含层形成全连接；以及输出层，被配置为与所述第二隐含层形成全连接。3.根据权利要求1所述的方法，其特征在于，所述基于所述左眼视线方向、所述右眼视线方向和所述面部特征推测三维视线信息的步骤包括：通过单目视线滤波器对视线方向进行滤波处理，并且基于经滤波处理的视线方向和所述面部特征推测所述三维视线信息，其中，所述视线方向包括所述左眼视线方向和所述右眼视线方向，其中，所述单目视线滤波器包括：自回归积分滑动平均模型，将当前帧的视线方向作为输入基于模型参数输出所述当前帧的经滤波处理的视线方向；多层感知机，将所述当前帧的视线方向和所述当前帧的经滤波处理的视线方向作为输入，并向所述自回归积分滑动平均模型输出经优化的所述模型参数，其中，所述自回归积分滑动平均模型基于经优化的所述模型参数对下一帧的视线方向进行滤波处理。4.根据权利要求1所述的方法，其特征在于，所述基于所述眼眶区域和对应的虹膜区域分别推测左眼视线方向和右眼视线方向的步骤包括：将所述眼眶区域中的每个眼眶区域划分为彼此相等的四个象限；计算对应的虹膜区域落在所述四个象限中的每个象限中的积分值；以及基于所述积分值分别推测左眼视线方向和右眼视线方向。5.一种基于单目摄像机的视线检测的装置，其特征在于，所述装置包括：特征提取单元，被配置为基于单目摄像机获取的图像提取面部区域的面部特征和包括在所述面部区域中的眼部区域，其...

【专利技术属性】
技术研发人员：王治博，华春生，李永春，关强，童心，陈刚，周丹，蒲岩，魏宏超，王雪松，邓清峰，王智勇，
申请(专利权)人：沈阳康慧类脑智能协同创新中心有限公司，
类型：发明
国别省市：