一种基于事件相机的卷积递归神经网络眼部检测方法技术

一种基于事件相机的卷积递归神经网络眼部检测方法，包括步骤：从事件相机得到事件流数据，将事件流数据转化为事件图像；对事件图像进行去噪处理以及统一事件图像的分辨率；将事件图像放入卷积神经网络中，进行训练；以及通眨眼检测过非极大值抑制得到置信度较高的检测结果。本方法为使用事件数据进行脸部眼部检测追踪以及眨眼检测提供了一个可行的方法，解决常用记录相机帧率不足的情况，更高的时间分辨率和动态适应每个任务的帧率的能力。分辨率和动态适应每个任务的帧率的能力。分辨率和动态适应每个任务的帧率的能力。

【技术实现步骤摘要】
一种基于事件相机的卷积递归神经网络眼部检测方法


[0001]本专利技术属于计算机视觉领域，特别涉及一种基于事件相机的卷积递归神经网络眼部检测方法。

技术介绍

[0002]眼部检测和追踪主要是基于计算机视觉的人眼检测与跟踪技术具有低侵入性、高精度等优势,现已成为眼动研究的主流方法。人眼检测与跟踪是人脸识别、表情识别、眼动分析、虹膜识别等技术的必要步骤，涉及图像处理、计算机视觉、模式识别以及认知心理学等多个学科,并在工业检测、智能机器人、人机交互、公共安全、智能交通、心理学、医学诊断以及军事侦察等领域均有广泛的应用。
[0003]现有的人眼检测与跟踪算法是存在一些客观问题的，其中最为关键的是精确定位并跟踪人眼的算法都建立在高质量的成像设备之上的。但是传统的记录相机帧率都在25帧左右的完全达不到所需的帧率，而且目前从低质量人脸图像中精确获取人眼位置的算法还是欠缺的，从而导致高质量记录设备价格昂贵且对用户束缚较多，应用范围受到很大的限制。由于眼部运动速度快，而且需要检测和追踪的眼部目标小，所以在进行眼部追踪的过程中，普通的摄像头容易产生运动模糊，即相机的更新速度无法快于眼球和瞳孔的运动速度，影响眼部的检测和追踪眼部的效果。
[0004]事件传感器或动态视觉传感器(DVS)是新颖的、受生物启发的异步视觉采集设备。与标准的基于帧的传感相比，单个像素异步报告强度变化的“事件”流。事件摄像机与传统摄像机相比具有几个显着优势包括毫秒级分辨率、高动态范围和低功耗。对于大多数传统相机来说，除了眨眼频率之外，分析眨眼模式的细节是很困难的。在每秒30帧的情况下，眨眼通常会持续5帧，而准确的眨眼分析可能需要超过100帧的帧速率。

技术实现思路

[0005]本专利技术的目的是提供一种基于事件相机的卷积递归神经网络眼部检测方法，利用事件相机对人脸进行数据采集并进行去噪处理和固定分辨率大小便于后续神经网络的处理，然后利用深度学习的卷积递归神经网络技术对数据集进行处理和训练，从而检测出面部和眼部同时进行跟踪，为使用事件数据进行脸部眼部检测追踪以及眨眼检测提供了一个可行的方法，解决常用记录相机帧率不足的情况，更高的时间分辨率和动态适应每个任务的帧率的能力。
[0006]本专利技术的技术方案如下：
[0007]一种基于事件相机的卷积递归神经网络眼部检测方法，包括以下步骤：S1.从事件相机得到事件流数据，将事件流数据转化为事件图像；S2.对所述事件图像进行去噪处理以及统一事件图像的分辨率；S3.将事件图像放入卷积神经网络中，进行训练；以及S4.通眨眼检测过非极大值抑制得到置信度较高的检测结果。
[0008]优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S1中，
将所述事件相机设置在合适的位置，从事件相机获取事件流数据，输出异步事件流数据，所述事件流数据称为地址事件表达协议，每一个数据都包括时间戳、像素坐标与极性，固定一个时间段，从所述事件相机获取在这一段时间内的事件的事件流数据，并生成事件图像。
[0009]优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S1中，将所述事件相机安装平面的桌上或者任何可以记录面部图像的位置，采集以脸部正面侧面为主的角度数据。
[0010]优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S2中，所述去噪处理包括设定一个阈值，当事件数量小于阈值时该事件则被当作噪点被去除，最后形成去除噪声后的事件图像，以及将得到的事件图像转化为分辨率能被卷积神经网络(CNN)接受的图像大小以便于后续卷积神经网络的处理。
[0011]优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S3中，采用GR
‑
YOLO网络来检测和跟踪人脸和眼睛，所述GR
‑
YOLO网络的网络架构第0到13层由一系列卷积层和最大池层组成，对来自当前参考帧的信息进行编码并映射到特征空间，随后是门控循(GRU)层，以补充获得的信息与相关面部和眼睛特征相关的更高级别的特征，然后在之后的第一个YOLO层检测之前通过单个卷积层传播组合信息，在第二个YOLO层使用锚框进行边界框预测，最后使用2000个训练序列和330个验证序列数据集进行训练。
[0012]优选地，在上述基于事件相机的卷积递归神经网络眼部检测方法中，在步骤S4中，采用提取与困倦相关的特征的方法来检测眨眼和分析眨眼模式，先过滤由于头部运动引起的噪音和事件，确定任意一只眼部区域中每个像素的平均极性，并估量一个阈值，阈值是距相机的物距的函数，随时间变化做统计记录不等于估量阈值的时间点超过为正低于为负，出现双峰分布特征代表眨眼事件；再根据任一眼睛裁剪区域沿垂直轴的极性分布，从纵轴的角度来看事件分布的标准差，大幅度的标准偏差表示水平运动因为正极和负极在水平方向上分开；最后使用固定持续时间事件窗口已粒度级别分解眨眼结合之前的两个时间序列统计事件的双峰分布。
[0013]根据本专利技术的技术方案，产生的有益效果是:
[0014]本专利技术的基于事件相机的卷积递归神经网络眼部检测方法以及眨眼检测，可以有效地解决利用传统相机对眼部进行检测追踪时需要高帧率和高像素的相机问题，从而降低记录设备成本和增大了应用范围同时也降低了功耗，本专利技术为事件相机对面部眼部采集的数据提供一种检测手段，采用卷积递归神经网络检测和跟踪的面部和眼睛的方法，此外，本专利技术还提出了一种检测眨眼的方法，可以有效地提高清晰度和准确率，更好的推广对眼部检测追踪的应用。
[0015]为了更好地理解和说明本专利技术的构思、工作原理和专利技术效果，下面结合附图，通过具体实施例，对本专利技术进行详细说明如下：
附图说明
[0016]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
[0017]图1是本专利技术的基于事件相机的卷积递归神经网络眼部检测方法的流程图；
[0018]图2是本专利技术方法涉及的控制完全卷积YOLO层用于边界框预测的相关参数。
具体实施方式
[0019]为使本专利技术的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本专利技术做进一步的详细说明。这些实例仅仅是说明性的，而并非对本专利技术的限制。
[0020]本专利技术方法的原理是：利用事件相机的高分辨率、高动态范围和低功耗的特点对运动目标和变化目标进行高精准特征反馈。将事件相机设置在离头部较近的地方对脸部的进行事件数据采集，在将采集到的数据输入到一个已经经过训练的卷积递归神经网络中进行重复过滤机制，输出检测到的脸部和眼部特征的位置和强度，根据提取出的特征进行追踪，利用位置位置信息计算脸部和眼部的相对位置信息，从而确定任一眼睛区域中每个像素强度变化时间点，用时间点做统计，其中每个双峰分布就是明显典型的眨眼的特征。
[0021]本专利技术方法提出了一种基于事件相机的卷积递归神经网络方式用于面部和眼部的检测以跟踪，同时提出了一种基于以上检测方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，包括以下步骤：S1.从事件相机得到事件流数据，将事件流数据转化为事件图像；S2.对所述事件图像进行去噪处理以及统一事件图像的分辨率；S3.将事件图像放入卷积神经网络中，进行训练；以及S4.通眨眼检测过非极大值抑制得到置信度较高的检测结果。2.根据权利要求1所述的基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，在步骤S1中，将所述事件相机设置在合适的位置，从事件相机获取事件流数据，输出异步事件流数据，所述事件流数据称为地址事件表达协议，每一个数据都包括时间戳、像素坐标与极性，固定一个时间段，从所述事件相机获取在这一段时间内的事件的事件流数据，并生成事件图像。3.根据权利要求1所述的基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，在步骤S1中，将所述事件相机安装平面的桌上或者任何可以记录面部图像的位置，采集以脸部正面侧面为主的角度数据。4.根据权利要求1所述的基于事件相机的卷积递归神经网络眼部检测方法，其特征在于，在步骤S2中，所述去噪处理包括设定一个阈值，当事件数量小于阈值时该事件则被当作噪点被去除，最后形成去除噪声后的事件图像，以及将得到的事件图像转化为分辨率能被卷积神经网络(CNN)接受的图像大小以便于后续卷积神经网络的处理。5.根据权利要求1所...

【专利技术属性】
技术研发人员：陶键源，龙仕强，张世雄，魏文应，安欣赏，
申请(专利权)人：深圳龙岗智能视听研究院，
类型：发明
国别省市：