一种基于视觉的眯眼呆滞检测方法和系统技术方案

本发明专利技术公开了一种基于视觉的眯眼呆滞检测方法和系统，所述方法步骤如下：眼睛定位及关键点提取；初始化；实时检测，所述系统包括人脸检测模块、状态特征提取模块、关键点检测模块、状态特征匹配模块、状态特征识别模块。本发明专利技术通过自适应眼睛特征提取算法，先进行正常状态下眼部特征学习，进而判断非正常状态下的眼睛状态，进一步增强眯眼状态下的眼部特征；本发明专利技术通过多尺度下的眼球特征学习及视线区域判断，增加视线回归精度，增加呆滞的判断精度；本发明专利技术除了能够应用于驾驶员监控系统外，还能应用于各类机械操作工人状态监控，用于降低驾驶及机械操作事故，或用于智能台灯中，监控使用人疲劳状态，进行提醒及智能灯光调节等操作。作。作。

【技术实现步骤摘要】
一种基于视觉的眯眼呆滞检测方法和系统


[0001]本专利技术涉及眯眼呆滞检测，特别是一种基于视觉的眯眼呆滞检测方法和系统。

技术介绍

[0002]眼睛呆滞主要表现为两种：睁眼呆滞和眯眼呆滞(如图2所示)，眯眼呆滞与睁眼呆滞最大的区别就是眼球的可见性较弱，更加隐形，所以识别难度非常大。眼睛呆滞是疲劳驾驶前的一般状态，此时驾驶员处于意识模糊、注意力不集中、反应迟钝状态，极易发生交通事故。相较于闭眼识别，识别眯眼呆滞并及时进行疲劳缓解，更能及时且有效阻止事故发生。其中睁眼呆滞目前已经有一些方法来进行检测，但眯眼呆滞检测具有多种挑战，包括睁眼、眯眼及闭眼状态判断，小区域眼球方向(即视线)判断，眼部其他动作干扰等。

技术实现思路

[0003]专利技术目的：本专利技术的目的是提供一种基于视觉的眯眼呆滞检测方法和系统，从而增强眯眼状态下的眼部特征，增加视线回归精度，增加呆滞的判断精度。
[0004]技术方案：本专利技术所述的一种基于视觉的眯眼呆滞检测方法，包括以下步骤：
[0005](1)眼睛定位及关键点提取：利用人脸检测模块定位人脸，利用关键点检测模块在人脸上获得人脸关键点。
[0006](1.1)对于输入的全图，首先利用人脸检测模块定位人脸。
[0007](1.2)利用关键点检测模块在人脸上获得人脸关键点，所述人脸关键点分布在嘴巴、鼻子、眼睛、眉毛以及人脸轮廓部位。
[0008](1.3)利用眼部区域的关键点进行定位眼部区域的外接矩形，并且对该矩形进行一定程度的外扩来确保两个眼睛被包含到矩形中。
[0009](1.4)对该矩形区域切割，得到只包含眼睛的眼部区域。
[0010](2)初始化：在得到眼部区域后进行初始化工作，状态特征提取器不断提取眼睛特征，并将特征保存至状态特征库(如图3所示)。
[0011](2.1)在得到眼部区域后进行初始化工作。
[0012](2.2)状态特征提取模块不断提取眼睛特征，并将特征保存至状态特征库。所述眼睛特征包括基于关键点的眼部形状特征和基于深度神经网络的眼部整体特征。
[0013]步骤(2.1)的整个过程在语音的指导下完成，所述语音包括：
[0014](a)驾驶员在正常睁眼状态下，上下左右看；
[0015](b)驾驶员在闭眼的状态下，上下左右看；
[0016](c)驾驶员眯眼的状态下，上下左右看。
[0017](3)实时检测：通过状态特征匹配模块和状态特征识别模块分别进行眼部状态判断，得出检测结果(如图3所示)。
[0018](3.1)经过两个分支分别进行眼部状态判断。
[0019](3.1.1)状态特征匹配：使用特征匹配算法，将当前的特征与特征库中的特征进行
快速匹配，得到最接近的匹配结果，称为结果1，此处的结果包含匹配后的可信度，一般为欧几里得距离。
[0020](3.1.2)状态特征识别：通过深度神经网络，对当前特征进行分类，分类结果称为结果2，此处的分类结果包含一个可信度。
[0021](3.2)通过上述两个结果的融合得到最终结果。
[0022](3.2.1)如果结果1的可信度高，并且超过阈值，则最终结果为结果1。
[0023](3.2.2)如果结果2的可信度高，并且超过阈值，则最终结果为结果2。
[0024](3.2.3)如果结果1跟2的可信度相当，并且都超过阈值。
[0025](3.2.3.1)如果结果1跟结果2的结论一致，则采用结果1。
[0026](3.2.3.2)如果结果1跟结果2的结论不一致，则选择可信度高的一个，如果他们两个的可信度差值超过阈值，并且累计多帧都是如此，则更新特征状态库。
[0027](3.2.4)如果结果1跟2的可信度相当，并且都低于阈值，则忽略本次结果。
[0028]一种基于视觉的眯眼呆滞检测系统，所述系统采用上述的一种基于视觉的眯眼呆滞检测方法，所述系统包括以下模块：
[0029]人脸检测模块：用于定位人脸；
[0030]状态特征提取模块：用于不断提取眼睛特征，并将特征保存至状态特征库；所述眼睛特征包括基于关键点的眼部形状特征和基于深度神经网络的眼部整体特征；
[0031]关键点检测模块：用于在人脸上获得人脸关键点，所述人脸关键点分布在嘴巴、鼻子、眼睛、眉毛以及人脸轮廓部位；
[0032]状态特征匹配模块：用于使用特征匹配算法将当前的特征与特征库中的特征进行快速匹配，得到最接近的匹配结果，称为结果1，此处的结果包含匹配后的可信度，一般为欧几里得距离；
[0033]状态特征识别模块：用于通过深度神经网络对当前特征进行分类，分类结果称为结果2，此处的分类结果包含一个可信度。
[0034]一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于视觉的眯眼呆滞检测方法。
[0035]一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于视觉的眯眼呆滞检测方法。
[0036]有益效果：与现有技术相比，本专利技术具有如下优点：
[0037]1、本专利技术通过自适应眼睛特征提取算法，先进行正常状态下眼部特征学习，进而判断非正常状态下的眼睛状态，进一步增强眯眼状态下的眼部特征。
[0038]2、本专利技术通过多尺度下的眼球特征学习及视线区域判断，增加视线回归精度，增加呆滞的判断精度。
[0039]3、在实用性方面，本专利技术除了能够应用于汽车、高铁、飞机的驾驶员监控系统(Driver Monitoring Service，简称DMS)外，还能应用于各类机械操作工人状态监控，用于降低驾驶及机械操作事故，或用于智能台灯中，监控使用人疲劳状态，进行提醒及智能灯光调节等操作。
附图说明
[0040]图1为本专利技术所述方法的步骤流程图；
[0041]图2为眼睛呆滞示意图，其中图2(a)为睁眼呆滞示意图，图2(b)为眯眼呆滞示意图；
[0042]图3为眼睛定位及关键点提取原理图；
[0043]图4为初始化及实时检测原理图。
具体实施方式
[0044]下面结合附图对本专利技术的技术方案作进一步说明。
[0045]如图1所示，一种基于视觉的眯眼呆滞检测方法，包括以下步骤：
[0046](1)眼睛定位及关键点提取：利用人脸检测模块定位人脸，利用关键点检测模块在人脸上获得人脸关键点(如图3所示)。
[0047](1.1)对于输入的全图，首先利用人脸检测模块定位人脸。
[0048](1.2)利用关键点检测模块在人脸上获得人脸关键点，所述人脸关键点分布在嘴巴、鼻子、眼睛、眉毛以及人脸轮廓部位。
[0049](1.3)利用眼部区域的关键点进行定位眼部区域的外接矩形，并且对该矩形进行一定程度的外扩来确保两个眼睛被包含到矩形中。
[0050](1.4)对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的眯眼呆滞检测方法，其特征在于，包括以下步骤：(1)眼睛定位及关键点提取：利用人脸检测模块定位人脸，利用关键点检测模块在人脸上获得人脸关键点；(2)初始化：在得到眼部区域后进行初始化工作，状态特征提取器不断提取眼睛特征，并将特征保存至状态特征库；(3)实时检测：通过状态特征匹配模块和状态特征识别模块分别进行眼部状态判断，得出检测结果。2.根据权利要求1所述的一种基于视觉的眯眼呆滞检测方法，其特征在于，所述步骤(1)具体为：(1.1)对于输入的全图，首先利用人脸检测模块定位人脸；(1.2)利用关键点检测模块在人脸上获得人脸关键点，所述人脸关键点分布在嘴巴、鼻子、眼睛、眉毛以及人脸轮廓部位；(1.3)利用眼部区域的关键点进行定位眼部区域的外接矩形，并且对该矩形进行一定程度的外扩来确保两个眼睛被包含到矩形中；(1.4)对该矩形区域切割，得到只包含眼睛的眼部区域。3.根据权利要求1所述的一种基于视觉的眯眼呆滞检测方法，其特征在于，所述步骤(2)具体为：(2.1)在得到眼部区域后进行初始化工作；(2.2)状态特征提取模块不断提取眼睛特征，并将特征保存至状态特征库；所述眼睛特征包括基于关键点的眼部形状特征和基于深度神经网络的眼部整体特征。4.根据权利要求3所述的一种基于视觉的眯眼呆滞检测方法，其特征在于，步骤(2.1)的整个过程在语音的指导下完成，所述语音包括：(a)驾驶员在正常睁眼状态下，上下左右看；(b)驾驶员在闭眼的状态下，上下左右看；(c)驾驶员眯眼的状态下，上下左右看。5.根据权利要求1所述的一种基于视觉的眯眼呆滞检测方法，其特征在于，所述步骤(3)具体为：(3.1)经过两个分支分别进行眼部状态判断；(3.1.1)状态特征匹配：使用特征匹配算法，将当前的特征与特征库中的特征进行快速匹配，得到最接近的匹配结果，称为结果1，此处的结果包含匹配后的可信度，一般为欧几里得距离；(3.1.2)状态特征识别：通过深度神经网络，对当前特征进行分类，分类结果称为结果2，此...

【专利技术属性】
技术研发人员：杨聪，陈涛，吉伟，李治军，
申请(专利权)人：苏州大学，
类型：发明
国别省市：