瞳孔检测装置及瞳孔检测方法制造方法及图纸

本发明专利技术公开了瞳孔检测装置和瞳孔检测方法，即使在瞳孔的大部分被角膜反射像遮掩的情况下，通过主动地利用角膜反射像的信息，也能够稳定地检测瞳孔。在瞳孔检测装置(100)中，周边状态评价单元(105)设定以角膜反射图像内的基准点为一端且具有规定的长度的多个线段，基于各个线段中的各个像素的亮度和基准亮度计算亮度评价值，瞳孔中心直线计算单元(106)基于亮度评价值，从多个线段中确定通过瞳孔图像的中心的瞳孔中心直线，瞳孔搜索单元(107)基于瞳孔中心直线的周边的亮度状态，检测瞳孔图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及瞳孔检测装置和瞳孔检测方法。
技术介绍
在如夜间或隧道内等无法充分地确保照度的环境中从脸图像进行视线检测或表情检测的情况下，为了确保照度，有时使用投光器。在使用了投光器的情况下，在眼球上观测到因投光器映入到眼球的角膜上而产生的角膜反射像。在该角膜反射像的图像(下面， 有时称为“角膜反射图像”)和瞳孔图像重叠的情况下，有时角膜反射图像遮掩瞳孔图像。 在这种情况下，根据以往的以完全看到瞳孔图像为前提的瞳孔检测的手法，难以检测瞳孔图像。作为对应这种问题的第一方法，有专利文献1中公开的方法。根据该第一方法， 在眼区域内计算亮度的微分，基于该计算结果，搜索负的边缘(edge)和与其对应的正的边缘。由此，即使在瞳孔图像内出现角膜反射图像的情况下，也能够进行瞳孔检测。另外，作为第二方法，有专利文献2中公开的方法。根据该第二方法，在投光器中使用SLD (super luminescent diode，超级发光双极管)。由此，能够缩小映入到眼镜或角膜上的投光器的反射像的面积，从而能够实现瞳孔检测的稳定化。进而，作为第三方法，有非专利文献1中公开的方法。根据该第三方法，从瞳孔区域的边缘产生多个平行四边形，并对于各个平行四边形的中心进行投票。然后，检测被最多地投票的坐标作为瞳孔中心。进而，从自检测出的瞳孔中心相等距离的边缘检测瞳孔轮廓。现有技术文献专利文献专利文献1 日本专利申请特开平2-213322号公报专利文献2 日本专利申请特开平7-M8216号公报非专利文献非专利文献1 「高速楕円検出(二基3 <眼球回旋運動O計測(Measurement of Cycloduction Movement Based on Fast Ellipse Detection)」，坂下祐輔,藤吉弘亘,平田豊，高丸尚教，深谷直樹，SSII2006論文集
技术实现思路
专利技术要解决的问题可是，在上述的第一方法中进行如下尝试，S卩在瞳孔轮廓上重叠了角膜反射像的情况下，改变投光器的位置而形成瞳孔轮廓和角膜反射像不重叠的状况。然而，在难以使用多个投光器或者改变投光器的位置的情况下，难以避免在瞳孔轮廓上重叠了角膜反射像的状况，其结果难以进行瞳孔检测。另外，在上述的第二方法中，通过缩小角膜反射像的物理大小，缩小角膜反射像遮掩瞳孔的区域。然而，在无法确保足够的图像的分辨率的情况下，不管角膜反射像的物理大小如何，角膜反射像和瞳孔图像的大小大致相同。例如，在数字图像的原理上，图像上的角膜反射图像的直径为1像素以上，但是在分辨率低的情况下，瞳孔直径最小也会缩小到1像素左右。因此，在角膜反射像和瞳孔重叠的情况下，瞳孔图像被角膜反射图像遮掩的“被遮掩面积”在图像上变大，其结果难以进行瞳孔检测。另外，在上述的第三方法中，通过从作为瞳孔轮廓候补的边缘像素中每次提取4 点来生成多个平行四边形，并将成为平行四边形的中心的状况最多的像素作为瞳孔中心。 然而，在未观测到位于相对瞳孔中心对称的位置的边缘的情况下，平行四边形的中心很少位于瞳孔中心部分。因此，在角膜反射像遮掩了瞳孔的一半以上的情况下，难以进行瞳孔检测。本专利技术是鉴于这些方面而完成，其目的在于提供瞳孔检测装置和瞳孔检测方法， 即使在瞳孔的大部分被角膜反射像遮掩的情况下，也能够稳定地检测瞳孔。解决问题的方案本专利技术的瞳孔检测装置为检测眼区域图像内的瞳孔图像的瞳孔检测装置，包括 第一检测单元，检测所述眼区域图像的高亮度图像区域即角膜反射图像；评价值计算单元， 设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段，并基于各个线段中的各个像素的亮度和基准亮度，计算亮度评价值；确定单元，基于所述亮度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线；以及第二检测单元，基于所述瞳孔中心直线的周边的亮度状态，或者所述瞳孔中心直线上的亮度状态，检测所述瞳孔图像。本专利技术的瞳孔检测方法为检测眼区域图像内的瞳孔图像的瞳孔检测方法，包括以下步骤检测所述眼区域图像的高亮度图像区域即角膜反射图像；设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段；基于各个线段中的各个像素的亮度和基准亮度，计算亮度评价值；基于所述亮度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线；以及基于所述瞳孔中心直线的周边的亮度状态，或者所述瞳孔中心直线上的亮度状态，检测所述瞳孔图像。专利技术的效果根据本专利技术，能够提供瞳孔检测装置和瞳孔检测方法，即使在瞳孔的大部分被角膜反射像遮掩的情况下，通过主动地利用角膜反射像的信息，也能够稳定地检测瞳孔。附图说明图1是表示本专利技术实施方式1的瞳孔检测装置的结构的方框图。图2是表示眼区域检测单元的结构的方框图。图3是用于说明瞳孔检测装置的动作的流程图。图4是表示目标图像即脸图像的图。图5是用于说明角膜反射图像检测处理和亮度评价值计算处理的图。图6是表示一例亮度评价值和计算出该亮度评价值的辐射方向与基准方向形成的角度之间的对应关系的图。图7是用于说明亮度评价值计算处理的图。图8是用于说明瞳孔搜索处理的图。图9是表示本专利技术实施方式2的瞳孔检测装置的结构的方框图。图10是用于说明瞳孔检测装置的动作的流程图。图11是表示本专利技术实施方式3的瞳孔检测装置的结构的方框图。图12是用于说明瞳孔检测装置的动作的流程图。图13是表示本专利技术实施方式4的瞳孔检测装置的结构的方框图。图14是表示本专利技术实施方式5的瞳孔检测装置的结构的方框图。图15是用于说明瞳孔中心直线计算单元的动作的图。图16是表示本专利技术实施方式6的瞳孔检测装置的结构的方框图。图17是用于说明瞳孔搜索单元的动作的图。图18是表示本专利技术实施方式7的瞳孔检测装置的结构的方框图。图19是用于说明瞳孔搜索单元的动作的图。标号说明100、600、800、1000、1100、1300、1400 瞳孔检测装置101眼区域图像获取单元102角膜反射像检测单元103瞳孔状态预测单元104瞳孔状态存储单元105、601周边状态评价单元106、1001、1101瞳孔中心直线计算单元107、804、1301、1401 瞳孔搜索单元111图像输入单元112眼区域检测单元121脸检测单元122脸器官检测单元123眼区域决定单元602巩膜平均亮度计算单元603巩膜平均亮度存储单元801照度测定单元802照明状态存储单元803照明状态估计单元具体实施例方式以下，参照附图详细说明本专利技术的实施方式。另外，在实施方式中，对相同的结构要素附加相同的标号，由于重复而省略其说明。实施方式1图1是表示本专利技术的实施方式1的瞳孔检测装置100的结构的方框图。瞳孔检测装置100例如设置在汽车的车内，与视线检测装置连接而使用。该视线检测装置基于瞳孔检测装置100的检测结果决定瞳孔位置，并检测驾驶员的视线方向。下面，特别对将瞳孔检测装置100应用于视线检测装置的情况进行说明。在图1中，瞳孔检测装置100包括眼区域图像获取单元101、角膜反射像检测单元 102、瞳孔状态预测单元103、瞳孔状态存储单元104、周边状态评价单元105、瞳孔中心直线计算单元106以及瞳孔搜索单元107。眼区域图像获取单元101获取眼区域图像，并将其输出到角膜反射像检测单元 102。具体来说，眼区域图像获本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：筑泽宗太郎，冈兼司，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：