图像处理装置以及图像处理方法制造方法及图纸

一种图像处理装置以及图像处理方法，该图像处理装置具有：图像取得部件，取得作为包含人物的眼的图像的第一图像；图像生成部件，生成作为表示第一图像的边缘的二值图像的第二图像；分类部件，根据有无边缘，对所述第二图像中包含的像素进行分类；以及瞳区域生成部件，根据所述分类结果，生成在所述第一图像中的、作为与人物的瞳对应的区域的瞳区域，其中，在所述第二图像中，具有相同的值的像素分为多个块而存在的情况下，所述分类部件进一步根据该块的面积、或者与该块对应的第一图像中的像素的亮度值，进行像素的分类。

【技术实现步骤摘要】

本专利技术涉及从包含脸部的图像中提取与人的瞳对应的区域的图像处理技术。
技术介绍
近年，对使用数码相机等拍摄的、包含人的脸部的图像(脸部图像)自动进行修正的技术开始普及。尤其是，通过从脸部图像中检测瞳，从而能够进行以下修正，例如，对由闪光灯的光引起的、人物的瞳照得变红的色调不良现象进行修正，或者通过将瞳修正得变大从而提高美观度。作为用于从脸部图像中检测瞳存在的区域(瞳区域)的技术，例如，有专利文献1所记载的图像处理装置。在该图像处理装置中，根据脸部图像的亮度梯度而求出边缘点，确定表示瞳的轮廓的椭圆。现有技术文献[专利文献1](日本)特开2012-190350号公报在专利文献1所记载的方法中，通过提取脸部图像的纵方向的边缘，从而确定瞳的边界。可是，在这样的方法中，在瞳的边界以外存在边缘的情况下，存在容易导致误检测的问题。例如，如在瞳中存在极高光(キャッチライト)的情况下，会发生不能准确地仅对瞳区域进行提取的情况。
技术实现思路
本专利技术考虑上述的课题而完成，其目的在于，提供一种在从脸部图像提取与瞳对应的区域的图像处理装置中使精度提高的技术。本专利技术所涉及的图像处理装置的特征在于，具有：图像取得部件，取得第一图像，所述第一图像是包含人物的眼的图像；图像生成部件，生成第二图像，所述第二图像是表示所述第一图像的边缘的二值图像；分类部件，根据有无边缘，对所述第二图像中包含的像素进行分类；以及瞳区域生成部件，根据所述分类结果，生成瞳区域，所述瞳区域是所述第一图像中的与人物的
瞳对应的区域，在所述第二图像中，具有相同的值的像素分为多个块(block)而存在的情况下，所述分类部件进一步根据该块的面积、或者与该块对应的第一图像中的像素的亮度值，进行像素的分类。本专利技术所涉及的图像处理装置是从所取得的脸部图像中提取瞳区域的装置。瞳区域是指包含人的瞳(眼白以外的虹膜以及瞳孔)的区域，典型地说，是以瞳的中心点为中心坐标的圆形的区域。瞳区域的提取是对作为输入图像的第一图像的边缘进行提取，并根据二值化后的结果的图像(第二图像)而进行的。第二图像是由与边缘不对应的像素、和与边缘对应的像素构成的二值图像。在瞳的边界存在边缘，在瞳的内部不存在边缘，因此，为了提取瞳区域，根据边缘的有无而对像素进行分类。其中，与边缘不对应的像素还存在于瞳区域的外侧，因此，在单纯地仅根据边缘进行了分类的情况下，瞳区域以外的区域也被提取，不能准确地仅对瞳区域进行提取。因此，本专利技术所涉及的图像处理装置在第二图像中具有相同的值的像素分为多个块(群)而存在的情况下，进一步根据该块的面积、或与该块对应的第一图像中的像素的亮度值，进行像素的分类。根据该结构，能够高精度地仅对瞳区域进行提取，而不会被不需要的边缘信息影响。此外，也可以特征在于，所述分类部件由第一分类部件以及第二分类部件构成，所述第一分类部件在所述第二图像中包含的像素之中，将与边缘不对应的像素分类为第一像素类型，将与边缘对应的像素分类为第二像素类型，在与边缘不对应的像素分为多个块而存在，并且存在面积比第一阈值小的块、或者第一图像对应的区域中的像素的平均亮度值比第二阈值高的块的情况下，所述第二分类部件将该块中包含的像素重新分类为第二像素类型，所述瞳区域生成部件根据分类为所述第一像素类型的像素的分布，生成瞳区域。如此，在由被分类为第一像素类型的像素构成的块的面积与假设的瞳区域的面积相比充分小的情况下、或者第一图像的对应的区域中的像素的平均亮度与假设的瞳区域内的亮度相比充分大的情况下，假设为该块中包含的像素不是与瞳对应的像素。因此，将这样的像素重新分类为第二像素类型，从而能够使精度提高。此外，也可以特征在于，所述分类部件还包含第三分类部件，在被分类为第二像素类型的像素的块由被分类为第一像素类型的像素包围了的情况下，所述第三分类部件将该块中包含的像素重新分类为第一像素类型。例如，存在极高光(强光)存在于瞳的内侧这样的情况等，与边缘对应的像素存在于瞳区域的内侧的情况。因此，在与边缘对应的像素被与边缘不对应的像素包围了的情况下，对该像素的分类结果进行反转。由此，能够删除存在于瞳的内侧的边缘信息。此外，也可以特征在于，所述第一阈值是对在所述多个块分别具有的面积之中最大的面积乘以预定的比率后的值。此外，也可以特征在于，所述第二阈值是对与所述多个块分别对应的平均亮度值之中最低的值加上预定的值后的值。块具有的面积越小、或者平均亮度值越大，该块为与瞳对应的块的可能性越小。因此，以多个块中的面积的最大值、和平均亮度值的最低值为基准来设定阈值，对大小进行判定，从而能够对作为瞳的概率低的区域进行滤波。此外，也可以特征在于，在以所述第一图像的横方向为X轴，以纵方向为Y轴，且将由被分类为所述第一像素类型的像素构成的区域设为假定瞳区域的情况下，所述瞳区域生成部件将所述假定瞳区域的Y坐标的最大值以及最小值的中间值设为瞳区域的中心的Y坐标，对每个Y坐标求出作为所述假定瞳区域的X轴上的中心点的X坐标，根据所得到的X坐标的分布，决定瞳区域的中心的X坐标。由被分类为第一像素类型的像素构成的区域(假定瞳区域)成为假设包含瞳的区域。可是，在瞳和眼睑的边界等亮度值不大且不存在明确的边缘的部位存在于瞳的周围的情况下，存在瞳以外的区域被包含到假定瞳区域中的情况。在这样的情况下，假定瞳区域不是圆形，而是成为一部分突出的歪曲形状。因此，瞳区域生成部件根据假定瞳区域的形状，确定瞳区域的中心位置。具体而言，将假定瞳区域的Y坐标的最大值以及最小值的中间值设为瞳区域的中心的Y坐标。关于Y轴方向的大小，由于假定瞳区域与瞳区域大体一致，因此，能够使用中间的坐标。另一方面，由于眼睑的存在，假定瞳区域有向左右方向突出的趋势。因此，按每个Y坐标而求出假定瞳区域的X轴方向的中心点，根据所得到的X
坐标的分布，决定瞳区域的中心的X坐标。由此，即使假定瞳区域是歪曲的形状，也能够对本来的瞳区域的位置进行估计。此外，也可以特征在于，所述瞳区域生成部件将通过所述瞳区域的中心且与X轴平行的轴上的所述假定瞳区域的径，设为瞳区域的直径。根据该结构，能够高精度地取得瞳区域的直径。此外，也可以特征在于，本专利技术所涉及的图像处理装置还具有：位置信息取得部件，取得表示眼睑的边界位置的位置信息，所述瞳区域生成部件根据所述位置信息，对所生成的瞳区域的形状进行修正。由于人的瞳存在被眼睑遮挡的情况，在直接使用所生成的瞳区域而进行其他的处理的情况下，有时会成为不自然的图像。为了防止该情况，也可以取得表示眼睑的位置的信息之后，对瞳区域的形状进行修正。例如，也可以删除被眼睑遮挡的区域。由此，能够进行对于瞳的自然的图像处理。此外，也可以特征在于，所述第一分类部件设定以眼的中心点为中心的预定的大小的圆区域，将位于该圆区域之外的像素无条件地分类为第二像素类型。分类部件设定的圆区域是估计为包含瞳的区域。通过这样进行构成，能够省去对于明显不存在瞳的区域的处理，能够将处理高速化。另外，本专利技术能够特定为包含上述部件的至少一部分的图像处理装置。此外，本专利技术也能够特定为上述图像处理装置进行的图像处理方法。此外，本专利技术也能够特定为使计算机执行上述图像处理方法的程序。上述处理或部件只要不产生技术的矛盾，能够自由地进行组合而本文档来自技高网...

【技术保护点】
一种图像处理装置，其特征在于，具有：图像取得部件，取得第一图像，所述第一图像是包含人物的眼的图像；图像生成部件，生成第二图像，所述第二图像是表示所述第一图像的边缘的二值图像；分类部件，根据有无边缘，对所述第二图像中包含的像素进行分类；以及瞳区域生成部件，根据所述分类结果，生成瞳区域，所述瞳区域是所述第一图像中的与人物的瞳对应的区域，在所述第二图像中，具有相同的值的像素分为多个块而存在的情况下，所述分类部件进一步根据该块的面积、或者与该块对应的第一图像中的像素的亮度值，进行像素的分类。

【技术特征摘要】
2015.03.26 JP 2015-0643781.一种图像处理装置，其特征在于，具有：图像取得部件，取得第一图像，所述第一图像是包含人物的眼的图像；图像生成部件，生成第二图像，所述第二图像是表示所述第一图像的边缘的二值图像；分类部件，根据有无边缘，对所述第二图像中包含的像素进行分类；以及瞳区域生成部件，根据所述分类结果，生成瞳区域，所述瞳区域是所述第一图像中的与人物的瞳对应的区域，在所述第二图像中，具有相同的值的像素分为多个块而存在的情况下，所述分类部件进一步根据该块的面积、或者与该块对应的第一图像中的像素的亮度值，进行像素的分类。2.如权利要求1所述的图像处理装置，其特征在于，所述分类部件由第一分类部件以及第二分类部件构成，所述第一分类部件在所述第二图像中包含的像素之中，将与边缘不对应的像素分类为第一像素类型，将与边缘对应的像素分类为第二像素类型，在与边缘不对应的像素分为多个块而存在，并且存在面积比第一阈值小的块、或者第一图像的对应的区域中的像素的平均亮度值比第二阈值高的块的情况下，所述第二分类部件将该块中包含的像素重新分类为第二像素类型，所述瞳区域生成部件根据被分类为所述第一像素类型的像素的分布，生成瞳区域。3.如权利要求2所述的图像处理装置，其特征在于，所述分类部件还包含第三分类部件，在被分类为第二像素类型的像素的块由被分类为第一像素类型的像素包围了的情况下，所述第三分类部件将该块中包含的像素重新分类为第一像素类型。4.如权利要求2所述的图像处理装置，其特征在于，所述第一阈值是对在所述多个块分别具有的面积之中最大的面积乘以预定的比率后的值。5.如权利要求2所述的图像处理装置，其特征在于，所述第二阈值是对与所述多个块分别对应的平均...

【专利技术属性】
技术研发人员：太田昂志，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本;JP