检测特征点的设备及检测特征点的方法技术

本发明专利技术涉及检测特征点的设备及检测特征点的方法，具体公开了用来检测特具体征点的设备，包括：图像输入单元，用于输入目标对象的图像；三维形状信息存储单元，用于存储包含与目标对象相关的模型参考特征点的三维形状信息；对应关系获取单元，用于获取输入图像与三维形状信息之间的对应关系；搜索区域获取单元，用于基于对应关系获取在输入图像上搜索区域的图像信息，该区域对应于包含与模型中具体特征点对应的点的一个区域；以及特征点检测单元，用于从图像信息检测输入图像中具体特征点的位置。

【技术实现步骤摘要】

本专利技术涉及一种用来检测特征点的设备，该设备从输入图像检测目标对象的特征点，并涉及一种检测特征点的方法。
技术介绍
在相关技术中一种用于检测特征点设备中，有一种方法是检测少量特征点，诸如面部图像上的鼻子和眼睛，并然后使用检测的特征点的位置设置新的不同的特征点，如日本申请Kokai 2004-265267中所公开的。还有一种使用在图像上检测的面部特征点的位置，限制搜索不同特征点范围的方法，如日本申请Kokai 10-86696中所公开的。在这些方法中，第二特征点的检测是使用与已检测的在存储的二维图像上的第一特征点的相对位置关系而实现的。然而，存在第二特征点就不能被正确检测这样的问题，因为当脸朝向前方时计算的特征点相对位置关系不能指示在脸的朝向已改变时的正确位置。作为上述问题的例子，将考虑检测对应于嘴中心的点的方法，嘴中心是嘴的左端和右端之间的中点。如在日本申请Kokai 2003-187247中所公开的，有一种检测嘴唇区域的方法，该方法对颜色组件分类并把嘴唇区域两端定义为嘴唇端，及嘴唇端的中点定义为嘴中心.当脸朝向前方时，嘴中心几乎就与嘴端之间的中点相同。然而，当脸的朝向已改变时，或当因为脸部表情改变而嘴周围部分形状已改变时，嘴中心的位置不与中点匹配，因而不能正确获得嘴中心的位置。如上所述，在检测特征点的背景中，有检测第一特征点并使用第一检测的结果检测第二特征点的方法。然而由于在第一特征点检测中获得的特征点与第二特征点检测中获得的特征点之间相对位置关系是在二维图像中定义的，当目标对象的朝向在相对位置关系被定义的时刻不同于目标对象实际的朝向时，就不能实现特征点正确的检测。
技术实现思路
为了解决上述相关技术中的问题，本专利技术的目的是要提供一种用于，其中即使在目标对象的朝向改变时也能正确地检测特征点。根据本专利技术的实施例，这一实施例是一种检测特征点的设备，该设备从包含目标对象的图像检测特征点，包括用来从包含目标对象的图像检测特具体征点的设备，该设备包括图像输入单元，用于输入目标对象的图像；三维形状信息存储单元，用于存储模型的三维形状信息及模型中参考点的三维位置信息，每一个参考点不同于具体特征点；对应的参考点输入单元，用于输入在输入图像上参考特征点的对应的参考点的位置信息；对应的特征点获取单元，用于获取模型中具体特征点的对应的特征点的位置信息；对应关系获取单元，用于使用对应参考点的位置信息及参考点的三维位置信息，获取输入图像与三维形状信息之间的对应关系；搜索区域设置单元，通过基于对应关系把包含模型的表面上对应的特征点的对应区域投影到输入图像，对输入图像上的具体特征点设置搜索区域；图像信息获取单元，用于从输入的图像获取搜索区域的图像信息；以及特征点检测单元，用于从图像信息检测输入图像中具体特征点的位置。根据本专利技术的实施例，能够对应于目标对象朝向的三维改变或目标对象形状的改变，检测特征点。附图说明图1是一框图，表示根据本专利技术第一实施例用于检测特征点的设备的配置；图2是一流程图，表示根据第一实施例用于检测特征点的设备的操作；图3的图示表示相关技术中特征点检测中的问题；图4的图示表示根据第一实施例对应关系获取单元中进行的过程；图5的图示表示根据第一实施例搜索区域获取单元中进行的过程；图6的图示表示根据第一实施例特征点检测单元中进行的过程。具体实施例方式现将说明根据本专利技术的一个实施例用于检测特征点的设备。第一实施例参见图1到6，将说明根据第一实施例用于检测特征点的设备。在这实施例中，将说明采用脸作为目标对象及从脸图像检测嘴的中点的情形。(1)用于检测特征点的设备的配置图1是一框图，表示根据第一实施例用于检测特征点的设备。用于检测特征点的设备包括图像输入单元110，其获取被处理的脸图像，三维形状信息保存单元200，其保存脸的平均三维形状，对应关系获取单元120，其估计脸图像与三维形状之间的对应关系，搜索区域获取单元130，其使用获取的对应关系对输入图像上的嘴中心设置搜索区域，以及特征点检测单元140，其从搜索区域确定嘴中心的位置。这些单元110到140和220的功能是通过存储在计算机中的程序实现的。(2)用于检测特征点的设备的操作现在参见图1和图2，将说明用于检测特征点的设备的操作。图2是一流程图，表示用于检测特征点的设备的操作。(2-1)步骤A1在图像输入单元110中，通过数字摄像机，扫描仪等获取包含作为特征检测目标的人脸区域的数字图像。(2-2)步骤A2在对应关系获取单元120中，从由图像输入单元110获取的脸图像获取除嘴中心以外的特征点，它们被称为参考特征点。参考特征点可包括例如瞳孔、鼻孔、嘴端。然而，参考特征点的位置和数目是不受限制的，只要至少有不同平面上的四个点即可。作为获取参考特征点的方法，它们可通过人工输入获取，其中位置是通过嘴人工规定的，或者通过如日本专利No.3279913中公开的自动检测方法，该文献通过参考结合在本申请中。(2-3)步骤A3当这里作为参考特征点获得嘴的左和右端点时，可通过在上述日本申请Kokai 2003-187247中所公开的方法作为嘴的左和右端点两者的中点检测嘴的中心，该文献全部内容在此结合以作参考。如图3所示，当脸朝向前方时，嘴中心的坐标几乎与嘴端之间的中点坐标匹配。然而，当脸的朝向改变时，嘴中心坐标就不与嘴端之间的中点坐标匹配。当脸的表情改变诸如微笑时，嘴的形状变为弓形，以致容易想象，嘴中心的坐标不同于嘴端之间的中点的坐标。因而本实施例中，使用在获取的脸图像上的参考特征点和存储在三维形状想象保存单元200中的脸形状参考特征点的位置的坐标，计算脸图像和三维形状之间的关系。首先，如图4左上所示，在三维形状信息保存单元200中准备关于脸的三维形状信息及三维形状上的参考特征点的位置。可通过在输入图像中测量人的三维形状获得脸的三维形状信息，或可以是例如通过对若干三维形状求平均或通过使用建模软件准备而获得脸的代表性三维形状。然后，使用日本申请Kokai 2003-141552(该文献的全部内容通过引用结合到本申请中)中所公开的采用因子分解的方法，从形状矩阵S及度量矩阵W计算表示该对应关系的运动矩阵M，在形状矩阵中布置了三维形状信息上的参考特征点的位置，在度量矩阵中布置了输入图像上的参考特征点的位置。例如如图4所示，当从脸的输入图像获得了六个特征点时，当这六个点的坐标以向量a1，a2，...a6表示时，度量矩阵W为W＝，即是一个2×6的矩阵。当由向量b1，b2，...b6表示对应的三维模型上的特征点的位置的坐标时，形状矩阵S为S＝，就是一个3×6矩阵。于是，表示三维模型与输入脸图像之间对应关系的运动矩阵M为一个2×3矩阵，该矩阵可从表达式(1)计算。M＝WST(SST)-1...(1)(2-4)步骤A4当使用获得的运动矩阵M时，可从表达式(2)计算二维图像(二维向量)上对应于三维形状(三维向量)上任意点“b”的点“a”的位置。A＝Mb...(2)这里，通过把三维形状上嘴中心的坐标投影到输入图像，还能够唯一地确定输入图像上嘴中心位置。然而，当代表性的脸的三维形状被用作为三维形状时，由于输入图像中人的脸与该脸的三维形状之间的差别，不能保证其精确地投影到嘴中心。此外，由于脸是非刚性的对象，本文档来自技高网...

【技术保护点】
一种用于从包含目标对象的图像检测具体特征点的设备，包括：图像输入单元，用于输入目标对象的图像；三维形状信息存储单元，用于存储模型的三维形状信息及模型中参考点的三维位置信息，每一个参考点不同于具体特征点；对应的参考点输入单元，用于输入在输入图像上参考特征点的对应的参考点的位置信息；对应的特征点获取单元，用于获取模型中具体特征点的对应的特征点的位置信息；对应关系获取单元，使用对应的参考点的位置信息及参考点的三维位置信息，获取输入图像与三维形状信息之间的对应关系；搜索区域设置单元，通过基于对应关系把包含模型表面上对应的特征点的对应区域投影到输入图像，对输入图像上的具体特征点设置搜索区域；图像信息获取单元，用于从输入的图像获取搜索区域的图像信息；以及特征点检测单元，用于从图像信息检测输入图像中具体特征点的位置。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：武口智行，小坂谷达夫，西浦正英，山口修，汤浅真由美，
申请(专利权)人：株式会社东芝，
类型：发明
国别省市：JP[日本]