人脸特征向量构建制造技术

本申请公开人脸特征向量构建。描述了用于确定和应用人脸识别参数集的系统、方法和计算机可读介质。一般而言，公开了用于识别人脸识别鉴别器的特有组合并将其构建到“人脸特征向量”中的技术，已经发现所述“人脸特征向量”比现有技术的识别方法更为鲁棒（例如，对于图像噪声、人的姿势和场景照明而言是稳定的）和准确（例如，提供高识别率）。更具体而言，可以通过组合形状描述符（由二维和三维形状模型生成）和纹理描述符（由全局和局部纹理模型生成）来生成人脸特征向量。

【技术实现步骤摘要】
人脸特征向量构建
本公开一般涉及人脸识别领域。更具体而言，本公开描述了数种用于将多种类型的人脸识别描述符组合到单个实体一人脸特征向量中的技术。
技术介绍
在人脸识别应用中可以使用人脸特征向量。这样的应用的示例包括但不限于在iPhoto(w和Aperture ( iphoto和aperture是苹果公司的注册商标)中管理、存储和注释图像(静止图像和视频图像)。总的来说，人脸识别操作扫描人的人脸，从其提取或检测指定集合的参数，并将那些参数对照已知人脸数据库进行匹配，这些已知人脸数据是先前已被安排识别了的或者是以其他方式已知的。新图像的参数去进行比较的数据集常常用模型表征或多次描述。实际上，这些模型限定参数集的组，其中落在给定组内的所有图像被分类为属于同一人。为了变得鲁棒(例如，对于图像噪声、人的姿势和场景照明而言是稳定的)和准确(例如，提供高识别率)，指定的参数集需要对如下信息进行编码，所述信息以对于典型的人物内部可变性而言可重复且不变同时能够将一个人物与另一人物区分开的方式来描述人脸。该需要是所有人脸识别系统所面临的中心问题。因此，识别定义提供鲁棒和准确的人脸识别的参数集的机制(方法，装置和系统)是有益的。
技术实现思路
在各个实施例中，本专利技术提供一种用于生成可以用来识别数字图像中所检测到的人脸的新颖人脸特征向量的设备(例如，个人计算机)、方法和计算机程序代码。该方法包括执行(或运行)计算机程序代码来(例如经由人脸检测技术)获取第一图像中的第一人脸的界标(landmark)检测信息。所述界标检测信息可以应用于第一和第二形状模型来生成第一和第二形状特征向量，并且可以应用于第一和第二纹理模型来生成第一和第二纹理特征向量。这全部四个特征向量可以被组合来提供和形成所述人脸特征向量。在一个实施例中，第一形状模型是检测到的人脸的二维形状模型而第二形状模型是检测到的人脸的三维形状模型。第一和第二形状模型可以是相互独立地线性或非线性的。在另一实施例中，所述界标检测信息可以在被用来生成第一和第二纹理特征向量之前被归一化。在一些实施例中，第一纹理特征向量可以基于所述归一化界标检测信息内的所标识的区域(所述区域包括少于全部的所述归一化界标检测信息)。在又一实施例中，在使用所述归一化界标检测信息来生成第二纹理特征向量之前，变形操作可以应用于所述归一化界标检测信息。在又一实施例中，通过比较两个这样的人脸特征向，可以确定相似度测量值。该相似度测量可以被用来确定这两个人脸特征向量是否有可能表示同一人脸。在该实施例和类似的实施例中，相似度测量值可以基于Mahalanobis距离测量。附图说明图1以框图形式示出根据一个实施例的人脸特征向量生成和运行时人脸识别操作。图2以框图形式示出根据一个实施例的形状和纹理模型的构成。图3以框图形式示出根据另一实施例的人脸特征向量生成操作。图4a和4b图示出根据一个实施例的局部图像和密集图像描述符操作。图5图示出根据一个实施例的翘曲图像和密集检测器区域。图6图示出根据一个实施例的人脸特征向量的结构。图7以流程图的形式示出根据一个实施例的人脸识别操作。图8示出根据一个实施例的图示出所公开的人脸特征向量的识别性能的接收机操作特征(ROC)曲线图。图9以框图形式示出可以用来实施根据本公开的一个或多个操作的示例电子设备。图10以框图形式示出可以用来实施根据本公开的一个或多个操作的示例电子设备。图11以框图形式示出可以用来实施根据本公开的一个或多个操作的示例电子设备。具体实施方式本公开涉及用于确定和应用人脸识别参数集的系统、方法和计算机可读介质。一般而言，公开了用于识别人脸识别鉴别器的特有组合并将其构建到“人脸特征向量”中的技术，已经发现所述“人脸特征向量”比现有技术的识别方法更为鲁棒(例如，对于图像噪声、人的姿势和场景照明而言是稳定的)和准确(例如，提供高识别率)。更具体而言，可以通过组合形状描述符和纹理描述符来生成人脸特征向量。在一种实施方式中，人脸特征向量包括描述人脸的二维(2D)形状、其三维(3D)形状、其总体或全局纹理以及细节或局部纹理信息(例如皮肤颜色)的信息。在以下描述中，为了说明的目的，阐述了大量特定细节以便提供对创新构思的透彻理解。作为该描述的一部分，本公开的附图中的一些以框图形式表示结构和设备以避免本领域普通技术人员公知的细节模糊本专利技术。并且，本公开中使用的语言主要为了可读性和指示性目的而选择，并且并不是被选择以用于描绘或限制创新主题的，确定所述创新主题必需诉诸于权利要求书。本公开中对“一个实施例”或“实施例”的提及意味着，结合该实施例描述的具体特征、结构或特点包括在本专利技术的至少一个实施例中，并且对“一个实施例”或“实施例”的多次提及不应被理解为都一定指同一实施例。应当明白，在任何实际实施方式的开发中(与在任何开发项目中一样)，需要做大量决策来实现开发者的具体目的(例如，与系统相关和商业相关的约束的兼容性)并且这些目的会根据实施方式不同而不同。应当明白，这样的开发努力可能是复杂的和费时的，但是也是从本公开受益的人脸识别领域的普通技术人员的例行任务。参考图1，以框图形式示出根据一个实施例的人脸特征向量生成和运行时人脸识别操作100。一开始，根据人脸检测器110处理输入图像105来生成界标图像115。这里使用的短语“界标图像”是指其中界标点已经被检测的人脸的图像。界标特征可以包括诸如眼睛、眉毛、鼻子、嘴巴和脸颊之类的一个或多个人脸特征的位置。输入图像105可以例如是从数字照相机或视频相机获取的图像。人脸检测器110可以使用适合于设计者的目标/约束的任何方法。例示的人脸检测技术包括但不限于基于知识的、特征不变的、模板匹配的和基于外观的方法。由于检测人脸的精确方法对于以下论述不是关键的，因此，本文将不对该操作做更多描述。尽管不受此限制，但是，在一个实施例中，界标图像115可以是灰度图像(grayscale image)，在该图像内，所检测的特征是突出的。为了介绍简单，以下将假定输入图像(例如图像105)仅包括单个人脸。然而，应当理解，在本公开的技术内，这样的限制不是固有的。界标图像115可以被应用到一个或多个形状模型120和一个或多个纹理模型125。如图所示，形状模型120生成形状描述符130并且纹理模型125生成纹理描述符135。应当认识到，形状模型120和纹理模型125通常是利用已知图像库离线生成的，并且可以是相互独立地线性或非线性的。这些模型也可以包括所谓的“基于几何约束部分的模型”，其中，界标点具有它们自己的外观模型。描述符130和135可以以满足开发者的目标和/或约束的任何方式根据模块140被组合。通过示例方式,操作140可以级联(concatenate)所供应的形状和纹理描述符中的每一个。在另一实施例中，操作140可以生成描述符元素的线性组合的集。在又一实施例中，形状描述符130可以以一种方式被组合并且纹理描述符135可以以不同的方式被组合，其中每个的组合被级联。在又一实施例中，一个或多个描述符可以在由它们各自的模型生成时被组合，而其他描述符可以在被组合之前经历另外的处理(例如，维数降低、平滑等)。不管怎样被组合，操作140的结果都是人脸特征向量145。人脸特征向量145可以被本文档来自技高网...

【技术保护点】
一种用于生成人脸特征向量的方法，包括：获取第一图像中的第一人脸的界标检测信息；至少部分基于所述界标检测信息来生成第一形状模型特征向量；至少部分基于所述界标检测信息来生成第二形状模型特征向量；至少部分基于所述界标检测信息来生成第一纹理模型特征向量；至少部分基于所述界标检测信息来生成第二纹理模型特征向量；组合第一形状模型特征向量、第二形状模型特征向量、第一纹理模型特征向量和第二纹理模型特征向量来形成第一人脸特征向量；以及将第一人脸特征向量存储在存储设备中。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：J·E·索勒姆，M·鲁森，
申请(专利权)人：苹果公司，
类型：发明
国别省市：