用于在不受约束的媒体中识别面孔的系统和方法技术方案

提供一种用于面孔识别的方法和系统。该方法包括基于个人的不同图像确定此人的面孔的三维（3D）模型。该方法还包括从该3D模型提取二维（2D）拼块。再者，该方法包括使用2D拼块的不同组合来生成该面孔的多个签名，其中这些多个签名对应于来自不同角度的3D模型的相应视图。

【技术实现步骤摘要】
【国外来华专利技术】相关申请本专利申请要求2013年12月19日提交的先有临时专利申请号61/918,205以及2014年3月20日提交的先有临时专利申请61/968,015的权益，其公开通过引用全部并入本文。
本专利技术公开涉及识别媒体中的图像的系统和方法，以及更确切地来说，涉及面孔识别。
技术介绍
摄像头变得常见于移动设备、监控传感器和执法车辆中。由于它们的移动性，此类摄像头能够在多种不受约束的状况中记录个人的图像。即，与分阶段面部照片相比，在不受约束状况下记录的个人的面孔可能由于光照（例如，自然光照和人工光照）的变化、个人面孔的属性（例如，年龄、面部毛发、眼镜）、视角（例如，俯仰和摇摆）、遮挡（例如，标志、树木等）等而差异极大。例如，犯法者可能在群体事件时实施非法行为。在作案时间附近，旁观人可能在使用他们的移动摄像头记录事件时捕获犯法者的图像。此外，监视事件的保安摄像头可能从不同（例如架高的）视角捕获到犯法者的图像。并且，犯法者的图像可能被具有不同视角和遮挡的摄像头捕获到。执法机构可以从摄像头的操作者、社交网络网站和媒体出口访问这些记录。但是，尝试从多种记录中识别犯法者可能需要通过大量图像数据中进行筛选。
技术实现思路
本专利技术公开提供一种包括基于个人的不同图像确定此人的面孔的三维（3D）模型的方法。该方法还包括从该3D模型提取二维（2D）拼块。再者，该方法包括使用2D拼块的不同组合来生成该面孔的多个签名，其中多个签名对应于来自不同角度的3D模型的相应视图。此外，本专利技术公开提供一种面孔识别系统，其包括处理器、存储系统、存储在计算机可读硬件存储设备上供该处理器执行的的程序指令。这些程序指令包括基于个人的不同图像确定此人的面孔的三维（3D）模型的程序指令。这些程序指令还包括从该3D模型提取二维（2D）拼块的程序指令。再者，这些程序指令包括使用2D拼块的不同组合来生成该面孔的多个签名的程序指令，其中多个签名对应于来自不同角度的3D模型的相应视图。附图说明并入本说明书中并构成其一部分的附图图示了本专利技术的教导，并且连同描述，用于解释本专利技术公开的多个原理。图1是图示用于实现根据本专利技术公开的多个方面的系统和过程的示范环境的框图；图2是图示根据本专利技术公开的多个方面的示例面孔识别系统的功能框图；图3是图示根据本专利技术公开的多个方面的用于识别面孔的示范过程的流程图；图4是图示使用根据本专利技术公开多个方面的面孔识别系统来确定基于属性的表示的示范过程的流程图；图5是图示使用根据本专利技术公开多个方面的面孔识别系统来确定属性的示范过程的流程图；以及图6是图示使用根据本专利技术公开多个方面的面孔识别系统来确定多实体PEP签名的示范过程的流程图。应该注意到，这些附图的一些细节已进行了简化且绘制成有助于本专利技术教义的理解，而非为了维持严格的结构精确性、细节和比例。具体实施方式本专利技术公开涉及用于识别媒体中的图像的系统和方法，以及更确切地来说，涉及面孔识别。根据本专利技术公开的多个方面，该系统和方法可以用于基于个人面孔的基于属性的表示来识别图像中的个人。基于属性的表示包括使用从图像提取的2D拼块和语义表征个人面孔的属性（例如，性别、年龄、人种等）确定的多视图概率弹性部分（“多视图PEP”）签名。多视图PEP签名是使用根据从3D模型提取的2D面部拼块构建的属性相关PEP模型来确定的。PEP模型是基于局部空间外观特征的高斯混合模型。该3D模型是根据从照片、视频和/或素描中的个人图像获取的面孔的不同姿态构造的。有利地，该基于属性的表示考虑到由于视点、照明、年龄和表情导致个人面孔中而出现的几何形状、结构和光度上的差异性，同时保留能够用于唯一性地将个人面孔与他人相辨别的不变特征。根据本专利技术的多个方面，该基于属性的表示将它所基于的面孔的特质（例如，年龄、姿态、照明和表情）归一化。该基于属性的表示与这些特质可以是相互相关的，其中基于属性的表示的参数高度地影响用于归一化的模型以及反之亦然。因此，该基于属性的表示是基于与从属表示所对应的参数组对其进行迭代优化来确定的。再者，根据本专利技术的多个方面，基于属性的表示的两个分量（多视图PEP签名和属性）以不同抽象层面来对信息编码。将这些多视图PEP签名所基于的3D模型归一化以通过对可用训练示例不足且无法学习精确的统计模型以考虑到差异的极端差异建模来克服基于2D图像的PEP表示的局限性。再者，从变化的源独立地提取用于构造基于属性的表示的每个分量的领域知识，并将其作为互补性先验约束在基于属性的表示予以实施。本专利技术公开的基于属性的表示提供多种优点。首先，用于创建多视图PEP签名的PEP模型提供姿态不变性。其次，因为PEP模型隐含地标识“非面孔”拼块，所以多视图PEP签名考虑到无法直接建模的面孔变化，如遮挡和低分辨率数据。第三，这些多视图PEP签名能够使用支持非视觉媒体（例如，近红外、合成素描等）的模型来吸纳红外线和/或异种数据。第四，可以对图像特征使用统计学习回归函数来将这些多视图PEP签名延伸到所有年龄组。第五，这些多视图PEP签名提供针对光照和表情变化的弹性。即，在确定多视图PEP签名时，通过面孔重光照（relighting）和表情中和来去除由于光照和表情导致的变化。根据本专利技术公开的多个方面，从多视图PEP提取的2D图像拼块不含此类变化，因为光照（阴影或饱和度）差的任何拼块以及与强面孔表情对应的拼块在多视图PEP签名中均予以降低权重处理。正如本领域技术人员将认识到的，本专利技术可以作为一种方法、系统或计算机程序产品来实施。相应地，本专利技术可以采取完全硬件实施例、完全软件实施例（包括固件、驻留软件、微代码等）或组合可以全部通称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。再者，本专利技术可以采取计算机可读存储介质上的计算机程序产品的形式，该计算机可读存储介质具有包含在该介质中的计算机可读程序代码。可以采用任何适合的计算机可用或计算机可读介质。该计算机可用或计算机可读介质可以是例如但不限于，电子、磁、光、电磁、红外线或半导体系统、装置、设备或传播介质。计算机可读介质的更具体示例（非穷举列表）包括如下：具有一个或多个导线的电连接、便携式计算机软盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦写可编程只读存储器（EPROM或闪存存储器）、光纤、便携式压缩光盘只读存储器（CD-ROM）、光存储装置、磁存储装置、如支持因特网或内联网的那些的传输介质或磁存储设备。注意计算机可用或计算机可读介质甚至可以是可将程序打印在其上的纸或另一种适合介质，因为该程序能够通过例如对纸或其他介质进行光学扫描以电子方式捕获，然后进行编译、解释或以适合方式进行其他处理（如果必要的话），然后存储在计算机存储器中。在本文件的上下文中，计算机可用或计算机可读介质可以是能够包含、存储、传送、传播或转载被指令执行系统、设备或装置使用或与之结合来使用的程序的任何介质。计算机可用介质可以包括其中包含有计算机可用程序代码的，例如基带中或作为载波的一部分传播的数据信号。该计算机可用程序代码可以使用任何适合的介质来传送，这些适合的介质包括但不限于，因特网、有线、光纤电缆、RF等。可以采用面向对象的编程语言来编写用于实现本专利技术的操作的计算机程序代码，如Java、Small本文档来自技高网...

【技术保护点】
一种方法，包括：基于个人的多个不同图像确定所述个人面孔的三维（3D）模型；从所述3D模型提取二维（2D）拼块；以及使用所述2D拼块的不同组合来生成所述面孔的多个签名，其中所述多个签名对应于来自不同角度的所述3D模型的相应视图。

【技术特征摘要】
【国外来华专利技术】2013.12.19 US 61/918205;2014.03.20 US 61/9680151.一种方法，包括：基于个人的多个不同图像确定所述个人面孔的三维（3D）模型；从所述3D模型提取二维（2D）拼块；以及使用所述2D拼块的不同组合来生成所述面孔的多个签名，其中所述多个签名对应于来自不同角度的所述3D模型的相应视图。2.如权利要求1所述的方法，其中所述确定所述3D模型包括：从所述多个图像识别缺乏信息的所述3D模型的元素；以及使用领域知识为所识别元素提供所述信息，所述领域知识是从具有与所述个人的属性相似的属性的个人汇编的。3.如权利要求1所述的方法，还包括通过将所述3D模型中的光照变化归一化来修改所述3D模型。4.如权利要求1所述的方法，还包括将所述个人的所述多个不同图像产生的面部表情中和。5.如权利要求1所述的方法，还包括基于所述个人的年龄来修改所述3D模型。6.如权利要求1所述的方法，还包括确定所述个人的多个属性，所述多个属性在语义上描述所述个人的特质。7.如权利要求6所述的方法，还包括基于所述多个属性对所述多个签名建立索引。8.如权利要求1所述的方法，还包括确定所述多个签名的相应不确定性值，其中所述不确定性值基于所述多个签名中包含的相应2D拼块的质量。9.如权利要求1所述的方法，还包括确定面孔图像与所述多个签名的至少其中之一匹配。10.如权利要求9所述的方法，其中所述确定所述面孔图像匹配包括，基于所述面孔图像的分辨率修改所述多个签名的分辨率。11.如权利要求9所述的方法，其中所述确定所述面孔图像匹配包括，使用多个成像模态来进行匹配。12.如权利要求1所述的方法，其中使用所述个人的多个附加面孔图像以迭代方式精细化所述面孔的所述多个签名。13.如权利要求12所述的方法，其中所述面孔的所述多个签名具有固定大小，而不考虑附加面孔图像的数量。14.如权利要求1所述的方法，还包括：确定与所述多个签名分别对应的不确定性度量，将所述多个签名与所述对应不确定性度量关联。15.如权利要求1所述的方法，还包括确定所述多个签名中哪个与所述面孔中具有最大数量有判别力的特征的部分对...

【专利技术属性】
技术研发人员：A卡劳吉亚，N拉马纳桑，TE崔，
申请(专利权)人：威智伦富智堡公司，
类型：发明
国别省市：加拿大;CA