使用社交数据的面部识别制造技术

可以使用视觉和社交标准来索引和识别面部。在一个示例中，面部的视觉特征被量化，并且这些特征的量化以矢量来表示。矢量的各方面随后以文本串的形式来表示。围绕面部的社交上下文也以文本串的形式来表示。这些文本串即基于视觉的字符串和/或基于社交的字符串二者与面部相关联，并且被存储在索引中。这些字符串与面部的相关联性随后可以使得该面部在其视觉和社交特征方面是文本可搜索的。对这些视觉和/或社交特征的搜索可以用于协助识别新的面部的图像或提议标签，以便用户应用于照片。

【技术实现步骤摘要】
使用社交数据的面部识别
技术介绍
面部识别技术一般通过从照片中提取面部并将所提取的面部与已知面部进行比较来运作。通过这种比较，也许有可能确定是否所提取的面部属于与已知面部相同的一个人。如果发现所提取的面部与任何一个已知面部是足够相似的，则得出所提取的面部属于与已知面部相同的一个人的结论。虽然视觉面部识别技术或许能够在某些环境中识别面部，但是在许多情况中，视觉面部识别技术不足以正确地识别面部。图像可能具有差的质量，从而使得面部的特征难以辨别。属于不同人员的两个面部可能看起来彼此相似，并且视觉面部识别处理可能猜测错误的面部。因而，视觉面部识别在一些情况中可能无法独自正确地识别面部。
技术实现思路
面部识别可以使用视觉技术和社交网络数据来执行。社交网络数据的使用可以基于这样的观察，即，人们一般倾向于拍摄他们认识的人的照片并且与他们认识的人一起出现在照片中。因而，社交网络数据可以用于确定人们彼此具有什么联系(利用为了保护所涉及的各方的隐私而获得的适当许可)。这种人员联系的知识可以随后用于帮助确定谁出现在照片中。为了识别照片中的面部(我们将之称为“面部A”)，面部A可以被视觉分析，以创建面部A的特征的数字表示。即，面部A的物理特征可以被量化，并且可以创建表示面部特征的量化的矢量。该矢量的各方面随后可以被转换成文本串，从而产生代表面部A的一个或多个文本串。此外,从社交事实中导出的文本串也可以被添加到这些文本串上。例如,如果面部A是从被“Bob (鲍勃)”上传的照片中提取的，并且该照片已被标记为包含“Joe (乔)” 和“Susan (苏珊)”，那么这些名字也是可以被添加到照片的表示上的文本。因此，如果代表面部的视觉外观的字符串是“eruiuwe”、“dkruiwl”和“dkrudkt”，那么代表面部A的视觉和社交方面的文本可以是“eruiuwe dkruiwl dkrudkt Bob Joe Susan”。一旦存在代表面部A的文本，则可以使用那个文本来索引面部A，并且稍后在搜索中可以使用该索引条目。因而，假设新的照片包含未识别的面部(“面部B”)。面部B的视觉分析可以产生一个矢量，并且将那个矢量转换成文本可以产生包括“eruiuwe” (这是代表面部A的视觉外观的字符串之一)的一组字符串。此外，还可能知道该照片是由Susan上传的。因此，文本搜索可以使用查询“eruiuwe Susan”来执行。由于先前段落中描述的面部A利用字符串“eruiuwe”和“Susan”进行索引，所以面部A将作为对于面部B的潜在匹配而出现在文本搜索结果中。由于该搜索基于代表该面部的视觉外观的文本项并且也基于代表该面部的社交上下文(social context)的文本项,所以搜索结果中该面部的识别可以基于视觉和社交考虑二者。有关面部B是否与面部A相匹配的实际决策可以取决于匹配的强度以及是否其他被索引的面部是更强的匹配。这样一来，普通的文本搜索技术可以用于执行面部匹配。在一个示例中，上述技术可以用于搜索特定人员的照片。在另一个示例中，上面的技术可以用于建议出现在照片中的面部的身份，以便辅助用户标记这些照片。提供这个
技术实现思路
部分来以简化形式介绍下面在详细描述部分中进一步描述的概念的选择。这个
技术实现思路
部分既不打算标识所请求保护主题的关键特征或基本特征，也不打算用于限制所请求保护主题的范围。附图说明图I是其中可以分析和索引面部的示例系统的框图。图2是其中面部可以利用其视觉和社交特性来索引的示例处理的流程图。图3是其中利用视觉和社交标准进行索引的面部可以用于提供结果的示例处理的流程图。图4是可以与这里描述的主题的实现方式结合使用的示例组件的框图。具体实施例方式面部识别技术允许自动识别出现在照片中的人员。通常，面部识别技术依靠面部的视觉分析。为了执行这种类型的分析，从照片中提取构成面部的照片区域，并将这个区域规范化为特定大小。该面部随后被分析，以量化该面部的特定方面。之后，创建包含这些参量的矢量，其中该矢量代表该面部。通过为若干面部创建矢量，有可能使用矢量比较技术来比较面部的相似度。随后可以作出有关两个面部如何相似的判断，并且这些判断可以用于各种应用。例如，想在照片中辨认Joe的系统可能保持Joe的面部的标准图像(canonical image)，并且可以采用矢量的形式来量化那个面部。然后，其他图像中的面部能够通过为那些图像创建矢量以及比较这些矢量的相似度而与Joe的面部进行比较。之后，与Joe的面部的标准图像足够相似的面部可以被认为是Joe的图像。但是，仅仅基于视觉分析的面部识别具有其限制。时常从存在模糊、照明受阻等问题的不完美图像中提取面部。一些人看起来彼此相似，因此面部特征的量化可能导致类似的矢量用于两个不同人员的面部。此外，在使用视觉机制时，将面部明确地识别为属于Joe 的能力取决于有关Joe的面部的数据(例如，新图像可以与之相比较的Joe的标准图像)的存在性。在一些情况中，那个信息并不存在。或者即使原始信息确实存在，它也可能没有被提取成可用形式。这里描述的主题使用社交数据来增强视觉面部识别技术。人们用来互动的社交网络和其他系统提供丰富的能够用于识别照片中的面部的数据。这样的数据的使用可以基于这样的观察，即，如果人员A和B相互认识，那么与两个随机的不相关的互不认识的人员将一起出现在照片中的情况相比，更有可能A将与B —起出现在照片中。类似地，如果A认识 B，那么更有可能A将出现在由B拍摄的照片、由B上传的照片或包含由B输入的一个或多个标签的照片中。因而，有关人们彼此交互的数据可以用于确定在人员之间存在什么关系， 并且这个数据可以用于帮助识别照片中的面部。(为了维护和尊重人们的隐私期望，有关人员的信息的使用可以依照适当许可和/或披露来使用)。除了使用有关谁上传照片或谁出现在照片中的信息之外，也可以使用有关照片的附加信息。例如，如果两张照片在同一相簿中，那么与针对两张随机选择的照片的情况相比，可能更有可能同一个人出现在这些照片中。此外，如果两张照片是在几乎相同的时间和地点拍摄的话，那么与针对两张随机选择的照片的情况相比，可能更有可能在这些照片中具有共同的面部。使用社交网络和/或交互数据来识别面部的一种方式是使得面部的视觉特征以及围绕面部的社交上下文是文本可搜索的。在创建代表面部特征的矢量时，可以创建一个或多个基于该矢量的文本串。这些文本串可以通过“位置敏感散列(locality sensitive hash)”来创建，以致彼此相似的面部具有往往生成相似的文本串集合的矢量。相反，彼此相异的面部往往生成相异的文本串集合。因而，如果Joe面部的照片被分析，那么代表Joe的面部特征的量化的矢量可能是η维矢量〈12. O, 5.6，15.2，…〉。从这个矢量中生成的文本串集合可能是“eruiuwe dkruiwl dkrudkt”。这些特定字母序列在英语中没有特别的意义，但是它们具有可以在以后辅助搜索面部的少量属性(1)它们采用文本的形式，这使得它们通过正常的基于文本的索弓I与搜索(text-based index-and-search)技术是可索引且可搜索的，以及(2)这些字符串可以采用这样的方式来创建，即在视觉上彼此相似的两个面部将生成相似的字符串本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：B多德森，D尼科尔斯，C韦布斯特，J斯卡里亚，
申请(专利权)人：微软公司，
类型：发明
国别省市：