图像捕获装置和方法制造方法及图纸

提供关联于捕获图像的装置、方法和存储介质。装置可包括面部跟踪器，面部跟踪器用于接收图像帧，针对面部分析图像帧，并且在该图像帧中识别出面部时，评估该面部以确定该图像帧包括可接受面部姿态还是不可接受面部姿态。进一步，该面部跟踪器可被配置为：在确定出该图像帧具有不可接受面部姿态时，提供用于获得另一图像帧的指令，其中该指令被设计为提高所述另一图像帧将包括可接受面部姿态的可能性。

【技术实现步骤摘要】
【国外来华专利技术】图像捕获装置和方法
本公开涉及成像领域。更特别地，本公开涉及图像捕获装置和方法。
技术介绍
本文提供的背景描述总体上用于呈现本公开上下文的目的。除非在本文中以其他方式表明，否则在该部分描述的材料不是本申请中权利要求的现有技术并且不由于包括在该部分中而被承认为现有技术。面部相关应用获得面部图像作为输入，并出于一些目的而提取信息，如身份，表情或年龄。此类信息的精确度高度依赖于面部图像的质量，其中总体上应当避免部分或大角度面部。为促进捕获具有合适质量的面部图像，多个图像捕获设备或应用提供一些形式的指导。例如一些图像捕获设备或应用在照相机预览屏幕上绘制一些标记以指导终端用户，从而允许终端用户将他/她的面部与该标记对齐。这种方法需要付出一些努力，这可能对儿童或年老用户是困难的。此外，其不允许旋转或表情，这不是特别有助于动画或照片增强应用。进一步地，用户通常想要在消息传递中或作为个性化的面部图标共享具有夸张或有趣表情的图像或虚拟形象动画图像。表现性表情可包括例如夸张的笑、惊讶或任何其他有趣面部表情。当前方法使用专业视频编辑软件从输入或生成的虚拟形象视频中挑选出这些有趣的时刻。然而，由于这些特殊的时刻通常不频繁并且在较短时间段内发生，当前方法对一般用户并不是非常用户友好。附图说明通过结合附图的如下详细描述将容易理解各个实施例。为促进该描述，相似的附图标记指代相似结构元素。实施例在附图的各图中作为示例而非作为限制被图示。图1图示根据公开的实施例的示例成像设备的框图。图2图示根据公开的实施例的成像设备的各种操纵。图3图示根据公开的实施例的示例用户指令，用于捕获具有更好面部姿态的图像帧。图4图示根据公开的实施例的用于捕获具有可接受面部姿态的图像帧的过程。图5图示根据公开的实施例的在不具有和具有用户指令情况下获得的两个图像帧。图6图示根据公开的实施例的用于自动捕获快照的示例过程。图7图示根据公开的实施例的用于自动捕获快照的另一示例过程。图8图示根据公开的实施例的适合用于实践本公开的各个方面的示例计算机系统。图9图示根据公开的实施例的存储介质，存储介质具有用于实践参考图1-7描述的方法的指令。具体实施方式本文公开与捕获图像关联的装置、方法和存储介质。在实施例中，一种装置可包括面部跟踪器，面部跟踪器用于接收图像帧，针对面部分析图像帧，并且在图像帧中识别出面部时，评估面部以确定图像帧包括可接受面部姿态还是不可接受面部姿态。进一步，面部跟踪器可被配置为提供用于获得另一图像帧的指令，在确定出图像帧具有不可接受面部姿态时，所述指令被设计为提高另一图像帧将包括可接受面部姿态的可能性。在实施例中，可从图像捕获引擎(例如照相机)接收图像帧，并且所述装置可进一步包括图像捕获引擎。在实施例中，装置可包括面部跟踪器，面部跟踪器用于接收图像帧，针对面部分析图像帧，并且在图像帧中识别出面部时，提取面部的面部形状或确定面部的面部表情。进一步地，面部跟踪器可配置为确定是否将所述图像帧添加到快照集合。该确定可至少部分地基于图像帧中面部的所提取的面部形状或所确定的面部表情。在实施例中，图像帧可接收自图像捕获引擎(例如照相机)或图像生成引擎(例如动画绘制引擎)，并且所述装置可进一步包括图像捕获和/或生成引擎。在下面的详细描述中，参考形成本描述一部分的附图，附图中相似的数字始终指代相似部分，并且附图中通过图示的方式示出可被实践的实施例。应当理解，可在不脱离本公开的范围的情况下利用其他实施例并且可进行结构或逻辑的改变。因此，以下详细描述不应以限制的意义理解，并且实施例的范围由所附权利要求及其等同物定义。本公开的各方面公开于随后的描述种。可在不脱离本公开的精神或范围的情况下设计本公开的替代实施例及其等同物。应当注意的是，以下公开的相似元件在附图中由相似的附图标记指示。各种操作可以按照最有助于理解要求保护的主题的方式被描述为依序的多个分立动作或操作。然而，描述的顺序不应解释为暗示这些操作一定与顺序有关。具体来说，这些操作可以不按照所呈现的顺序来执行。所描述的操作可以按照与描述的实施例不同的顺序被执行。在附加实施例中，各种附加操作可被执行和/或所描述的操作可被省略。为本公开的目的，短语“A和/或B”表示(A)，(B)或(A和B)。为本公开的目的，短语“A，B和/或C”表示(A)，(B)，(C)，(A和B)，(A和C)，(B和C)或(A，B和C)。该描述可使用短语“在一个实施例”或“在实施例中”，这些短语均可指代一个或多个相同或不同实施例。此外，如关于本公开的实施例使用的术语“包括”，“包含”，“具有”等是同义词。如本文所使用的，术语“模块”可指代如下各项，是如下各项的一部分，或包括如下各项：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和/或存储器(共享、专用或群组)、组合逻辑电路，和/或提供所描述功能的其他合适组件。现在参见图1，其中根据公开的实施例的成像设备被示出。如所图示的，针对各实施例，成像设备100可包括面部跟踪器102、一个或多个应用104和图像捕获引擎106，它们如所示出那样相互耦合。面部跟踪器102可被配置为从图像捕获引擎106接收图像帧110，针对面部分析图像帧110，并识别面部的界标，面部表情(诸如眼睛和/或嘴部移动)。面部跟踪器102可被配置为向应用104输出面部姿态和表情数据108，用以由应用104使用。应用104的示例可包括但不限于动画绘制引擎104，动画绘制引擎104配置为至少部分地基于面部姿态和表情数据108使一个或多个虚拟形象动画化。另外，面部跟踪器102可包括图像捕获指导功能112，图像捕获指导功能112配置为：在图像帧110中识别出面部时，评估该面部以确定图像帧110包括可接受面部姿态还是不可接受面部姿态。进一步，图像捕获指导功能112可被配置为：在确定出图像帧110具有不可接受面部姿态时将指令122提供至例如用户，以获得另一图像帧。该指令可被设计为提高下一图像帧110将包括可接受面部姿态的可能性。在实施例中，可从图像捕获引擎106接收图像帧110。图像捕获引擎106的示例可包括但不限于照相机。仍进一步地，面部跟踪器102可进一步包括快照自动捕获功能114，快照自动捕获功能114被配置为：在图像帧110中识别出面部时，提取面部的面部形状或确定面部的面部表情，并确定是否将该图像帧110(或基于图像帧110的面部姿态和表情数据108生成的虚拟形象图像111)添加到快照集合(未示出)。该确定可至少部分地基于在图像帧110中所提取的面部的面部形状或所确定的面部的面部表情而做出。在实施例中，图像帧110可从图像捕获引擎106(例如照相机)接收，并且虚拟形象图像可从应用104(诸如，虚拟形象动画绘制引擎)接收。生成图像的虚拟形象动画绘制引擎/应用104还可称为图像生成引擎。除了以下将进一步详细描述的图像捕获指导功能112和快照自动捕获功能114外，面部跟踪器102可以是多个已知面部跟踪器中的任一个，已知面部跟踪器包括但不限于公开于PCT申请PCT/CN2014/073695中的面部网格跟踪器，该PCT申请提交于2014年3月19日，标题为“FACIALEXPRESSIONAND/OR本文档来自技高网...

【技术保护点】
一种用于捕获或生成图像的装置，包括：图像捕获引擎；以及面部跟踪器，与图像捕获引擎耦合以从所述图像捕获引擎接收图像帧，针对面部分析图像帧，并且在所述图像帧中识别出面部时，评估所述面部以确定所述图像帧包括可接受面部姿态还是不可接受面部姿态；其中在确定出所述图像帧具有不可接受面部姿态时，所述面部跟踪器进一步提供用于获得另一图像帧的指令，其中所述指令被设计为提高所述另一图像帧将包括可接受面部姿态的可能性。

【技术特征摘要】
【国外来华专利技术】1.一种用于捕获或生成图像的装置，包括：图像捕获引擎；以及面部跟踪器，与图像捕获引擎耦合以从所述图像捕获引擎接收图像帧，针对面部分析图像帧，并且在所述图像帧中识别出面部时，评估所述面部以确定所述图像帧包括可接受面部姿态还是不可接受面部姿态；其中在确定出所述图像帧具有不可接受面部姿态时，所述面部跟踪器进一步提供用于获得另一图像帧的指令，其中所述指令被设计为提高所述另一图像帧将包括可接受面部姿态的可能性。2.根据权利要求1的装置，其中，作为评估所述面部姿态的一部分，所述面部跟踪器用于首先确定所述面部的多个界标，第二至少部分地基于所确定的界标确定所述面部姿态的多个平移位置或多个角度；然后第三确定针对所述面部姿态的所述多个平移位置或多个角度是否在所述平移位置和所述角度的对应范围内。3.根据权利要求2的装置，其中所述面部跟踪器用于在确定出所述多个平移位置或所述多个角度的至少一项位于所述平移位置或角度的对应范围之外时提供所述指令。4.根据权利要求1的装置，其中所述面部跟踪器用于指令在获得另一图像帧之前朝向或远离用户，以顺时针或逆时针方向，或向左或向右方向旋转所述装置；或指令在获得另一图像帧之前沿X轴、Y轴或Z轴以正或负方向移动所述装置。5.根据权利要求1-4中任一项的装置，其中所述面部跟踪器用于进一步从所述图像捕获引擎或图像生成引擎接收第二图像帧，针对第二面部分析第二图像帧，并且在第二图像帧中识别出第二面部时，提取第二面部的面部形状或确定第二面部的面部表情，并确定是否自动将第二图像帧或至少部分地基于第二图像帧生成的虚拟形象图像添加到快照集合；其中所述确定至少部分地基于第二图像帧中的第二面部的所提取的面部形状或所确定的面部表情。6.一种用于捕获或生成图像的装置，包括：图像捕获或生成引擎；以及面部跟踪器，与所述图像捕获或生成引擎耦合以从所述图像捕获或生成引擎接收图像帧，针对面部分析图像帧，并且在所述图像帧中识别出面部时，提取所述面部的面部形状或确定所述面部的面部表情；其中所述面部跟踪器用于进一步确定是否自动将所述图像帧或至少部分地基于所述图像帧生成的虚拟形象图像添加到快照集合，并且其中所述确定至少部分地基于所述图像帧中的面部的所提取的面部形状或所确定的面部表情。7.根据权利要求6的装置，其中所述面部跟踪器用于在所述图像帧中识别出面部时提取所述面部的面部形状；其中所述面部跟踪器还用于利用具有带有中性面部形状的面部的快照来初始化所述快照集合。8.根据权利要求7的装置，其中，作为做出所述确定的一部分，所述面部跟踪器用于在所述快照集合中选择具有与所述图像帧中的面部最接近的面部的快照。9.根据权利要求8的装置，其中，作为做出所述确定的一部分，所述面部跟踪器用于进一步计算所述图像帧中的面部的面部形状和所选择的快照中面部的面部形状之间的相异性度量。10.根据权利要求9的装置，其中，作为做出所述确定的一部分，所述面部跟踪器用于进一步确定所述相异性度量是否超过阈值。11.根据权利要求10的装置，其中所述面部跟踪器在确定出所述相异性度量超过所述阈值时自动将所述图像帧或至少部分地基于所述图像帧生成的虚拟形象图像添加到所述快照集合。12.根据权利要求6-11中任一项的装置，其中所述面部跟踪器用于在所述图像帧中识别出面部时确定所述面部的面部表情；其中所述面部跟踪器还用于确定所确定的面部的面部表情是否为感兴趣面部表情。13.根据权利要求12的装置，其中所述面部跟踪器在确定出所确定的面部表情为感兴趣面部表情时自动将所述图像帧或至少部分地基于所述图像帧生成的虚拟形象图像添加到所述快照集合。14.一种用于捕获或生成图像的方法，包括：由图像捕获或生成装置的面部跟踪器接收图像帧；由所述面部跟踪器针对面部分析所述图像帧；在所述图像帧中识别出面部时，由所述面部跟踪器评估所述面部以确定所述图像帧包括可接受面部姿态还是不可接受面部姿态；以及在确定出所述图像帧具有不可接受面部姿态时，由所述面部跟踪器提供用于获得另一图像帧的指令，其中所述指令被设计为提高所述另一图像帧将包括可接受面部姿态的可能性。15.根据权利要求14的方法，进一步包括：由所述面部跟踪器接收第二图像帧；由所述面部跟踪器针对第二面部分析第二图像帧；在第二图像帧中识别出第二面部时，由所述面部跟踪器提取第二面部的面部形状或由所述面部跟踪器确定第二面部的面部表情；以及由所述面部跟踪器确定是否自动将第二图像帧或至少部分地基于第二图像帧生成的虚拟形象图像添加到快照集合；其中确定至少部分地基于第二图像帧中的第二面部的所提取的面部形状或所确定的面...

【专利技术属性】
技术研发人员：沈晓璐，L·张，李文龙，杜杨洲，F·曾，栗强，童晓峰，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US