具有头部转动的头像面部表情动画制造技术

本文公开了与作动画和渲染头像关联的设备、方法和存储介质。设备可包含配置成接收分别与用户的面部和头部关联的多个面部运动参数和多个头部姿态参数的头像动画引擎（104）。多个面部运动参数可描绘面部的面部行为动作，并且多个头部姿态参数可描绘头部的头部姿势姿态。进一步，头像动画引擎（104）可配置成用面部和骨骼动画驱动头像模型，以使用面部运动参数和头部姿态参数给头像作动画，以在头像上复制用户的面部表情，其包含用户的头部转动后的影响。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及数据处理领域。更具体地说，本公开涉及头像的动画和渲染，包含具有头部转动的面部表情动画。
技术介绍
本文提供的背景描述是为了一般性地呈现本公开的上下文的目的。除非在本文中另有指示，否则此章节中描述的资料不是本申请中权利要求的现有技术，并且不准许作为现有技术包含在此章节中。作为用户的图形表示，头像在虚拟世界中已经相当流行。然而，大部分现有头像系统都是静态的，并且它们中的少数由文本、脚本或语音驱动。一些其它头像系统使用图形互换格式（GIF）动画，其是一组顺序播放的预先定义的静态头像图像。在近些年，随着计算机视觉、相机、图像处理等的进步，一些头像可由面部表情驱动。然而，现有系统倾向于是计算敏感的，要求高性能通用和图形处理器，并且在移动装置诸如智能电话或计算平板电脑上不良好地工作。另外，现有系统未考虑头部转动的影响，即，头部转动对头像动画的影响。附图说明实施例通过结合附图的如下详细描述将容易理解。为了促进此描述，相同的附图标记标明相同的结构元件。在附图的图中作为示例而非作为限制图示了实施例。图1图示了根据所公开实施例的袖珍（pocket）头像系统的框图。图2图示了根据所公开实施例用于生成头部转动影响权重的示例过程。图3和图4分别图示了根据所公开实施例的骨头制作的示例和示例头部转动影响图。图5是根据所公开实施例用于给头像作动画的过程的流程图。图6是根据所公开实施例更详细图示图5的过程的流程图。图7图示了根据所公开实施例具有和没有骨骼动画的示例头像动画。图8图示了根据所公开实施例适合于用于实施本公开各种方面的示例计算机系统。图9图示了根据所公开实施例具有用于实施参考图2-7描述的方法的指令的存储介质。具体实施方式本文公开了与作动画和渲染头像关联的设备、方法和存储介质。在实施例中，设备可包含头像动画引擎。头像动画引擎可配置成接收分别与用户的面部和头部关联的多个面部运动参数和多个头部姿态参数。多个面部运动参数可描绘面部的面部行为动作（actionmovement），并且多个头部姿态参数可描绘头部的头部姿势姿态。进一步，头像动画引擎可配置成用面部和骨骼动画驱动头像模型，以使用面部运动参数和头部姿态参数给头像作动画，以在头像上复制用户的面部表情，其包含用户的头部转动后的影响，例如当用户相对他/她的躯干向左或向右转动他/她时对动画的影响。在实施例中，头像动画引擎可配置成根据头部转动影响权重图（map）施加至少采用在关节(joint)处连接的头骨和躯干骨预先生成的头部转动影响权重。关节例如可设置在颈部。另外，头部转动影响权重图可处于灰度级(grayscale)，其中较淡的灰度值描绘来自头部转动的较大的影响，并且具有与用于动画的二维纹理图相同的维度，实现使用纹理图中的相同像素坐标检索所述头部转动影响权重。在如下详细描述中，对形成其一部分的附图进行参考，其中通篇相同的附图标记标明相同的部分，并且其中作为可实施的说明实施例示出。要理解到，可利用其它实施例，并且可进行结构或逻辑改变，而不脱离本公开的范围。因此，不以限制意义进行如下详细描述，并且实施例的范围由所附权利要求以及它们的等效方案定义。本公开的方面在所附说明书中公开。可在不脱离本公开的精神或范围的情况下，设计出本公开的替换实施例以及它们的等效方案。应该指出，下面公开的相同元件在附图中由相同的附图标记指示。各种操作以最有助于理解所要求权利的主题的方式依次描述为多个分立动作或操作。然而，描述的次序不应该被解释为暗示这些操作必须是次序相关的。具体地说，这些操作可以不按呈现的次序执行。所描述的操作可按与所描述的实施例不同的次序执行。可执行各种附加操作和/或在附加实施例中可省略所描述的操作。为了本公开的目的，短语“A和/或B”意味着(A)、(B)或(A和B)。为了本公开的目的，短语“A、B和/或C”意味着(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。描述可使用短语“在一个实施例中”或“在实施例中”，它们可各指相同或不同实施例中的一个或多个实施例。此外，如相对于本公开实施例所使用的术语“包括”、“包含”、“具有”等是同义词。如本文所使用的，术语“模块”可指作为其一部分或者包含专用集成电路（“ASIC”）、电子电路、执行一个或多个软件或固件程序的存储器（共享、专用或群组）和/或处理器（共享、专用或群组）、组合逻辑电路和/或提供所描述功能性的其它适合的组件。现在参考图1，其中示出了根据所公开实施例的袖珍头像系统。如所图示的，袖珍头像系统100可包含面部跟踪器102、头像动画引擎104、头像渲染引擎106以及头部转动影响权重生成器108（如所示出的那样彼此耦合）。面部跟踪器102可配置成例如从图像源（诸如相机（未示出））接收多个图像帧，检测多个图像帧内的用户面部的面部行为动作和/或用户头部的头部姿势姿态，并且输出描绘所检测的面部行为动作（例如眼睛和/或嘴巴动作）的多个面部运动参数以及描绘所检测的头部姿势姿态（诸如头部转动、动作和/或更接近或更远离相机）的头部姿势姿态参数，全都实时地输出。头像动画引擎104可配置成接收由面部跟踪器102输出的多个面部运动参数和头部姿势姿态参数，并且用面部和骨骼模拟驱动头像模型来给头像作动画，以在头像上复制用户的面部表情，其将头部转动影响考虑在内。头部转动影响权重生成器108可配置成预先生成用于头像动画引擎104的头部转动影响权重110。头像渲染引擎106可配置成绘制如由头像动画引擎104所作动画的头像。在实施例中，面部跟踪器102可以是已知的若干面部跟踪器中的任一个，例如包含但不限于在2014年3月19日提交的题为\FACIALEXPRESSIONAND/ORINTERACTIONDRIVENAVATARAPPARATUSANDMETHOD\的共同待审的专利申请PCT专利申请No.PCT/CN2014/073695中公开的面部网格跟踪器。一般而言，面部跟踪器102可包含跟踪用户的头部姿势和面部表情的各种功能块。面部跟踪器102可从图像捕获装置（例如相机）接收多个图像帧，通过多个图像帧检测用户的面部的面部行为动作以及用户的头部的头部姿势姿态，并且输出描绘所检测的面部行为动作的多个面部运动参数以及描绘所检测的头部姿势姿态的多个头部姿态参数，全都实时地输出。例如可基于图像帧的像素采样通过头部和面部上的嘴巴和眼睛的帧间差异，检测面部行为动作和头部姿势姿态。面部跟踪器102可包含头部姿势跟踪功能块，其配置成计算用户头部的转动角度，包含俯仰、左右摇摆和/或摇晃，以及沿水平、垂直方向的平移距离，并且更靠近或更远离相机，最终作为头部姿势姿态参数的一部分输出。计算可基于多个图像帧的子采样像素的子集，例如，施加动态模板匹配，重新注册等。这些功能块可充分准确，在它们所要求的处理能力方面仍可缩放，使袖珍头像系统100特别适合于由宽范围的移动计算装置（诸如智能电话和/或计算平板电脑）托管。在实施例中，头像动画引擎104可配置成给头像作动画，包含在头像上复制用户的面部表情，其通过面部和骨骼动画以及施加头像转动影响权重110来将头部转动影响考虑在内。头部转动影响权重110（如早前所描述的）可由头部转动影响本文档来自技高网...

【技术保护点】
一种用于渲染头像的设备，包括：一个或多个处理器；以及头像动画引擎，由所述一个或多个处理器操作，以接收分别与用户的面部和头部关联的多个面部运动参数和多个头部姿态参数，并用面部和骨骼动画驱动头像模型以使用所述面部运动参数和所述头部姿态参数给所述头像作动画，以在所述头像上复制所述用户的面部表情，所述面部表情包含所述用户的头部转动后的影响；其中所述多个面部运动参数描绘所述面部的面部行为动作，并且所述多个头部姿态参数描绘所述头部的头部姿势姿态。

【技术特征摘要】
【国外来华专利技术】1.一种用于渲染头像的设备，包括：一个或多个处理器；以及头像动画引擎，由所述一个或多个处理器操作，以接收分别与用户的面部和头部关联的多个面部运动参数和多个头部姿态参数，并用面部和骨骼动画驱动头像模型以使用所述面部运动参数和所述头部姿态参数给所述头像作动画，以在所述头像上复制所述用户的面部表情，所述面部表情包含所述用户的头部转动后的影响；其中所述多个面部运动参数描绘所述面部的面部行为动作，并且所述多个头部姿态参数描绘所述头部的头部姿势姿态。2.如权利要求1所述的设备，其中当用面部和骨骼动画驱动所述头像模型时所述头像动画引擎施加头部转动影响权重。3.如权利要求2所述的设备，其中所述头像动画引擎根据头部转动影响权重图施加至少采用在关节处连接的头骨和躯干骨预先生成的头部转动影响权重。4.如权利要求3所述的设备，其中所述关节设置在颈部。5.如权利要求3所述的设备，其中所述头部转动影响权重图处于灰度级，其中较淡的灰度值描绘来自头部转动的较大影响。6.如权利要求3所述的设备，其中所述头部转动影响权重图具有包含所述面部的区段、所述面部的眼球的区段、所述用户的颈部的区段、所述面部的舌头的区段、所述面部的牙齿的区段或者所述用户的身体或衣服的区段的布局。7.如权利要求3所述的设备，其中所述头像动画引擎进一步采用二维纹理图，并且所述头部转动影响权重图具有对应于所述二维纹理图的布局或维度；并且其中所述动画引擎使用所述二维纹理图中的顶点的对应坐标从所述头部转动影响权重图中检索所述顶点的影响权重。8.如权利要求2所述的设备，其中当用面部动画驱动所述头像模型时所述头像动画引擎混合多个预先定义的混合形状，并向所述面部动画的结果施加所述头部转动影响权重以用骨骼模拟驱动所述头像模型。9.如权利要求8所述的设备，其中当用面部动画驱动所述头像模型时混合多个预先定义的混合形状包括：确定所述多个预先定义的混合形状中的每个形状中的位置偏移；向确定的所述位置偏移施加对应混合形状权重；对所有混合形状的所述混合形状加权的位置偏移求和；以及将所述和加到基本模型中所述顶点的位置偏移。10.如权利要求2所述的设备，其中头部转动包括左右摇摆、俯仰或倾斜。11.如权利要求1-10中任一项所述的设备，进一步包括：面部网格跟踪器，由所述一个或多个处理器操作，以接收多个图像帧，通过所述多个图像帧检测所述用户的所述面部的面部行为动作以及所述用户的所述头部的头部姿势姿态，并且输出描绘所检测的面部行为动作的所述多个面部运动参数以及描绘所检测的头部姿势姿态的所述多个头部姿态参数，全都实时地输出；其中面部行为动作和头部姿势姿态的检测包含基于所述图像帧的像素采样的所述头部和所述面部上的嘴巴和眼睛的帧间差异的检测。12.如权利要求11所述的设备，进一步包括：头像渲染引擎，所述头像渲染引擎与所述头像动画引擎耦合并由所述一个或多个处理器操作以绘制如由所述头像动画引擎...

【专利技术属性】
技术研发人员：童晓峰，栗强，T萨赫森，李文龙，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US