面部动画合成制造技术

在一些实施方式中，通过提供被称为面部动画合成的处理来增强用户参与增强现实技术的体验，该处理用来自用户肖像图像的用户面部替换视频帧中的表演者面部。视频帧中的所得面部保留了表演者面部的面部表情以及颜色和照明，但是同时具有用户面部的样子。通过提供面部动画合成增强现实组件，可以使示例面部动画合成体验对消息收发系统的应用可用。体验对消息收发系统的应用可用。体验对消息收发系统的应用可用。

【技术实现步骤摘要】
【国外来华专利技术】面部动画合成
[0001]优先权要求
[0002]本申请要求于2020年11月30日提交的美国专利申请序列第17/107,410号的优先权的权益，其全部内容通过引用并入本文中。


[0003]本公开内容总体上涉及操纵电子内容。

技术介绍

[0004]面部动画合成是可以包括将面部的面部表情从源图像(例如，源视频中的帧)转移至目标图像中的面部的处理。虽然存在用于面部动画合成的现有技术，但是在使得面部动画合成的结果一方面适用于源图像中的面部表情另一方面适用于标识来自目标图像的面部的特征的领域中，存在相当大的改进空间。在娱乐节目、计算机游戏、视频会话以及在消息收发系统中提供增强现实体验时应用面部动画合成是可能有益的。
附图说明
[0005]在不一定按比例绘制的附图中，相似的附图标记可以在不同视图中描述类似的部件。为了容易地识别对任何特定元件或动作的讨论，附图标记中的一个或多个最高位数字指代该元件被首次引入时所在的图号。在附图的图中以示例而非限制的方式示出了一些实施方式，在附图中：
[0006]图1是根据一些示例的其中可以部署本公开内容的联网环境的图解表示。
[0007]图2是根据一些示例的具有客户端侧和服务器侧两者的功能的消息收发系统的图解表示。
[0008]图3是根据一些示例的在数据库中维护的数据结构的图解表示。
[0009]图4是根据一些示例的消息的图解表示。
[0010]图5是根据一些示例的访问限制过程的流程图。
[0011]图6是根据一些示例的用于利用面部动画合成来提供增强现实体验的流程图。
[0012]图7示出了描绘用户的图像、描绘表演者的图像和由面部动画合成处理得到的图像的示例。
[0013]图8示出了对确定面部表情的面部特征的相应位置进行标识的面部界标的集合的示例。
[0014]图9是根据一些示例的显示摄像装置的数字图像传感器的输出和经修改的源帧的摄像装置视图用户界面的图解表示。
[0015]图10是根据一些示例的显示经修改的源帧而不是摄像装置的数字图像传感器的输出的摄像装置视图用户界面的图解表示。
[0016]图11是根据一些示例的呈计算机系统形式的机器的图解表示，在该计算机系统内可以执行一组指令以使该机器执行本文中所讨论的任何一种或更多种方法。
具体实施方式
[0017]本公开内容的实施方式通过增强用户参与增强现实技术的体验来改进电子消息收发软件和系统的功能。
[0018]在一些实施方式中，可以通过提供被称为面部动画合成的处理来增强用户参与增强现实技术的体验，该处理用来自用户的肖像图像的用户面部替换视频帧中的表演者面部，使得视频帧中的所得面部保留了表演者面部的面部表情以及颜色和照明(lighting)，但是具有用户面部的样子。在图7中示出了描绘用户的图像、描绘表演者的图像以及由面部动画合成处理得到的图像的示例，其在下面进一步描述。在一些实施方式中，面部动画合成的处理采用机器学习技术，例如卷积神经网络。
[0019]第一神经网络，嵌入器机器学习模型，被配置成基于包括目标面部对象的图像来生成表示目标面部对象的面部特征的嵌入。使用词语“目标”是因为可以将目标面部对象描述为将另一个人的面部表情投射到其上的目标。由嵌入表示的面部特征包括使人脸可被识别为特定的人的特性，而与相关联的面部表情无关并且也与面部的颜色和照明无关。面部特征的示例包括眼睛、鼻子、嘴、眉毛的各自大小和形状，以及如皱纹和胡须的特征。可以说，嵌入表示由面部对象所描绘的人的样子。从用户的肖像图像(例如，从用户的自拍)获得面部对象。可以利用例如基于维奥拉
‑
琼斯(Viola
‑
Jones)特征的对象检测框架或MTCNN(多任务级联卷积神经网络)借助于面部检测技术从图像中得到面部对象。在一个示例中，由嵌入器机器学习模型以数值张量的形式生成嵌入。
[0020]被称为生成器机器学习模型的另一神经网络被配置成将来自用户的肖像图像的用户面部与视频帧中的面部(例如，与来自电影的短视频片段中的表演者的面部)混合，使得视频帧中的所得面部保留了表演者的面部的面部表情，但是具有用户的面部的样子。该视频被称为源视频，因为其可以被理解为是来自肖像图像的用户的面部表情和背景景色的源。
[0021]生成器机器学习模型的输入是嵌入，该嵌入由嵌入器机器学习模型基于用户的肖像图像和源视频的帧产生。在提供给生成器机器学习模型作为输入的源视频中，除了表演者的嘴张开的那些帧中描绘表演者的嘴的内部的区域之外，遮蔽每一帧中的面部区域(下颌线与眉毛之间的区域)。此外，生成器机器学习模型接收每一帧中的表演者的面部表情的表示作为输入。由对确定面部表情的面部特征(例如，嘴和眉毛的位置和取向、确定注视方向的瞳孔的位置和取向)的各个位置进行标识的面部界标的集合来对面部表情进行编码。在图8中示出了对确定面部表情的面部特征的各个位置进行标识的面部界标的集合的示例，其在下面进一步描述。可以由预训练的界标检测模型来生成用于面部对象的面部界标的集合。生成器机器学习模型的输出是视频帧，在该视频帧中，表演者的面部具有用户的样子，同时保留了表演者的原始面部表情以及颜色和照明。
[0022]生成器机器学习模型可以使用人们谈话的视频(例如，人们如在面试中回答问题的视频)的训练数据集来进行训练。在训练期间，生成器机器学习模型神经网络接收来自同一视频的不同帧的形式的输入，其中这些帧描绘了同一个人(例如，表演者)。修改描绘表演者的输入帧，以保留确定表演者的面部表情的特征(例如，嘴和眉毛的位置和取向、确定注视方向的瞳孔的位置和取向等)，同时移除确定表演者独特标识的面部特征(例如，眼睛的形状和大小、眼睛之间的距离、嘴的形状和大小等)。图像中描绘的面部表情可以以指示特
征(例如，嘴和眉毛的位置和取向、确定注视方向的瞳孔的位置和取向等)的界标集合的形式进行编码。
[0023]如生成器机器学习模型那样，嵌入器机器学习模型使用人们谈话的视频来进行训练，其中嵌入器机器学习模型神经网络接收来自描绘同一个人的视频的帧的形式的输入。然而，由于嵌入器机器学习模型的输出——嵌入——被生成器机器学习模型使用以产生视频帧，其中表演者的面部具有由嵌入表示的面部特征，同时不仅保留了表演者的面部表情，而且还保留了表演者的面部的颜色和照明，因此嵌入器机器学习模型被训练为不将目标面部的颜色和照明包括在所得到的嵌入的特征中。为了该描述的目的，将用于训练生成器机器学习模型和嵌入器机器学习模型以及生成和/或准备训练数据的各种处理模块称为训练系统。
[0024]为了训练嵌入器机器学习模型以产生表示面部特征而不是面部的颜色和照明的嵌入，训练系统利用描绘具有各自不同的面部颜色和照明的不同的人的面部的颜色源图像的集合。对于用于训练嵌入器机器学习模型的训练数据集中的每个训练面部图像，训练系统生成输入面部图像，该输入面部图像具有从颜色源图像集合中随机选择的图像的颜色和照明，并且该输入面部图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：访问肖像图像和源帧，所述肖像图像包括目标面部对象，所述源帧包括表示表演者的源面部对象；通过执行嵌入器机器学习模型从所述目标面部对象生成表示面部特征的嵌入，所述嵌入缺少所述目标面部对象的颜色和照明的表示；使用所述嵌入和所述源帧作为输入来执行生成器机器学习模型，以通过用新的面部对象替换所述源面部对象来修改所述源帧，所述新的面部对象包括来自所述目标面部对象的面部特征、来自所述源面部对象的面部表情以及来自所述源面部对象的颜色和照明；以及使得经修改的源帧呈现在显示设备上。2.根据权利要求1所述的方法，其中：所述源帧来自源视频的多个帧，所述多个帧包括相应的面部对象，所述相应的面部对象和所述源面部对象表示所述表演者；并且所述经修改的源帧来自经修改的源视频的多个帧。3.根据权利要求1所述的方法，包括：使用训练面部图像的训练数据集和颜色源图像集合，对所述嵌入器机器学习模型进行训练以生成表示面部特征的颜色中性嵌入，对于来自所述训练数据集的每个训练面部图像，所述训练包括：从所述颜色源图像集合中随机选择图像；使用从所述颜色源图像集合中随机选择的图像和所述训练面部图像来生成输入面部图像，所述输入面部图像具有来自所述训练面部图像的面部对象的表情和面部特征，以及来自从所述颜色源图像集合中随机选择的图像的面部对象的颜色和照明；以及使用所述输入面部图像作为输入来执行所述嵌入器机器学习模型，以生成表示来自所述训练面部图像中的面部对象的面部特征的嵌入。4.根据权利要求3所述的方法，其中，生成所述输入图像包括：确定对来自所述训练数据集的训练面部图像中的面部对象的面部表情进行编码的训练面部界标集合；确定对从所述颜色源图像集合中随机选择的图像中的颜色源面部对象的面部表情进行编码的颜色源面部界标集合；通过修改所述颜色源面部界标集合来扭曲所述随机选择的图像，以匹配所述训练面部界标集合；生成经扭曲的随机选择的图像和所述训练面部图像的相应金字塔表示；以及使用所述相应金字塔表示以得出所述输入图像，所述输入图像中的面部对象具有与所述训练面部图像中的面部对象的颜色和照明不同的颜色和照明。5.根据权利要求4所述的方法，其中，使用所述相应金字塔表示以得出所述输入图像包括：通过用所述经扭曲的随机选择的图像的金字塔表示的最小层级替换所述训练面部图像的金字塔表示的最小层级，来修改所述训练面部图像的金字塔表示；以及根据经修改的训练面部图像的金字塔表示来重构所述输入图像。6.根据权利要求5所述的方法，其中，所述相应金字塔表示是拉普拉斯金字塔表示，并且所述金字塔表示的最小层级对应于相关联图像的1/16的分辨率。
7.根据权利要求1所述的方法，其中：在用于通过网络交换数据的消息收发系统中，配置增强现实组件以修改目标媒体内容对象；并且使得在客户端设备处呈现摄像装置视图界面，所述摄像装置视图界面包括与所述客户端设备一起的摄像装置的数字图像传感器的输出，并且包括表示所述增强现实组件的用户可选元素，其中，执行所述生成器机器学习模型是响应于检测到表示所述增强现实组件的所述用户可选元素的激活，其中，使得经修改的源帧呈现在显示设备上是使得所述经修改的源帧在所述客户端设备处呈现在所述摄像装置视图界面中。8.根据权利要求7所述的方法，其中，使得所述经修改的源帧呈现在所述摄像装置视图界面中包括：将所述经修改的源帧的至少一部分叠加在所述摄像装置的数字图像传感器的输出的一部分上。9.根据权利要求7所述的方法，其中，使得所述经修改的源帧呈现在所述摄像装置视图界面中包括：使得呈现所述经修改的源帧而不是所述摄像装置的数字图像传感器的输出。10.根据权利要求7所述的方法，其中，所述肖像图像与表示所述消息收发系统中的用户的用户简档相关联。11.一种系统，包括：一个或更多个处理器；以及非暂态计算机可读存储介质，其包括指令，所述指令在由所述一个或更多个处理器执行时使所述一个或更多个处理器执行操作，所述操作包括：访问肖像图像和源帧，所述肖像图像包括目标面部对象，所述源帧包括表示表演者的源面部对象；通过执行嵌入器机器学习模型从所述目标面部对象生成表示面部特征的嵌入，所述嵌入缺少所述目标面部对象的颜色和照明的表示；使用所述嵌入和所述源帧作为输...

【专利技术属性】
技术研发人员：帕韦尔，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：