用于面部的摄像头重投影制造技术

在一个实施例中，一个或多个计算系统可以接收第一用户的面部的一部分的图像。该一个或多个计算系统可以访问表示第一用户的面部的三维(3D)面部模型。该一个或多个计算系统可以识别图像中描绘的一个或多个面部特征，并且基于所识别的在图像中的一个或多个面部特征和3D面部模型上的预定特征位置，来确定相对于3D面部模型的摄像头位姿。该一个或多个计算系统可以通过将第一用户的面部的该一部分的图像从摄像头位姿投影到3D面部模型上，来确定图像与3D面部模型之间的映射关系并且使得第一用户的面部表示的输出图像被渲染。户的面部表示的输出图像被渲染。户的面部表示的输出图像被渲染。

【技术实现步骤摘要】
【国外来华专利技术】用于面部的摄像头重投影


[0001]本公开总体上涉及用于虚拟现实环境中的用户交互和体验的控件和界面。

技术介绍

[0002]虚拟现实是计算机生成的对环境(例如，3D环境)的模拟，用户可以以看似真实的或物理的方式与该模拟交互。虚拟现实系统可以是单个设备或设备组，该虚拟现实系统可以生成这种模拟以显示给用户，例如，在虚拟现实头戴式设备(headset)或某种其它显示设备上显示给用户。该模拟可以包括图像、声音、触觉反馈和/或其它感知，以模仿真实的或虚构的环境。随着虚拟现实变得越来越重要，虚拟现实的有用应用范围正在迅速扩大。虚拟现实最常见的应用涉及游戏或其它交互式内容，但是诸如观看用于娱乐或训练目的的可视媒体项目(例如，照片，视频)等其它应用也紧随其后。使用虚拟现实来模拟现实对话和其他用户交互的可行性也正在探索之中。

技术实现思路

[0003]本文公开了渲染虚拟(或增强)现实环境并与该虚拟(或增强)现实环境进行交互的多种不同方式。人工现实系统可以渲染人工环境，该人工环境可以包括虚拟空间，该虚拟空间被渲染以显示给一个或多个用户。例如，可以渲染虚拟现实环境，或者可以渲染增强现实环境。用户可以通过任何合适的方式在该虚拟空间和更广阔的虚拟环境内进行观看和交互。所公开的方法的一个目标是在人工现实环境内重投影(reproject)用户的面部表示。在特定实施例中，一个或多个计算系统可以提供一种在人工现实环境内重投影用户的面部表示的方法。首先，该一个或多个计算系统可以接收一幅或多幅采集到的用户面部的一部分的图像。可以由耦接到用户所佩戴的人工现实系统的由内向外的摄像头拍摄这些采集到的图像。该一个或多个计算系统可以访问表示用户面部的三维(three
‑
dimensional，3D)面部模型。该一个或多个计算系统可以识别该一幅或多幅图像中描绘的面部特征。该一个或多个计算系统可以基于所识别的面部特征和预定特征位置，来确定与该一幅或多幅采集到的图像相关联的每个摄像头相对于3D面部模型的摄像头位姿。在确定一个或多个摄像头位姿之后，该一个或多个计算系统可以确定该一幅或多幅采集到的图像与3D面部模型之间的映射关系。为了确定该映射关系，该一个或多个计算系统可以将该一幅或多幅采集到的用户面部的所述部分的图像从所确定的摄像头位姿投影到该3D面部模型上。该一个或多个计算系统可以使得用户的面部表示的输出图像通过如下方式被渲染：使用3D面部模型以及该一幅或多幅采集到的图像与该3D面部模型之间的映射关系。例如，该一个或多个计算系统可以向另一用户的人工现实系统发送指令，以在人工现实环境中渲染该用户的面部表示。
[0004]本专利技术的各实施例可以包括人工现实系统或结合人工现实系统而实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括，虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)、混合现实(hybrid reality)，或它们的某种组合和/或派生物。人工现实内容
可以包括完全生成的内容或与采集到的内容(例如，真实世界的照片)相结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，以上任何一种都可以以单通道或多通道(例如，为观看者带来三维效果的立体视频)呈现。此外，在一些实施例中，人工现实还可以与应用程序、产品、附件、服务或它们的某种组合相关联，这些应用程序、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容，和/或在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主控计算机系统的头戴式显示器(head
‑
mounted display，HMD)、独立HMD、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台。
[0005]根据本公开的一个方面，提供了一种方法，该方法包括：由一个或多个计算系统：接收第一用户的面部的一部分的图像，其中，该图像是由耦接到第一用户所佩戴的人工现实头戴式设备的摄像头采集到的；访问表示第一用户的面部的三维(3D)面部模型；识别在图像中描绘的一个或多个面部特征；基于所识别的在图像中的一个或多个面部特征和3D面部模型上的预定特征位置，确定相对于3D面部模型的摄像头位姿；通过将第一用户的面部的该一部分的图像从该摄像头位姿投影到3D面部模型上，来确定该图像与3D面部模型之间的映射关系；以及使得至少使用3D面部模型以及图像与该3D面部模型之间的映射关系，来渲染第一用户的面部表示的输出图像。
[0006]在一些实施例中，该方法还可以包括：接收与第一用户的面部的第二部分对应的多幅图像，其中，该多幅图像是由耦接到第一用户所佩戴的人工现实头戴式设备的多个摄像头采集到的；使用机器学习模型进行合成，以生成与第一用户的面部的第二部分对应的合成图像；以及通过将第一用户的面部的第二部分的合成图像从预定摄像头位姿投影到3D面部模型上，来确定合成图像与3D面部模型之间的第二映射关系。
[0007]在一些实施例中，3D面部模型可以是表示多个用户的多个面部的预定3D面部模型。
[0008]在一些实施例中，3D面部模型可以通过以下方式来生成：至少基于所识别的在图像中的一个或多个面部特征，来对表示多个用户的多个面部的预定3D面部模型进行变形。
[0009]在一些实施例中，确定摄像头位姿可以包括：将所识别的在图像中描绘的一个或多个面部特征的位置与预定特征位置进行比较。
[0010]在一些实施例中，第一用户的面部表示的输出图像可以具有真实感(photorealistic)。
[0011]在一些实施例中，该方法还可以包括：接收第一用户的面部的第二部分的第二图像，其中，该图像是由耦接到第一用户所佩戴的人工现实头戴式设备的第二摄像头采集到的；识别第二图像中描绘的一个或多个第二面部特征；基于所识别的在第二图像中的一个或多个第二面部特征和3D面部模型上的预定特征位置，确定相对于3D面部模型的第二摄像头位姿；以及通过将第一用户的面部的第二部分的第二图像从第二摄像头位姿投影到3D面部模型上，来确定第二图像与3D面部模型之间的映射关系，其中，输出图像还至少使用3D面部模型以及第二图像与3D面部模型之间的映射关系。
[0012]在一些实施例中，映射关系可以是第一用户的面部的该一部分的纹理图像，并且其中，该纹理图像和与第一用户的面部的其它部分对应的预定纹理混合，以生成第一用户
的面部表示的输出图像。
[0013]在一些实施例中，映射关系可以是第一用户的面部的该一部分的纹理图像，并且其中，渲染第一用户的面部表示包括：对与第一用户的面部表示对应的预定纹理上的第一点进行采样，以识别与该第一点相关联的第一颜色；对该纹理图像上与预定纹理上的第一点对应的第二点进行采样，以识别与该第二点相关联的第二颜色；以及将第一点的第一颜色与第二点的第二颜色混合，以生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：由一个或多个计算系统：接收第一用户的面部的一部分的图像，其中，所述图像是由耦接到所述第一用户所佩戴的人工现实头戴式设备的摄像头采集到的；访问表示所述第一用户的所述面部的三维(3D)面部模型；识别所述图像中描绘的一个或多个面部特征；基于所识别的在所述图像中的所述一个或多个面部特征和所述3D面部模型上的预定特征位置，确定相对于所述3D面部模型的摄像头位姿；通过将所述第一用户的所述面部的所述一部分的所述图像从所述摄像头位姿投影到所述3D面部模型上，来确定所述图像与所述3D面部模型之间的映射关系；以及使得至少使用所述3D面部模型以及所述图像与所述3D面部模型之间的所述映射关系，来渲染所述第一用户的面部表示的输出图像。2.根据权利要求1所述的方法，还包括：接收与所述第一用户的所述面部的第二部分对应的多个图像，其中，所述多个图像是由耦接到所述第一用户所佩戴的所述人工现实头戴式设备的多个摄像头采集到的；使用机器学习模型进行合成，以生成与所述第一用户的所述面部的所述第二部分对应的合成图像；以及通过将所述第一用户的所述面部的所述第二部分的所述合成图像从预定摄像头位姿投影到所述3D面部模型上，来确定所述合成图像与所述3D面部模型之间的第二映射关系。3.根据权利要求1或2所述的方法，其中，所述3D面部模型是表示多个用户的多个面部的预定3D面部模型。4.根据权利要求1、2或3所述的方法，其中，所述3D面部模型通过以下方式生成：至少基于所识别的在所述图像中的所述一个或多个面部特征，来对表示多个用户的多个面部的预定3D面部模型进行变形。5.根据权利要求1至4中任一项所述的方法，其中，确定所述摄像头位姿包括：将所识别的在所述图像中描绘的所述一个或多个面部特征的位置与所述预定特征位置进行比较。6.根据前述权利要求中任一项所述的方法，其中，所述第一用户的所述面部表示的所述输出图像具有真实感。7.根据前述权利要求中任一项所述的方法，还包括：接收所述第一用户的所述面部的第二部分的第二图像，其中，所述图像是由耦接到所述第一用户所佩戴的所述人工现实头戴式设备的第二摄像头采集到的；识别所述第二图像中描绘的一个或多个第二面部特征；基于所识别的在所述第二图像中的所述一个或多个第二面部特征和所述3D面部模型上的所述预定特征位置，确定相对于所述3D面部模型的第二摄像头位姿；以及通过将所述第一用户的所述面部的所述第二部分的第二图像从所述第二摄像头位姿投影到所述3D面部模型上，来确定所述第二图像与所述3D面部模型之间的映射关系，其中，所述输出图像还至少使用所述3D面部模型以及所述第二图像与所述3D面部模型之间的映射关系。8.根据前述权利要求中任一项所述的方法，其中，所述映射关系是所述第一用户的所述面部的所述一部分的纹理图像，并且其中：
i.所述纹理图像和与所述第一用户的所述面部的其它部分对应的预定纹理混合，以生成所述第一用户的所述面部表示的所述输出图像；和/或ii.所述渲染所述第一用户的所述面部表示，包括：对与所述第一用户的所述面部表示对应的预定纹理上的第一点进行采样，以识别与所述第一点相关联的第一颜色；对所述纹理图像上与所述预定纹理上的所述第一点对应的第二点进行采样，以识别与所述第二点相关联的第二颜色；以及将所述第一点的所述第一颜色与所述第二点的所述第二颜色混合，以生成与对应于所述第一点和所述第二点的位置相关联的最终颜色。9.根据前述权利要求中任一项所述的方法，其中，使得所述第一用户的所述面部表示的所述输出图像被渲染包括：将所述3D面部模型以及所述图像与所述3D面部模型之间的所述映射关系发送给与第二用户相关联的计算系统；以及基于所述第二用户相对于所述第一用户的视点来渲染所述输出图像。10.一种或多种计算机可读非暂态存储介质，所述一种或多种计算机可读非暂态存储介质包含软件，所述软件...

【专利技术属性】
技术研发人员：埃利夫，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：