用于合成具有与真实图像结合的伪毛发的图像的跨域神经网络制造技术

消息收发系统对由消息收发系统的用户提供的图像执行神经网络毛发渲染。一种神经网络毛发渲染方法，包括：处理伪毛发的三维(3D)模型和描绘第一人的第一真实毛发图像以生成伪毛发结构；以及使用伪毛发编码器神经子网络来编码伪毛发结构以生成编码的伪毛发结构。该方法还包括使用跨域结构嵌入神经子网络来处理编码的伪毛发结构以生成真伪毛发结构，以及使用外观编码器神经子网络来编码描绘具有第二头部的第二人的第二真实毛发图像以生成外观图。该方法还包括使用真实外观渲染器神经子网络来处理外观图和真伪毛发结构以生成合成真实图像。实图像。实图像。

【技术实现步骤摘要】
【国外来华专利技术】用于合成具有与真实图像结合的伪毛发的图像的跨域神经网络
[0001]优先权要求
[0002]本申请要求2020年8月22日提交的序列号为62/706,522的美国临时申请的优先权的权益，其全部内容通过引用并入本文中。


[0003]本公开内容的示例一般涉及消息收发系统内的神经毛发渲染。更具体地但非限制性地，本公开内容的示例涉及使用神经网络将毛发从三维(3D)模型渲染到人的图像上。

技术介绍

[0004]由于表面着色(surface shading)、光散射、半透明遮挡和软阴影以及由于许多束毛发，渲染人的毛发是复杂的。传统的计算机图形方法实现起来非常复杂并且计算要求高，这可能使得应用开发起来过于昂贵，并且可能使得应用对移动设备的计算要求过于高。
附图说明
[0005]在附图中，相似的附图标记可以在不同的视图中描述类似的部件，附图不一定按比例绘制。为了容易地标识对任何特定要素或动作的讨论，附图标记中的一个或多个最高有效数字是指该要素在其中首次被介绍的图号。在附图中以示例而非限制的方式示出了一些示例，在附图中：
[0006]图1是根据一些示例的其中可以部署本公开内容的联网环境的图解表示。
[0007]图2是根据一些示例的具有客户端侧功能和服务器侧功能二者的消息收发系统的图解表示。
[0008]图3是根据一些示例的在数据库中维护的数据结构的图解表示。
[0009]图4是根据一些示例的消息的图解表示。
[0010]图5是根据一些示例的访问限制过程的流程图。<br/>[0011]图6示出了根据一些示例的用于训练毛发渲染神经网络的系统。
[0012]图7示出了根据一些示例的用于神经毛发渲染的系统。
[0013]图8示出了根据一些示例的训练和制作。
[0014]图9示出了根据一些示例的训练数据。
[0015]图10A、图10B和图10C示出了使用神经毛发渲染系统来生成合成图像的结果。
[0016]图11示出了根据一些示例的示出合成图像的示例应用。
[0017]图12示出了使用神经毛发渲染系统的结果与其他方法和消融的视觉比较。
[0018]图13示出了根据一些示例的时间调节结果。
[0019]图14示出了根据一些示例的用于神经毛发渲染的方法。
[0020]图15示出了根据一些示例的用于训练用于神经毛发渲染的神经网络的方法。
[0021]图16是根据一些示例的呈计算机系统形式的机器的图解表示，在该机器内可以执
行指令集合以使该机器执行本文所讨论的方法中任何一种或更多种。
[0022]图17是示出其中可以实现示例的软件架构的框图。
[0023]图18是根据一些示例的处理环境的图解表示。
具体实施方式
[0024]以下描述包括体现本公开内容的说明性示例的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节以提供对本专利技术主题的各种示例的理解。然而，对于本领域技术人员而言将明显的是，可以在没有这些具体细节的情况下实践本专利技术主题的示例。一般地，公知的指令实例、协议、结构和技术不一定详细地被示出。
[0025]公开了包括毛发渲染的消息收发系统。毛发渲染系统获取用诸如10个到50个多边形条带的简单数据结构表示的毛发的3D模型，并且将其渲染到描绘第一人的第一图像上，其中从描绘第二人的第二图像获取毛发的材料特征。第一图像和第二图像可以相同或不同。将毛发的3D模型渲染到对于第一个人的描绘上比其他方法更高效且更现实，并且使毛发渲染系统能够在移动装置上渲染图像。另外，根据一些示例，毛发渲染系统支持实时渲染一系列图像以支持视频。
[0026]用于毛发渲染的神经网络被分成对毛发的3D模型的数据结构进行操作的伪域和对第一图像和第二图像进行操作的真实域。3D毛发模型的粗略几何形状与图像中所描绘的真实毛发之间的显著差异使得难以设计用于二者的共同数据结构。技术问题是如何以无监督的方式训练神经网络，其中使用两种不同的数据结构，例如伪域中的毛发的3D模型以及用于表示真实域中的毛发的材料特征的更复杂的数据结构。用于渲染毛发的神经网络通过使用伪域和真实域二者所使用的共享潜在空间来解决该技术问题。伪域和真实域具有编码到共享的潜在空间中的单独的域结构。另外，在训练中，伪域和真实域在共享潜在空间之前共享若干神经网络层。此外，在训练中，结构鉴别器用于确保来自伪域和真实域的编码结构特征在共享潜在空间内匹配。并且在伪域和真实域中都使用监督重建，以确保在共享潜在空间中保持必要的结构。
[0027]此外，毛发的3D模型可以是一般的低质量3D毛发模型，其中诸如用稀疏多边形条带网格表示毛发束的各向同性结构。该类型的3D模型在互联网上被广泛使用，例如在诸如游戏的交互式应用中被广泛使用。由于材料特征或外观特征的组合取自真实毛发的图像并且通过神经网络与毛发的3D模型组合，所渲染的毛发看起来是真实的。
[0028]监督重建解决了当成对的图像不可用于监督学习时如何训练神经网络的技术问题。仅利用描绘人的一个图像来执行监督重建。获得具有人的第一图像和然后具有同一人的其中毛发的3D模型逼真地渲染在该人上的第二图像的成对图像是困难的或昂贵的。监督重建学习通过训练伪域以能够精确地重新创建第一图像上的毛发的3D模型的渲染图像并且通过训练真实域以能够精确地重新创建人的真实图像来解决该问题。通过使用该监督重建训练，不需要通常被称为基准真相的成对图像。
[0029]此外，该神经网络系统提供了用于解决消除毛发渲染的视频中的闪变的技术问题的手段。通过将先前图像馈送到神经网络的真实域中并且训练神经网络以使用先前图像来帮助渲染当前图像，解决了技术问题。毛发的3D模型用于确定从先前图像到当前图像的取
向变化。该技术解决方案提供了所渲染的毛发的时间上平滑的动画，其中减少或消除了闪变。神经网络提供开启和关闭闪变校正的能力。
[0030]该神经网络系统提供供用户设备的用户选择毛发的3D模型和用于提供毛发的材料特征的第二图像的接口。然后，用户设备在第一图像(例如用户的活动图像)上渲染使用材料特征的毛发的3D模型。然后，所得到的渲染图像是第二图像与在第一图像上渲染的毛发的3D模型的混合，其中毛发的材料特征来自第二图像。
[0031]用户可以从要渲染毛发的3D模型的同一图像中选择用于渲染毛发的材料特征，使得界面为用户提供了查看用户在不同的毛发的3D模型中看起来如何的便利方式。
[0032]以第一配置训练神经网络，然后使用第二配置重新配置神经网络以用于制作用途。训练配置使得能够使用监督重建进行训练，并且因此是在没有基准真相(ground truth)的情况下训练神经网络的技术方案的一部分。
[0033]联网计算环境
[0034]图1是示出用于通过网络来交换数据(例如消息和相关联的内容)的示例消息收发系统100的框图。消息收发系统100包括客户端设备102的多个实本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：使用设备的至少一个处理器处理伪毛发的三维(3D)模型和描绘具有第一头部的第一人的第一真实毛发图像以生成伪毛发结构，所述伪毛发结构包括根据所述第一人的第一头部的取向而定向的所述伪毛发的3D模型；使用伪毛发编码器神经子网络对所述伪毛发结构进行编码以生成编码的伪毛发结构；使用跨域结构嵌入神经子网络来处理所述编码的伪毛发结构以生成真伪毛发结构；使用外观编码器神经子网络对描绘具有第二头部的第二人的第二真实毛发图像进行编码以生成外观图；以及使用真实外观渲染器神经子网络来处理所述外观图和所述真伪毛发结构以生成合成真实图像。2.根据权利要求1所述的方法，还包括：基于来自两个先前的合成真实图像的所述伪毛发的3D模型的扭曲来确定毛发运动流；并且其中，使用所述真实外观渲染器神经子网络进行的处理还包括：使用所述真实外观渲染器神经子网络来处理所述外观图、所述真伪毛发结构、以及所述毛发运动流以生成所述合成真实图像。3.根据权利要求1所述的方法，其中，使用所述外观编码器神经子网络进行的编码还包括：使用所述外观编码器神经子网络对描绘具有所述第二头部的所述第二人的第二真实毛发图像进行编码以生成特征图；以及基于所述特征图的位置在所述合成真实图像的毛发的外部，将所述位置的值设置为0，以生成所述外观图。4.根据权利要求1所述的方法，还包括：使得在所述设备的屏幕上显示所述合成真实图像。5.根据权利要求4所述的方法，还包括：使得在所述设备的屏幕上显示所述伪毛发的3D模型；以及接收对所述伪毛发的3D模型的选择。6.根据权利要求1至4中任一项所述的方法，其中，所述伪毛发编码器神经子网络、所述跨域结构嵌入神经子网络、所述外观编码器神经子网络和所述真实外观渲染器神经子网络是多层神经网络。7.根据权利要求1至4中任一项所述的方法，其中，在没有合成的真实图像的情况下，基于多个第一真实毛发图像和多个伪毛发的3D模型来训练所述伪毛发编码器神经子网络、所述跨域结构嵌入神经子网络、所述外观编码器神经子网络、以及所述真实外观渲染器神经子网络。8.根据权利要求1至4中任一项所述的方法，其中，所述第一真实毛发图像和所述第二真实毛发图像是相同的图像。9.一种系统，包括：一个或更多个计算机处理器；以及一个或更多个计算机可读介质，其存储指令，所述指令在由所述一个或更多个计算机处理器执行时使所述系统执行包括以下的操作：
处理伪毛发的三维(3D)模型和描绘具有第一头部的第一人的第一真实毛发图像以生成伪毛发结构，所述伪毛发结构包括根据所述第一人的第一头部的取向而定向的所述伪毛发的3D模型；使用伪毛发编码器神经子网络对所述伪毛发结构进行编码以生成编码的伪毛发结构；使用跨域结构嵌入神经子网络来处理所述编码的伪毛发结构以生成真伪毛发结构；使用外观编码器神经子网络对描绘具有第二头部的第二人的第二真实毛发图像进行编码以生成外观图；以及使用真实外观渲染器神经子网络来处理所述外观图和所述真伪毛发结构以生成合成真实图像。10.根据权利要求9所述的系统，其中，所述指令还使所述系统执行包括以下的操作：基于来自两个先前的合成真实图像的所述伪毛发的3D模型的扭曲来确定毛发运动流；并且其中，使用所述真实外观渲染器神经子网络进行的处理还包括：使用所述真实外观渲染器神经子网络来处理所述外观图、所述真伪毛发结构、以及所述毛发运动流以生成所述合成真实图像。11.根据权利要求9或10所述的系统，其中，使用所述外观编码器神经子网络进行的编码还包括：使用所述外观编码器神经子网络对描绘具有所述第二头部的所述第二人的第二真实毛发图像进行编码以生成特征图；以及基于所述特征图的位置在所述合成真实图像的毛发的外部将所述位置的值设置为0，以生成所述外观图。12.根据权利要求9或10所述的系统，其中，所述指令还使所述系统执行包括以下的操作：使得在所述系统的屏幕上显示所述合成真实图...

【专利技术属性】
技术研发人员：阿尔乔姆，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：