【技术实现步骤摘要】
【国外来华专利技术】使用神经网络的照亮估计
[0001]相关申请的交叉引用
[0002]本申请要求于2020年12月31日提交的序列号为63/133,191的美国临时申请和于2021年10月20日提交的序列号为17/506,248的美国专利申请的优先权的权益，上述美国临时申请和美国专利申请中的每个申请通过引用整体地并入本文中。
[0003]本公开内容的示例总体涉及处理图像以估计消息收发系统内的图像的照明属性。更具体地，但不作为限制，本公开内容的示例涉及使用神经网络来估计图像的照明属性，并且在一些示例中，涉及使用照明属性的估计来改变图像的修改的照明属性。
技术介绍
[0004]处理图像以估计照明属性是复杂的，因为可能存在具有不同颜色属性和方向的多个照明源。传统计算机图形方法实现起来非常复杂，并且计算要求高，这可能使应用太昂贵而无法开发，并且这可能使应用对于移动设备的计算要求过高。
附图说明
[0005]在不必按比例绘制的附图中，相似的附图标记可以在不同的视图中描述类似的部件。为了容易地标识对任何特定元素或动作的讨论，附图标记中的一个或多个最高有效数字是指该元素首次被引入时的图号。在附图的图中以示例而非限制的方式示出了一些示例，在附图中：
[0006]图1是根据一些示例的其中可以部署本公开内容的联网环境的图解表示。
[0007]图2是根据一些示例的具有客户端侧功能和服务器侧功能两者的消息收发系统的图解表示。
[0008]图3是根据一些示例的如在数据库中维护的数据结构的图解表示。>[0009]图4是根据一些示例的消息的图解表示。
[0010]图5是根据一些示例的访问限制处理的流程图。
[0011]图6示出根据一些示例的用于照亮估计系统的系统。
[0012]图7示出根据一些示例的用于生成真值(ground truth)的真值模块的操作。
[0013]图8示出根据一些示例的真值的示例。
[0014]图9示出根据一些示例的用于训练卷积神经网络(CNN)的生成式对抗网络(GAN)。
[0015]图10示出根据一些示例的用于照亮估计的系统。
[0016]图11示出根据一些示例的照亮估计用户界面模块。
[0017]图12示出根据一些示例的照亮估计用户界面模块的操作。
[0018]图13示出根据一些示例的用于照亮估计的方法。
[0019]图14是根据一些示例的计算机系统形式的机器的图解表示，在该计算机系统内可以执行一组指令以使该机器执行本文所讨论的方法中的任何一个或更多个方法。
[0020]图15是示出其中可以实现示例的软件架构的框图。
[0021]图16是根据一些示例的处理环境的图解表示。
具体实施方式
[0022]以下描述包括体现本公开内容的说明性示例的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节以提供对本专利技术主题的各种示例的理解。然而，对本领域技术人员而言将明显的是，可以在没有这些具体细节的情况下实践本专利技术主题的示例。通常，不一定详细示出公知的指令实例、协议、结构和技术。
[0023]通常在消息收发系统内修改图像。例如，在用户在其移动设备上捕获图像之后，可以向图像添加增强。例如，可以将心形添加到图像中的人的面部。但是，添加的增强可能具有与图像的照明不同的照明，这可能使添加的增强看起来不自然或不合时宜。一个技术问题是如何改变图像的增强或修改的照明属性以匹配图像的照明属性。示例性示例提供了包括神经网络以用于估计原始图像的照明属性并使用该估计来改变图像的增强或修改的照明属性的系统。基于原始图像的照明属性的估计来改变增强的照明属性使得增强在图像内看起来更自然。增强的更自然的外观可以鼓励对在消息收发系统内捕获的图像进行修改或增强的使用。
[0024]另一技术问题是如何生成足够多数量的图像以用于训练神经网络。通过捕获实际图像来生成真值所需的输入图像和输出图像对的数量极其昂贵。在一些示例中，通过使用对象的三维(3D)模型来解决该技术问题。使用3D模型、照明条件和颜色条件生成真值输入图像。使用相同的3D模型、相同的照明条件和白色条件生成对应的真值输出图像。白色条件有助于修改增强的照明属性。这些真值输入图像和真值输出图像可以用于训练神经网络来处理图像以及估计图像的照明属性。
[0025]在一些示例中，使用了人的头部的3D模型库，这使得能够针对在许多不同位置的许多不同的人的头部利用许多不同的照明属性来训练神经网络。在一些示例中，生成式对抗网络(GAN)被用于训练卷积神经网络来处理图像以估计图像的照明属性。
[0026]联网计算环境
[0027]图1是示出用于通过网络交换数据(例如，消息和相关联的内容)的示例消息收发系统100的框图。消息收发系统100包括客户端设备102的多个实例，实例中的每个实例托管包括消息收发客户端104的多个应用。每个消息收发客户端104经由网络106(例如，因特网)通信地耦接至消息收发客户端104和消息收发服务器系统108的其他实例。
[0028]消息收发客户端104能够经由网络106与另外的消息收发客户端104、与消息收发服务器系统108进行通信并且交换数据。在消息收发客户端104之间以及消息收发客户端104与消息收发服务器系统108之间交换的数据包括功能(例如，激活功能的命令)以及净荷数据(例如，文本、音频、视频或其他多媒体数据)。
[0029]消息收发服务器系统108经由网络106向特定消息收发客户端104提供服务器侧功能。虽然消息收发系统100的某些功能在本文中被描述为由消息收发客户端104或由消息收发服务器系统108执行，但是某些功能在消息收发客户端104内或消息收发服务器系统108内的位置可以是设计选择。例如，在技术上可能优选的是，最初将某些技术和功能部署在消
息收发服务器系统108内，但是后面将该技术和功能迁移至客户端设备102具有足够处理能力的消息收发客户端104。
[0030]消息收发服务器系统108支持向消息收发客户端104提供的各种服务和操作。这样的操作包括向消息收发客户端104发送数据、从消息收发客户端104接收数据以及对由消息收发客户端104生成的数据进行处理。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体增强和叠加、消息内容持续条件、社交网络信息和实况事件信息。通过经由消息收发客户端104的用户界面(UI)可用的功能来激活和控制消息收发系统100内的数据交换。
[0031]现在具体地转至消息收发服务器系统108，应用程序接口(API)服务器110耦接至应用服务器112并且向应用服务器112提供编程接口。应用服务器112通信地耦接至数据库服务器118，数据库服务器118有助于对数据库120进行访问，数据库120存储与通过应用服务器112处理的消息相关联的数据。类似地，web服务器124耦接至应用服务器112并且向应用服务器1本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收具有第一照明属性的输入图像；使用卷积神经网络处理所述输入图像以生成所述第一照明属性的估计；利用增强来修改所述输入图像以生成经修改的输入图像，所述增强具有第二照明属性；以及将所述经修改的输入图像中的所述增强的第二照明属性改变为所述第一照明属性的估计。2.根据权利要求1所述的方法，其中，所述第一照明属性和所述第二照明属性各自包括针对多个像素中的每个像素的色调值、饱和度值和亮度值。3.根据权利要求1所述的方法，其中，所述卷积神经网络是生成式对抗网络。4.根据权利要求1所述的方法，其中，在处理所述输入图像之前，所述方法还包括：使调整照明选项显示在屏幕上；并且其中，响应于接收到对所述调整照明选项的选择，执行对所述输入图像的处理。5.根据权利要求1所述的方法，其中，所述第一照明属性的估计包括与所述经修改的输入图像相同大小的图像。6.根据权利要求4所述的方法，还包括：识别所述经修改的输入图像的包括所述增强的第一区域；并且其中，改变还包括：在第二区域内将所述经修改的输入图像中的所述增强的第二照明属性改变为所述第一照明属性的估计，其中，所述第二区域对应于与所述第一区域相同的位置。7.根据权利要求1至5中任一项所述的方法，其中，所述第一照明属性的估计包括与所述输入图像相对应的下述图像：在该图像中，所述输入图像内的对象的颜色被改变为白色。8.根据权利要求1至5中任一项所述的方法，还包括：根据三维(3D)模型、照明属性和第一颜色条件生成多个真值输入；根据所述3D模型、所述照明属性和第二颜色条件生成多个真值输出；以及使用所述多个真值输入和所述多个真值输出来训练所述卷积神经网络。9.根据权利要求8所述的方法，其中，所述第二颜色条件将所述3D模型改变为白色。10.根据权利要求1所述的方法，其中，基于所述第一照明属性的估计的对应像素的亮度来改变所述经修改的输入图像中的所述增强的像素。11.根据权利要求1至5中任一项所述的方法，其中，基于所述第一照明属性的估计的对应像素的像素值来改变所述经修改的输入图像中的所述增强的像素值。...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。