图像扩展神经网络制造技术

用于生成真实的图像扩展的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，一种方法包括向具有多个生成式神经网络参数的生成式神经网络提供包括提供的图像的输入。生成式神经网络根据多个生成式神经网络参数的经训练的值处理输入以生成扩展图像。扩展图像具有(i)比提供的图像更多的行、更多的列或更多的行和更多的列，并且(ii)被预测为是提供的图像的真实扩展。生成式神经网络使用对抗损失目标函数进行训练。神经网络使用对抗损失目标函数进行训练。神经网络使用对抗损失目标函数进行训练。

【技术实现步骤摘要】
【国外来华专利技术】图像扩展神经网络

技术介绍

[0001]本说明书涉及使用机器学习模型处理图像。
[0002]机器学习模型接收输入并基于接收的输入生成输出，例如预测输出。一些机器学习模型是参数模型，并基于接收的输入和模型参数的值生成输出。
[0003]一些机器学习模型是采用多层模型来针对接收的输入生成输出的深度模型。例如，深度神经网络是深度机器学习模型，其包括输出层和一个或多个隐藏层，每个隐藏层对接收的输入应用变换以生成输出。

技术实现思路

[0004]本说明书描述了一种执行图像扩展的被实现为在一个或多个位置的一个或多个计算机上的计算机程序的系统。
[0005]根据第一方面，提供了一种由一个或多个数据处理装置执行的方法，该方法包括：向具有多个生成式神经网络参数的生成式神经网络提供包括提供的图像的输入，其中：生成式神经网络根据多个生成式神经网络参数的经训练的值对输入进行处理，以生成扩展图像；该扩展图像具有(i)比提供的图像更多的行、更多的列或更多的行和更多的列，并且(ii)被预测为是提供的图像的真实扩展；并且生成式神经网络已经使用对抗损失目标函数进行了训练。
[0006]以此方式，附加行和/或列提供超出提供的图像的一个或多个原始边界的扩展并提供对提供的图像的预测的真实扩展，诸如，例如保留提供的图像的高级语义特性及低级结构和纹理。
[0007]该方法可以包括接收对要在块中呈现的图像的请求；确定提供的图像响应于该请求；和在生成扩展图像之后，响应于请求提供扩展图像。
[0008]该方法可以包括基于块的大小不同于提供的图像的大小来确定提供的图像有资格用于图像扩展，并且作为响应，将包括提供的图像的输入提供给生成式神经网络。
[0009]该块的大小可以指定块的纵横比。
[0010]该请求可以指定要与块中的图像一起呈现的附加元素，并且响应于该请求提供扩展图像，可以包括将附加元素覆盖在扩展图像的扩展部分上。
[0011]该块可以呈现在搜索结果旁边或在第三方网页上。
[0012]生成式神经网络可以包括多个卷积神经网络层。
[0013]生成式神经网络可以包括多个跳跃连接。
[0014]生成式神经网络可以包括多个实例归一化层。
[0015]生成式神经网络的输入可以包括：具有与扩展图像相同数量的行和列的基线图像，其中，该基线图像包括：(i)与提供的图像对应的第一部分，和(ii)具有默认像素值的第二部分；以及具有与扩展图像相同数量的行和列的掩模图像，其中，该掩模图像识别基线图像的第一部分和第二部分。
[0016]与基线图像的第一部分对应的掩模图像中的像素可以各自具有第一像素值，并且
与基线图像的第二部分对应的掩模图像中的像素可以各自具有与第一像素值不同的第二像素值。
[0017]生成式神经网络可以与具有多个判别式神经网络参数的判别式神经网络联合训练，该判别式神经网络被配置为处理给定图像以生成表征给定图像是使用生成式神经网络生成的可能性的判别输出。
[0018]使用对抗损失目标函数训练生成式神经网络可以包括：使用生成式神经网络并根据生成式神经网络参数的当前值处理包括训练图像的训练输入以生成使训练图像扩展的训练扩展图像；基于训练扩展图像生成判别式神经网络输入；使用判别式神经网络并根据判别式神经网络参数的当前值处理判别式神经网络输入以生成表征判别式神经网络输入是使用生成式神经网络生成的可能性的判别输出；和基于对抗损失目标函数调整生成式神经网络参数的当前值，其中，对抗损失目标函数取决于表征判别神经网络输入是使用生成式神经网络生成的可能性的判别输出。
[0019]基于训练扩展图像生成判别式神经网络输入可以包括用训练图像盖写与训练图像对应训练扩展图像的一部分。
[0020]该方法可以包括基于表征训练扩展图像与目标图像的相似性的重建损失目标函数调整生成式神经网络参数的当前值，其中，训练图像是目标图像的裁剪表示。
[0021]可以根据目标图像的语义特征表示来调节判别式神经网络，其中，训练图像是目标图像的裁剪表示。
[0022]通过处理目标图像，使用分类神经网络的中间输出来确定目标图像的语义特征表示。
[0023]判别输出可以基于：(i)判别式神经网络的最后一层的输出，和(ii)判别式神经网络的中间输出与目标图像的语义特征表示之间的相似性度量。
[0024]根据另一方面，提供了一种系统，该系统包括一个或多个计算机和一个或多个存储设备，该存储设备存储指令，该指令在由一个或多个计算机执行时使一个或多个计算机执行第一方面的相应方法的操作。
[0025]根据另一方面，提供了存储指令的一个或多个计算机存储介质，该指令在由一个或多个计算机执行时使一个或多个计算机执行第一方面的相应方法的操作。
[0026]一个方面的可选特征可以在适当的情况下与另一方面组合。可以实现本说明书中描述的主题的特定实施例以实现以下优点中的一个或多个。
[0027]本说明书中描述的图像扩展系统可以使用生成式神经网络生成扩展图像(例如，将输入图像扩展到其原始边界之外的扩展图像)。生成式神经网络与“判别式”神经网络联合训练，该“判别式”神经网络被配置为处理输入图像以生成限定对于以下的预测的输出：输入图像是(i)“真实”图像还是(ii)由生成式神经网络生成的扩展图像。为了促进生成式神经网络和判别式神经网络的联合训练，系统可以根据与由判别式神经网络处理的输入图像对应的语义特征来调节判别式神经网络。以这种方式调节判别式神经网络可以通过较少的训练迭代使系统能够被训练以达到可接受的性能水平，从而使系统在训练期间消耗比一些常规系统更少的计算资源(例如，存储器和计算能力)。
[0028]一些常规的补全(in
‑
painting)系统通过原始图像数据“填充”图像在所有方向上被包围的一部分。相比之下，本说明书中描述的图像扩展系统将图像扩展到其原始边界之
外以生成扩展图像，该扩展图像扩展了图像的高级语义特性及低级图像结构和纹理。在某些情况下，直接应用常规的补全系统来执行图像扩展任务会导致扩展图像质量低于由本说明书中描述的图像扩展系统生成的扩展图像的质量。例如，常规的补全系统可能会生成具有模糊或重复像素和不一致语义的扩展图像，而由当前描述的图像扩展系统创建的扩展图像将不会具有相同的模糊、重复像素或不一致的语义特性。
[0029]本说明书中描述的图像扩展系统生成可用于多种应用(例如虚拟现实应用、计算摄影应用和数字组件分发应用)中的任何应用的扩展图像。在数字组件分发应用中，数字组件分发系统发送数字组件以在块中呈现，例如，在搜索结果旁边或在第三方网页上。在某些情况下，包括在数字组件中的图像可能具有阻止图像填充定义块的大小，例如，因为图像和块的纵横比不同。在这种情况下，可以使用本说明书中描述的图像扩展系统来调整图像大小，以使图像能够填充块，从而能够更高效地利用资源(特别是更有效地利用块中可用的空间)并防止用户界面中出现空白斑和/或失真的图像。换句话本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个数据处理装置执行的方法，所述方法包括：向具有多个生成式神经网络参数的生成式神经网络提供包括提供的图像的输入，其中：所述生成式神经网络根据所述多个生成式神经网络参数的经训练的值对所述输入进行处理以生成扩展图像；所述扩展图像具有(i)比所述提供的图像更多的行、更多的列或更多的行和更多的列，并且(ii)被预测为是所述提供的图像的真实扩展；并且所述生成式神经网络已经使用对抗损失目标函数进行了训练。2.根据权利要求1所述的方法，还包括：接收对要在块中呈现的图像的请求；确定所述提供的图像响应于所述请求；和在生成所述扩展图像之后，响应于所述请求提供所述扩展图像。3.根据权利要求2所述的方法，还包括：基于所述块的大小与所述提供的图像的大小不同来确定所述提供的图像有资格用于图像扩展，并且作为响应，将包括所述提供的图像的所述输入提供给所述生成式神经网络。4.根据权利要求3所述的方法，其中，所述块的大小指定所述块的纵横比。5.根据权利要求2
‑
4中任一项所述的方法，其中：所述请求指定在所述块中要与所述图像一起呈现的附加元素；并且响应于所述请求提供所述扩展图像包括将所述附加元素覆盖在所述扩展图像的扩展部分上。6.根据权利要求2
‑
5中任一项所述的方法，其中，所述块要在搜索结果旁边或在第三方网页上呈现。7.根据任一前述权利要求所述的方法，其中，所述生成式神经网络包括多个卷积神经网络层。8.根据任一前述权利要求所述的方法，其中，所述生成式神经网络包括多个跳跃连接。9.根据任一前述权利要求所述的方法，其中，所述生成式神经网络包括多个实例归一化层。10.根据任一前述权利要求所述的方法，其中，所述生成式神经网络的所述输入包括：具有与所述扩展图像相同的行数和列数的基线图像，其中，所述基线图像包括：(i)与所述提供的图像对应的第一部分，和(ii)具有默认像素值的第二部分；和具有与所述扩展图像相同的行数和列数的掩模图像，其中，所述掩模图像识别所述基线图像的所述第一部分和所述第二部分。11.根据权利要求10所述的方法，其中：(i)所述掩模图像中的与所述基线图像的第一部分对应的像素均具有第一像素值，并且(ii)所述掩模图像中的与所述基线图像的第二部分对应的像素均具有不同于所述第一像素值的第二像素值。12.根据任一前述权利要求所述的方法，其中，所述生成式神经网络与具有多个判别式神经网络参数的判别式...

【专利技术属性】
技术研发人员：MP邦内维，A马奇诺特，A萨纳，S毕，J王，MS克莱宁，W童，D克里什南，H龚，刘策，H塔莱比，R萨伊格，P泰特瓦克，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：