用于生成对象的结构化表示的图形神经网络系统技术方案

描述了一种用于生成图形的神经网络系统，该图形包括一组节点和边。该系统包括一个或多个神经网络，其被配置为表示节点生成决策和/或边生成决策的序列上的概率分布，以及一个或多个计算机，其被配置为对由一个或多个神经网络表示的概率分布进行采样以生成图形。

【技术实现步骤摘要】
【国外来华专利技术】用于生成对象的结构化表示的图形神经网络系统相关申请的交叉引用本申请要求于2017年10月27日提交的第62/578,301号美国临时申请的优先权，该申请的全部内容通过引用整体结合于本文。
技术介绍
本说明书涉及使用对象和实体(尤其是物理实体)的图形神经网络结构化表示的生成神经网络(generativeneuralnetwork)系统。神经网络是机器学习模型，其采用一个或多个层的线性单元来预测接收到的输入的输出。一些神经网络除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每个层根据相应的一组参数的当前值从接收的输入生成输出。一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以使用来自先前时间步长的网络的一些或全部内部状态来计算当前时间步长的输出。递归神经网络的示例是包括一个或多个LSTM(longshortterm，长短期)记忆块的长短期(LSTM)神经网络。每个LSTM记忆块可以包括一个或多个单元，每个单元包括的输入门、遗忘门和输出门，其允许该单元存储该单元的先前状态，例如，用于生成当前激活或提供给LSTM神经网络的其他组件。一些神经网络表示包括由边连接的节点的图形结构；这些图形可以是多重图形(multigraphs)，其中节点可以由多个双向边连接。节点和边可以具有相关联的节点特征和边特征；这些可以使用节点函数和边函数来更新，其可以通过神经网络来实现。
技术实现思路
>本说明书描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的神经网络系统，该神经网络系统实现可以用于生成新图形的图形生成模型。图形结构可以用来表示许多不同类型的物理系统和实体。能够生成具有指定属性的任意图形的系统提供了能够解决涉及真实世界物理实体的许多技术问题的通用系统。例如，图形可以表示药物分子，并且该系统可以用于生成新的潜在可行的药物；图形可以表示计算机网络，并且该系统可以用于生成具有一定延迟、带宽和服务质量要求的计算机网络设计；图形可以表示运输网络，并且该系统可以用于生成高效的运输网络；图形可以表示计算机芯片(其中节点表示芯片组件或结构，并且边表示这些组件或结构之间的连接)，并且该系统可以用于生成具有较低延迟或较低功耗的芯片设计。在其他示例中，图形可以表示仓库布局，并且可以用于控制仓库中的机器人系统；图形可以表示制造的物品，并且可以用于控制机器人系统以组装、拆卸或修理该物品；图形可以表示物理位置，并且可以由诸如自主驾驶车辆的自动代理使用来导航。应当理解，对于生成的图形结构，存在许多其他技术应用。通常，图形包括一组节点和连接两个节点的一组边。然而，对于图形来说，仅有没有边的未连接的节点是可能的，或者在特殊情况下，对于图形来说，可能没有节点也没有边。图形的节点可以用于表示物理系统中的特定实体，并且可以具有基于实体类型的类型。例如，节点可以表示分子的特定原子，该原子是特定类型的化学元素。特征向量可以与节点相关联。特征向量可以表示节点的类型和由节点表示的实体的其他属性。图形的边可以用来表示由边连接的两个节点之间的关系。例如，边可以表示两个原子之间的化学键，或者可以表示网络的两个节点之间的通信链路。边也可以具有关联的类型，例如，如果通信链路是有线或无线链路。特征向量可以与边相关联。特征向量可以表示边的类型和与边相关联的其他属性。边可以是有向的或无向的。可以使用一对具有相反方向的有向边来表示无向边。根据一方面，描述了一种用于生成图形的神经网络系统，该图形包括一组节点和边，该系统包括：一个或多个神经网络，被配置为表示节点生成决策和/或边生成决策的序列上的概率分布；以及一个或多个计算机，被配置为对由一个或多个神经网络表示的概率分布进行采样以生成图形。以这种方式，可以由一个或多个神经网络将图形建模为节点和/或边生成决策的序列。该系统能够对具有任何数量属性的任意图形结构进行建模。可以通过从由一个或多个神经网络表示的概率分布中进行采样来生成具有与建模的属性类似的属性的新图形。方面可以包括以下特征中的一个或多个。一个或多个神经网络可以包括：节点创建神经网络，被配置为接收图形作为输入，并输出向该图形添加新节点的一个或多个概率；边添加神经网络，被配置为接收图形和候选节点的指示作为输入，并输出将连接到该候选节点的边添加到该图形的一个或多个概率；节点选择神经网络，被配置为接收图形和候选节点的指示作为输入，并输出在该候选节点和该图形的每一个节点之间向图形添加边的一个或多个概率；并且其中对概率分布进行采样以生成图形还可以包括：基于节点创建神经网络的输出生成图形的节点；以及基于边添加神经网络和节点选择神经网络的输出生成图形的边。以这种方式，该模型包括单独的神经网络或神经网络子系统，用于对图形生成序列的每个部分进行建模。具体地，节点创建神经网络对用于确定是否对向图形添加新节点的决策过程进行建模。边添加神经网络对确定是否对向图形的节点添加边的决策过程进行建模，并且节点选择神经网络对确定额外的边应该连接到哪个节点的决策过程进行建模。每一个神经网络接收图形作为输入，也就是说，神经网络可以接收当前正在构建的图形。这样，关于是否添加节点、边和节点的选择的决策基于正在构建的图形的最新状态和在生成当前图形时做出的决策的历史。这样，一个决策可以馈入(feedinto)下一个决策。一个或多个计算机还可以被配置为基于生成节点和生成边的迭代过程来生成图形，其中生成边发生在生成节点之后。也就是说，生成图形可以包括生成节点之后生成边的重复步骤。每个节点和每个边可以一次一个地顺序地生成。以这种方式，与同时生成所有节点和/或边的情况相比，可以更容易地处理多模态情况。生成图形的节点还可以包括接收初始图形；向节点创建神经网络提供初始图形；接收来自节点创建神经网络的输出，并基于节点创建神经网络的输出确定是否要生成图形的新节点。响应于确定要生成图形的新节点：生成新节点；以及通过更新初始图形以包括新节点来生成更新的图形。响应于确定不生成图形的新节点：不更新初始图形。如果没有生成节点，则可以认为图形生成过程已经完成，并且系统可以输出未改变的初始图形。生成图形的边还可以包括：向边添加神经网络提供更新的图形和新节点的指示；接收来自边添加神经网络的输出；基于边添加神经网络的输出，确定是否要生成连接到新节点的边；响应于确定将生成边：向节点选择神经网络提供更新的图形和新节点的指示；接收来自节点选择神经网络的输出；基于节点选择神经网络的输出选择图形的节点；以及更新图形以包括新节点和所选节点之间的边。也就是说，提供由节点创建神经网络处理产生的更新的图形，作为用于确定是否随后向新生成的节点添加边的输入。生成图形的边还可以包括向边添加神经网络模块提供更新的图形和新节点的指示；接收来自边添加神经网络模块的输出；基于边添加神经网络模块的输出，确定是否要生成连接到新节点的边；响应于确定将生成边：向节点选择神经网络模块提供更本文档来自技高网...

【技术保护点】
1.一种用于生成图形的神经网络系统，所述图形包括一组节点和边，所述系统包括：/n一个或多个神经网络，被配置为表示节点生成决策和/或边生成决策的序列上的概率分布；以及/n一个或多个计算机，被配置为对由所述一个或多个神经网络表示的概率分布进行采样以生成图形。/n

【技术特征摘要】
【国外来华专利技术】20171027 US 62/578,3011.一种用于生成图形的神经网络系统，所述图形包括一组节点和边，所述系统包括：
一个或多个神经网络，被配置为表示节点生成决策和/或边生成决策的序列上的概率分布；以及
一个或多个计算机，被配置为对由所述一个或多个神经网络表示的概率分布进行采样以生成图形。


2.根据权利要求1所述的神经网络系统，其中，所述一个或多个神经网络包括：
节点创建神经网络，被配置为接收图形作为输入，并输出向所述图形添加新节点的一个或多个概率；
边添加神经网络，被配置为接收图形和候选节点的指示作为输入，并且输出向所述图形添加连接到所述候选节点的边的一个或多个概率；
节点选择神经网络，被配置为接收图形和候选节点的指示作为输入，并输出在所述候选节点和所述图形的每一个节点之间向所述图形添加边的一个或多个概率；并且
其中对所述概率分布进行采样以生成图形还包括：
基于所述节点创建神经网络的输出生成所述图形的节点；以及
基于所述边添加神经网络和所述节点选择神经网络的输出生成所述图形的边。


3.根据权利要求2所述的神经网络系统，其中，所述一个或多个计算机被配置为基于生成节点和生成边的迭代过程来生成图形，并且其中生成边发生在生成节点之后。


4.根据任一项前述权利要求所述的神经网络系统，其中，每个节点和每个边一次一个地顺序地生成。


5.根据权利要求2或从属其的任何权利要求所述的神经网络系统，其中生成所述图形的节点还包括：
接收初始图形；
向所述节点创建神经网络提供所述初始图形；
接收来自所述节点创建神经网络的输出；
基于所述节点创建神经网络的输出，确定是否要生成所述图形的新节点；
响应于确定要生成所述图形的新节点：
生成所述新节点；以及
通过更新所述初始图形以包括所述新节点来生成更新的图形；
响应于确定不生成所述图形的新节点：
不更新所述初始图形。


6.根据权利要求5所述的神经网络系统，其中生成所述图形的边还包括：
向所述边添加神经网络提供所述更新的图形和所述新节点的指示；
接收来自所述边添加神经网络的输出；
基于所述边添加神经网络的输出，确定是否要生成连接到所述新节点的边；
响应于确定要生成所述边：
向所述节点选择神经网络提供所述更新的图形和所述新节点的指示；
接收来自所述节点选择神经网络的输出；
基于所述节点选择神经网络的输出选择图形的节点；以及
更新所述图形以包括所述新节点和所选节点之间的边。


7.根据权利要求6所述的神经网络系统，其中，生成所述图形的边还包括：
确定是否生成连接到所述新节点的更多的边。


8.根据权利要求6或7所述的神经网络系统，其中，所述一个或多个计算机还被配置为将所述更新的图形作为输入提供给所述节点创建神经网络，以用于在生成边之后生成更多的节点。


9.根据任一项前述权利要求所述的神经网络系统，其中所述图形的每个节点与信息相关联，并且其中所述一个或多个计算机被配置为在相邻节点之间传播信息，以向节点提供来自所述节点的本地邻域的信息。


10.根据权利要求9所述的神经网络系统，其中，所述一个或多个计算机被配置为执行多轮信息传播。


11.根据权利要求9或10所述的神经网络系统，其中，与节点相关联的信息被编码为状态向量。


12.根据权利要求11所述的神经网络系统，其中，在相邻节点之间传播信息包括基于与所述相邻节点相关联的状态向量生成与连接所述相邻节点的边相关联的消息向量。


13.根据权利要求12所述的神经网络系统，其中，所述消息向量还基于与所述边相关联的特征向量。


14.根据权利要求13所述的神经网络系统，其中，所述特征向量基于边类型。


15.根据权利要求12至14中任一项所述的神经网络系统，其中，所述消息向量是使用神经网络生成的。


16.根据权利要求12至15中任一项所述的神经网络系统，其中，向节点传播信息还包括基于与连接到所述节点的一个或多个边相关联的一个或多个消息向量的聚合来更新所述节点的状态向量。


17.根据权利要求16所述的神经网络系统，其中，所述一个或多个消息向量的聚合是与连接到所述节点的传入边相关联的消息向量的聚合。


18.根据权利要求16所述的神经网络系统，其中，所述一个或多个消息向量的聚合是与连接到所述节点的边中的每个边相关联的消息向量的聚合。


19.根据权利要求16至18中任一项所述的神经网络系统，其中，更新节点的状态向量基于神经网络的输出，所述神经网络被配置为接收所述消息向量的聚合和所述节点的当前状态向量作为输入。


20.根据权利要求11至19中任一项所述的神经网络系统，其中，所述图形与图形状态向量相关联，其中所述图形状态向量基于一组节点状态向量的聚合。


21.根据权利要求20所述的神经网络系统，其中，聚合一组节点状态向量包括：
对于所述组中的每个节点状态向量，通过被配置为接收节点状态向量作为输入的神经网络生成修改的节点状态向量；以及
聚合一组修...

【专利技术属性】
技术研发人员：李宇佳，CJ戴尔，O温亚尔斯，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：英国;GB