【技术实现步骤摘要】
本说明书涉及生成输出数据值的神经网络系统。
技术介绍
1、神经网络是利用非线性单元的一个或多个层来预测接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作到网络中的下一层(即，下一隐藏层或输出层)的输入。网络的每个层根据相应一组参数的当前值从接收的输入生成输出。
2、一些神经网络是循环神经网络(recurrent neural network)。循环神经网络是接收输入序列并根据输入序列生成输出序列的神经网络。特别地，循环神经网络可以将来自先前时间步的网络的一些或所有内部状态用于计算当前时间步处的输出。循环神经网络的示例是包括一个或多个长短期记忆(lstm)块的lstm神经网络。每个lstm记忆块可以包括一个或多个细胞(cell)，每个细胞包括输入门、遗忘门和输出门，该输入门、遗忘门和输出门允许细胞存储细胞的先前状态，例如，用于生成当前激活(activation)，或被提供到lstm神经网络的其他组件。
技术实现思路
1、本说明书描述被实现为在一个或多个位置的一个或多个计算机上的计算机程序的系统，该系统生成输出数据值，例如，预测的观察。
2、根据第一方面，一种用于根据一个或多个学习的数据分布从输入数据值生成输出数据值的网络系统包括：输入，该输入接收观察的集合，每个观察包括第一变量的相应的第一数据值和依赖于第一变量的第二变量的相应的第二数据值。该系统可以包括编码器神经网络系统，该编码器神经网络系统被配置为编码观
3、神经网络系统的某些实现方式可以从观察的集合学习一般信息，对这些知识进行聚合，然后使用聚合的知识来促进进一步的学习。该系统可以例如通过嵌入观察并聚合嵌入，然后使数据生成器(即解码器神经网络系统)以聚合的嵌入为条件，来学习以输入观察的集合为条件的一个或多个分布。
4、第一和第二数据值和目标输入值可以包括单个数据值或向量，例如，其限定图像或音频段。对于这些数据/目标值，可能存在系统的单个物理输入。例如，通过对聚合器使用均值函数，在观察的集合中的观察的置换下，聚合的输出可以是不变的。置换(permutation)可以被认为是值的顺序的改变。因此，该聚合器可以是对称聚合器。聚合的参数可以具有预定义的大小。该大小可以与参数的位和/或维度的数量有关。
5、该系统可以被配置为对于多个训练步骤中的每一个执行一组操作。所述操作可以包括从观察中选择观察的子集以输入到编码器神经网络系统，并选择用于训练所述系统的目标的集合。所述操作可以进一步包括使用编码器神经网络系统编码观察的子集中的每个观察，以提供对于每个观察的编码的输出。所述操作可以进一步包括聚合编码的输出。所述操作可以进一步包括将编码的输出的聚合与来自目标的集合中的每个第一数据值进行组合(例如串联)，以提供组合的集合以进行解码。所述操作还可包括使用解码器神经网络系统解码组合的集合中的每个组合，以提供解码器输出的集合。所述操作可以进一步包括使用依赖于解码器输出的集合和目标的集合的第二数据值的损失函数，通过反向传播来训练编码器神经网络系统和解码器神经网络系统。
6、编码器和解码器可以各自包括前馈神经网络，例如多层感知器(mlp)，和/或编码器可以包括卷积神经网络，例如当输入数据包括图像时，和/或解码器可以包括反卷积神经网络。
7、解码器输出可以限定解码器输出分布的参数。该系统然后可以被配置为根据解码器输出分布确定第二变量的对应值。例如，该系统可以从分布中采样或只是输出均值。例如，解码器输出分布可以限定第二变量的对应值的均值和方差。均值和方差可以是高斯分布的，高斯分布可以用于确定第二变量的对应值，以及可选地确定第二变量的不确定性。因此，该系统可以被配置为执行回归任务。
8、回归任务可以是图像或声音补全任务。例如，第一数据值可以包括空间和/或时间索引(例如，指定样本(例如像素或音频值)在空间和/或时间中的位置)。然后，第二数据值可以包括与空间和/或时间索引对应的图像或声音数据值。然后，目标输入值可以限定将生成的图像或声音数据值的空间和/或时间索引。
9、在一些其他实现方式中，该系统可以被配置为执行分类任务。例如，第一数据值可以包括图像或声音数据(例如限定包括数字化图像或声音数据的数据项的向量)，并且第二数据值可以包括图像或声音数据的分类。解码器输出分布可以限定分类上的概率分布(例如，经由训练)。
10、对于分类任务，对于每个类，编码的观察的聚合可以包括该类中的观察的编码的第一数据值的聚合(例如，经由置换不变聚合，例如均值计算)。然后，可以组合(例如，经由串联)每个类的聚合的值以形成输入到解码器神经网络系统中的聚合的输出(组合的聚合的输出)。
11、在一些其他实现方式中，系统可以被配置为执行文本分类任务。第一数据值可以包括文本数据，并且第二数据值包括文本或声音数据的分类。
12、在一些其他实现方式中，系统可以被配置为控制与环境交互的智能体。这可以经由强化学习(reinforcement learning)来实现。广义上，强化学习系统是选择要由与环境交互的强化学习智能体执行的动作的系统。为了使智能体与环境交互，该系统接收表征环境的当前状态的数据，并响应于接收的数据选择要由智能体执行的动作。在本说明书中，将表征环境的状态的数据称为观察(observation)。可选地，在某时间步的观察可以包括来自前一个时间步的数据，例如，在前一个时间步执行的动作，在前一个时间步接收的奖励(reward)等等。
13、在一些实现方式中，环境是现实世界环境，并且智能体是与现实世界环境交互的机电智能体。例如，智能体可以是与环境交互以完成特定任务(例如，在环境中定位感兴趣的物体或将感兴趣的物体移动到环境中的指定位置或导航到环境中的指定目的地)的机器人或其他静态或移动机器；或者智能体可以是导航通过环境的自主或半自主的陆地或空中或海上载具。
14、在这些实现方式中，观察可以包括例如图像、物体位置数据和传感器数据中的一个或多个，以在智能体与环境交互时捕获观察，例如来自图像、距离或位置传感器的传感器数据或来自致动器的传感器数据。
15、在这些实现方式中，动作可以是控制机器人的控制输入，例如，机器人的关节的扭矩或更高级的控制命令；或控制自主或半自主的陆地或空中或海上载具的控制输入，例如，到载具的控制面或其他控制元件的扭矩或更高级的控制命令；或例如电机控制数据。换句话说，动作可以包括例如机器人的一个或多个关节或另一机械智能体的部件的位置本文档来自技高网...
【技术保护点】
1.一种神经网络系统，用于根据一个或多个学习的数据分布从输入数据值生成解码器输出数据值，所述系统包括：
2.根据权利要求1所述的系统，其中，所述系统被配置为对于多个训练步骤中的每一个：
3.根据权利要求1或2所述的系统，其中，所述解码器输出限定解码器输出分布的参数，并且其中，所述系统被配置为根据所述解码器输出分布确定所述第二变量的所述对应值。
4.根据权利要求3所述的系统，其中，所述解码器输出分布限定所述第二变量的所述对应值的均值和方差。
5.根据权利要求3所述的系统，其中，所述第一数据值中的每一个包括限定数据项的向量，并且所述第二数据值中的每一个限定相应的数据项的对应分类，并且其中，所述解码器输出分布限定在分类上的概率分布。
6.根据权利要求5所述的系统，其中，所述编码器神经网络系统被配置为通过编码每个观察的第一数据值来编码每个观察，并且其中，所述聚合器被配置为：
7.根据权利要求1至6中任一项所述的系统，其中，在所述观察的集合中的观察的置换下，所述聚合的输出是不变的。
8.根据权利要求1至7中
9.根据权利要求8所述的系统，其中，所述编码器神经网络系统还被配置为确定所述一组隐变量的分布的参数，并且其中，所述解码器神经网络系统被配置为从所述一组隐变量的分布进行采样以提供所述解码器输出。
10.根据从属于权利要求2时的权利要求9所述的系统，还包括先验神经网络和后验神经网络，所述先验神经网络根据所述观察的集合确定所述一组隐变量的先验分布的参数，所述后验神经网络根据所述目标的集合确定所述一组隐变量的后验分布的参数。
...【技术特征摘要】
1.一种神经网络系统，用于根据一个或多个学习的数据分布从输入数据值生成解码器输出数据值，所述系统包括：
2.根据权利要求1所述的系统，其中，所述系统被配置为对于多个训练步骤中的每一个：
3.根据权利要求1或2所述的系统，其中，所述解码器输出限定解码器输出分布的参数，并且其中，所述系统被配置为根据所述解码器输出分布确定所述第二变量的所述对应值。
4.根据权利要求3所述的系统，其中，所述解码器输出分布限定所述第二变量的所述对应值的均值和方差。
5.根据权利要求3所述的系统，其中，所述第一数据值中的每一个包括限定数据项的向量，并且所述第二数据值中的每一个限定相应的数据项的对应分类，并且其中，所述解码器输出分布限定在分类上的概率分布。
6.根据权利要求5所述的系统，其中，所述编码器神经网络系统被配置为通过编码每个观...
【专利技术属性】
技术研发人员：T·M·S·P·拉马尔霍，D·罗森鲍姆，M·加内洛，C·马迪森，S·M·埃斯拉米，Y·W·泰，D·J·雷赞德，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。