用于将循环人工神经网络中的活动特征化以及编码和解码信息的方法、系统和装置，包括被编码在计算机存储介质上的计算机程序。在一方面，一种由一个或多个数据处理设备实现的方法可以包括：接收训练集，所述训练集包括源神经网络中的活动的模式中的拓扑结构的多个表示；以及使用所述表示作为到神经网络的输入或作为目标答案向量来训练所述神经网络。所述活动响应于到所述源神经网络中的输入。动响应于到所述源神经网络中的输入。动响应于到所述源神经网络中的输入。
【技术实现步骤摘要】
【国外来华专利技术】将循环人工神经网络中的活动特征化以及编码和解码信息
技术介绍
[0001]本说明书涉及循环人工神经网络(recurrent artificial neural network)中的活动的特征化。活动的特征化可以被用在例如决策时刻(decision moment)的识别中，以及被用在在诸如传输、加密和数据存储的场景中编码/解码信号中。它还涉及编码和解码信息，以及在各种场景中使用编码信息的系统和技术。编码信息可以表示神经网络(例如，循环神经网络)中的活动。
[0002]人工神经网络是受生物神经元网络的结构和功能方面启发的设备。特别地，人工神经网络使用被称为节点的互连构造的系统来模拟生物神经元网络的信息编码和其他处理能力。人工神经网络中的节点之间的连接的布置和强度决定了通过人工神经网络的信息处理或信息存储的结果。
[0003]可以训练神经网络以在网络中产生期望的信号流并且实现期望的信息处理或信息存储结果。通常，训练神经网络将在学习阶段期间改变节点之间的连接的布置和/或强度。当神经网络对于给定的输入集实现足够适当的处理结果时，可以认为该神经网络是训练过的。
[0004]人工神经网络可以被用在各种各样的不同的设备中以执行非线性数据处理和分析。非线性数据处理不满足叠加原理(superposition principle)，即，待被确定的变量不能够被写为独立分量的线性总和。非线性数据处理是有用的的场景的示例包括模式和序列识别(pattern and sequence recognition)、语音处理、新颖性检测和序贯决策、复杂系统建模以及各种各样的其他场景中的系统和技术。
[0005]编码和解码都将信息从一种形式或表示转换为另一种形式或表示。不同的表示可以提供在不同的应用中或多或少有用的不同的特征。例如，信息的一些形式或表示(例如，自然语言)可以更易于人类理解。其他形式或表示可以大小更小(例如，“被压缩的”)并且更容易传输或存储。还有其他形式或表示可以有意地模糊信息内容(例如，信息可以被加密编码)。
[0006]不管特定的应用，编码或解码过程通常将遵循建立不同的形式或表示的信息之间的对应关系的预定义的规则集或算法。例如，产生二进制代码的编码过程可以根据单独的位在二进制序列或向量中的位置而为其分配角色或意义。
技术实现思路
[0007]此文档涉及编码和解码信息，以及在各种场景中使用编码信息的系统和技术。例如，在一个实现中，一种设备包括神经网络，所述神经网络被耦合以输入在源神经网络中响应于多个不同的输入而出现的活动的模式中的拓扑结构的表示。所述神经网络被训练以处理所述表示并且产生响应输出。
[0008]此实现和其他实现可以包括以下特征中的一个或多个。所述拓扑结构全都包含所述源神经网络中的两个或更多个节点以及所述节点之间的一个或多个边(edge)。所述设备可以包括：致动器，所述致动器被耦合以接收来自所述神经网络的所述响应输出并且作用
于真实或虚拟环境；传感器，所述传感器被耦合以测量所述环境的特征；以及教师模块(teacher module)，所述教师模块被配置为解释从所述传感器接收的测量结果(measurement)并且向所述神经网络提供奖励(reward)和/或遗憾(regret)。所述拓扑结构可以包括单纯形(simplice)。所述拓扑结构可以包围空腔(cavity)。拓扑结构的所述表示可以表示仅在如下时间在所述源神经网络中出现的拓扑结构：在所述时间期间活动的所述模式具有与响应于所述输入中的相应的输入的其他活动的复杂度可区分的复杂度。所述设备可以包括第二神经网络，所述第二神经网络被训练以响应于多个不同的输入而产生在所述源神经网络中响应于所述不同的输入而出现的活动的模式中的拓扑结构的所述表示的相应的近似。这样的设备还可以包括：致动器，所述致动器被耦合以接收来自所述神经网络的所述响应输出并且作用于真实或虚拟环境；以及传感器，所述传感器被耦合以测量所述环境的特征。所述第二神经网络可以被训练以至少部分地响应于所述环境的所测量的特征而产生所述相应的近似。所述设备还可以包括教师模块，所述教师模块被配置为解释从所述传感器接收的测量结果并且向所述神经网络提供奖励和/或遗憾。拓扑结构的所述表示可以包括多值(multi
‑
valued)、非二进制数字。拓扑结构的所述表示可以表示所述拓扑结构的发生，而不指定活动的所述模式在所述源神经网络中出现在哪里。所述设备可以是智能电话。所述源神经网络可以是循环神经网络。
[0009]在另一个实现中，一种由一个或多个数据处理设备实现的方法可以包括：接收训练集(training set)，所述训练集包括源神经网络中的活动的模式中的拓扑结构的多个表示；以及使用所述表示作为到神经网络的输入或作为目标答案向量来训练所述神经网络。所述活动响应于到所述源神经网络中的输入。
[0010]此实现和其他实现可以包括以下特征中的一个或多个。所述拓扑结构全都包含所述源神经网络中的两个或更多个节点以及所述节点之间的一个或多个边。所述训练集可以包括多个输入向量，每个所述输入向量对应于所述表示中的相应的表示。训练所述神经网络可以包括使用所述多个表示中的每个作为目标答案向量来训练所述神经网络。训练所述神经网络可以包括使用所述多个表示中的每个作为输入来训练所述神经网络。所述训练集可以包括多个奖励或遗憾值。训练所述神经网络可以包括强化学习。所述拓扑结构可以包括单纯形。拓扑结构的所述表示可以表示仅在如下时间在所述源神经网络中出现的拓扑结构：在所述时间期间活动的所述模式具有与响应于所述输入中的相应的输入的其他活动的复杂度可区分的复杂度。拓扑结构的所述表示可以包括多值、非二进制数字。拓扑结构的所述表示可以表示所述拓扑结构的发生，而不指定活动的所述模式在所述源神经网络中出现在哪里。所述源神经网络可以是循环神经网络。
[0011]在附图和下文的描述中阐述在本说明书中所描述的一个或多个实现的细节。根据说明书、附图和权利要求书，主题的其他特征、方面和优点将变得明显。
附图说明
[0012]图1是循环人工神经网络设备的结构的示意性例示。
[0013]图2和图3是在不同的时间窗内循环人工神经网络设备的功能的示意性例示。
[0014]图4是用于基于循环人工神经网络中的活动的特征化识别该网络中的决策时刻的过程的流程图。
[0015]图5是可以被识别并且被用于识别循环人工神经网络中的决策时刻的活动的模式的示意性例示。
[0016]图6是可以被识别并且被用于识别循环人工神经网络中的决策时刻的活动的模式的示意性例示。
[0017]图7是可以被识别并且被用于识别循环人工神经网络中的决策时刻的活动的模式的示意性例示。
[0018]图8是可以被用在循环人工神经网络设备中的活动模式中的复杂度或排序程度的确定中的数据表的示意性例示。
[0019]图9是具有可区分的复杂度的活动模式的特定时间(timing，时间)的确定的示意性例示。
[0020]图10是用本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种设备，包括：神经网络，所述神经网络被耦合以输入在源神经网络中响应于多个不同的输入而出现的活动的模式中的拓扑结构的表示，其中所述神经网络被训练以处理所述表示并且产生响应输出。2.根据权利要求1所述的设备，其中所述拓扑结构全都包含所述源神经网络中的两个或更多个节点以及所述节点之间的一个或多个边。3.根据权利要求1所述的设备，还包括：致动器，所述致动器被耦合以接收来自所述神经网络的所述响应输出并且作用于真实或虚拟环境；传感器，所述传感器被耦合以测量所述环境的特征；以及教师模块，所述教师模块被配置为解释从所述传感器接收的测量结果并且向所述神经网络提供奖励和/或遗憾。4.根据权利要求1所述的设备，其中所述拓扑结构包括单纯形。5.根据权利要求1所述的设备，其中所述拓扑结构包围空腔。6.根据权利要求1所述的设备，其中拓扑结构的所述表示表示仅在如下时间在所述源神经网络中出现的拓扑结构：在所述时间期间活动的所述模式具有与响应于所述输入中的相应的输入的其他活动的复杂度可区分的复杂度。7.根据权利要求1所述的设备，其中所述设备还包括第二神经网络，所述第二神经网络被训练以响应于多个不同的输入而产生在所述源神经网络中响应于所述不同的输入而出现的活动的模式中的拓扑结构的所述表示的相应的近似。8.根据权利要求7所述的设备，还包括：致动器，所述致动器被耦合以接收来自所述神经网络的所述响应输出并且作用于真实或虚拟环境；以及传感器，所述传感器被耦合以测量所述环境的特征，其中所述第二神经网络被训练以至少部分地响应于所述环境的所测量的特征而产生所述相应的近似。9.根据权利要求8所述的设备，还包括：教师模块，所述教师模块被配置为解释从所述传感器接收的测量结果并且向所述神经网络提供奖励和/或遗憾。10.根据权利要求1所述的设备，其中拓扑结构的所述表示包括多值、非二进制数字。11.根据权利要求1所述的设备，其中拓扑结构的所述表示表示所述拓扑结构的发生，而不指定活动的...
【专利技术属性】
技术研发人员：H，
申请(专利权)人：英艾特股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。