用于使用惯性自动编码器来学习和预测时间序列数据的系统和方法技术方案

一种方法包括使用计算网络（100）来学习和预测时间序列数据。计算网络被配置成接收时间序列数据并执行对时间序列数据的变换‑不变编码。计算网络包括一个或多个编码层（102、104、106）。该方法还包括通过变换的惯性调整来反馈对时间序列数据的未来预测。惯性调整维持计算网络中的不变量。计算网络可以进一步包括一个或多个池化层（108、110、112），每个池化层被配置成降低数据的维度，其中所述一个或多个池化层提供该编码的变换不变性。

A System and Method for Learning and Predicting Time Series Data Using Inertial Automatic Encoder

One method includes using computational networks (100) to learn and predict time series data. The computational network is configured to receive time series data and perform transformation invariant encoding of time series data. Computing networks include one or more coding layers (102, 104, 106). The method also includes feedback to predict the future of time series data through inertia adjustment of transformation. Inertial adjustment maintains the invariants in the computing network. Computing networks may further include one or more pooling layers (108, 110, 112), each of which is configured to reduce the dimensionality of data, in which one or more pooling layers provide transformation invariance of the encoding.

【技术实现步骤摘要】
【国外来华专利技术】用于使用惯性自动编码器来学习和预测时间序列数据的系统和方法
本公开一般地涉及机器学习和数据预测。更具体地，本公开涉及用于使用惯性（inertial）自动编码器来学习和预测时间序列数据的系统和方法。
技术介绍
“机器学习”一般指的是被设计成从数据中学习并对数据执行预测分析的计算技术。神经网络是基于生物网络（诸如人脑）的机器学习技术的一个示例类型。在神经网络中，使用人工神经元执行数据处理，所述人工神经元被耦合在一起并通过各种通信链路交换经处理的数据。可以通过更改与通信链路相关联的权重以使得一些数据被视为比其他数据更重要来实现神经网络的“学习”方面。“时间序列预测”指的是使用时间序列数据、通过机器学习算法所做出的预测，所述时间序列数据诸如是随着时间的过去经由一个或多个感官（sensory）输入所收集的数据值。时间序列预测是智能的重要组分。例如，智能实体预测输入的时间序列的能力可以允许智能实体创建世界（或其一些较小部分）的模型。
技术实现思路
本公开提供了用于使用惯性自动编码器来学习和预测时间序列数据的系统和方法。在第一实施例中，一种方法包括使用计算网络来学习和预测时间序列数据。计算网络被配置成接收时间序列数据并执行对时间序列数据的变换-不变编码（transformation-invariantencoding）。计算网络包括一个或多个编码层。该方法还包括通过变换（transformation）的惯性调整来反馈对时间序列数据的未来预测。惯性调整维持计算网络中的不变量（invariant）。在第二实施例中，一种装置包括至少一个处理设备和存储指令的至少一个存储器。所述指令在被所述至少一个处理设备执行时使得所述至少一个处理设备使用计算网络来学习和预测时间序列数据。计算网络被配置成接收时间序列数据并执行对时间序列数据的变换-不变编码。计算网络包括一个或多个编码层。所述指令在被所述至少一个处理设备执行时还使得所述至少一个处理设备通过变换的惯性调整来反馈对时间序列数据的未来预测。惯性调整维持计算网络中的不变量。在第三实施例中，一种非暂时性计算机可读介质包含指令，所述指令在被至少一个处理设备执行时使得所述至少一个处理设备使用计算网络来学习和预测时间序列数据。计算网络被配置成接收时间序列数据并执行对时间序列数据的变换-不变编码。计算网络包括一个或多个编码层。该介质还包含在被所述至少一个处理设备执行时使得所述至少一个处理设备通过变换的惯性调整来反馈对时间序列数据的未来预测的指令。惯性调整维持计算网络中的不变量。从以下各图、说明书和权利要求书，其他技术特征对本领域技术人员而言可能是容易地显而易见的。附图说明为了更彻底地理解本公开及其特征，现在参考结合附图采取的以下描述，在附图中：图1图示了根据本公开的实现用于学习和预测时间序列数据的惯性自动编码器的示例架构；图2图示了根据本公开的用于在学习和预测时间序列数据时使用的惯性自动编码器的示例功能性；图3图示了根据本公开的使用已经学会预测时间序列数据的惯性自动编码器的示例预测；图4图示了根据本公开的用于学习和预测时间序列数据的示例系统；以及图5图示了根据本公开的用于学习和预测时间序列数据的示例方法。具体实施方式下面讨论的图1至5以及本专利文件中用于描述本专利技术的原理的各种实施例仅作为说明，并且不应被以任何方式解释成限制本专利技术的范围。本领域技术人员将理解，可以在任何类型的合适地布置的设备或系统中实现本专利技术的原理。如上面指出的，时间序列预测是智能的重要组分，诸如当其允许智能实体（比如人）创建他或她周围的世界的模型时。然而，智能实体的运动（motor）意图也可以自然地形成时间序列的一部分。“运动意图”一般指的是与神经信号相关联的预期运动移动，诸如基于不同的神经信号移动一个人的手臂或腿或者打开/关闭一个人的手。包括过去的运动意图的预测允许对该运动意图对周围世界的影响进行建模。此外，如果智能实体包括可以计算关于用于影响世界的一些高级目标的最佳运动意图的控制系统，则预测未来运动意图的能力可以更准确地发生，而不总是必须执行完全优化，这可以在计算和能量使用方面提供巨大节省。在本公开的一个方面，提供了用于学习和预测时间序列数据的设备、系统、方法和计算机可读介质。使用一个或多个自动编码器完成学习和预测，所述自动编码器支持前馈和反馈连同惯性调整。例如，可以通过使高级变换-不变理解抽象化（abstract）并且然后在维持不变量的同时经由变换的惯性调整反馈对时间序列数据的详细未来预测来支持学习和预测。图1图示了根据本公开的实现用于学习和预测时间序列数据的惯性自动编码器的示例架构100。如图1中所示，架构100包括多个编码层和多个池化层。在该示例中，架构100包括三个编码层102-106和三个池化层108-112，但是可以使用其他数目的编码和池化层。在一些实例中，架构100可以包括单个编码层和单个池化层。编码层102-106中的每个一般执行计算以编码或以其他方式处理传入数据，而池化层108-112中的每个一般执行计算以提供维度降低。维度降低指的是接收较大量（较高带宽）的感官数据或其他输入数据并将数据减少到较小量（较低带宽）的描述性概念的过程。层102-112中的每个包括用于对数据进行编码、提供维度降低或执行任何其他合适的处理操作的任何合适的（一个或多个）结构。例如，可以使用硬件或硬件和软件/固件指令的组合来实现层102-112中的每个。编码和池化层102-112中的每个一般接收输入值并操作以产生输出值。被提供给第一编码层102的输入114可以表示任何合适的感官输入或其他输入，并且可以包括时间序列数据（可能包括运动输入）。由最后一个池化层112提供的输出116可以表示由编码和池化层102-112执行的操作的组合所生成的数据，诸如对时间序列数据的高级概念性理解。因此，输出116可以表示输入114的编码或其他表示。在图1中，附加数据交换118和120发生在邻近层之间（但是数据交换不需要被限于与邻近层一起使用）。数据交换118表示“前馈”数据交换，其中在过程流程中数据被从一层提供到随后一层。相比之下，数据交换120表示“反馈”数据交换，其中在过程流程中数据被从一层提供到前一层。在一些实施例中，图1中示出的架构100可用于实现自动编码器。“自动编码器”是尝试为一组数据生成编码的一类神经网络或其他机器学习算法。该编码表示该组数据的表示但具有降低的维度。在理想情况下，该编码允许自动编码器基于时间序列数据中的初始值来预测时间序列数据中的未来值。预测时间序列数据的能力可以在大量应用中找到用途。一般地，实现自动编码器的网络一般被设计成使得其输出近似地再现其输入。当应用于时间序列数据时，自动编码器在仅使用过去的信息来再现未来的信息的意义上是“因果的”。迭代地，这样的因果自动编码器可以从其本身再现整个时间序列，这意味着因果自动编码器可以基于时间序列的初始值来标识整个时间序列。理想地，完成编码层102-106对输入114的编码，使得输入114的最终编码表示（输出116）是高度受约束的（诸如稀疏的）。输入114的编码表示还可以理想地用于生成所预测的接下来的输入122，其表示输入114的近似再现。针对时间序列数据，因果自动编码器将基于过本文档来自技高网...

【技术保护点】
1.一种方法，包括：使用计算网络来学习和预测时间序列数据，所述计算网络被配置成接收所述时间序列数据并执行对所述时间序列数据的变换‑不变编码，所述计算网络包括一个或多个编码层；以及通过变换的惯性调整来反馈对所述时间序列数据的未来预测，所述惯性调整维持所述计算网络中的不变量。

【技术特征摘要】
【国外来华专利技术】2016.08.08 US 62/3722061.一种方法，包括：使用计算网络来学习和预测时间序列数据，所述计算网络被配置成接收所述时间序列数据并执行对所述时间序列数据的变换-不变编码，所述计算网络包括一个或多个编码层；以及通过变换的惯性调整来反馈对所述时间序列数据的未来预测，所述惯性调整维持所述计算网络中的不变量。2.根据权利要求1所述的方法，其中所述计算网络进一步包括一个或多个池化层，每个池化层被配置成降低数据的维度，所述一个或多个池化层提供所述编码的变换不变性。3.根据权利要求2所述的方法，其中每个池化层执行池化函数，所述池化函数表示ℓ2范数。4.根据权利要求1所述的方法，其中基于投影函数做出所述变换的惯性调整，所述投影函数将所述时间序列数据的当前值与所述时间序列数据的先前值组合。5.根据权利要求4所述的方法，其中所述投影函数表示弧投影，其被定义为：其中yτ表示所述当前值，并且yτ-1表示所述先前值。6.根据权利要求4所述的方法，其中所述投影函数表示序列投影yτ-1yτ→yτ+1，其被定义为：eiej→e2j-i(modn)其中yτ表示所述当前值，yτ-1表示所述先前值，yτ+1表示所预测的未来值，ei和ej分别表示在第i个和第j个方向上的单位向量，并且n表示y的维度。7.根据权利要求4所述的方法，其中所述投影函数表示记忆投影yτ-1yτ→yτ+1，其被定义为：eiej→Pijkek其中yτ表示所述当前值，yτ-1表示所述先前值，yτ+1表示所预测的未来值，ei和ej分别表示在第i个和第j个方向上的单位向量，Pij表示学习到的具有衰减分布的频率，并且k表示求和函数∑的索引。8.一种装置，包括：至少一个处理设备；以及存储指令的至少一个存储器，所述指令在被所述至少一个处理设备执行时使得所述至少一个处理设备：使用计算网络来学习和预测时间序列数据，所述计算网络被配置成接收所述时间序列数据并执行对所述时间序列数据的变换-不变编码，所述计算网络包括一个或多个编码层；并且通过变换的惯性调整来反馈对所述时间序列数据的未来预测，所述惯性调整维持所述计算网络中的不变量。9.根据权利要求8所述的装置，其中所述计算网络进一步包括一个或多个池化层，每个池化层被配置成降低数据的维度，所述一个或多个池化层被配置成提供所述编码的变换不变性。10.根据权利要求9所述的装置，其中每个池化层被配置成执行池化函数，所述池化函数表示ℓ2范数。11.根据权利要求8所述的装置，其中所述至少一个处理设备被配置成基于投影函数做出所述变换的惯性调整，所述投影函数将所述时间序列数据的当前值与所述时间序列数据的先前值组合。12.根据权利要求11...

【专利技术属性】
技术研发人员：P伯查德，
申请(专利权)人：高盛有限责任公司，
类型：发明
国别省市：美国,US