神经过程的贝叶斯上下文聚合制造技术

神经过程的贝叶斯上下文聚合。本公开的一个方面涉及一种用于产生计算机实现的机器学习系统的方法。所述方法包括接收对应于设备的动态行为的训练数据组x

【技术实现步骤摘要】
神经过程的贝叶斯上下文聚合


[0001]本公开涉及用于为技术设备产生计算机实现的机器学习系统的计算机实现的方法。

技术介绍

[0002]用于从测量数据中推导出变量之间的定量关系的强大的计算机实现的模型的开发在工程的所有分支中都至关重要。就此而言，基于高斯过程的计算机实现的神经网络和方法越来越多地被用在各种技术环境中。神经网络可以很好地胜任大量训练数据组，并且在训练时在计算上是高效的。缺点是，所述神经网络不提供关于其预测的不确定性的估计，并且此外在小的数据组时可能倾向于过度拟合。此外，可能得出以下问题，神经网络应该为了其成功的应用强烈地被结构化，并且所述神经网络的大小可能自应用的一定复杂性起快速地增加。这可能对为了应用神经网络所需要的硬件提出过高要求。高斯过程可以被看作与神经网络互补，因为所述高斯过程可以提供不确定性的可靠估计，但是所述高斯过程的例如二次或三次缩放在训练时间期间随着上下文数据的数量可能在具有大量数据的任务方面或在典型硬件上的高维问题方面强烈限制应用。
[0003]为了解决上面提及的问题，已经开发了与所谓的神经过程相关的方法。这些神经过程可以组合神经网络和高斯过程的优点。最后，所述神经过程提供在复数个函数（而不是单个函数）上的分布并且表示多任务学习（“multi
‑
task learning”）方法（即该方法同时在多个任务上被训练）。此外，这些方法通常基于条件潜在变量模型（“conditional latent variable（CLV）models），其中使用潜在变量来考虑全局不确定性。
[0004]例如，计算机实现的机器学习系统可以被用于对技术设备进行参数化（例如用于对特性曲线族进行参数化）。这些方法的另一个应用领域是具有有限硬件资源的较小技术设备，其中电流消耗或低存储容量可能显著地限制较大神经网络或基于高斯过程的方法的使用。

技术实现思路

[0005]本专利技术涉及一种用于产生计算机实现的机器学习系统的计算机实现的方法。该方法包括接收反映设备的动态行为的训练数据组x
c
、y
c
，并且在使用贝叶斯推理的情况下并且在考虑训练数据组x
c
、y
c
的情况下来计算机器学习系统的至少一个潜在变量z1的聚合。包含在训练数据组中的信息被直接转移到多个潜在变量z1的统计描述中。该方法此外包括产生后验预测分布用于在使用所计算的聚合的情况下并且在训练数据组x
c
、y
c
发生了的条件下预测设备的动态行为。
[0006]本专利技术此外涉及在不同的技术环境中应用所产生的计算机实现的机器学习系统。本专利技术此外涉及产生计算机实现的机器学习系统和/或将计算机实现的机器学习系统应用于设备。
[0007]本专利技术的技术的目的在于，产生（尽可能）简单和高效的计算机实现的机器学习系
统，与一些现有技术的方法相比，所述计算机实现的机器学习系统提供改善的预测性能和准确性，并且附加地具有计算成本的增益。为此目的，可以基于可用的数据组（例如历史数据）机器地学习计算机实现的机器学习系统。可以从通常给定的函数族中在使用来自在已知数据点处计算的该函数族的给定函数子集的情况下获得这些数据组。
[0008]尤其是可以避开现有技术的一些技术的平均值聚合的缺点，其中可以给机器学习系统的每个潜在观测（与包含在相应的上下文数据对中的信息量无关地）分派相同的权重1/N。本公开的技术的目的在于改善该方法的聚合步骤，以便产生高效的计算机实现的机器学习系统并且降低由此得出的计算成本。以这种方式产生的计算机实现的机器学习系统可以被用在众多技术系统中。例如，可以借助于计算机实现的机器学习系统设计技术设备（例如，对诸如电机、压缩机或燃料电池之类的设备的特性曲线族的参数化进行建模）。
附图说明
[0009]图1a示意性地示出条件潜在变量模型（“conditional latent variable（CLV）模型”），该模型具有特定于任务的潜在变量和与任务无关的潜在变量θ，其检测在任务之间的共同的统计结构。圆圈中的变量对应CLV模型的变量：并且是上下文（c）或目标数据组（t）。
[0010]图1b示意性地示出具有在CLV模型中使用的具有似然变化方法（VI）的现有技术的平均值聚合（MA）的网络。为简单起见，省略任务索引。每个上下文数据对通过神经网络被映射到相对应的潜在观测上。是聚合潜在观测，（平均值）。标有a
∙
[b]的框表示具有分别具有b个单元的a个隐藏层的多层感知器（英文为“multi
‑
layer perceptron”, MLP）。具有名称“平均值”的框表示传统的平均值聚合。标有z的框表示具有随机分布的随机变量的实现，所述随机变量利用通过进入节点给出的参数被参数化。对应于潜在维度，和在图1a的标题中被定义。
[0011]图2示出具有本公开的“贝叶斯聚合”的网络。为简单起见，省略任务索引。具有名称“贝叶斯”的框表示“贝叶斯聚合”。在一个示例中，除了图1b中介绍的借助于神经网络映射之外，每个上下文数据对可以通过第二神经网络被映射到相对应的潜在观测的不确定性上。在该示例中，参数对近似后验分布进行参数化。其他标记对应于图1b中使用的标记。不使用在图1b中定义的聚合潜在观测。
[0012]图3比较针对不同方法计算的测试数据组（古田摆（Furuta
‑
Pendel））的结果，并且根据上下文数据点的数量N示出后验预测分布的对数。BA+PB：在使用在图2上所示的根据本专利技术的“贝叶斯聚合”（BA）和根据本专利技术的基于参数的非随机损失函数（PB）的情况下的数值结果，其代替传统的基于变化推理或蒙特卡罗的方法。MA+PB：在使用图1b中概述的传统平均值聚合和根据本专利技术的PB损失函数的情况下的数值结果。BA+VI：在使用根据本专利技术的BA和通过似然变化方法近似的传统损失函数的情况下的数值结果。L对应于训练数据组的数量。
具体实施方式
[0013]本公开涉及用于为设备产生计算机实现的机器学习系统（例如，概率回归器或分类器）的方法，所述机器学习系统在使用借助于贝叶斯推理进行的聚合（“贝叶斯聚合”）的情况下被产生。这些方法由于其计算复杂性在计算机实现的系统中被执行。在随后阐述一些可能的实现之前，首先讨论用于产生计算机实现的机器学习系统的方法的一些一般方面。
[0014]尤其是，与神经过程相结合的概率模型可以示意性如下来表达。用表示通用函数的族，所述通用函数可以被用于特定的技术问题并且具有类似的统计结构。此外假设对于训练使用的数据组 可用，其中在使用L函数的子集（“任务"）的情况下从上面提及的函数族中在数据点处如下来计算：处如下来计算：。在这里，ε是具有平均值零的加性高斯噪声。如图1a中阐明的数据组随后被划分成上下文数据组和目标数据组。基于神经过程的方法的目的在于关于训练后验预测分布（在上下文数据组已发生的条件下），以便尽可能精确地预测目标点处的目标值（例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于产生计算机实现的机器学习系统的计算机实现的方法，其中所述方法包括以下步骤：接收反映设备的动态行为的训练数据组（x
c
，y
c
）；在使用贝叶斯推理的情况下并且在考虑所述训练数据组（x
c
，y
c
）的情况下计算所述机器学习系统的至少一个潜在变量（）的聚合，其中在所述训练数据组中包含的信息直接被转移到多个潜在变量（）的统计描述中；产生后验预测分布（）来在使用所计算的聚合的情况下并且在所述训练数据组（x
c
，y
c
）发生了的条件下预测所述设备的动态行为。2.根据权利要求1所述的计算机实现的方法，此外包括使用所产生的后验预测分布来关于所述设备的动态行为根据输入参量预测相对应的输出参量。3.根据权利要求1或2所述的计算机实现的方法，其中所述训练数据组（x
c
，y
c
）包括第一多个数据点（x
c
）和第二多个数据点（y
c
），其中所述方法包括在使用来自一般给定函数族的给定函数子集（F）的情况下计算所述第二多个数据点（y
c
），其中所述给定函数子集在所述第一多个数据点上被计算；并且其中计算聚合包括以下步骤：通过第一神经网络将来自所述训练数据组（x
c
，y
c
）的第一（x
c
）多个数据点和第二（y
c
）多个数据点的每一对映射到相对应的潜在观测（）上并且通过第二神经网络映射到相对应的潜在观测（）的不确定性（）上；在所述多个潜在观测（）发生了的条件下，聚合所述多个潜在变量（）的贝叶斯后验分布（），其中在使用贝叶斯推理的情况下执行所述聚合，由此在所述训练数据组（x
c
，y
c
）中包含的信息被直接转移到所述多个潜在变量的统计描述中；计算所述多个潜在观测（）和多个其不确定性（）。4.根据权利要求3所述的计算机实现的方法，其中聚合贝叶斯后验分布（）包括实现多个因式分解高斯分布，并且其中所述不确定性（）是相对应高斯分布的方差。5.根据权利要求4所述的计算机实现的方法，其中产生后验预测分布（）包括以下其他步骤：在所述训练数据组（x
c
，y
c
）发生了的条件下，为多个潜在变量（）产生第二近似后验分布（），其中所述第二近似后验分布此外通过参数组（）描述，所述参数组经由对于所述训练数据组（x
c
，y
c
）共同的参数（）被参数化；基于所计算的多个潜在观测（）和所计算的多个其不确定性（）迭代地计算所述参数组。6.根据权利要求5所述的计算机实现的方法，其中迭代地计算所述参数组包括关于所述潜在变量（）实现另一多个因式分解高斯分布，并且其中所述参数组包括所述高斯分布的多个平均值（）和方差（）对应于高斯分布。7.根据权利要求5或6所述的计算机实现的方法，此外包含接...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：罗伯特，
类型：发明
国别省市：