【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及用于借助神经网络估计不确定性的方法以及神经网络的架构。
技术介绍
1、在技术系统、尤其是安全关键的技术系统中，可以使用模型，尤其是用于主动学习、强化学习或外推的模型，来预测不确定性，例如借助神经网络。
2、最近，神经过程被越来越多地用于模型不确定性的预测。神经过程本质上是一族基于神经网络的架构，其创建针对回归问题的概率预测。它们自动学习归纳偏差，这些归纳偏差针对具有一种共同结构的目标函数的类别(例如二次函数或具有可变参数的特定物理系统的动态模型)进行定制。神经过程利用所谓的多任务训练方法进行训练，其中一个函数对应于一个任务。由此得到的模型基于仅仅少量上下文观测就提供对未知目标函数的准确预测。
3、为了将上下文观测输入到架构中，使用了一种所谓的聚合机制。这种机制能够实现通过编码器网络从目标函数中导出每一个上下文元组，即输入-输出对(x，y)，该编码器网络将每个上下文元组映射到一个潜在观测r上。随后，所有潜在观测通过一种收缩操作进行聚合。传统上，神经过程使用均值聚合，即聚合机制对所有潜在观测取均值。此外，还已知在神经过程中使用贝叶斯上下文聚合(英语：bayesian context aggregation)。与均值聚合不同，其中为所有潜在观测分配统一的权重1/n(其中n是上下文集合的大小)，贝叶斯上下文聚合能够实现根据针对任务的多义性的学习到的度量对潜在观测进行加权。这很重要，因为不同的上下文元组包含关于目标函数的身份的不同量的信息。如果上下文元组位于x-y空间的具有高任务多义性的区域中，即其可能由
技术实现思路
1、本公开内容的任务是提供一种方法和一种架构，其能够至少保持或改进贝叶斯上下文聚合的预测性能和优点(例如在聚合中对潜在观测的不均匀加权)，并在此比贝叶斯上下文聚合更具参数效率。
2、利用根据所描述的实施方式的方法解决该任务。
3、一种实施方式涉及一种计算机实现的方法，用于在模型中借助神经网络、尤其是神经过程估计不确定性，其中该模型对技术系统和/或技术系统的系统行为进行建模，其中在一个步骤中，基于数量为n的潜在观测rn(其中n＝1、…、n)确定模型不确定性作为潜在高斯分布的方差并且确定潜在高斯分布的均值μz，其中模型不确定性和均值μz根据潜在观测rn和超参数t确定，并且在另一步骤中通过方差和均值μz对潜在高斯分布进行参数化。要注意的是，该模型是根据对技术系统的测量创建的。
4、引入超参数t(也称为softmax-temperatur(softmax温度))能够实现潜在观测的不均匀加权，但不需要第二编码器网络。使用附加的可训练超参数能够实现所谓的“softmax聚合”，其可以替代基于神经过程的架构中的传统聚合方法，例如均值聚合、最大值聚合或贝叶斯聚合。
5、通过根据本公开内容所描述的“softmax-聚合”，极大简化上文所述的贝叶斯聚合，其方式是“softmax-聚合”如下规定潜在观测的方差与潜在观测rn的固定相关性：
6、
7、这意味着不需要单独的编码器网络来计算由此，待学习的参数的数量减少。潜在观测rn的方差与超参数t的固定相关性可以被用在已知的贝叶斯聚合方程中。结果得到的方程于是形成“softmax聚合”方程：
8、
9、根据一种实施方式规定，潜在观测rn通过将上下文数据对xn，yn借助神经编码器网络映射到相对应的潜在观测rn上产生。随后，根据所描述的方程计算和μz，并利用这些参数对潜在高斯分布进行参数化。
10、可以规定，超参数t借助神经编码器网络被产生来映射上下文数据对xn，yn。
11、可以例如有利的是，超参数t与神经编码器网络的参数一起被学习以映射上下文数据对xn，yn，例如在共同的学习方法中学习。
12、根据另一实施方式规定，超参数t独立地通过超参数优化来确定。
13、根据另一实施方式规定，借助神经解码器网络基于潜在高斯分布、尤其是基于输入位置x并且基于从高斯分布中导出的潜在样本z来确定模型的输出的方差，也即输出方差因此，神经解码器网络可以基于来自潜在高斯分布的样本z来计算对位置x处的目标变量y的预测。
14、根据另一实施方式规定，借助另一神经解码器网络基于潜在高斯分布、尤其是基于输入位置x并且基于从高斯分布导出的潜在样本z来确定模型的输出的均值μy。均值μy，尤其是结合输出方差，提供目标变量y的估计。
15、其他实施方式涉及一种神经网络、尤其是神经过程的架构，其中该神经网络构成为执行根据所描述的实施方式的用于在模型中估计不确定性的方法的步骤，其中模型对技术系统和/或技术系统的系统行为建模。
16、根据一种实施方式，神经网络包括至少一个神经编码器网络和/或至少一个神经解码器网络，其中神经编码器网络被训练为基于上下文数据对xn，yn产生潜在观测rn，和/或其中神经解码器网络被训练为基于潜在高斯分布确定模型的输出的方差、也即输出方差和/或模型的输出的均值μy。
17、其他实施方式涉及一种设备，该设备包括神经网络、尤其是神经过程，该神经网络具有根据上述的实施方式的架构，其中该设备被构成为用于执行根据所述的实施方式的方法的步骤。
18、其他实施方式涉及根据所描述的实施方式的方法和/或具有根据所描述的实施方式的架构的神经网络、尤其是神经过程的用途，用于确定技术系统的系统行为与标准值范围的偏差，尤其是不允许的偏差。要注意的是，根据所确定的偏差，技术系统可以切换到安全运行模式或输出警告。
19、在确定技术系统的偏差时使用人工神经网络，其在学习阶段中被输送技术装置的输入数据和输出数据。通过与技术系统的输入和输出数据进行比较，在人工神经网络中建立了相对应的链接，并将神经网络训练到技术系统的系统行为。
20、在学习阶段之后的预测阶段中，可以借助神经网络可靠地预测技术系统的系统行为。为此在预测阶段中，技术系统的输入数据被输送给神经网络，并在神经网络中计算输出比较数据，所述输出比较数据与技术系统的输出数据进行比较。如果在该比较中得出技术系统的输出数据(其优选作为测量值被检测)的差与神经网络的输出比较数据有偏差并且该偏差超过界限值，则技术系统的系统行为与标准值范围存在不允许的偏差。随后可以采取适当的措施，例如产生或存储警告信号，或者停用技术系统的部分功能(技术装置的降级)。必要时，在发生不允许的偏差的情况下，可能会切换到替选的技术本文档来自技高网...
【技术保护点】
1.一种用于在模型中借助神经网络(200，300)、尤其是神经过程来估计不确定性的计算机实现的方法(100)，其中所述模型对技术系统和/或所述技术系统的系统行为进行建模，其中在一个步骤(110)中，基于数量为N的潜在观测(rn)，其中n＝1、…、N，确定模型不确定性作为潜在高斯分布的方差，并且确定潜在高斯分布的均值(μz)，其中所述模型不确定性和所述均值(μz)根据所述潜在观测(rn)和超参数(T)确定，并且在另一步骤(120)中，通过所述方差和所述均值(μz)对所述潜在高斯分布进行参数化。
2.根据权利要求1所述的方法(100)，其中所述潜在观测(rn)通过将上下文数据对(xn，yn)借助神经编码器网络映射到相对应的潜在观测(rn)上来产生。
3.根据权利要求2所述的方法(100)，其中所述超参数(T)借助所述神经编码器网络(210)产生以映射所述上下文数据对(xn，yn)。
4.根据权利要求1至3中任一项所述的方法(100)，其中所述超参数(T)与所述神经编码器网络(210)的参数一起学习以映射所述上下文数据对(xn，yn)。
6.根据上述权利要求中任一项所述的方法(100)，其中借助第一神经解码器网络(220)基于所述潜在高斯分布、尤其是基于输入位置(x)以及基于从所述高斯分布导出的潜在样本(z)，确定所述模型的输出的方差，也即输出方差
7.根据上述权利要求中任一项所述的方法(100)，其中借助另一神经解码器网络(230)基于潜在高斯分布、尤其是基于输入位置(x)以及基于从所述高斯分布导出的潜在样本(z)，确定所述模型的输出的均值(μy)。
8.一种神经网络(200)、尤其是神经过程的架构，其中所述神经网络(200)构造为执行根据权利要求1至7中任一项所述的方法(100)的步骤，以估计模型中的不确定性，其中所述模型对技术系统和/或所述技术系统的系统行为进行建模。
9.根据权利要求8所述的架构，其中所述神经网络(200)包括至少一个神经编码器网络(210)和/或至少一个神经解码器网络(220，230)，其中所述神经编码器网络(210)被训练为基于上下文数据对(xn，yn)产生潜在观测(rn)，和/或其中所述神经解码器网络(220，230)被训练为基于所述潜在高斯分布确定所述模型的输出的方差，也即输出方差和/或所述模型的输出的均值μy。
10.一种包括具有根据权利要求7至9中任一项所述的架构的神经网络(200)、尤其是神经过程的设备，其中所述设备被构造用于执行根据权利要求1至6中任一项所述的方法(100)的步骤。
11.根据权利要求1至6中任一项所述的方法和/或具有根据权利要求8至9中任一项所述的架构的神经网络(200)、尤其是神经过程的用途，用于确定技术系统的系统行为与标准值范围的偏差、尤其是不允许的偏差。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于在模型中借助神经网络(200，300)、尤其是神经过程来估计不确定性的计算机实现的方法(100)，其中所述模型对技术系统和/或所述技术系统的系统行为进行建模，其中在一个步骤(110)中，基于数量为n的潜在观测(rn)，其中n＝1、…、n，确定模型不确定性作为潜在高斯分布的方差，并且确定潜在高斯分布的均值(μz)，其中所述模型不确定性和所述均值(μz)根据所述潜在观测(rn)和超参数(t)确定，并且在另一步骤(120)中，通过所述方差和所述均值(μz)对所述潜在高斯分布进行参数化。
2.根据权利要求1所述的方法(100)，其中所述潜在观测(rn)通过将上下文数据对(xn，yn)借助神经编码器网络映射到相对应的潜在观测(rn)上来产生。
3.根据权利要求2所述的方法(100)，其中所述超参数(t)借助所述神经编码器网络(210)产生以映射所述上下文数据对(xn，yn)。
4.根据权利要求1至3中任一项所述的方法(100)，其中所述超参数(t)与所述神经编码器网络(210)的参数一起学习以映射所述上下文数据对(xn，yn)。
5.根据权利要求1或2所述的方法(100)，其中所述超参数(t)独立地通过超参数优化来确定。
6.根据上述权利要求中任一项所述的方法(100)，其中借助第一神经解码器网络(220)基于所述潜在高斯分布、尤其是基于输入位置(x)以及基于从所述高斯分布导出的潜在样本(z)，确定所述...
【专利技术属性】
技术研发人员：M·沃尔普，G·纽曼，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。