【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及机器学习。本专利技术尤其涉及训练用于量化不确定性的机器学习系统的一种方法、量化机器学习系统输出数据不确定性的一种方法、量化机器学习系统输出数据不确定性的一种系统及包含量化输出数据不确定性的系统的一种车辆。
技术介绍
1、机器学习已成为许多领域的重要工具。在此，可靠估计机器学习系统输出中的不确定性也日益重要。
2、例如在自主驾驶中，可靠估计分类输出中的不确定性是与安全相关的方面。在此情况下，可通过识别出系统不可靠的情形并将控制权移交给驾驶员或降低车速，来避免事故。
3、由于卷积神经网络的非线性性，分类误差与实际不确定性并不相关，因此对卷积神经网络而言，不确定性的估计尤其是具有挑战性的问题。在此，卷积神经网络例如由于增加具有非线性激活函数的层或由于归一化方法等而越复杂，这种影响就越大。
4、计算不确定性的已知方法有蒙特卡罗随机失活法(monte-carlo dropoutmethod)和集成学习法(ensemble method)。两种方法都是基于对分类结果的离散性进行统计建模的原理，为一个输入信号生成多个结果。这些结果差异越大，不确定性就越大。在蒙特卡罗随机失活法中，网络权重为此随机关闭，而集成学习法则是每个集成成员生成一个输出。在此，为获取一表征性统计数据，需要大量结果。由于为此所需的计算复杂性高，这些方法一般不适合用于实时系统。此外，集成学习法还需要很高的存储工本。
技术实现思路
1、因此，本专利技术的任务是，提供一种计算量适中的
2、本专利技术的一个方面涉及训练用于量化输出数据不确定性的机器学习系统的一种方法。在此，提供训练数据，其包括训练输入数据和训练目标值。在此，训练目标值被分配给各相应训练输入数据。在此，例如手动为单个训练输入数据建立了训练目标值，训练目标值例如是训练输入数据的分类。
3、借助训练数据训练机器学习系统，即，将机器学习系统的参数调整/适配为，使机器学习系统在输入训练输入数据时生成与训练目标值相似的输出数据。所述参数例如在神经网络的情况中包括单个输入值和神经元之间的权重。在此，机器学习系统的训练借助一有监督学习方法进行，其中，大量学习方法是已知的。例如对于神经网络的训练可使用反向传播法。在此，在训练过程中将机器学习系统的参数调整为，使输出数据与训练目标值之间的误差尽可能小。输出数据与训练目标值之间的误差在此例如可通过输出数据与训练目标值之间的距离及输出数据的相应度量(metrik)加以确定。在此要注意，要避免过度拟合，这例如借助分析由测试输入数据生成的输出数据与相关测试目标值之间的误差来实现。在此，测试目标值被分配给测试输入数据，并且测试输入数据和测试目标值不用于调整机器学习系统参数。
4、此外，借助训练数据调整机器学习系统参数，使机器学习系统生成重构数据。在此，重构数据是训练数据已知程度的量度。在对于经训练的学习系统要处理的输入数据已知训练数据的情况下，机器学习系统输出数据的不确定性很低。然而，如果对要用经训练学习系统处理的输入数据而言，几乎没有或没有已知的训练数据，那么机器学习系统输出数据的不确定性就会很高。因此，可通过重构数据对机器学习系统输出数据的不确定性进行量化。在此，计算工作量适中，其中，用于计算重构数据的额外计算工作量最多与计算输出数据的计算工作量大致相当。此外，重构数据的计算是基于现有训练数据进行的，所以在此不需要其他输入。
5、在此，可作为生成输出数据的机器学习系统的另一输出生成重构数据。作为替代选择，机器学习系统为此可包括两个子系统，其中，第一子系统生成输出数据，第二子系统生成重构数据。在输出数据和重构数据由机器学习系统的两个子系统生成的情况下，重要的是，两个子系统的训练必须基于相同的训练数据，因为只有这样，重构数据才是已用来生成输出数据的同一训练数据的已知程度的量度。
6、在一些实施方式中，重构数据与训练输入数据相似。也就是说，机器学习系统参数被调整为，使重构数据与训练输入数据之间的误差尽可能小。换句话说，通过重构数据重构输入数据。
7、在一些实施方式中，重构数据与训练目标值相似，重构数据与训练目标值的偏差小于输出数据与训练目标值的偏差。也就是说，机器学习系统参数被调整为，使重构数据与训练目标值之间的误差小于输出数据与训练目标值之间的误差。由于机器学习系统的参数已调整成使得在避免过度拟合的情况下输出数据与训练目标值之间的误差尽可能小，这意味着，为生成重构数据，实施机器学习系统的过度拟合。
8、在一些实施方式中，为生成重构数据，训练输入数据被用作输入。无论是对于重构数据作为生成输出数据的机器学习系统的其他输出的情况，还是对于重构数据由机器学习系统第二子系统生成的情况，这都是可行的。作为替代选择或附加措施，输出数据可用作生成重构数据的输入。由于为此必须首先提供输出数据，因此只有在重构数据由机器学习系统第二子系统生成的情况下才能做到这一点。机器学习系统第一子系统的输出则被用作机器学习系统第二子系统的输入。
9、在一些实施方式中，机器学习系统是神经网络。在此，神经网络尤其适用于所述方法，因为它们很容易进行调整。在此，神经网络尤其是卷积神经网络。卷积神经网络的非线性性在此不会对所述方法的可用性造成问题。
10、但是，所述方法也可由例如决策树学习、支持向量机、回归分析或贝叶斯网络等其他机器学习系统使用。此外，所述方法还可用于多任务分类系统。在此，多任务分类系统包括例如一编码器和大量解码器。在此，为每个解码器生成重构数据，并相应调整机器学习系统参数。此外，还可将机器学习系统划分为多个子系统。在此，每个子系统都具有在此所述机器学习系统的功能性，但子系统彼此之间例如在机器学习系统的类型或训练数据的选择方面存在差异。然后，可将借助子系统生成的输出数据加以组合，以获得一经改进的输出。
11、在一些实施方式中，输入数据包括传感器数据、尤其是图像数据、雷达数据和/或激光雷达数据。在图像数据的范例情况下，如果重构数据与训练输入数据相似，则重构数据是对原始图像的重构。在此，原始图像重构得越精确，对该图像而言，训练数据已知程度就越高，输出数据的不确定性就越低。
12、在此，输入数据可以是一车辆的传感器数据。输出数据则例如是借助传感器数据检测到的对象的分类。由此，所述方法可用于量化自主驾驶系统输出数据的不确定性。
13、本专利技术另一方面涉及量化机器学习系统输出数据不确定性的一种方法，所述机器学习系统已根据上述机器学习系统训练方法进行了训练。
14、因此，机器学习系统可以是例如决策树学习系统、支持向量机、基于回归分析的学习系统、贝叶斯网络、神经网络或卷积神经网络等。此外，机器学习系统还可以是一多任务分类系统。此外，机器学习系统还可包括两个子系统。
15、机器学习系统从输入数据生成输出数据。本文档来自技高网...
【技术保护点】
1.训练用于量化输出数据(Y')不确定性(U)的机器学习系统(1)的方法，其中，提供包括训练输入数据(X)和训练目标值(Y)的训练数据(X、Y)，并借助训练数据(X、Y)将机器学习系统(1)的参数调整为，使机器学习系统(1)
2.根据权利要求1所述的方法，其中，重构数据(X')与训练输入数据(X)相似。
3.根据权利要求1所述的方法，其中，重构数据(Y”)与训练目标值(Y)相似，重构数据(Y”)与训练目标值(Y)的偏差小于输出数据(Y')与训练目标值(Y)的偏差。
4.根据权利要求1到3中任一项所述的方法，其中，为生成重构数据(X'；Y”)，将训练输入数据(X)和/或输出数据(Y')用作输入。
5.根据权利要求1到4中任一项所述的方法，其中，机器学习系统(1)是神经网络，尤其是卷积神经网络。
6.根据权利要求1到5中任一项所述的方法，其中，输入数据(X)包括传感器数据、尤其是图像数据、雷达数据和/或激光雷达数据，所述传感器数据尤其是车辆的传感器数据。
7.量化机器学习系统(1)输出数据(Y')不确定性(U)的
8.根据权利要求7所述的方法，其中，与重构数据(X')相应的数据是输入数据(X)。
9.根据权利要求7所述的方法，其中，与重构数据(Y”)相应的数据是由输入数据(X)所生成的输出数据(Y')。
10.根据权利要求7到9中任一项所述的方法，其中，为生成重构数据(X'；Y”)，使用输入数据(X)和/或由输入数据(X)所生成的输出数据(Y')。
11.根据权利要求7到10中任一项所述的方法，其中，所述度量(4)仅适用于重构数据(X'；Y”)的一部分和与重构数据(X'；Y”)相应的数据(X；Y')V的一部分。
12.根据权利要求7到11中任一项所述的方法，其中，对于不确定性(U)超过一预定值的输出数据(Y')，输出不确定性警告。
13.根据权利要求7到12中任一项所述的方法，其中，对于不确定性(U)超过一预定值的输出数据(Y')，存储输入数据(X)以进一步训练机器学习系统(1)。
14.量化机器学习系统(1)输出数据(Y')不确定性(U)的系统，它包括：
15.车辆，其包括根据权利要求14所述的量化输出数据(Y')不确定性(U)的系统(6)。
...【技术特征摘要】
【国外来华专利技术】
1.训练用于量化输出数据(y')不确定性(u)的机器学习系统(1)的方法，其中，提供包括训练输入数据(x)和训练目标值(y)的训练数据(x、y)，并借助训练数据(x、y)将机器学习系统(1)的参数调整为，使机器学习系统(1)
2.根据权利要求1所述的方法，其中，重构数据(x')与训练输入数据(x)相似。
3.根据权利要求1所述的方法，其中，重构数据(y”)与训练目标值(y)相似，重构数据(y”)与训练目标值(y)的偏差小于输出数据(y')与训练目标值(y)的偏差。
4.根据权利要求1到3中任一项所述的方法，其中，为生成重构数据(x'；y”)，将训练输入数据(x)和/或输出数据(y')用作输入。
5.根据权利要求1到4中任一项所述的方法，其中，机器学习系统(1)是神经网络，尤其是卷积神经网络。
6.根据权利要求1到5中任一项所述的方法，其中，输入数据(x)包括传感器数据、尤其是图像数据、雷达数据和/或激光雷达数据，所述传感器数据尤其是车辆的传感器数据。
7.量化机器学习系统(1)输出数据(y')不确定性(u)的方法，所述机器学习系统已按照根据权利要求1至6中任一项所述的训练机器学习系统(1...
【专利技术属性】
技术研发人员：A·斯塔德迈尔，K·M·纳肯，
申请(专利权)人：大陆智行德国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。