训练基于数据的评估模型的方法技术

本发明专利技术涉及一种用于训练基于数据的评估模型(4)以确定评估结果的方法，包括以下步骤：

【技术实现步骤摘要】
训练基于数据的评估模型的方法


[0001]本专利技术涉及一种用于提供用于评估非标准化的输入数据、特别是传感器数据的评估模型的方法。

技术介绍

[0002]深度神经网络可以用作许多
的回归或分类模型。深度神经网络通常用于将通过传感器的采样得到的输入数据映射为一个或多个回归值或一个或多个类别，以便能够以这种方式执行回归或分类。
[0003]这种深度神经网络的训练通常很耗时，并且需要提供大量的训练数据集，这些训练数据集将输入特征的组合分别分配给一个模型输出。作为训练方法通常使用基于反向传播的方法，该方法通常非常耗时并且随着训练数据集的数量增加而显著扩大。
[0004]专利技术公开
[0005]根据本专利技术，提供了一种根据权利要求1的用于训练用作回归或分类模型的深度神经网络的方法以及一种根据并列独立权利要求的对应设备。
[0006]进一步的设计在从属权利要求中说明。
[0007]根据第一方面，提供了一种用于训练基于数据的评估模型以确定评估结果的方法，包括以下步骤：
[0008]‑
提供将输入数据集分配给一个或多个标签的训练数据集；
[0009]‑
确定所有输入数据集的值的分布区间；
[0010]‑
根据所述分布区间初步确定所述基于数据的评估模型的模型参数；
[0011]‑
通过进一步适配所述模型参数，特别是借助于基于梯度的训练方法，用所述训练数据集来训练所述基于数据的评估模型。
[0012]基于数据的评估模型可以对应于神经网络，其中每层人工神经元的模型参数被设置为权重矩阵和偏置向量的元素。所述评估模型用于将输入向量分配给评估结果，特别是分配给输出向量。
[0013]人工深度神经网络的一种传统配置是将人工神经元布置在一层或多层中。一层中的神经元执行计算规则，其中分别确定来自前一层的神经元的输出值或输入向量的输出值与偏置值的总和，所述输出值用权重值加权，并且将激活函数应用于该结果。通常将一层神经元的权重值和偏置值组合成权重矩阵或偏置向量。
[0014]这种以神经网络形式构造的基于数据的评估模型的训练可以对应地基于预给定的训练数据集使用本身已知的反向传播方法进行。每个训练数据集都对应于将一个输入数据集分配给至少一个标签。这些训练方法通常非常耗时。为了使训练方法更快地收敛，该方法的第一步骤之一是初始化神经网络各个层的权重矩阵和偏置向量，其方式是从标准化高斯分布中随机地提取每个神经元层的权重矩阵和偏置向量的元素。
[0015]这种初始化典型地基于输入数据标准化地存在的假设。在对训练数据集的输入数据集进行标准化时，确定输入数据集元素的平均值和标准偏差，并将这些特征对应地标准
化为平均值为0和标准偏差为1。为此，从输入数据集的每个元素中减去以这种方式确定的平均值，然后除以标准偏差。
[0016]从而例如在RGB图像的图像分类器的情况下作为输入数据集对颜色通道进行标准化，其方式是关于训练数据的所有像素和所有训练图像确定一个颜色通道的所有值的平均值和标准偏差，通过从每个像素值中减去以这种方式确定的平均值然后除以标准偏差来标准化这些训练图像的所述颜色通道。由此为每个像素提供了介于
‑
1和1之间的值。
[0017]此外，可以根据输入数据集的所有元素的最小值和最大值来确定所述分布区间，其中特别是根据输入数据集的所有元素值的平均值和标准偏差来确定所述分布区间。
[0018]可以规定，为了初步确定所述基于数据的评估模型的模型参数执行以下步骤：
[0019]‑
确定变换函数，用于将具有预给定标准化分布的假定标准化输入数据集映射为所述输入数据集的元素值的分布；
[0020]‑
对应于从高斯正态分布的随机选择来预给定初步模型参数；
[0021]‑
将所述变换函数应用于所述初步模型参数以获得变换后的模型参数；
[0022]‑
使用所述变换后的模型参数来初始化所述神经网络。
[0023]通过从标准化高斯分布中随机选择来初始化权重矩阵通常有利于输入数据的元素实现快速训练，这些元素也对应于标准化高斯分布进行了标准化。但是，如果输入数据的元素值的分布偏离了标准化高斯分布，则可能导致更缓慢的训练，这取决于激活函数的选择。特别是在输入数据的元素值的分布发生偏离的情况下，使用ReLU函数作为激活函数会导致ReLU函数的非线性行为的利用率降低，否则所述ReLU函数的效果会显著有利于加速训练。
[0024]对于值不均匀分布的输入数据集而言，例如在混合物理输入的情况下(即输入数据集的代表不同物理变量的元素的值范围不同)，对输入数据集进行标准化可能导致输入数据集各个元素的值发生偏移。
[0025]在这方面规定，将一层或多层神经元的权重矩阵的值和偏置向量的值的初始化适配于所述输入数据集元素的值分布的统计性，从而快速地使得神经网络可以从优化的初始状态出发学习特征。此外，因此必要时取消标准化层，这在嵌入式系统中特别有利，因为可以节省评估神经网络所用的计算时间。特别地，神经网络层的权重矩阵的初始化和偏置向量的初始化的适配导致模型训练的加快。所述适配根据输入特征值的分布进行。
[0026]输入数据集元素的分布基本上是由这些元素的值范围确定的。通常，对于值范围为
‑
1到1的输入特征而言，通过从标准化高斯分布中随机选择来初始化权重矩阵和偏置向量会导致良好的训练结果，因为输入数据集的元素通常也存在于
‑
1和1之间的值范围内。在这些情况下，以快速收敛来进行所述训练。在输入特征的优化标准化分布在
‑
1和1之间的情况下，对于神经网络层得到以下输出：
[0027][0028]其中W对应于权重矩阵，b对应于偏置向量，x
′
对应于输入向量x
′
＝[
‑
1；1]形式的标准化输入数据。
[0029]然后在输入数据集x的元素的值分布在与此偏离的值范围x
′
＝[c；d]的情况下对应地进行变换，使得x
′
映射为x，即x
′→
x，然后权重矩阵W对应地得到补偿：
[0030][0031]具体地，基于通过对应于标准化高斯分布的随机选择得到的权重矩阵W和偏置向量b根据以下规则适配：
[0032][0033]由此，对一层神经元的神经元函数施加逆变换函数，以获得变换后的模型参数。
[0034]变换为变换后的权重矩阵W
′
通常对应于变换为变换后的偏置向量b
′
通常对应于
[0035]通过这种方式，当使用其元素不是正态分布的输入数据集时，可以对初步权重矩阵和初步偏置向量的初始预给定值进行标准化。
附图说明
[0036]下面基于附图更详细地解释实施方式。
[0037]图1示出了用于确定评估时间窗口中的变化点时刻的示例性传感器系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练基于数据的评估模型(4)以确定评估结果的计算机实现的方法，包括以下步骤：
‑
提供(S1)将输入数据集分配给一个或多个标签的训练数据集；
‑
确定(S2)所有输入数据集的值的分布区间；
‑
根据所述分布区间初步确定(S3、S4、S5)所述基于数据的评估模型(4)的模型参数(W
′
，b
′
)；
‑
通过进一步适配所述模型参数(W
′
，b
′
)用所述训练数据集来训练(S6)所述基于数据的评估模型(4)。2.根据权利要求1所述的方法，其中根据所述输入数据集的所有元素的最小值和最大值来确定所述分布区间，其中特别是根据所述输入数据集的所有元素值的平均值和标准偏差来确定所述分布区间。3.根据权利要求1或2所述的方法，其中所述基于数据的评估模型(4)对应于神经网络(40)，其中每层(L1，L2，L3)的人工神经元(41)的所述模型参数(W，b)被设置为权重矩阵(W)和偏置向量(b)的元素。4.根据权利要求1至3中任一项所述的方法，其中为了初步确定所述基于数据的评估模型(4)的模型参数(W，b)执行以下步骤：
‑

【专利技术属性】
技术研发人员：K，
申请(专利权)人：罗伯特，
类型：发明
国别省市：