基于量化最小误差熵的宽度学习方法、介质及设备技术

本发明专利技术提供了一种基于量化最小误差熵的宽度学习方法、介质及设备；其中方法包括如下步骤：输入一个包含N个训练样本的样本集合，初始化宽度学习模型；计算输出层的初始权重并初始化对应的目标函数值；计算每个样本的预测误差；通过量化每个样本的预测误差，降低基于最小误差熵设计的目标函数的计算复杂度；采用定点迭代算法一次求出每次的输出层权重和对应的目标函数值；当目标函数符合要求或达到最大迭代次数时，结束训练，将当前权重作为宽度学习模型的输出层权重。该方法根据量化最小误差熵准则来训练宽度学习模型的输出层权重，解决宽度学习模型在非高斯环境中稳定性不足的问题，从而提升宽度学习模型的性能。从而提升宽度学习模型的性能。从而提升宽度学习模型的性能。

Width learning method, medium and equipment based on quantized minimum error entropy

【技术实现步骤摘要】
基于量化最小误差熵的宽度学习方法、介质及设备


[0001]本专利技术涉及宽度学习
，更具体地说，涉及一种基于量化最小误差熵的宽度学习方法、介质及设备。

技术介绍

[0002]宽度学习是近几年提出的一种高效的机器学习方法。宽度学习模型结构简单，主要由特征层、增强层和输出层构成。宽度学习模型的训练过程主要分为三步：1.数据经过随机线性映射到特征映射层；2.将特征层的输出输入到增强映射层，通过线性变换与非线性激活函数生成一系列增强特征；3.将特征层与增强层的输出连接起来一起输入到输出层，通过岭回归算法学习输出层的参数。其中特征层与增强层的参数是随机生成的，不需要在训练模型的过程中学习，只有输出层的参数需要通过岭回归算法学习，这大大加快了模型的训练速度。此外，宽度学习模型能够通过动态扩展来取得更好的性能，这避免了像深度学习那样重新训练整个模型的复杂过程，而只需要重新训练模型的扩展部分。由于这些特性，宽度学习在一些任务中能够取得和深度学习相较的性能，却不需要太多的训练时间或者高性能的计算设备，这大大减少了训练模型的投入成本。
[0003]然而，标准的宽度学习模型依据最小均方误差准则来训练输出层的权重。最小均方误差准则计算简单、易于实现，在数据中不存在噪声或者数据中只有高斯噪声的情况下，能够取得较好的性能。但是现实应用中的数据往往不服从高斯分布，而是有更为复杂的分布。如果训练数据被非高斯噪声或者是离群值污染了，基于最小均方误差准则训练出来的模型性能往往不理想。这是因为最小均方误差准则会放大离群值的负面影响，从而使模型往错误的方向训练。所以，如何提升宽度学习模型对非高斯噪声的稳定性，具有重大的现实意义。

技术实现思路

[0004]为克服现有技术中的缺点与不足，本专利技术的目的在于提供一种基于量化最小误差熵的宽度学习方法、存储介质及设备；该方法根据量化最小误差熵准则来训练宽度学习模型的输出层权重，解决宽度学习模型在非高斯环境中稳定性不足的问题，从而提升宽度学习模型的性能。
[0005]为了达到上述目的，本专利技术通过下述技术方案予以实现：一种基于量化最小误差熵的宽度学习方法，其特征在于：包括如下步骤：
[0006]S1，输入一个包含N个样本的样本集合S1，输入一个包含N个样本的样本集合D表示输入矩阵的维度，初始化宽度学习模型；
[0007]S2，通过岭回归算法来计算输出层的初始权重w0，并基于最小均方误差来计算出目标函数J(w0)，初始化目标函数L(w0)＝J(w0)；
[0008]S3，计算每个样本的预测误差e
k
；
[0009]S4，通过量化每个样本的预测误差e
k
，得到带有r个量化误差c
r
的量化误差集合C及
r个量化误差c
r
对应的量化数目s
r
的集合S，以及量化误差数目L；
[0010]S5，求出权重w
t
和目标函数L(w
t
)；其中，t＝1,
…
,T，t为迭代次数，T为最大迭代次数；
[0011]S6，当目标函数L(w
t
)与前一次迭代学习时的目标函数L(w
t
‑1)之间差值的绝对值小于终止迭代阈值η，或者达到最大迭代次数T时，结束训练，将当前权重w
t
作为宽度学习模型的输出层权重w；否则跳至步骤S3，进行下一次迭代学习。
[0012]优选地，所述步骤S1，初始化宽度学习模型包括：设定宽度学习模型中包含n组特征映射和m组增强映射，每组特征映射节点中包含p个特征节点，每组增强映射中包含q个增强节点；计算出n组特征映射Z
n
≡[Z1,
…
,Z
n
]和m组增强映射H
m
≡[H1,
…
,H
m
]，进而得到输出层的输入矩阵A：
[0013]A＝[Z
n
|H
m
]。
[0014]优选地，所述步骤S2包括如下步骤：
[0015]通过岭回归算法来求解输出层的初始权重w0：
[0016]w0＝(A
T
A+λI)
‑1A
T
y
[0017]其中，I表示单位矩阵；A表示输入矩阵；
[0018]基于最小均方误差来计算出目标函数J(w0)为：
[0019][0020]其中，λ表示正则系数；初始化目标函数L(w0)＝J(w0)。
[0021]优选地，所述步骤S3，每个样本的预测误差e
k
为：
[0022]e
k
＝y
k
‑
a
k
w
t
‑1[0023]其中，a
k
为输入矩阵A的第k行。
[0024]优选地，所述步骤S4包括：
[0025]S41，设定量化误差集合为C，设定量化误差集合C中每个量化误差c
r
对应的量化数目s
r
的集合为S，量化误差数目为L；初始化量化误差集合C＝{c1＝0}，集合S＝{s1＝0}，量化误差数目L＝1，初始化k＝1；
[0026]S42，分别计算量化误差集合C中各个量化误差c
r
与预测误差e
k
之间的距离dis(e
k
,c
r
)，其中r＝1，...，L；找出最小距离dis(e
k
,c
r
)并将对应的r值记录为r*；
[0027]S43，当最小距离dis(e
k
,c
r*
)＜量化阈值ε时，将预测误差e
k
量化为量化误差集合C的第r*个量化误差c
r*
,集合S中对应的量化数目s
r*
加1；
[0028]当最小距离dis(e
k
,c
r*
)≥量化阈值ε时，量化误差数目L加1，将预测误差e
k
放入量化误差集合C中：第L个量化误差c
L
＝e
k
，集合S中对应的量化数目s
L
设为1；
[0029]S44，当前预测误差e
k
不是最后一个预测误差时，跳至步骤S42，进行下一个预测误差e
k
的处理；当前预测误差e
k
是最后一个预测误差时，判断集合S的第1个量化数目s1是否为零：
[0030]若s1为零，则将集合S的第1个量化数目s1和量化误差集合C的第1个量化误差c1移除，量化误差数目L减1，跳至步骤S45；
[0031]否则直接跳至步骤S45；
[0032]S45，完成量化每个样本的预测误差，得到带有r个量化误差的量化误差集合C及r个量化误差c
r...

【技术保护点】

【技术特征摘要】
1.一种基于量化最小误差熵的宽度学习方法，其特征在于：包括如下步骤：S1，输入一个包含N个样本的样本集合S1，输入一个包含N个样本的样本集合D表示输入矩阵的维度，初始化宽度学习模型；S2，通过岭回归算法来计算输出层的初始权重w0，并基于最小均方误差来计算出目标函数J(w0)，初始化目标函数L(w0)＝J(w0)；S3，计算每个样本的预测误差e
k
；S4，通过量化每个样本的预测误差e
k
，得到带有r个量化误差c
r
的量化误差集合C及r个量化误差c
r
对应的量化数目s
r
的集合S，以及量化误差数目L；S5，求出权重w
t
和目标函数L(w
t
)；其中，t＝1，...，T，t为迭代次数，T为最大迭代次数；S6，当目标函数L(w
t
)与前一次迭代学习时的目标函数L(w
t
‑1)之间差值的绝对值小于终止迭代阈值η，或者达到最大迭代次数T时，结束训练，将当前权重w
t
作为宽度学习模型的输出层权重w；否则跳至步骤S3，进行下一次迭代学习。2.根据权利要求1所述的基于量化最小误差熵的宽度学习方法，其特征在于：所述步骤S1，初始化宽度学习模型包括：设定宽度学习模型中包含n组特征映射和m组增强映射，每组特征映射节点中包含p个特征节点，每组增强映射中包含q个增强节点；计算出n组特征映射Z
n
≡[Z1，...，Z
n
]和m组增强映射H
m
≡[H1，...，H
m
]，进而得到输出层的输入矩阵A：A＝[Z
n
|H
m
]。3.根据权利要求1所述的基于量化最小误差熵的宽度学习方法，其特征在于：所述步骤S2包括如下步骤：通过岭回归算法来求解输出层的初始权重w0：w0＝(A
T
A+λI)
‑1A
T
y其中，I表示单位矩阵；A表示输入矩阵；基于最小均方误差来计算出目标函数J(w0)为：其中，λ表示正则系数；初始化目标函数L(w0)＝J(w0)。4.根据权利要求1所述的基于量化最小误差熵的宽度学习方法，其特征在于：所述步骤S3，每个样本的预测误差e
k
为：e
k
＝y
k
‑
a
k
W
t
‑1其中，a
k
为输入矩阵A的第k行。5.根据权利要求1所述的基于量化最小误差熵的宽度学习方法，其特征在于：所述步骤S4包括：S41，设定量化误差集合为C，设定量化误差集合C中每个量化误差c
r
对应的量化数目s
r
的集合为S，量化误...

【专利技术属性】
技术研发人员：张思敏，陈俊龙，刘竹琳，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：