【技术实现步骤摘要】
本专利技术属于宽度学习，具体涉及一种鲁棒的数据增量宽度学习方法。
技术介绍
1、宽度学习系统支持在添加新数据后快速更新网络，无需重新训练。在宽度学习首次训练完成后，会存储一些参数矩阵和特征矩阵的伪逆。当新数据到达时，可以使用存储的参数直接提取特征，从而获得新数据的特征矩阵。这个特征矩阵与旧特征矩阵垂直拼接，形成完整的新特征矩阵。数据增量宽度学习(broad learning system an effective andefficient incremental learning system without the need for deep architecture)利用特征矩阵的伪逆来存储学习到的知识，使用greville定理的转置和扩展版本来更新网络权重，避免重新计算整个矩阵的伪逆。这样，宽度学习系统就可以在不重新训练的情况下实现网络权重的更新。
2、宽度学习系统的数据增量算法存在其他版本。鉴于宽度学习系统本身采用岭回归，因此还可以采用岭回归中的平均法(communication efficient algorithms forstatistical optimization paper)来实现数据增量。此外，一些研究提出了任务增量宽度学习系统(task-incremental broad learning system for multi-componentintelligent fault diagnosis of machinery)、类增量宽度学习系统(class-incremental learni
3、在实际应用中，数据增量宽度学习方法在处理不确定规模的数据流时的准确率缺乏稳定性，并且存在训练时间长和内存占用大的问题。首先，其权重更新策略需要判断中间结果是否为零矩阵，但在实际情况中，一个矩阵的所有元素几乎不可能都为零，这导致了误差的产生。其次，即使以上条件能够正确判断，如果不能满足一个特定的等式，最终计算的结果依然是不准确的。此外，数据增量宽度学习的计算成本严重依赖于新样本的数量，这使得训练速度和内存消耗都变得不稳定。伪逆矩阵也会随着样本的数量增多而变大，导致增量宽度学习的存储成本增加。这些问题给数据增量宽度学习的实际应用带来了很大的挑战。
4、在现有的其他方法中，平均法直接对不同批次数据计算得到的权重取平均值。这种方法的训练时间和内存占用较为稳定，但是存在一定的误差，控制误差需要满足特定的条件，因此在处理不确定规模数据流时的准确率缺乏稳定性。而任务增量宽度学习系统、类增量宽度学习系统主要针对任务增量、类增量等特定任务，只能处理等规模数据流，无法在复杂数据流情景下工作，也难以应对复杂的真实世界数据流场景。
5、现有的数据增量宽度学习使用伪逆矩阵来记忆和更新网络所学知识，此方法虽然能够达到记忆的效果，但是伪逆会随着增量数据的增加而增大。这会使得网络的训练时间增加、内存消耗变大。数据增量宽度学习方法利用greville定理进行权重的更新计算，此方法需要判断中间结果是否为零矩阵，并且公式的成立需要满足特定的条件，因此在复杂数据流情况下会产生误差。
技术实现思路
1、本专利技术提出的数据增量宽度学习方法包含初始模型训练过程和增量模型训练过程，设计了记忆模块来存储宽度学习网络所学知识，以确保宽度学习网络在增量学习过程中不会遗忘先前学到的知识。在增量训练过程中，增量特征提取模块和增量记忆模块仅处理增量数据，无需合并之前的数据。此外，配合记忆快速更新模块和权重计算模块，实现网络的快速增量更新。本专利技术的一种鲁棒的能够处理不稳定数据流的数据增量宽度学习方法。即使在数据流不稳定的情况下，本专利技术方法依然能保持准确率的鲁棒性，并且在时间和空间上优于现有的方法。
2、本专利技术至少通过如下技术方案之一实现。
3、一种鲁棒的数据增量宽度学习方法，包括以下步骤：
4、初始批次数据输入特征提取模块，经过特征提取后的数据进入记忆模块生成记忆矩阵并储存，记忆矩阵再通过权重计算模块得到初始模型的权重；
5、增量数据通过增量特征提取模块提取增量特征，增量特征经过增量记忆模块生成增量记忆矩阵，记忆快速更新模块将增量记忆矩阵与所述的记忆矩阵融合，得到新的记忆矩阵并储存，新的记忆矩阵通过权重计算模块得到增量模型的权重。
6、进一步地，所述特征提取模块包括：
7、从第一批数据中构建初始模型：
8、
9、
10、
11、
12、a＝[zn,hm]
13、其中x∈rn×m表示样本，y∈rn×c表示标签，n和m分别表示样本的数量和维度，c是类别数，首先将数据x随机线性映射到n组特征节点zi，用稀疏自编码器对随机生成的权重wei和偏差βei进行优化后，水平拼接n组特征节点形成特征矩阵zn，随后对该矩阵进行m组随机非线性映射，ξ为映射函数,生成m组增强节点hj，whj和βhj为随机生成的权重和偏差，m组增强节点水平拼接成为增强矩阵hm，最后将zn与hm进行拼接完成特征提取过程，最终提取的特征增广矩阵a涵盖线性和非线性特征。
14、进一步地，所述特征提取模块为稀疏自编码器，并选择k-均值聚类、卷积神经网络、变压器。
15、进一步地，所述记忆模块包括：
16、
17、
18、其中，y表示标签，u为特征记忆矩阵，v为知识记忆矩阵，a为特征增广矩阵。
19、进一步地，所述权重计算模块使用预计算的岭回归获得权重，具体为：
20、w＝(λi+u)-1v
21、其中，w为网络权重，λ为岭回归的正则化系数，u表示特征记忆矩阵，v表示知识记忆矩阵。
22、进一步地，所述权重计算模块使用正则化的线性回归获得权重。
23、进一步地，所述增量特征提取模块通过使用初始模型中特征提取的参数计算新的特征矩阵，只对新数据进行操作，得到的增量特征增广矩阵a*也只包含新数据的特征，具体为：
24、
25、
26、
27、
28、
29、其中,x*表示新增数据，wei和βei表示在初始模型中随机生成的权重和偏差，为映射函数，zi*表示第i组增量特征节点，n组增量特征节点水平拼接后形成增量特征矩阵zn*，随后对该矩阵进行m组随机非线性映射，ξ为映射函数，生成m组增量增强节点hj*，whj和βhj为初始模型中随机生成的权重和偏差，m组增强节点水平拼接成为增量增强矩阵hm*，最后将zn*与hm*进行拼接完成特征提取过程，最终提取的增量特征增广矩阵a*涵盖线性和非线性特征。
30、进一步地，所述增量记忆模块具体为：
本文档来自技高网...
【技术保护点】
1.一种鲁棒的数据增量宽度学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述特征提取模块包括：
3.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述特征提取模块为稀疏自编码器，并选择K-均值聚类、卷积神经网络、变压器。
4.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述记忆模块包括：
5.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述权重计算模块使用预计算的岭回归获得权重，具体为：
6.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述权重计算模块使用正则化的线性回归获得权重。
7.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述增量特征提取模块通过使用初始模型中特征提取的参数计算新的特征矩阵，只对新数据进行操作，得到的增量特征增广矩阵A*也只包含新数据的特征，具体为：
8.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，
9.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述记忆快速更新模块具体为：
10.根据权利要求1～9任一项所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述记忆模块、增量记忆模块、记忆快速更新模块、权重计算模块用于其他使用岭回归的随机神经网络。
...【技术特征摘要】
1.一种鲁棒的数据增量宽度学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述特征提取模块包括：
3.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述特征提取模块为稀疏自编码器，并选择k-均值聚类、卷积神经网络、变压器。
4.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述记忆模块包括：
5.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述权重计算模块使用预计算的岭回归获得权重，具体为：
6.根据权利要求1所述的一种鲁棒的数据增量宽度学习方法，其特征在于，所述权重计算模块使用...
【专利技术属性】
技术研发人员：张通，钟林君，郭继凤，陈俊龙，刘竹琳，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。