一种基于联合迁移极限学习机的数据分类方法技术

本发明专利技术涉及一种基于联合迁移极限学习机的数据分类方法，本发明专利技术有效解决了现有ELM不具备知识迁移能力而导致其分类性能不佳的问题；解决的技术方案包括：首先，对数据集样本进行预处理；其次，在ELM中引入跨领域均值逼近（CDMA），得到一个具有迁移能力的极限学习机，有效地最小化两个域的边际和条件分布差异；然后，构造另一个具有输出权重对齐和参数逼近的ELM模型。应用子空间对齐技术来对齐两个领域的输出权重，同时添加近似项来逼近输出权重，促进知识迁移；最后，用两个学习过的ELM对目标样本进行分类预测。样本进行分类预测。样本进行分类预测。

【技术实现步骤摘要】
一种基于联合迁移极限学习机的数据分类方法


[0001]本专利技术涉及机器学习
，尤其涉及一种基于联合迁移极限学习机的数据分类方法。

技术介绍

[0002]极限学习机(ELM)因其具有学习速度快和泛化性能好的优点，广泛应用在模式识别、计算科学和机器学习等方面，由于ELM无需调整输入权重和偏置，只需通过求解最小二乘来优化输出权重，因此，它在工业故障诊断、医学诊断、高光谱图像分类、人脸识别和脑机接口等领域受到广泛关注；
[0003]然而，与传统的机器学习模型一样，ELM通常需要训练样本与测试样本遵循相同分布才能获得良好精度，当在训练样本不足的情况下其性能衰退并且效果不佳，而且收集相同分布训练样本通常情况下是耗时的、昂贵的，这导致ELM模型的分类结果并不令人满意，迁移学习可以解决ELM的上述不足，它通过借助与目标域(测试样本)存在分布差异但相关的其他领域丰富标记数据样本作为训练样本(源域)，学习可靠的机器学习模型，对当前目标域(测试样本)进行预测；
[0004]当前，许多学者设计了诸多结合迁移学习的极限学习机模型
‑
迁移极限学习机(TLELM)，根据领域间分布调整方式的不同，我们大体将它们分为三种类型：1)目标样本监督型：该类方法通常要求目标域中存在一些标记样本以便调整从源域学习得到的机器学习模型，其中，最典型方法是领域自适应极限学习机(DAELM)，它通过将ELM延伸至迁移学习环境，以解决传感器领域中电鼻子系统在测量中出现的漂零问题，后续的在线领域适应极限学习机(ODAELM)和在线加权领域转移极限学习机(OWDTELM)将DAELM扩展到在线任务种，为了进一步改进DAELM，Xia等人提出了Boosting
‑
DAELMMOX，它将Boosting集成技术与DAELM以提升模型的知识迁移能力和分类性能；
[0005]2)输出权重变换或逼近：该方法通过对齐或逼近输出权重，以实现跨领域的知识转移，如输出权重对齐的极限学习机(TELM
‑
OWA)、参数转移ELM(PTELM)和基于极限学习机(ELM)的领域自适应(EDA)等模型；
[0006]3)分布统计调整：该类方法通常在ELM中引入统计分布度量(如MMD)，以减少域偏移，包括跨域极限学习机(CdELM)、基于最大加权平均差异的极限学习机(ELM
‑
MWMD)、域空间转移ELM(DST
‑
ELM)在内的许多方法都应用了MMD来减少源域和目标域隐藏层中输出数据的分布差异；
[0007]上述方法中，目标样本监督方法性能最高，但需要目标领域标记样本，无法适应无监督学习环境，输出权重变换或逼近方法缺乏对数据统计分布信息的挖掘，而分布统计调整方法又不如输出权重变换或逼近方法简单、直接；
[0008]鉴于以上我们提供一种基于联合迁移极限学习机的数据分类方法用于解决以上问题。

技术实现思路

[0009]针对上述情况，本专利技术提供一种基于联合迁移极限学习机的数据分类方法，用于处理没有标记样本的无监督迁移学习任务，解决了ELM不具备知识迁移能力的问题，该方法首先通过在ELM中引入跨域均值近似(CDMA)度量，得到了一个迁移ELM模型，其中，CDMA可以有效地最小化两个域的边际和条件分布差异；其次，采用子空间对齐技术对齐两个领域的输出权重，同时添加输出权重逼近项，以促进知识转移并得到另一个迁移ELM模型，最后，用两个迁移ELM对目标域测试样本共同进行标签预测。
[0010]一种基于联合迁移极限学习机的数据分类方法，其特征在于，包括以下步骤：
[0011]S1：对源域和目标域样本数据分别进行预处理，获取源域和目标域数据集和
[0012]S2：分别采用源域和目标域数据集D
S
与D
T
构建CDMA度量并加入到极限学习机隐含层进行模型训练，构造带CDMA的ELM模型，并用D
S
与D
T
计算迁移极限学习机ELM
‑
CDMA的模型参数β1；
[0013]S3：构造具有输出权重对齐和参数逼近的ELM模型，通过对齐β1和目标域输出权重β
T
，使得源域和目标域间的输出权重在跨领域知识迁移过程中彼此靠近，同时得到β1向目标域对齐后的中间权重β
temp
；
[0014]借助β
temp
，并通过源域经验风险误差和领域间输出权重逼近正则项，构建新的迁移极限学习机模型目标函数，并获取其输出权重β2；
[0015]S4：采用β1与β2对所述目标域数据集D
T
进行标签预测，并得到其标签
[0016]S5：循环执行步骤S1
‑
S4直到不再改变，输出预测结果
[0017]上述技术方案有益效果在于：
[0018](1)将CDMA引入ELM模型，以减少了源域和目标域中隐藏层的输出分布差异，设计一个迁移ELM模型，该模型在统计分体调整方面上，提升了传统ELM的知识迁移能力；
[0019](2)借助输出权重对齐和参数逼近，设计另一个迁移ELM模型，这样，使得我们的专利技术方法JTELM将统计分体调整和参数转换统一至同一学习框架，更利于ELM在迁移学习环境下的性能提升；
[0020](3)JTELM利用β和β2共同对测试样本做出标签决策，不仅有利于其分类精度的提升而且增强了其鲁棒性。
附图说明
[0021]图1为本专利技术JTELM系统框图；
[0022]图2为本专利技术Office31+Caltech256中的图片；
[0023]图3为本专利技术MNIST+USPS中的图片；
[0024]图4为本专利技术MSRC+VOC2007中的图片；
[0025]图5为本专利技术参数α1、α2取值大小与分类精度对应关系图；
[0026]图6为本专利技术参数γ、λ取值大小与分类精度对应关系图；
[0027]图7为本专利技术隐藏层节点数(L)、迭代次数取值大小与分类精度对应关系图。
具体实施方式
[0028]有关本专利技术的前述及其他
技术实现思路
、特点与功效，在以下配合参考附图1至图7对实施例的详细说明中，可清楚的呈现，以下实施例中所提到的结构内容，均是以说明书附图为参考。
[0029]本专利技术提出一种带有跨领域均值逼近和一致性输出权重的联合迁移极限学习机(JTELM)方法；
[0030]一、具体过程如下：
[0031]首先，对数据集样本进行预处理；
[0032]其次，在ELM中引入跨领域均值逼近(CDMA)，得到一个具有迁移能力的极限学习机，有效地最小化两个域的边际和条件分布差异；
[0033]然后，构造另一个具有输出权重对齐和参数逼近的ELM模型；
[0034]应用子空间对齐技术来对齐两个领域的输出权重，同时添加近似项来逼近输出权重，促进知识迁移；
[0035]最后，用两个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合迁移极限学习机的数据分类方法，其特征在于，包括以下步骤：S1：对源域和目标域样本数据分别进行预处理，获取源域和目标域数据集和S2：分别采用源域和目标域数据集D
S
与D
T
构建CDMA度量并加入到极限学习机隐含层进行模型训练，构造带CDMA的ELM模型，并用D
S
与D
T
计算迁移极限学习机ELM
‑
CDMA的模型参数β1；S3：构造具有输出权重对齐和参数逼近的ELM模型，通过对齐β1和目标域输出权重β
T
，使得源域和目标域间的输出权重在跨领域知识迁移过程中彼此靠近，同时得到β1向目标域对齐后的中间权重β
temp
；借助β
temp
，并通过源域经验风险误差和领域间输出权重逼近正则项，构建新的迁移极限学习机模型目标函数，并获取其输出权重β2；S4：采用β1与β2对所述目标域数据集D
T
进行标签预测，并得到其标签S5：循环执行步骤S1
‑
S4直到不再改变，输出预测结果2.根据权利要求1所述的一种基于联合迁移极限学习机的数据分类方法，其特征在于，所述S1中对源域和目标域样本数据进行预处理包括以下步骤：S1
‑
1：源域用符号表示，x
Si
表示源域样本，y
Si
表示源域样本对应的标签，n
S
是源域样本数量；S1
‑
2：目标域用符号应的标签，n
T
是目标域样本数量；S1
‑
3：将D
S0
与D
T0
分别进行归一化处理，得到D
S
与D
T
。3.根据权利要求1所述的一种基于联合迁移极限学习机的数据分类方法，其特征在于，所述S2中构造带CDMA的ELM模型构造过程包括以下步骤：S2
‑
1：结合激活函数将D
S
和D
T
映射为H
S
和H
T
；S2
‑
2：假定带有N个样本x
i
和相应标签y
i
的标记数据集构建具有L个隐藏层节点的经典ELM模型，如下:ELM根据输入样本的x
i
输出o
i
，w
j
和b
j
是输入权重和偏差，β是输出权重的向量表示，如果我们想要一个最优的β，则解以下损失函数：其中，||β||2是避免模型过拟合的参数稀疏约束。我们将式(2)转换为矩阵形式：
其中，H＝[g(x
...

【专利技术属性】
技术研发人员：臧绍飞，马建伟，马晓毓，李兴海，吕进锋，马超，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：