一种基于半监督自训练的迁移学习分类方法技术

本发明专利技术公开了一种基于半监督自训练的迁移学习分类方法，该方法是利用大量非目标有标签数据实现减少训练时间和资源，包括对目标有标签数据集训练初始分类器，对目标无标签数据集进行预分类；结合目标有标签数据集和多个辅助有标签数据集，采用自训练学习算法进行迭代训练。得到扩大的目标有标签数据集；对扩大的目标有标签数据集训练分类器，对目标无标签数据集分类，得到最终分类标签。本发明专利技术提高在少量训练数据情况下的分类精确度，减少训练时间，避免资源的浪费。

A self training semi supervised classification method based on Transfer Learning

The invention discloses a self training semi supervised classification method based on transfer learning, this method is the use of a large number of non target labeled data can reduce the training time and resources, including the labeled data set to train the initial classifier on the target, the unlabeled data set is preprocessed for target classification; combining the target labeled data set and a plurality of the auxiliary labeled data set, using self training and learning algorithm training. The extended target has tagged data set; the extended target has a labeled data set to train the classifier; the target unlabeled data set is classified, and the final classification tag is obtained. The invention improves the classification accuracy under the condition of a small amount of training data, reduces the training time and avoids the waste of resources.

【技术实现步骤摘要】
一种基于半监督自训练的迁移学习分类方法
本专利技术涉及机器学习的
，尤其是指一种基于半监督自训练的迁移学习分类方法。
技术介绍
在传统的机器学习中，为保证训练得到的分类模型具有准确性和高可靠性，都有两个基本假设：(1)学习的训练样本与新的测试样本满足独立同分布条件；(2)必须有足够可利用的训练样本才能学习一个好的分类模型。但在实际应用中由于训练数据过期或不同分布等情况都会导致假设不成立，限制了传统机器学习方法的使用，然而获得大量有标签样本费时费力。迁移学习运用从源领域学习的知识，对不同但相关的目标领域学习问题进行求解，解决目标领域中仅有有标签训练样本数据甚至没有的学习问题。传统的机器学习方法分为监督学习和无监督学习。半监督学习是监督学习与无监督学习相结合的一种学习方法，是模式识别和机器学习领域研究的重点问题。它主要考虑如何利用有标签样本和大量无标签样本进行训练和分类的问题。半监督学习较有监督学习的最大区别就是它利用无标签样本和有标签样本共同训练分类器。自训练学习也是机器学习的一种的算法，首先利用有标签数据集训练出初始分类器，使用该分类器对一些无标签数据进行标记，将可信度最高的一些标签新示例放入到有标签数据集中，再在新的有标签数据集上进行下一次训练直到满足截止条件为止。目前，还没有在自训练过程中利用辅助训练数据计算和判断无标签数据分类标签的置信度问题，例如中国专利(一种基于半监督聚类的迁移学习方法，公开号：CN201210464867)。该专利技术通过聚类方法计算目标数据所在簇中各类标签数据所占总数据比例来分类。中国专利(一种基于半监督的迁移学习分类方法，公开号：CN201610651405)。该专利技术利用多任务学习算法对目标数据的无标签数据和辅助数据集的特征分类器进行迁移迭代训练，得到目标分类器。以上所述专利技术，都没有从自训练学习的角度去考虑目标无标签样本及其分类标签的置信度问题。将迁移学习和自训练学习相结合的分类方法，能够综合两者的优势，更好的提高分类精确度，以实现减少训练资源。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供了一种基于半监督自训练的迁移学习分类方法，利用大量非目标有标签数据实现减少训练时间和资源，提高分类精确度。为实现上述目的，本专利技术所提供的技术方案为：一种基于半监督自训练的迁移学习分类方法，包括以下步骤：1)对目标有标签数据集进行训练得到初始分类器；2)用初始分类器对目标无标签数据集的实例进行预测和分配标签，得到预分类标签；3)结合目标有标签数据集和多个辅助有标签数据集，采用自训练学习算法对目标无标签数据集进行预测分类，并计算无标签数据集中每个实例的辅助分类标签置信度大小；4)根据置信度大小对正确分类的无标签数据集实例按照降序进行排序，取置信度排在前面的N个实例及其辅助分类标签，加入到当前目标有标签数据集中，其中N＝1,2,3,4…；5)多次迭代，逐渐扩大目标有标签数据集规模；6)对于多次迭代后新的目标有标签数据集再次训练分类器，对目标无标签数据进行分类，得到最终分类标签。在步骤1)中，训练过程如下：1.1)对需要训练分类器的数据集做滤波、去噪声等预处理操作；1.2)利用主成分分析法等特征提取方法对预处理后的数据集提取特征，将原本难以分类的训练数据变换到易于分类的数据空间；1.3)利用支撑向量机算法等分类算法，根据变换后的训练数据及其已知的标签学习一个能准确分类的界线，即训练后的分类器。在步骤3)中，所述采用自训练学习算法对目标无标签数据集进行预测分类，包括以下步骤：3.1)对于多个辅助有标签数据集，目标有标签数据集分别和其中一个辅助有标签数据集组成新的有标签训练集，分别训练得到多个辅助分类器；3.2)多个辅助分类器分别对目标无标签数据集进行预测分类，得到多个辅助预测结果和辅助分类标签；3.3)根据目标无标签数据集每个实例的多个辅助预测结果，计算其分类标签的置信度；3.4)将目标无标签数据集每个实例的多个辅助分类标签与预分类标签比较，分类标签相同的目标无标签实例判断为正确分类的实例，并将辅助分类标签赋予其作为标签。在步骤5)中，多次迭代步骤3)和步骤4)，每次迭代会从目标无标签数据集中选取置信度排在前面的N个实例及其辅助分类标签加入当前的目标有标签数据集，多次迭代后得到新的目标有标签数据集，扩大了初始目标有标签数据集的规模。本专利技术与现有技术相比，具有如下优点与有益效果：1、改进机器学习领域中的传统分类方法，可以进行跨领域知识迁移。2、在自训练过程中迁移非目标无标签数据的知识，结合目标有标签数据计算和判断目标无标签数据预测分类结果的置信度，提高在少量训练数据情况下的分类精确度，减少训练时间，避免资源的浪费。3、本专利技术方法可以用于多种相似领域分类问题，如网页分类、文本分类、甚至本文到图片分类等。具体实施方式下面结合具体实施例对本专利技术作进一步说明。本实施例所提供的基于半监督自训练的迁移学习方法，可以应用在脑机接口方面(在脑机接口系统中，脑电信号的非平稳性导致同一受试者不同环节或者多个受试者之间的信号统计分布不相同，限制了大量训练数据的可复用性。而当目标有标签数据集比较小，不足以训练一个好的分类器时，以不同但相似分布的有标签数据集作为辅助数据集，在自训练学习的过程中，将辅助数据集的分类方法、技术，迁移到目标领域，扩大目标有标签数据集的规模，从而为目标无标签数据集进行分类)，包括以下步骤：1)对目标有标签数据集进行训练得到初始分类器，其中训练过程如下：1.1)对需要训练分类器的数据集做滤波、去噪声等预处理操作；1.2)利用主成分分析法等特征提取方法对预处理后的数据集提取特征，将原本难以分类的训练数据变换到易于分类的数据空间；1.3)利用支撑向量机算法等分类算法，根据变换后的训练数据及其已知的标签学习一个能准确分类的界线，即训练后的分类器。2)用初始分类器对目标无标签数据集的实例进行预测和分配标签，得到预分类标签；3)结合目标有标签数据集和多个辅助有标签数据集，采用自训练学习算法对目标无标签数据集进行预测分类，并计算无标签数据集中每个实例的辅助分类标签置信度大小；其中采用自训练学习算法对目标无标签数据集进行预测分类，包括以下步骤：3.1)对于多个辅助有标签数据集，目标有标签数据集分别和其中一个辅助有标签数据集组成新的有标签训练集，分别训练得到多个辅助分类器；3.2)多个辅助分类器分别对目标无标签数据集进行预测分类，得到多个辅助预测结果和辅助分类标签；3.3)根据目标无标签数据集每个实例的多个辅助预测结果，计算其分类标签的置信度；3.4)将目标无标签数据集每个实例的多个辅助分类标签与预分类标签比较，分类标签相同的目标无标签实例判断为正确分类的实例，并将辅助分类标签赋予其作为标签。4)根据置信度大小对正确分类的无标签数据集实例按照降序进行排序，取置信度排在前面的N个实例及其辅助分类标签，加入到当前目标有标签数据集中，其中N＝1,2,3,4…(通常取N为5)。5)多次迭代，逐渐扩大目标有标签数据集规模，具体如下：多次迭代步骤3)和步骤4)，每次迭代会从目标无标签数据集中选取置信度排在前面的N个实例及其辅助分类标签加入当前的目标有标签数据集，多次迭代后得到新的目标有标签数据集，扩大本文档来自技高网...

【技术保护点】
一种基于半监督自训练的迁移学习分类方法，其特征在于，包括以下步骤：1)对目标有标签数据集进行训练得到初始分类器；2)用初始分类器对目标无标签数据集的实例进行预测和分配标签，得到预分类标签；3)结合目标有标签数据集和多个辅助有标签数据集，采用自训练学习算法对目标无标签数据集进行预测分类，并计算无标签数据集中每个实例的辅助分类标签置信度大小；4)根据置信度大小对正确分类的无标签数据集实例按照降序进行排序，取置信度排在前面的N个实例及其辅助分类标签，加入到当前目标有标签数据集中，其中N＝1,2,3,4…；5)多次迭代，逐渐扩大目标有标签数据集规模；6)对于多次迭代后新的目标有标签数据集再次训练分类器，对目标无标签数据进行分类，得到最终分类标签。

【技术特征摘要】
1.一种基于半监督自训练的迁移学习分类方法，其特征在于，包括以下步骤：1)对目标有标签数据集进行训练得到初始分类器；2)用初始分类器对目标无标签数据集的实例进行预测和分配标签，得到预分类标签；3)结合目标有标签数据集和多个辅助有标签数据集，采用自训练学习算法对目标无标签数据集进行预测分类，并计算无标签数据集中每个实例的辅助分类标签置信度大小；4)根据置信度大小对正确分类的无标签数据集实例按照降序进行排序，取置信度排在前面的N个实例及其辅助分类标签，加入到当前目标有标签数据集中，其中N＝1,2,3,4…；5)多次迭代，逐渐扩大目标有标签数据集规模；6)对于多次迭代后新的目标有标签数据集再次训练分类器，对目标无标签数据进行分类，得到最终分类标签。2.根据权利要求1所述的一种基于半监督自训练的迁移学习分类方法，其特征在于：在步骤1)中，训练过程如下：1.1)对需要训练分类器的数据集做滤波、去噪声这些预处理操作；1.2)利用主成分分析法对预处理后的数据集提取特征，将原本难以分类的训练数据变换到易于分类的数据空间；1.3)利用支撑向量机算法，根据变换后的训练数...

【专利技术属性】
技术研发人员：林程，顾正晖，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44