一种特征混合图像的半监督分类方法技术

本发明专利技术提供一种特征混合图像的半监督分类方法，涉及计算机图像处理领域。本发明专利技术包括以下步骤：制作半监督数据集；对无标签数据做特征融合增广处理；为网络添加一致性度量方法，设计新的目标函数；最后训练网络，测试网络对特征混合图像的分类效果。本发明专利技术将多图像混合样本增容技术融入到半监督模型的增广框架，增加训练数据的多样性，引入多种类型噪声干扰，提升了模型的泛化能力，增强模型的鲁棒性，实现对特征混合图像的准确分类。实现对特征混合图像的准确分类。实现对特征混合图像的准确分类。

【技术实现步骤摘要】
一种特征混合图像的半监督分类方法


[0001]本专利技术属于计算机图像处理领域，尤其涉及一种特征混合图像的半监督分类方法

技术介绍

[0002]半监督学习是当前机器学习领域的一个重要研究方向，在半监督学习领域中，训练数据通常包含大量的无标签数据，仅针对标注数据进行增广已经不能满足模型的训练要求，尤其当标注数据数量较少时，模型很容易发生过拟合。为解决这一问题，主流的半监督学习模型依靠目标函数中的一致性正则化项，对增广前后的数据分布进行一致性度量，从无标签数据中提取有效信息，增广类型的多样性和复杂性可以有效提高模型的泛化性能及其鲁棒性。
[0003]半监督分类领域中，一致性正则化方法主要使用RandAugment增广框架，它定义了一个仅有单图像增广方法的策略空间，每幅图像随机选取增广方法，生成对应的增广数据。除单图像增广外，Mixup混合数据增广方法采用对不同类别数据之间进行建模的方式实现数据增强，在监督学习下的图像分类领域取得了显著的性能提升。Mixup作为混合增广方法，通常会生成包含有多个目标特征的混合图像，混合图像常见于人工修改的图像或者杂交物种图像。由于混合图像不属于任何确定已知类别，无法直接加入RandAugment的策略空间，进行一致性度量，这给半监督下混合图像的分类带来了困难。

技术实现思路

[0004]本专利技术旨在提出一种特征混合图像的半监督分类方法，实现在仅有少量标注数据时，对特征混合图像的快速、准确分类。
[0005]本专利技术具体步骤如下：
[0006]步骤1，搜集整理需要分类对象的图像作为数据集，对每种类别的图像仅做部分标注。
[0007]步骤2，对数据集中每一幅无标注图像做多次特征混合增广。
[0008]步骤3，为卷积网络设计有关无标注图像及增广图像的一致性度量方法，改进网络的目标函数。
[0009]步骤4，将包含标注图像、无标注图像和增广图像的数据集输入改进后的卷积网络，进行训练直至网络收敛。
[0010]步骤5，将具有多目标特征的混合图像作为测试集，得到图像分类结果。
[0011]进一步地，步骤1中，为保证网络训练中类别概率相等，每种类别的标注图像数目一致，即类别标注均衡。
[0012]进一步地，步骤2中，在做无标注图像增广时，除去常用的拉伸、反转、剪裁等单图像增广以外，还使用了Mixup混合数据增广方法，生成具有多种类别特征的混合图像。
[0013]进一步地，步骤3中，包括如下子步骤：
[0014]3.1选择KL散度作为一致性度量方式，表示输入增广前后模型预测输出的偏差。
[0015]3.2改进后的网络目标函数不仅包括传统标注图像的交叉熵，还包括无标注图像的一致性度量。
[0016]进一步地，步骤4中，网络训练的每一步中，标注图像、无标注图像和增广图像同时被输入网络，标注图像经过特征提取后根据标注计算交叉熵，对无标注图像及其增广图像做网络输出的一致性度量，二者共同参与梯度计算。
[0017]进一步地，步骤5中，网络对难以分类的多特征混合图像输出类别概率，表明混合特征的类别来源，得到混合图像的分类结果。
[0018]本专利技术的有益效果是：
[0019](1)提高模型的泛化能力。将多图像混合样本增容技术融入到半监督模型的增广框架，增加训练数据的多样性，提升了模型的泛化能力。
[0020](2)增强模型的鲁棒性。混合图像在增容的多样数据样本上引入多种类型噪声干扰，降低模型对受扰样本数据的敏感性。
[0021](3)提升对混合图像的分类能力。多模式生成的特征混合样本，建立起与原图像一致性度量的评估方法，并将其纳入半监督学习模型中，在进一步提高模型的泛化能力的同时，提升了对混合图像的分类能力。
附图说明
[0022]图1是半监督学习下特征混合图像的分类流程图；
[0023]图2是本专利技术中Mixup混合图像的信息保存示意图。
具体实施方式
[0024]本专利技术提供了一种特征混合图像的半监督分类方法，下面结合附图对本专利技术作进一步说明。
[0025]如图1所示，本专利技术提供了一种特征混合图像的半监督分类方法，包括以下步骤：
[0026]步骤1制作半监督数据集：
[0027]选择CIFAR
‑
10数据集作为分类对象，共有50000张训练图片，分为10个类别，每个类别有5000张标注图像。随机选择每个类别中的N
ul
个图片保留标签，其余所有训练数据删除标签，仅保留图像，作为半监督训练集。
[0028]步骤2特征混合增广：
[0029]对数据集中每一幅无标注图像做多次特征混合增广。Mixup混合数据增广方法通过对图像和标签进行插值，达到数据增强的目的，以x表示图像，y表示标签，具体如下式：
[0030][0031]其中λ代表混合系数，由参数为α,β的Beta分布抽样取得。(x1,y1)和(x2,y2)是随机抽取的两个样本。
[0032]本方法中无标签数据没有用于混合的标签，仅能对图像进行插值生成混合张量mixed
x
，因此，把特征混合图像的标签处理放在步骤3的一致性正则化中。
[0033]Mixup多图像混合与单图像增广另一点不同是需要枚举并记录两张或以上的图
像，以便进一步融合、做一致性度量。为了保证方法的随机性，采用双端队列(Queue)记录参与多图像混合的数据。
[0034]如图2所示，队列(Queue)内部存储用于混合的原始图像，若在上一时刻，原始图像x1与原始图像x2生成混合图像A，存储为混合信息A；则当前时刻将原始图像x1弹出队列，原始图像x2加入，生成混合图像B，存储为混合信息B；下一时刻将原始图像x2弹出队列，原始图像x3加入队进行混合并存储信息。继续进行直至遍历所有需要进行混合增强的输入图像。其中混合信息记录混合图像以及混合前的两张原图信息。
[0035]步骤3一致性度量：
[0036]一致性度量方法目的在于向网络的目标函数中添加正则化项，防止在少量的标注数据情况下网络过拟合的发生。一致性正则化的主要思想是对于一个输入，即使受到微小的干扰，其预测应该都是一致的，即同一对象增广前后，网络预测输出不变。这与大多数目标函数的目的是一致的，也就是希望预测能够与标签一致。针对增广前后的数据进行一致性度量，KL散度的度量方式D
KL
可以表示为下式：
[0037][0038]其中是样本x的增广数据，f
θ
(.)表示训练中的模型，模型参数为θ。将混合张量mixed
x
传递给训练中的模型f
θ
(.)可以得到输出张量mixed
out
。在训练过程中，将模型的输出张量mixed
out
分别对混合前的原图进行一致性度量，并根据图像的混合系数λ对多个度量值加权求和，作为正则化项加入目标函数，具体表达如下式：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征混合图像的半监督分类方法，其特征在于，该方法包括以下步骤：步骤1，搜集整理需要分类对象的图像作为数据集，对每种类别的图像仅做部分标注；步骤2，对数据集中每一幅无标注图像做多次特征混合增广；步骤3，为卷积网络设计有关无标注图像及增广图像的一致性度量方法，改进网络的目标函数；步骤4，将包含标注图像、无标注图像和增广图像的数据集输入改进后的卷积网络，进行训练直至网络收敛；步骤5，将具有多目标特征的混合图像作为测试集，得到图像分类结果。2.根据权利要求1所述的一种特征混合图像的半监督分类方法，其特征在于，在步骤1中，每种类别的标注图像数目一致，即类别标注均衡。3.根据权利要求1所述的一种特征混合图像的半监督分类方法，其特征在于，在步骤2中，做图像增广时，除去常用的拉伸、反转、剪裁的单图像增广以外，还使用了Mixup混合数据增广方法，生成具有多种类别特征的...

【专利技术属性】
技术研发人员：姚博，文成林，徐晓滨，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：