针对类别不均衡数据集的网络训练方法技术

本发明专利技术公开了一种针对类别不均衡数据集的网络训练方法，包括：获取目标图像数据集，确定类别数目和每类样本量；利用每类样本量计算相应类别的权值，并结合设置的超参数构建限制误差损失函数；利用所述目标图像数据集对神经网络模型进行训练，并将样本的预测结果与真实标签带入所述限制误差损失函数进行误差计算，使用反向传播不断更新神经网络模型的参数，直至网络收敛达到预期目标。构建的限制误差损失函数按类别数量进行加权，并且通过引入超参数对尾部泛化进行正则化的LDAM，可以将训练的关注度更多的偏向于数量较少的尾部类别，防止网络训练对尾部类欠拟合，可以应用于不均衡的图像数据集中，并可以显著提高网络对于不均衡数据集的识别准确度。据集的识别准确度。据集的识别准确度。

【技术实现步骤摘要】
针对类别不均衡数据集的网络训练方法


[0001]本专利技术涉及深度学习
，尤其涉及一种针对类别不均衡数据集的网络训练方法。

技术介绍

[0002]随着人工智能的发展，深度学习在各个领域都取得了显著的成果，如今在各个领域下都有广泛的应用。随着高质量、大规模数据集(如ImageNet ILSVRC 2012,MS COCO等数据集)的使用，计算机视觉领域也取得了重大突破。但是与这些人工干预的标签均匀分布的数据集相比，现实场景中的数据集往往呈现严重的类别不均衡现象。
[0003]这种类别不均衡现象可以分为两类：一、类别的数量分布不均衡：即少数类别(头部类)的样本占据大部分的样本数据，而多数类别(尾部类)却只有少量的样本。二、类别的难易程度分布不均衡：即由于采集、人为等因素的影响，数据集本身存在某些类别与多数类别差异较大的情况，如像素较差、成像不清晰或者前景与背景占比差距较大等，这些类别往往相较于其他类别训练难度更大。
[0004]这种类别数量以及难易程度分布极端不均衡的数据集在传统深度学习方法下往往难以实现出色的图像识别精度。为了使深度学习网络能够适应这种不均衡的数据集，可以选择通过两个方面来提升网络的性能。
[0005]在类别不均衡方面：往往需要通过特定的研究来关注尾部类样本的特征，从而鼓励网络在头部类和尾部类中寻找一个最佳权衡。针对该类不均衡问题，使用最小化边缘泛化边界损失函数(LDAM Loss)可以提供给尾部类比头部类更强的正则化，在维持样本数量占据较多的头部类的准确度不下降的前提下，改善了尾部类的泛化误差。
[0006]在难易程度不均衡方面：在实际样本中，存在类间样本相似，类内样本变化很大的现象，使得在分类时有些类可以很容易的区别，而有些类却很容易混淆，难以区分。针对该类不均衡问题，焦点损失函数(Focal Loss)通过对容易分类的样本降低损失权重，从而使训练更多聚焦在困难样本的分类上，以缓解样本数据难易不均衡的情况并提高网络性能。
[0007]另一方面，随机裁剪作为一种数据增强方法，被广泛的使用于深度学习网络训练，可以大大增强模型的空间鲁棒性。但是当图像的前景区域相对于背景区域很小时，采用随机裁剪的增强方法往往会产生一些可能只包含极少量前景甚至无前景的图像，如图1所示，左侧表示裁剪前的样本，右侧表示裁剪后的样本。对于这样的样本，以及数据集中可能出现的标签错误的样本，被称为“非常困难的样本”或者“异常样本”。这些异常样本在深度学习模型训练的收敛阶段仍然可能存在较大的损失值。如果在训练的过程中，模型被强制更好地对这些异常值进行分类，那么往往会显著降低对其他大量通常样本的分类准确度。
[0008]目前还没有一种方法，可以很好的同时处理数据集中存在的样本数量不均衡、样本难易不均衡、含有“异常样本”的问题。因此，需要构建一种方法来提高在不均衡数据集和存在部分“异常样本”时深度学习网络的性能，以提升网络模型分类性能。

技术实现思路

[0009]本专利技术的目的是提供一种针对类别不均衡数据集的网络训练方法，可以广泛应用于处理现实场景中存在的不均衡问题，并可以显著提高网络训练的准确度，提升网络模型图像分类性能。
[0010]本专利技术的目的是通过以下技术方案实现的：
[0011]一种针对类别不均衡数据集的网络训练方法，包括：
[0012]获取目标图像数据集，确定类别数目和每类样本量；
[0013]利用每类样本量计算相应类别的权值，并结合设置的超参数构建限制误差损失函数；
[0014]利用所述目标图像数据集对神经网络模型进行训练，并将样本的预测结果与真实标签带入所述限制误差损失函数进行误差计算，使用反向传播不断更新神经网络模型的参数，直至网络收敛达到预期目标。
[0015]由上述本专利技术提供的技术方案可以看出，构建的限制误差损失函数按类别数量进行加权，并且通过引入超参数对尾部泛化进行正则化的LDAM，可以将训练的关注度更多的偏向于数量较少的尾部类别，防止网络训练对尾部类欠拟合；基于限制误差损失函数进行网络训练，可以广泛应用于各种不均衡的图像数据集中，并可以显著提高网络对于不均衡数据集的识别准确度。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0017]图1为本专利技术
技术介绍
提供的由随机裁剪导致的异常样本出现的示意图；
[0018]图2为本专利技术实施例提供的一种针对类别不均衡数据集的网络训练方法的流程图；
[0019]图3为本专利技术实施例提供的限制误差损失函数计算流程图。
具体实施方式
[0020]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0021]首先对本文中可能使用的术语进行如下说明：
[0022]术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0023]下面对本专利技术所提供的一种针对类别不均衡数据集的网络训练方法进行详细描述。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本专利技术实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
[0024]本专利技术实施例提供的一种针对类别不均衡数据集的网络训练方法，主要应用在深度学习模型的训练过程中，主要原理可以描述为：首先获取目标图像数据集，根据目标数据集确定数据样本的类别数目C和每类样本量N
i
，设置超参数γ、T和S，利用每类样本量计算相应类别的权值，并结合设置的超参数构建限制误差损失函数LE
loss
(z,y)，利用所述目标图像数据集对神经网络模型进行迭代训练，并将样本的预测结果与真实标签带入所述限制误差损失函数进行误差计算，使用反向传播不断更新神经网络模型的参数，直至网络收敛达到预期目标，最终完成训练。利用此限制误差损失函数不仅可以同时处理不同数据类别的样本数量不均衡问题和分类难度不均衡问题，还可以进一步降低异常样本对训练过程的影响，可以应用于存在类别不均衡问题的数据集，从而有效缓解类不均衡问题的影响。如图2所示，上述方案的主要步骤包括：
[0025]步骤1：获取目标图像数据集，并将目标图像数据集进行常用的数据增广(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对类别不均衡数据集的网络训练方法，其特征在于，包括：获取目标图像数据集，确定类别数目和每类样本量；利用每类样本量计算相应类别的权值，并结合设置的超参数构建限制误差损失函数；利用所述目标图像数据集对神经网络模型进行训练，并将样本的预测结果与真实标签带入所述限制误差损失函数进行误差计算，使用反向传播不断更新神经网络模型的参数，直至网络收敛达到预期目标。2.根据权利要求1所述的一种针对类别不均衡数据集的网络训练方法，其特征在于，所述限制误差损失函数表示为：其中，z＝[z1，...，z
C
]，z
j
表示样本在类别j上的预测值，C表示类别数目，y表示真实标签；N
y
表示真实标签对应的样本量，即为相应类别的权值w
y
；Loss(z，y)为结合超参数计算的损失函数。3.根据权利要求2所述的一种针对类别不均衡数据集的网络训练方法，其特征在于，损失函数Loss(z，y)计算方式表示为：其中，γ与T均为超参数，γ用来调节样本权重降低的速率，T是用于判断样本是否是异常样本的阈值；σ是一个由超参数T决定的常值；p
y
表示网络预测样本为真实标签的概率。4.根据权利要求3所述的一种针对类别不均衡数据集的网络训练方法，其特征在于，参数p
y
采用LDAM方法来计算，表示为：其中，S为超参数，e为自然常数。5.根据权利要...

【专利技术属性】
技术研发人员：任维，姚鹏，徐亮，陈明潇，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：