一种不平衡学习动态恢复大类重要性的损失函数计算方法技术

本发明专利技术从动态平衡的角度来看待不平衡学习的问题，提供了一种不平衡学习动态恢复大类重要性(Dynamically Restoring the Importance ofMajority Class,DRMC)的损失函数计算方法。DRMC首先抑制大类的重要性，然后逐渐恢复大类的重要性。其损失函数中的成本函数包括初始函数、恢复函数、渐进函数和激活函数。渐进函数为一递增函数，激活函数采用类Relu函数，初始函数和恢复函数采用已有的静态的类别成本函数。DRMC方法动态地计算类别成本，结合标准交叉熵函数，有效地解决了已有方法中的静态平衡策略与训练过程中类别表示程度的动态变化不相匹配的问题。与相应的静态的成本函数相比，DRMC方法可以显著提高了模型的分类性能，不仅显示了良好的泛化能力，而且方法对超参数不敏感，易化了超参数调试过程。易化了超参数调试过程。易化了超参数调试过程。

【技术实现步骤摘要】
一种不平衡学习动态恢复大类重要性的损失函数计算方法


[0001]本专利技术涉及机器学习，具体说，涉及一种不平衡学习动态恢复大类重要性的损失函数计算方法。

技术介绍

[0002]类不平衡指的是数据中不同类之间存在有数量上的不平衡。在过去几年中，随着机器学习不断发展，深度人工神经网络取得了很大的进展。深度神经网络模型总是在精心设计的数据集上进行训练，这些数据集通常是分布平衡的。然而，在现实世界中，由于物体、事件和行为出现的频率不同，类不平衡数据在真实的训练场景中普遍存在。如果在训练过程中没有修正机制，数据集中的不平衡特征将导致深度神经网络模型对小类的识别性能低。随着深度学习的广泛应用，如何从类不平衡的或长尾分布的数据集中学习高性能的模型成为了一个亟待解决的问题。
[0003]目前存在一些解决类不平衡问题的方法，可以分为基于数据的方法和基于算法的方法。基于数据的方法中，一个常见的方式是通过对小类的过采样、对大类的欠采样或它们的组合来重新采样训练数据，但这将改变数据的分布。另一种方式是分类器的集合，每个分类器都是从原始数据集的不同样本训练得到的。近年来，为了更好地学习数据集的分布，研究者们还通过样本生成的方式来扩展数据集，从而提升模型的性能。基于算法的方法中，成本敏感函数往往被广泛采用，通过为每个类或每个样本引入成本(权重)来直接或间接地强调/抑制小类/大类的重要性，从而解决不平衡学习的问题。与基于数据的方法相比，这类方法很直观，更容易实现，在深度学习中被广泛使用。

技术实现思路

[0004]1、一种不平衡学习动态恢复大类重要性(Dynamically Restoring the Importance ofMajority Class,DRMC)的损失函数计算方法，可以用于基于深度学习的视觉分类模型的不平衡学习中。首先抑制大类的重要性，然后逐渐恢复大类的重要性。基于该方法的损失函数的计算公式为：
[0005]CE
DRMC
(p,y,i)＝
‑
log(p
t
)
·
α
t_drmc
(y,i),
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0006]其中，所述p∈[0,1]，是样本的类别预测概率，所述y是样本的标签值，所述i为训练迭代次数，所述p
t
是样本的真实类别的预测概率，所述
‑
log(p
t
)
·
为交叉熵损失，所述α
t_drmc
是动态的成本函数，由4部分构成，其定义如下：
[0007]α
t_drmc
(y,i)＝Init(y)
·
Acti(1/Rest(y)
·
Grad(i)),
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0008]其中，所述Init(y)为抑制大类重要性的初始成本函数，所述Rest(y)为成本恢复函数，所述Grad(
·
)为渐进增大的函数，所述Acti(
·
)为激活函数。Rest(y)、Grad(
·
)和Acti(
·
)共同控制恢复大类的重要性。
[0009]对于公式(5)，Init(y)和Rest(y)为类别级成本函数。
[0010]对于公式(5)，其所述的激活函数Acti(
·
)为：
[0011][0012]其中，所述x∈(
‑
∞,+∞)。
[0013]对于公式(5)，其所述的渐进函数Grad(.)为：
[0014]Grad(i)＝i/M,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0015]其中M是最大的训练迭代次数
[0016]本专利技术的有益效果是：
[0017]本专利技术方法为一种不平衡学习动态恢复大类重要性的损失函数计算方法，先抑制大类的重要性，然后逐渐恢复大类重要性。使用我们的方法，对已有的经典的、流行的损失函数进行改进，能明显提升深度神经网络模型的性能，而且在多个已有的损失函数上显示了良好的泛化能力。
[0018]已有的用于不平衡学习的成本敏感损失函数，其性能对于超参数是敏感的，使用我们的方法对已有的成本敏感损失函数进行改进后，其对超参数不敏感，从而易化了训练中参数的调试。
[0019]现有的深度神经网络模型往往是在平衡分布的数据集上进行训练的，对于小类来说分类性能较低。随着深度学习技术在现实生活中的落地应用的开展，现实世界中普遍存在的不平衡数据越来越成为了限制深度学习性能和应用的一个瓶颈所在。本专利技术针对这个问题改进已有的不平衡学习方法，具有广阔的应用前景。
[0020]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0021]图1是本专利技术摘要附图；
[0022]图2是本专利技术实施例中提出的大类成本的动态变化过程；
[0023]图3是本专利技术中实施例中DRMCs与现有方法在ILSO显著实例分割数据集上的效果比较；
[0024]图4是本专利技术实施例中DRMCs与现有方法在Instance
‑
MSRA1000显著实例分割数据集上的性能定量比较；
[0025]图5是本专利技术实施例中DRMCs与现有方法在PASCAL VOC 2012 AUGMENT变体语义分割数据集上的性能定性比较；
[0026]图6是本专利技术实施例中在PASCAL VOC 2012 AUGMENT变体上使用DBENS和BENS训练时MIoU的变化过程(％)；
[0027]图7是本专利技术实施例中DRMCs与现有方法在炭疽孢子
‑
1600数据集上的性能定性比较；
[0028]图8是本专利技术实施例中在炭疽孢子
‑
1600数据集上使用BENS和DBENS训练时MIoU的变化过程(％)；
具体实施方式
[0029]以下将结合实施例和图2
‑
8对本专利技术的构思、具体步骤及产生的技术效果进行清
楚、完整的描述，以充分地理解本专利技术的目的、特征和效果。显然，所描述的实施例只是本专利技术的一部分实施例，而不是全部实施例，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本专利技术的保护范围之内。
[0030]本专利技术在两个典型的视觉任务中实施，其中一个为图像显著性实例分割的显著性目标检测子任务，另一个为图像语义分割任务。显著性实例分割是对显著性区域进行分割并识别每一个实例，具有广泛的应用，如精确的图像编辑和弱监督的分割。它包括两个连续的子任务：显著性目标检测和显著性分割。在显著性分割阶段，用于训练的样本是类别平衡的，但在显著性目标检测阶段，显著性框和非显著性框之间存在极端的类别不平衡(类别频率比约本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.(Dynamically Restoring the Importance of Majority Class,DRMC)的的损失函数计算方法，可以用于基于深度学习的视觉分类模型的不平衡学习中，其特征在于，首先抑制大类的重要性，然后逐渐恢复大类的重要性，基于该方法的损失函数的计算公式为：CE
DRMC
(p,y,i)＝
‑
log(p
t
)
·
α
t_drmc
(y,i),
ꢀꢀꢀꢀꢀꢀ
(4)其中，所述p∈[0,1]，是样本的类别预测概率，所述y是样本的标签值，所述i为训练迭代次数，所述p
t
是样本的真实类别的预测概率，所述
‑
log(p
t
)
·
为交叉熵损失，所述α
t_drmc
是动态的成本函数，由4部分构成，其定义如下：α
t_drmc
(y,i)＝Init(y)...

【专利技术属性】
技术研发人员：胡祝华，赵瑶池，
申请(专利权)人：海南大学，
类型：发明
国别省市：