【技术实现步骤摘要】
本专利技术涉及数据处理，具体来说涉及基于神经网络的图像分类，更具体地说，涉及一种基于auc优化的锐度感知最小化的图像分类训练方法。
技术介绍
1、在现实世界的数据集中，通常会出现长尾分布的情况，即头部类别样本数量较多，而尾部类别样本数量较少。在这种情况下，传统的评估指标（如准确率）通常会忽略尾部的表现，从而无法有效地衡量模型的性能。因此，roc曲线下面积（area under curve，简称auc）因为其对类别分布不敏感的特性逐渐成为了一种流行的评估指标，被广泛应用于许多长尾场景中，例如金融欺诈检测、疾病诊断和异常检测。
2、目前，优化auc的方法主要有两种。基于经验风险最小化原则的原始auc优化方法，称之为成对形式(p-auc)，成对形式是指将样本组成正类和负类构成的样本对形式来指导模型训练，旨在最大化正负类之间的平均成对排名准确性。尽管成对形式能够有效优化代理指标的无偏估计，但其每次迭代的时间复杂度为，其中，和分别表示正例和负例的数量。鉴于此，文献[1]将原问题重新表述为实例级的极小极大问题，称为实例级形式 (i-auc)，实例级形式是指单个样本为一个实例，利用实例中的标签来指导模型训练。与成对形式相比，实例级形式每次迭代的时间成本为线性复杂度，但由于极小极大问题的复杂性，其收敛速度较慢。
3、从几何角度来看，auc优化的两种框架都存在较差的泛化能力。正如文献[2]所指出的，损失函数的几何形状，特别是其平坦度，与泛化能力密切相关。然而，由于auc损失函数比传统损失函数复杂得多，导致其自然形成尖锐的损
4、在图像二分类领域，对实例级形式进行auc优化的场景下，直接采用现有的锐度感知最小化方法存在一定挑战。因为对于实例级形式，直接的适配将导致一个复杂的极小极大-极小极大优化问题，几乎无法求解。
5、以上引用的文献的信息如下：
6、[1] ying, y.; wen, l.; and lyu, s. 2016. stochastic online aucmaximization. in annual conference on neural information processing systems,451–459.
7、[2] keskar, n. s.; mudigere, d.; nocedal, j.; smelyanskiy, m.; andtang, p. t. p. 2017. on large-batch training for deep learning:generalization gap and sharp minima. in international conference on learningrepresentations, 1–16.
8、[3] foret, p.; kleiner, a.; mobahi, h.; and neyshabur, b. 2021.sharpness-aware minimization for efficiently improving generalization. ininternational conference on learning representations, 1–20.
9、需要说明的是：本
技术介绍
仅用于介绍本专利技术的相关信息，以便于帮助理解本专利技术的技术方案，但并不意味着相关信息必然是现有技术。相关信息与本专利技术方案一同提交和公开，在没有证据表明相关信息已在本专利技术的申请日以前公开的情况下，相关信息不应被视为现有技术。
技术实现思路
1、因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种图像分类训练方法和图像分类方法。
2、本专利技术的目的是通过以下技术方案实现的：
3、根据本专利技术的第一方面，提供一种图像分类训练方法，包括：获取图像的二分类训练集，其包括多个样本，样本包括样本图像和标签，标签指示对应样本图像所属的类别，该训练集中标签空间仅设有两种类别且两种类别的样本数量不均衡；从训练集中获取当前批次的样本，将当前批次的样本图像输入图像分类模型，利用模型的模型参数确定输入图像的原始分类预测值，根据原始分类预测值、标签和预设的第一总损失函数确定关于模型参数的第一梯度；利用预设的加扰超参数对关于模型参数的第一梯度进行映射，确定模型参数对应的扰动；将模型参数与扰动相加，得到模型的扰动参数；利用模型的扰动参数确定当前批次的样本图像的扰动后分类预测值，根据扰动后分类预测值、标签和预设的第二总损失函数，确定关于模型参数的第二梯度和第二总损失函数中的可学习参数的梯度；根据关于模型参数的第二梯度和第二总损失函数中的可学习参数的梯度，以最小化第二总损失函数的损失值为优化目标，更新模型参数和第二总损失函数中的可学习参数。该实施例的技术方案至少能够实现以下有益技术效果：本专利技术通过加扰超参数对第一梯度进行映射，以得到模型参数对应的扰动，该扰动的设置能将原始的锐度感知最小化技术的优化过程从极小极大-极小极大优化问题调整为极小极大优化问题，而极小极大优化问题的计算复杂度远低于极小极大-极小极大优化问题，有效降低模型训练的时间，减少能源的消耗；同时，借助锐度感知最小化技术，有效提升了模型的泛化能力。
4、可选的，所述扰动是由关于模型的第一梯度除以预设的加扰超参数得到的。
5、可选的，所述扰动按照以下方式计算：
6、
7、其中，表示扰动，表示模型参数，表示第一总损失函数，表示求梯度，表示关于模型的第一梯度，表示预设的加扰超参数，。该实施例的技术方案至少能够实现以下有益技术效果：通过推理，专利技术人证明了按照该方式得到的扰动能够作为原始的锐度感知最小化技术的扰动简化替代，显著降低求解的难度。
8、可选的， 第一损失函数为：。
9、可选的，第二损失函数为：
10、
11、其中，表示代表样本的编号，表示当前批次的样本数量，，表示模型参数，、、表示函数内设置的可学习参数，，表示样本图像，表示标签，表示关于样本的期望；表示指示函数，当括号内的条件成立时该指示函数的输出为1，否则为0；表示样本图像对应的标签；表示利用模型参数确定的样本图像属于某类的置信度。该实施例的技术方案至少能够实现以下有益技术效果：该总损失函数中融入了分类损失最小化以及锐度感知最小化技术的内容，可以从多方面对模型参数进行训练，以更好地提升模型的分类性能和泛化性。
12、可选的，在训练过程中，对模型参数、可学习参数和可学习参数使用梯度下降法进行更新，对可学习参数使用梯度上升法进行更新。该实施例的技术方案至少能够实现以下有益技术效果：在采用本专利技术的扰动本文档来自技高网...
【技术保护点】
1.一种图像分类训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述扰动是由关于模型的第一梯度除以预设的加扰超参数得到的。
3.根据权利要求1或2所述的方法，其特征在于， 所述扰动按照以下方式计算：
4.根据权利要求3所述的方法，其特征在于， 第一损失函数为：
5.根据权利要求4所述的方法，其特征在于，在训练过程中，对模型参数、可学习参数和可学习参数使用梯度下降法进行更新，对可学习参数使用梯度上升法进行更新。
6.一种图像分类方法，其特征在于，所述方法包括：
7.一种异常检测方法，其特征在于，所述方法包括：
8.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1-7之一所述方法的步骤。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1-7之一所述方法的步骤。
10.一种电子设备，其特征在于，包括：
【技术特征摘要】
1.一种图像分类训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述扰动是由关于模型的第一梯度除以预设的加扰超参数得到的。
3.根据权利要求1或2所述的方法，其特征在于， 所述扰动按照以下方式计算：
4.根据权利要求3所述的方法，其特征在于， 第一损失函数为：
5.根据权利要求4所述的方法，其特征在于，在训练过程中，对模型参数、可学习参数和可学习参数使用梯度下降法进行更新，对可学习参数使用梯度...
【专利技术属性】
技术研发人员：黄庆明，许志康，许倩倩，王子泰，杨智勇，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。