一种图像分类模型的训练方法及图像分类方法技术

本发明专利技术提供一种图像分类模型的训练方法及基于此的图像分类方法，其中，图像分类模型的训练方法包括：S1、获取封闭域训练数据，其包括多个封闭域样本图像和指示封闭域样本图像所属已知类别的标签；S2、利用步骤S1获得的封闭域训练数据将模型训练至收敛，训练时，获取总损失，其包括封闭域分类损失和AUROC目标损失，所述AUROC目标损失被配置为用于指导模型训练以期望在相应封闭域样本图像的特征输入分类器后被正确分类的情况下，被正确分类的封闭域样本图像的特征在超未知类上的置信度小于开放域样本特征在超未知类上的置信度。本发明专利技术可约束图像分类模型的性能满足开放域识别任务中的图像分类子任务的优化目标。任务中的图像分类子任务的优化目标。任务中的图像分类子任务的优化目标。

【技术实现步骤摘要】
一种图像分类模型的训练方法及图像分类方法


[0001]本专利技术涉及机器学习领域，具体来说，涉及机器学习中的计算机视觉领域，更具体地说，涉及一种图像分类模型的训练方法及基于此的图像分类方法。

技术介绍

[0002]传统机器学习通常是基于封闭域(Close
‑
set)假设(即训练阶段与测试阶段共享同一标签空间)进行学习。然而，对于大量真实应用场景(例如自动驾驶、物种识别、风险内容监测等)，在测试阶段用到的样本中不可避免地存在一些不属于任何训练阶段用到的已知类别的样本。在此情况下，基于封闭域假设的模型将会将所有未知类样本分类至某些已知类，不仅会造成模型性能的严重下降，还会误导应用该模型的系统的决策结果，严重威胁用户生命健康安全。鉴于此，开放域识别问题(Open
‑
set Recognition)在近些年受到广泛重视。例如参考文献[1]‑
[14]对开放域识别问题进行了相关研究，其中，在处理开放域识别问题时，模型不仅需要将封闭域样本分类至正确的已知类别，还需要正确判别样本是否属于已知类。在此复杂设定下，如何准确评估模型性能成为一项挑战性问题。针对该挑战，已有工作提出的评估指标可以被归为可以被归为以下两类：第一类指标是将传统分类指标拓展至开放域场景；第二类指标是将开放域识别视为具有多个已知类的新类检测任务(Novelty Detection)，例如参考文献[18]、[19]中采用的策略。
[0003]针对第一类指标，首先需要增加一个判断输入样本是否属于开放域的阈值，从而将封闭域混淆矩阵(Confusion matrix)延拓至未知类。在此基础上，开放域F指数(Open
‑
set F
‑
score)聚合了该混淆矩阵中已知类的真阳性数(True Positive,TP)、假阳性数(False Positive,FP)和假阴性数(False Negative,FN，例如参考文献[2]、[9]、[11]、[12]、[15]、[16]中采用的假阴性数)；参考文献[17]中表明评估指标中的Youden指数(Youden
’
s index)是将已知类真阳性率(True Positive Rate,TPR)和真阴性率(True Negative Rate,TNR)求和。此外，参考文献[15]中表明归一化准确率(Normalized Accuracy,NAcc)通过凸组合聚合封闭域准确率与开放域精度，其中封闭域正确率是指多分类准确率，即多分类混淆矩阵中[TP之和]除以[总样本数]。虽然拓展封闭域指标符合直觉，但是这些指标本质上与开放域识别任务并不一致。具体而言，开放域F指数和Youden指数仅通过已知类FP和FN间接评估模型开放域性能，而将本已在封闭域错分样本分类至开放域可在不影响已知类FN的前提下降低已知类FP(换而言之，在封闭域错分样本分类至开放域的情况下，已知类FN没变，但是已知类FP降低了)；在此构造下，模型性能未发生变化，而上述指标(例如开放域F指数和Youden指数)均有提升。进一步分析表明，归一化准确率鼓励选择使得将更多开放域样本分类至已知类的阈值。在极端情况下，即使将所有开放域样本分类至已知类，模型也可在上述指标上取得较高性能。
[0004]通过对现有技术进行观察，第二类指标中，ROC曲线下面积(the Area Under the ROC Curve,AUROC，例如参考文献[20]中提到的ROC曲线下面积)成为主流指标之一，例如参考文献[3]、[4]、[5]、[6]、[8]、[10]中均采用了ROC曲线下面积这一指标。与基于分类的指
标相比，AUROC衡量开放域样本与封闭域样本之间的排序性能，且由于聚合了不同阈值下的TPR性能，对阈值选择也不敏感。然而，AUROC的局限性同样显著，即忽视了封闭域性能。一种常见的补救措施是使用封闭域准确率作为补充指标，并在测试阶段同时比较模型在两个指标上性能。然而，这种非耦合的评估策略会导致复杂的多目标优化问题(Multi
‑
objective optimization)，且不利于评估不同模型在开放域识别任务上的总体性能。
[0005]鉴于此，针对开放域识别任务，如何对克服了该领域传统指标与开放域识别任务的目标不一致并基于开放域识别任务目标高效地指导模型学习，是亟需解决的问题。
[0006]参考文献如下：
[0007][1]Abhijit Bendale and Terrance E.Boult.Towards open set deep networks.In IEEE Conference on Computer Vision and Pattern Recognition,pages 1563
–
1572,2016.
[0008][2]Zongyuan Ge,Sergey Demyanov,and Rahil Garnavi.
[0009]Generative openmax for multi
‑
class open set classification.InBritish Machine Vision Conference,2017.
[0010][3]Lawrence Neal,Matthew L.Olson,Xiaoli Z.Fern,Weng
‑
Keen Wong,and Fuxin Li.Open set learning with counterfactualimages.In European Conference on Computer Vision,pages 620
–
635,2018.
[0011][0012][4]Akshay Raj Dhamija,Manuel G
ü
nther,and Terrance E.Boult.Reducing network agnostophobia.In Advances in NeuralInformation Processing Systems,pages 9175
–
9186,2018.
[0013][5]Poojan Oza and Vishal M.Patel.C2AE:class conditionedauto
‑
encoder for open
‑
set recognition.In IEEE Conference onComputer Vision and Pattern Recognition,pages 2307
–
2316,2019.
[0014][6]Pramuditha Perera and Vishal M.Patel.Deep transfer
[0015]learning for multiple class novelty detection.I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类模型的训练方法，所述模型包括特征提取器和分类器，其特征在于，所述方法包括如下步骤：S1、获取封闭域训练数据，其包括多个封闭域样本图像和指示封闭域样本图像所属已知类别的标签；S2、利用步骤S1获得的封闭域训练数据将模型训练至收敛，训练时，包括以下步骤：S21、采用特征提取器对输入其的各封闭域样本图像分别进行特征提取，得到多个封闭域样本特征；S22、伪造一个或者多个开放域样本特征，其中每个开放域样本特征是根据至少两个属于不同已知类别的封闭域样本图像对应的封闭域样本特征组合得到的；S23、采用分类器对输入其的样本特征进行图像分类，以获得对应样本特征分别在多个已知类别上和一个超未知类上的置信度，所述样本特征为封闭域样本图像的特征或者开放域样本特征；S24、获取总损失，其包括封闭域分类损失和AUROC目标损失，所述AUROC目标损失被配置为用于指导模型训练以期望在相应封闭域样本图像的特征输入分类器后被正确分类的情况下，被正确分类的封闭域样本图像的特征在超未知类上的置信度小于开放域样本特征在超未知类上的置信度。2.根据权利要求1所述的方法，其特征在于，所述AUROC目标损失按照以下方式确定：获取每个开放域样本特征在超未知类上的置信度和一个封闭域样本图像的特征在超未知类上的置信度进行组合所能形成的所有置信度组合；确定每个置信度组合对应的置信度差值，所述置信度差值为该置信度组合中的两个置信度的差值；确定每个置信度组合的有效系数，其中，该置信度组合相关的封闭域样本图像的特征被正确分类时，有效系数为正数，否则为0；根据所有置信度组合的置信度差值和有效系数，确定所述AUROC目标损失。3.根据权利要求2所述的方法，其特征在于，所述AUROC目标损失与每个置信度组合对应的置信度差值输入满足费希尔一致性的损失函数后得到的值和有效系数的乘积相关。4.根据权利要求3所述的方法，其特征在于，所述AUROC目标损失按照以下方式确定：其中，N
k
表示封闭域训练数据中的封闭域样本图像数量，N
u
表示开放域样本特征的数量，λ表示超参数，λ∈(0,1]，l(
·
)表示满足费希尔一致性的损失函数，r(x
j
)表示第j个开放域样本特征在超未知类别上的置信度，r(x
i
)表示第i个封闭域样本图像的特征在超未知类别上的置信度，表示有效系数，表示单个置信...

【专利技术属性】
技术研发人员：许倩倩，王子泰，杨智勇，操晓春，黄庆明，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：