基于混淆矩阵的分类结果检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于混淆矩阵的分类结果检测方法，包括：获取分类结果的混淆矩阵；根据所述混淆矩阵计算每个类别分类结果的准确度；根据所述每个类别分类结果的准确度计算整体分类结果的准确度。通过上述方法，不仅可以获取分类器整体的分类结果的准确度，而且可以给出每一个类别的分类结果的准确度，不仅可以用于模型选择，而且对于更好的指导训练过程具有一定的意义。

Detection method, device and storage medium of classification results based on confusion matrix

【技术实现步骤摘要】
基于混淆矩阵的分类结果检测方法、装置及存储介质
本专利技术涉及机器学习
，特别涉及一种基于混淆矩阵的分类结果检测方法、装置及存储介质。
技术介绍
分类任务是机器学习领域最常见的任务之一。在机器学习领域，将样本实例分类为两个类别之一称之为二分类任务，多分类任务则是指将样本实例分为三个及以上类别之一的问题。分类结果评估是机器学习领域分类任务的基本问题之一。由于分类算法和模型的局限性，对分类器的分类结果进行合理的评估是一个十分必要的问题，另一方面，由于分类器过拟合现象的存在，恰当地选择评估方法显得十分重要，评估方法的好坏直接影响到模型的评价和选择，进而影响模型训练过程和实际应用的成本。混淆矩阵是分类器分类结果和样本真实标签构成的矩阵，也称误差矩阵、错误矩阵、可能性表格，是对分类问题的预测结果的总结。现有的一些评价指标，诸如准确率AP、Kappa系数、F1值等，都是基于混淆矩阵对整体分类结果的效果进行评估，它们很难给出单个类别的分类结果的评估，这在某些实际应用中是不足以满足用户需求的，例如在MNIST手写字符体识别任务中，数字0出现的概率和重要性往往会比其他数字大和高。
技术实现思路
本公开实施例提供了一种基于混淆矩阵的分类结果检测方法、装置及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。第一方面，本公开实施例提供了一种基于混淆矩阵的分类结果检测方法，包括：获取分类结果的混淆矩阵；根据混淆矩阵计算每个类别分类结果的准确度；根据每个类别分类结果的准确度计算整体分类结果的准确度。进一步地，获取分类结果的混淆矩阵之前，还包括：根据测试样本的预测标签和真实标签，构建分类结果的混淆矩阵。进一步地，根据混淆矩阵计算每个类别分类结果的准确度之前，还包括：根据混淆矩阵计算每个类别分类结果的分类效率。进一步地，根据混淆矩阵计算每个类别分类结果的准确度，包括：根据每个类别分类结果的分类效率以及该类别在总样本中出现的概率，计算每个类别分类结果的准确度。进一步地，根据每个类别分类结果的准确度计算整体分类结果的准确度，包括：根据公式：R＝∑R(i)/N，计算整体分类结果的准确度；其中，R为整体分类结果的准确度，R(i)为第i个类别的分类结果的准确度，N为类别总数。进一步地，根据每个类别分类结果的准确度计算整体分类结果的准确度之后，还包括：根据每个类别分类结果的准确度和整体分类结果的准确度确定分类模型。进一步地，根据每个类别分类结果的准确度和整体分类结果的准确度确定分类模型，包括：将整体分类结果的准确度或者某一类别分类结果的准确度较高的模型确定为分类模型。第二方面，本公开实施例提供了一种基于混淆矩阵的分类结果检测装置，包括：获取模块，用于获取分类结果的混淆矩阵；第一计算模块，用于根据混淆矩阵计算每个类别分类结果的准确度；第二计算模块，用于根据每个类别分类结果的准确度计算整体分类结果的准确度；第三方面，本公开实施例提供了一种基于混淆矩阵的分类结果检测系统，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的基于混淆矩阵的分类结果检测方法。第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种基于混淆矩阵的分类结果检测方法。本公开实施例提供的技术方案可以包括以下有益效果：1)本专利技术的检测方法不仅可以获取分类器整体的分类结果的准确度，而且可以给出每一个类别的分类结果的准确度，不仅可以用于模型选择，而且对于更好的指导训练过程具有一定的意义。2)本专利技术的方法可以扩展到任意场景下的多分类任务问题，具有广泛的应用前景。3)同样是基于混淆矩阵进行推理，本专利技术的方法计算简单。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种基于混淆矩阵的分类结果检测方法的流程示意图；图2是根据一示例性实施例示出的一种基于混淆矩阵的分类结果检测方法的流程示意图；图3是根据一示例性实施例示出的一种混淆矩阵的示意图；图4是根据一示例性实施例示出的一种基于混淆矩阵的分类结果检测装置的结构示意图；图5是根据一示例性实施例示出的一种基于混淆矩阵的分类结果检测系统的结构示意图。具体实施方式为了能够更加详尽地了解本公开实施例的特点与
技术实现思路
，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。本公开实施例提供了一种基于混淆矩阵的分类结果检测方法，图1是根据一示例性实施例示出的一种基于混淆矩阵的分类结果检测方法的流程示意图。如图1所示，一种基于混淆矩阵的分类结果检测方法，包括：步骤S101、获取分类结果的混淆矩阵；其中，混淆矩阵是分类器分类结果和样本真实标签构成的矩阵，也称误差矩阵、错误矩阵、可能性表格，是对分类问题的预测结果的总结，混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目，每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目，每一列中的数值表示真实数据被预测为该类的数目。具体地，获取分类结果的混淆矩阵之前，首先获取测试样本数据，然后将测试样本数据输入分类器，得到测试样本的预测标签，根据测试样本的预测标签和真实标签，构建分类结果的混淆矩阵。将测试样本经过分类器测试，可得测试样本的预测标签，进而结合测试样本的真实标签就可以构建混淆矩阵。以二分类任务为例，构建混淆矩阵，图3是根据一示例性实施例示出的一种混淆矩阵的示意图，其中，混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目，每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目，每一列中的数值表示真实数据被预测为该类的数目。如图3所示，该分类结果的混淆矩阵包括类别1和类别2，类别1真实标签数量为m，预测结果中预测为类别1的样本数量为s，正确预测为类别1的样本数量为a，类别1中有c个样本被错误预测为类别2；类别2的真实标签数量为n，预测结果中预测为类别2的样本数量为t，正确预测为类别2的样本数本文档来自技高网...

【技术保护点】
1.一种基于混淆矩阵的分类结果检测方法，其特征在于，包括：/n获取分类结果的混淆矩阵；/n根据所述混淆矩阵计算每个类别分类结果的准确度；/n根据所述每个类别分类结果的准确度计算整体分类结果的准确度。/n

【技术特征摘要】
1.一种基于混淆矩阵的分类结果检测方法，其特征在于，包括：
获取分类结果的混淆矩阵；
根据所述混淆矩阵计算每个类别分类结果的准确度；
根据所述每个类别分类结果的准确度计算整体分类结果的准确度。


2.根据权利要求1所述的方法，其特征在于，所述获取分类结果的混淆矩阵之前，还包括：
根据测试样本的预测标签和真实标签，构建所述分类结果的混淆矩阵。


3.根据权利要求1所述的方法，其特征在于，所述根据所述混淆矩阵计算每个类别分类结果的准确度之前，还包括：
根据所述混淆矩阵计算每个类别分类结果的分类效率。


4.根据权利要求3所述的方法，其特征在于，根据所述混淆矩阵计算每个类别分类结果的准确度，包括：
根据每个类别分类结果的分类效率以及该类别在总样本中出现的概率，计算每个类别分类结果的准确度。


5.根据权利要求1所述的方法，其特征在于，所述根据所述每个类别分类结果的准确度计算整体分类结果的准确度，包括：
根据公式：R＝∑R(i)/N，计算整体分类结果的准确度；
其中，R为整体分类结果的准确度，R(i)为第i个类别的分类结果的准确度，N为类别总数。


6.根据权利...

【专利技术属性】
技术研发人员：苏华友，张开放，窦勇，姜晶菲，李荣春，牛新，乔鹏，潘衡岳，刘朝润，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43