检测不可推理的数据制造技术

一种检测不可信推理的数据。提供了一种方法、系统和程序产品标识多个模型以测试数据集的方法。多个模型中的每一个模型产生对应于多个目标中的一个目标的多个预测中的一个预测。该方法、系统和程序产品响应于对照多个模型中的每个模型而测试数据集来检测该多个预测之间的一个或多个冲突。所述方法、系统和程序产品响应于检测到所述一个或多个冲突而报告测试的不可推理的结果。试的不可推理的结果。试的不可推理的结果。

【技术实现步骤摘要】
检测不可推理的数据

技术介绍

[0001]人工智能使用机器学习算法来基于样本数据(训练数据)以构建模型，以对主题做出预测或决定，而不被显式地编程为对该主题做出预测或决定。机器学习算法被用于各种各样的应用中，在这些应用中开发常规算法以执行所需任务是困难或不可行的。
[0002]机器学习模型的精确度等级基于其“真肯定”、“真否定”、“假肯定”以及“假否定”。真肯定是其中机器学习模型正确地预测肯定类别的结果。真否定是其中机器学习模型正确地预测否定类别的结果。假肯定是其中机器学习模型不正确地预测肯定类别的结果。并且，假否定是其中机器学习模型不正确地预测否定类别的结果。
[0003]当机器学习模型生成假肯定结果时，机器学习模型可能试图预测不可预测的结果，在本文中称为“不可推理的”。需要机器学习模型来预测特定结果，即使预测具有低置信度。当系统使用多个机器学习模型来达到最终结果时，用户不能够区分不同机器学习模型的各个结果与随后生成假肯定最终结果之间是否存在冲突。尽管存在变通方案(诸如，创建“其他”类别的结果)，但是这些方法不在二进制分类中起作用。

技术实现思路

[0004]根据本公开的一个实施例，提供方式，其中方法、系统和程序产品标识多个模型以测试数据集。多个模型中的每个模型产生对应于多个目标中的一个目标的多个预测中的一个预测。该方法、系统和程序产品响应于对照多个模型中的每个模型来测试数据集来检测该多个预测之间的一个或多个冲突。所述方法、系统和程序产品响应于检测到所述一个或多个冲突，报告测试的不可推理的结果。
[0005]根据本公开的另一实施例，提供了方式，其中方法、系统和程序产品由模型中的第一模型生成对应于多个目标中的第一目标的强第一预测。该方法、系统和程序产品由模型中的第二模型生成对应于多个目标中的第二目标的强第二预测。然后，响应于确定第一目标不同于第二目标，方法、系统和程序产品生成不可推理的结果。
[0006]根据本公开的又一实施例，提供了方式，其中方法、系统和程序产品基于第一平均值加上对应于第一模型的第一概率曲线上的两个标准差面积来确定强第一预测，并且基于第二平均值加上对应于第二模型的第二概率曲线上的两个标准差面积来确定强第二预测的方法。
[0007]根据本公开的又一实施例，提供了方式，其中方法、系统和程序产品基于训练数据集来构建多个模型。该方法、系统和程序产品针对多个模型中的每个模型来计算多个模型评估度量中的一个模型评估度量，该模型评估度量测量多个模型中的一个模型的性能。然后，该方法、系统和程序产品基于多个模型的对应的模型评估度量，从多个模型中选择(K个)模型子集，其中，K个模型包括重要特征集。
[0008]根据本公开的又一实施例，提供方式，其中方法、系统和程序产品将对应于K个模型的重要特征集进行排序。方法、系统和程序产品基于排名标识独特特征集。对于独特特征集中的每个独特特征集，方法、系统和程序产品选择独特特征集中的一个独特特征集，并且
移除训练数据的、对应于所选择的独特特征的部分。方法、系统和程序产品在训练数据的子集上测试K个模型中的每个模型，该训练数据的子集排除训练数据的所移除的部分。该方法、系统和程序产品将所选择的K个模型指定为S个模型集中的一个模型，并且在数据集的测试期间，利用S个模型集来检测一个或多个冲突。
[0009]根据本公开的又一实施例，提供了方式，其中方法、系统和程序产品确定该S个模型集中的每个S模型的置信度阈值。方法、系统和程序产品然后利用置信度阈值来确定多个预测中的一个或多个预测是否是强预测。
[0010]根据本公开的又一实施例，提供了方式，其中方法、系统和程序产品确定多个预测包括多个强第一预测，强第一预测格子对应于多个目标中的第一目标。方法、系统和程序产品确定多个预测包括单个强第二预测，该单个强第二预测对应于多个目标中的第二目标。然后，响应于确定第一目标不同于第二目标，方法、系统和程序产品报告不可推理的结果。
[0011]前述内容是概述，并且因此必然包含细节的简化、概括和省略；因此，本领域的技术人员将认识到该概述仅是说明性的并且不旨在以任何方式进行限制。仅由权利要求所限定的本公开的其他方面、创造性特征、和优点将在以下所阐述的非限制性详细说明中变得清楚。
附图说明
[0012]通过参考附图，本公开可以被更好地理解，并且其多个目的、特征和优点对于本领域技术人员变得明显，其中：
[0013]图1是可以实现本文所描述的方法的数据处理系统的框图；
[0014]图2提供了图1中所示的信息处理系统环境的扩展，以示出本文所述的方法可以在联网环境中操作的各种信息处理系统上执行；
[0015]图3是描绘生成机器学习模型、选择机器学习模型的部分以用于冲突分析、以及使用所选择的机器学习模型来确定输出结果是否是不可推理的系统的示例性图；
[0016]图4是描绘评估预测模型并且选择用于冲突分析的最佳预测模型所采取的步骤的示例性流程图；
[0017]图5是描绘在留一(“leave one out”)交叉验证过程中选择模型组用于冲突分析的所采取的步骤的示例性流程图；
[0018]图6是描绘在运行时过程期间以确定在冲突分析期间是否出现任何强冲突的所采取的步骤的示例性流程图；
[0019]图7是描绘包括特征集和目标的训练数据的示例性示图；
[0020]图8是描绘针对S模型的置信度阈值的示例性图；
[0021]图9是描绘预测模型决策树的示例性图，该预测模型决策树包括强预测置信度节点和弱到中等预测置信度节点的；以及
[0022]图10是描述各种得分数据模型结果的示意图。
具体实施方式
[0023]本文中使用的术语仅用于描述具体实施例的目的，而并非旨在限制本公开。如本文中使用的，除非上下文另有明确指示，否则单数形式“一”、“一个”和“该”旨在也包括复数
形式。还应当理解，当在本说明书中使用术语“包括”和/或“包含”时，其指定所述特征、整体、步骤、操作、元素和/或组件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或其组合的存在或添加。
[0024]以下权利要求中的所有部件或步骤加上功能元素的对应结构、材料、动作和等效物旨在包括用于结合如具体所要求保护的其他所要求的保护的元素来执行功能的任何结构、材料或动作。已经出于说明和描述的目的呈现了对本公开的描述，但并不旨在是详尽的或限于所公开形式的本公开。在不背离本公开的范围和精神的情况下，许多修改和变型对于本领域普通技术人员来说是明显的。选择和描述实施例以便最好地解释本公开的原理和实际应用，并且使本领域的其他普通技术人员能够针对具有适合于预期的特定用途的各种修改的各种实施例来理解本公开。
[0025]本专利技术可以是任何可能的技术细节集成度的系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质(或多个介质)，其上具有用于使处理器执行本专利技术的各方面的计算机可读程序指令。
[0026]计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：标识多个模型以测试数据集，其中所述多个模型中的每个模型产生对应于多个目标中的一个目标的多个预测中的一个预测；响应于对照多个模型中的每个模型来测试所述数据集，检测所述多个预测之间的一个或多个冲突；以及响应于检测到所述一个或多个冲突，报告所述测试的不可推理的结果。2.根据权利要求1所述的计算机实现的方法，其中所述多个模型包括第一模型和第二模型，所述方法还包括：由所述第一模型生成对应于所述多个目标中的第一目标的强第一预测；从所述第二模型生成对应于所述多个目标中的第二目标的强第二预测；以及响应于确定所述第一目标不同于所述第二目标，生成所述不可推理的结果。3.根据权利要求2所述的计算机实现的方法，其中所述强第一预测基于第一平均值加上对应于所述第一模型的第一概率曲线上的两个标准差置信度阈值，并且其中所述强第二预测基于第二平均值加上对应于所述第二模型的第二概率曲线上的两个标准差置信度阈值。4.根据权利要求1所述的计算机实现的方法，还包括：基于训练数据集来构建所述多个模型；针对所述多个模型中的每个模型计算多个模型评估度量中的一个模型评估度量，所述多个模型评估度量测量所述多个模型中的一个模型的性能；以及基于所述多个模型的对应的模型评估度量，从所述多个模型中选择K个模型的子集，其中所述K个模型的子集包括重要特征集。5.根据权利要求4所述的计算机实现的方法，还包括：将对应于所述K个模型的子集的重要特征集进行排名；基于所述排名来标识独特特征集；针对所述独特特征集中的每个独特特征集：选择所述独...

【专利技术属性】
技术研发人员：林俊叡，许静，韩四儿，张雪英，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：