机器学习模型错误检测制造技术

一种系统包括存储器，其中具有指令；以及与存储器通信的至少一个处理器，其中至少一个处理器被配置为执行指令以：基于机器学习基础模型的第一预测来确定机器学习基础模型的可解释特征的全局级重要性的全局级重要性幅度值。至少一个处理器还被配置为执行指令以基于第一预测来确定可解释特征的全局级重要性的全局级重要性方向标签。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第二预测、基于全局级重要性幅度值、并且基于全局级重要性方向标签，生成用于呈现给用户的传送。送。送。

【技术实现步骤摘要】
【国外来华专利技术】机器学习模型错误检测

技术介绍

[0001]本专利技术总体上涉及人工智能领域，更具体地涉及提高机器学习模型的准确性。
[0002]机器获取和应用知识和技能的各种能力已被归类为人工智能(“AI”)。机器学习被认为是AI的一种形式。机器学习已经采用了算法和统计模型，这些算法和统计模型使计算机系统能够主要基于数据模式和相关联的推理而不是显式指令来执行任务。一些机器学习模型已经执行了分类和/或其他预测任务。提供对这种模型何时以及如何被破坏的可操作洞察是有挑战性的。

技术实现思路

[0003]公开了一种用于校正针对用户的机器学习基础模型的错误预测的方法，方法包括：基于机器学习基础模型的第一预测，确定机器学习基础模型的可解释特征对于机器学习基础模型的全局级重要性的全局级重要性幅度值。方法还包括：基于机器学习基础模型的第一预测，确定机器学习基础模型的可解释特征对机器学习基础模型的全局级重要性的全局级重要性方向标签。方法还包括：基于机器学习基础模型的第二预测、基于全局级重要性幅度值、并且基于全局级重要性方向标签，生成用于呈现给用户的传送。
[0004]还公开了一种用于向用户警告机器学习基础模型的错误预测的方法，方法包括：在第一输入数据集上运行机器学习基础模型，以由机器学习基础模型生成基线预测对，并且确定机器学习基础模型的第一可解释特征对机器学习基础模型的预测类的局部级重要性。方法还包括：基于机器学习基础模型的第一可解释特征的局部级重要性来确定机器学习基础模型的第一可解释特征对机器学习基础模型的全局级重要性。方法还包括：在第二输入数据集上运行机器学习基础模型，以由机器学习基础模型生成新预测。方法还包括：基于机器学习基础模型的第一可解释特征的局部级重要性和机器学习基础模型的第一可解释特征的全局级重要性来确定针对新预测的错误指定。方法还包括：传送新预测和针对新预测的错误指定的指示以用于呈现给用户。
[0005]还公开了一种用于校正针对用户的机器学习基础模型的错误预测的系统，系统包括：存储器，其中具有指令；以及与存储器通信的至少一个处理器，其中至少一个处理器被配置为执行指令以：基于机器学习基础模型的第一预测来确定机器学习基础模型的可解释特征对机器学习基础模型的全局级重要性的全局级重要性幅度值。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第一预测来确定机器学习基础模型的可解释特征对机器学习基础模型的全局级重要性的全局级重要性方向标签。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第二预测、基于全局级重要性幅度值、并且基于全局级重要性方向标签，生成用于呈现给用户的传送。
[0006]还公开了一种用于向用户警告机器学习基础模型的错误预测的系统，该系统包括：存储器，其中具有指令；以及与存储器通信的至少一个处理器，其中至少一个处理器被配置为执行指令以：在第一输入数据集上运行机器学习基础模型，以由机器学习基础模型生成基线预测对，并且确定机器学习基础模型的第一可解释特征对机器学习基础模型的预
测类的局部级重要性。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第一可解释特征的局部级重要性来确定机器学习基础模型的第一可解释特征对机器学习基础模型的全局级重要性。至少一个处理器还被配置为执行指令以在第二输入数据集上运行机器学习基础模型，以由机器学习基础模型生成新预测。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第一可解释特征的局部级重要性和机器学习基础模型的第一可解释特征的全局级重要性来确定针对新预测的错误指定。至少一个处理器还被配置为执行指令以传送新预测和针对新预测的错误指定的指示以用于呈现给用户。
[0007]还公开了一种用于向用户警告机器学习基础模型的错误预测的计算机程序产品，计算机程序产品包括计算机可读存储介质，计算机可读存储介质具有包含在其中的程序指令，程序指令由至少一个处理器可执行，以使至少一个处理器：在第一输入数据集上运行机器学习基础模型，以由机器学习基础模型生成基线预测对，并且确定机器学习基础模型的第一可解释特征对机器学习基础模型的预测类的局部级重要性。程序指令还由至少一个处理器可执行，以使至少一个处理器：基于机器学习基础模型的第一可解释特征的局部级重要性来确定机器学习基础模型的第一可解释特征对机器学习基础模型的全局级重要性。程序指令还由至少一个处理器可执行，以使至少一个处理器：在第二输入数据集上运行机器学习基础模型，以由机器学习基础模型生成新预测。程序指令还由至少一个处理器可执行，以使至少一个处理器：基于机器学习基础模型的第一可解释特征的局部级重要性和机器学习基础模型的第一可解释特征的全局级重要性来确定针对新预测的错误指定。程序指令还由至少一个处理器可执行，以使至少一个处理器：传送新预测和针对新预测的错误指定的指示以用于呈现给用户。
附图说明
[0008]为了更完整地理解本公开，现在结合附图和详细描述参考以下简要描述，其中相同的附图标记表示相同的部件。
[0009]图1是根据本公开的各方面的假设示例情感分类模型(未示出)的LIME分析所产生的示例局部级特征贡献或重要性的表格图示。
[0010]图2是根据本公开的各方面的机器学习预测系统的框图图示。
[0011]图3是示出根据本公开的各方面的、在一些情况下如何为诸如例如“不足”等不可解释的特征计算全局级重要性大小和方向的数据流图。
[0012]图4是根据本公开的各方面的机器学习预测过程的流程图图示。
[0013]图5是根据本公开的各方面的数据处理系统的硬件架构的框图图示。
[0014]所图示的图仅是示例性的，并且不旨在断言或暗示关于其中可以实现不同实施例的环境，架构，设计或过程的任何限制。
具体实施方式
[0015]首先应当理解，虽然下面提供了一个或多个实施例的说明性实现，但是所公开的系统，计算机程序产品和/或方法可以使用当前已知或存在的任何数目的技术来实现。本公开绝不应限于以下示出的说明性实现，附图和技术，包括在此示出和描述的示例性设计和实现方式，而是可以在所附权利要求及其等同物的全部范围内进行修改。
[0016]如在书面公开和权利要求中所使用的，术语“包括”和“包含”(及其变形)以开放式方式使用，因此应解释为意指“包括但不限于”。除非另外指明，否则如本文通篇使用的“或”不要求相互排他性，并且单数形式“一”，“一个”和“该”也旨在包括复数形式，除非上下文另外清楚地指明。
[0017]这里提到的“模块”或“单元”(及其变形)包括一个或多个硬件或电子组件，例如电路，处理器和存储器，它们可以被专门配置成执行特定功能。存储器可以包括存储数据的易失性存储器或非易失性存储器，所述数据例如但不限于计算机可执行指令，机器代码和其它各种形式的数据。模块或单元可以被配置为使用数据来执行一个或多个指令以执行一个或多个任务。在某些情况下，模块或单元还可以指被配置成执行特定任务的特定功能集，软件指令或电路。例如，模块或单元可以包括软件组件，例如但不限于数据访问对象、服务组件、用户界本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于校正针对用户的机器学习基础模型的错误预测的方法，所述方法包括：基于所述机器学习基础模型的第一预测，确定所述机器学习基础模型的可解释特征对于所述机器学习基础模型的全局级重要性的全局级重要性幅度值；基于所述机器学习基础模型的所述第一预测，确定所述机器学习基础模型的所述可解释特征对所述机器学习基础模型的所述全局级重要性的全局级重要性方向标签；以及基于所述机器学习基础模型的第二预测、基于所述全局级重要性幅度值、并且基于所述全局级重要性方向标签，生成用于呈现给所述用户的传送。2.根据权利要求1所述的方法，其中生成用于呈现给所述用户的所述传送包括：接收对所述全局级重要性方向标签的错误评估。3.根据权利要求2所述的方法，还包括：基于所述全局级重要性方向标签、基于对所述全局级重要性方向标签的所述错误评估、并且基于所述机器学习基础模型的所述可解释特征对所述机器学习基础模型的预测类的局部级重要性，校正所述错误预测。4.根据权利要求3所述的方法，其中接收对所述全局级重要性方向标签的所述错误评估包括：接收对所述全局级重要性方向标签的人类错误评估。5.一种用于向用户警告机器学习基础模型的错误预测的方法，所述方法包括：在第一输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成基线预测对，并且确定所述机器学习基础模型的第一可解释特征对所述机器学习基础模型的预测类的局部级重要性；基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性，确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的全局级重要性；在第二输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成新预测；基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性和所述机器学习基础模型的所述第一可解释特征的所述全局级重要性，确定针对所述新预测的错误指定；以及传送所述新预测和针对所述新预测的所述错误指定的指示，以用于呈现给所述用户。6.根据权利要求5所述的方法，还包括：基于全局级重要性幅度值，确定所述机器学习基础模型的所述第一可解释特征相对于所述机器学习基础模型的第二可解释特征的排序；基于所述机器学习基础模型的所述第一可解释特征的所述排序，传送所述机器学习基础模型的所述第一可解释特征；传送全局级重要性方向标签；接收所述机器学习基础模型的所述第一可解释特征的传送；以及计算针对所述新预测的局部错误得分，以作为由所述机器学习基础模型的所述第一可解释特征引入到所述新预测中的错误的归一化版本，其中所述机器学习基础模型的所述第一可解释特征的所述全局级重要性包括所述全局级重要性幅度值和所述全局级重要性方向标签，其中根据人类评估，所述全局级重要性方向标签是错误的，并且其中确定针对所述新预测的所述错误指定包括：基于针对所述新预测的所述局部错误
得分是否超过阈值来确定针对每个新预测的所述错误指定。7.根据权利要求6所述的方法，其中在所述第一输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成所述基线预测对，并且确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述预测类的所述局部级重要性包括：使用数据扰动过程来由所述机器学习基础模型生成所述基线预测对，并且确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述预测类的所述局部级重要性。8.根据权利要求7所述的方法，其中使用所述数据扰动过程来由所述机器学习基础模型生成所述基线预测对，并且确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述预测类的所述局部级重要性包括：计算其中j表示所述第一可解释特征，其中d
i
，i∈{0，1，...，N}表示所述第一输入数据集中的第一数据实例，其中d
i
包括所述第一可解释特征j，其中表示除所述第一可解释特征j之外的所有第一数据实例d
i
，其中k∈{0，1，...，K}表示所述机器学习基础模型的对应的预测类，其中P(y＝k|d
i
)表示由所述机器学习基础模型从在所述第一数据实例d
i
上运行所述机器学习基础模型而生成的针对所述机器学习基础模型的对应的所述预测类k的第一预测概率，其中表示由所述机器学习基础模型从在上运行所述机器学习基础模型而生成的针对所述机器学习基础模型的对应的所述预测类k的第二预测概率，并且其中表示与对应的所述预测类k相关联的所述第一可解释特征j对所述第一数据实例d
i
的所述局部级重要性。9.根据权利要求8所述的方法，其中基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性来确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述全局级重要性包括：计算其中N表示所述第一输入数据集中的数据实例集的基数，其中所述数据实例集中的每个数据实例包括所述第一可解释特征，并且其中k
*
表示所述第一可解释特征的所述全局级重要性的所述全局级重要性方向标签。10.根据权利要求9所述的方法，其中基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性来确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述全局级重要性包括：计算
其中表示由所述机器学习基础模型生成的、并且与所述第一可解释特征的所述全局级重要性的所述全局级重要性方向标签相关联的第三预测概率的幅度，并且其中表示所述第一可解释特征的所述全局级重要性的所述全局级重要性幅度值。11.根据权利要求10所述的方法，其中计算针对所述新预测的所述局部错误得分包括：计算其中表示第一相应可解释特征j对由所述机器学习基础模型从在所述第二输入数据集中的第二数据实例上运行所述机器学习基础模型而生成的预测概率的贡献，其中根据所述人类评估，全局级重要性方向标签集中的每个全局级重要性方向标签是错误的，其中m表示所述全局级重要性方向标签集的基数，其中表示第二相应可解释特征i对由所述机器学习基础模型从在所述第二输入数据集中的所述第二数据实例上运行所述机器学习基础模型而生成的所述预测概率的贡献，其中所述第二相应可解释特征i的贡献方向与所述新预测一致，其中n表示可解释特征集的基数，并且其中所述可解释特征集中的每个可解释特征的贡献方向与所述新预测一致。12.一种用于校正针对用户的机器学习基础模型的错误预测的系统，所述系统包括：存储器，其中具有指令；以及与所述存储器通信的至少一个处理器，其中所述至少一个处理器被配置为执行所述指令以：基于所述机器学习基础模型的第一预测，确定所述机器学习基础模型的可解释特征对所述机器学习基础模型的全局级重要性的全局级重要性幅度值；基于所述机器学习基础模型的所述第一预测，确定所述机器学习基础模型的所述可解释特征对所述机器学习基础模型的所述全局级重要性的全局级重要性方向标签；以及基于所述机器学习基础模型的第二预测、基于所述全局级重要性幅度值、并且基于所述全局级重要性方向标签，生成用于呈现给所述用户的传送。13.根据权利要求12所述的系统，其中所述至少一个处理器还被配置以执行所述指令以：接收对所述全局级重要性方向标签的错误评估；以及基于所述错误评估来生成用于呈现给所述用户的所述传送。14.根据权利要求13所述的系统，其中所述至少一个处理器还被配置为执行所述指令，以基于所述全局级重要性方向标签、基于对所述全局...

【专利技术属性】
技术研发人员：刘喆，郭玙璠，J，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：