模型预测结果的解释方法和装置制造方法及图纸

说明书披露一种模型预测结果的解释方法和装置。所述方法包括：获取目标模型的输入数据和对应的输入数据预测结果；对所述输入数据进行扰动处理，得到若干扰动数据；将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；将匹配所述解释条件的解释特征及其特征值确定为所述输入数据预测结果的解释。

Interpretation method and device of model prediction results

【技术实现步骤摘要】
模型预测结果的解释方法和装置
本说明书涉及人工智能
，尤其涉及一种模型预测结果的解释方法和装置。
技术介绍
随着人工智能技术的发展，机器学习在零售、医疗、金融、自动驾驶等领域均有着广泛的应用。然而，很多机器学习模型类似于“黑盒”，输入数据后可输出结果，但却不具有解释性，用户无法了解其内部的决策机制，无法满足业务场景的需求。
技术实现思路
有鉴于此，本说明书提供一种模型预测结果的解释方法和装置。具体地，本说明书是通过如下技术方案实现的：一种模型预测结果的解释方法，包括：获取目标模型的输入数据和对应的输入数据预测结果；对所述输入数据进行扰动处理，得到若干扰动数据；将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；将匹配所述解释条件的解释特征及其特征值确定为所述输入数据预测结果的解释。一种模型预测结果的解释装置，包括：数据获取单元，获取目标模型的输入数据和对应的输入数据预测结果；数据扰动单元，对所述输入数据进行扰动处理，得到若干扰动数据；扰动预测单元，将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；反例筛选单元，筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；特征确定单元，根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；条件匹配单元，针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；结果解释单元，将匹配所述解释条件的解释特征及其特征值确定为所述输入数据预测结果的解释。一种模型预测结果的解释装置，包括：处理器；用于存储机器可执行指令的存储器；其中，通过读取并执行所述存储器存储的与模型预测结果的解释逻辑对应的机器可执行指令，所述处理器被促使：获取目标模型的输入数据和对应的输入数据预测结果；对所述输入数据进行扰动处理，得到若干扰动数据；将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；将匹配所述解释条件的解释特征及其特征值确定为所述输入数据预测结果的解释。本说明书一个实施例可对目标模型的输入数据进行扰动处理，得到若干扰动数据，然后筛选出产生不同预测结果的扰动数据作为反例扰动数据，根据反例扰动数据与输入数据的差异为所述输入数据确定解释特征，进而根据所述解释特征和所述输入数据的特征值确定输入数据预测结果的解释，实现了对目标模型预测结果的解释。附图说明图1是本说明书一示例性实施例示出的一种模型预测结果的解释方法的流程示意图。图2是本说明书一示例性实施例示出的一种输入数据的扰动处理方法的流程示意图。图3是本说明书一示例性实施例示出的一种解释特征的确定方法的流程示意图。图4是本说明书一示例性实施例示出的一种风险预测模型预测结果的解释方法的流程示意图。图5是本说明书一示例性实施例示出的一种用于模型预测结果的解释装置的一结构示意图。图6是本说明书一示例性实施例示出的一种模型预测结果的解释装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。图1是本说明书一示例性实施例示出的一种模型预测结果的解释方法的流程示意图。所述模型预测结果的解释方法可应用于模型预测结果的解释系统，其物理载体通常为服务器或者服务器集群。请参考图1，所述模型预测结果的解释方法可包括以下步骤：步骤102，获取目标模型的输入数据和对应的输入数据预测结果。在本实施例中，所述输入数据可以为用户、商户等实体对象的特征数据。所述输入数据预测结果可以为与所述实体对象相关的分类结果。例如，所述输入数据可包括用户自身的属性特征、用户的历史业务行为特征等，所述目标模型为风险预测模型，所述输入数据预测结果为所述用户的业务请求是否具有风险。再例如，所述输入数据可包括用户自身的属性特征、用户的历史疾病特征、用户的当前症状特征等，所述目标模型为疾病诊断模型，所述输入数据预测结果为所述用户是否患有某种疾病。在本实施例中，当调用方调用目标模型进行预测时，可通过所述目标模型的调用接口输入所述输入数据，并可获取所述目标模型输出的预测结果，为便于区别，本说明书将所述输入数据输入目标模型后，目标模型输出的预测结果称为输入数据预测结果。步骤104，对所述输入数据进行扰动处理，得到若干扰动数据。在本实施例中，在对输入数据的输入数据预测结果进行解释时，可先对所述输入数据进行扰动处理，得到若干扰动数据。例如，可较小的改变扰动数据，让扰动数据保留所述输入数据的部分特征，使得扰动数据更加合理。在其他例子中，在获取到输入数据预测结果之后，还可判断所述输入数据预测结果是否为需要进行解释的待解释预测结果。若是，则可执行本步骤对输入数据进行扰动处理。若否，可结束流程。步骤106，将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果。基于前述步骤104，可将生成的扰动数据分别输入所述目标模型，得到所述扰动数据对应的预测结果，称之为扰动预测结果。步骤108，筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反本文档来自技高网...

【技术保护点】
1.一种模型预测结果的解释方法，包括：/n获取目标模型的输入数据和对应的输入数据预测结果；/n对所述输入数据进行扰动处理，得到若干扰动数据；/n将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；/n筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；/n根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；/n针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；/n将匹配所述解释条件的解释特征及其特征值确定为所述输入数据预测结果的解释。/n

【技术特征摘要】
1.一种模型预测结果的解释方法，包括：
获取目标模型的输入数据和对应的输入数据预测结果；
对所述输入数据进行扰动处理，得到若干扰动数据；
将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；
筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；
根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；
针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；
将匹配所述解释条件的解释特征及其特征值确定为所述输入数据预测结果的解释。


2.根据权利要求1所述的方法，所述对所述输入数据进行扰动处理，得到若干扰动数据，包括：
获取用于训练所述目标模型的样本；
生成符合样本数据分布的若干伪样本；
为所述输入数据确定若干组扰动特征，每组扰动特征包括一个或多个扰动特征；
针对每组扰动特征，分别用每条伪样本的特征值对应替换所述输入数据的特征值，得到所述输入数据的扰动数据。


3.根据权利要求2所述的方法，所述生成符合样本数据分布的若干伪样本，包括：
采用生成式模型学习所述样本的数据分布，并生成所述若干伪样本。


4.根据权利要求2所述的方法，所述为所述输入数据确定若干组扰动特征，包括：
获取特征的扰动数量；
遍历符合所述扰动数量的每种特征组合，并将每种特征组合确定为一组扰动特征。


5.根据权利要求4所述的方法，
所述扰动数量小于所述输入数据的特征数量。


6.根据权利要求1所述的方法，所述根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征，包括：
针对每个特征，计算所述反例扰动数据与所述输入数据的特征差异；
将特征差异满足差异条件的特征确定为所述解释特征。


7.根据权利要求6所述的方法，所述计算所述反例扰动数据与所述输入数据的特征差异，包括：
针对每个特征，计算所述反例扰动数据的特征值与所述输入数据的特征值的取值差异；
针对每个特征，统计与所述输入数据的特征值不同的反例扰动数据的数量；
根据所述取值差异和数量确定所述特征差异。


8.根据权利要求7所述的方法，所述将特征差异满足差异条件的特征确定为所述解释特征，包括：
将所述特征按照特征差异从高到低的顺序排列，顺次选取排列在先的预设数量的特征作为所述解释特征。


9.根据权利要求1所述的方法，还包括：
判断所述输入数据预测结果是否为预定的待解释预测结果；
若是，则执行对所述输入数据进行扰动处理的步骤。


10.根据权利要求1所述的方法，
所述输入数据为实体对象的特征数据；
所述输入数据预测结果为与所述实体对象相关的分类结果。


11.一种模型预测结果的解释装置，包括：
数据获取单元，获取目标模型的输入数据和对应的输入数据预测结果；
数据扰动单元，对所述输入数据进行扰动处理，得到若干扰动数据；
扰动预测单元，将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；
反例筛选单元，筛选出产生与所述输入数据预...

【专利技术属性】
技术研发人员：方军鹏，唐才智，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33