一种智能模型的可解释性技术综合评估方法和装置制造方法及图纸

本发明专利技术涉及一种智能模型的可解释性技术综合评估方法和装置

【技术实现步骤摘要】
一种智能模型的可解释性技术综合评估方法和装置


[0001]本专利技术涉及人工智能可解释技术评估领域，特别是涉及一种智能模型的可解释性技术综合评估方法和装置
。

技术介绍

[0002]近年来，随着人工智能可解释性技术得到广泛的注意，也促进了构建完整的可解释性评估技术方法的发展
。
可解释性对于机器学习研究和用户理解至关重要，是制衡模型复杂程度和人们无法理解模型决策逻辑的关键
。
可解释性评估技术则是对可解释性达到的效果进行量化的一种技术，其目的是评价可解释性技术产生的解释结果是否合理，用户是否理解并接受了产生的解释结果，从而促进模型在现实世界中的性能以及透明度
、
信任和偏见理解方面的表现力的提高
。
[0003]目前，针对可解释性技术的评估问题中，由于可解释性是对模型使用者而言的，因此在评价环节中，人作为主观评价环节的一环，不可避免的，评估方式可以分为两类：
[0004]一是客观评价，包括采用客观指标和自动化方法来评估可解释性方法的研究
。
一般来说，在现有主要的可解释性技术算法和方法研究中，主要通过可解释性评价指标进行约束，以方便开发研究人员在现实环境中应用
。
指标数据形式可以方便判断可解释性技术方法是否达到预期的可解释性目标，为解释方法之间提供行之有效的对比评价标准
。
定量研究利用封闭式问题，可以很容易地进行统计分析
。
二是以人为中心的主观性评估，用户使用可解释性工具进行交互，然后填写特定问题的问卷，通过问卷综合结果获得用户对模型的使用情况
。
定性研究基于问卷问题形式，其数据无法直观体现并进行结果对比，因此有必要将主观问卷结果进行处理转化为数据指标
。
[0005]现有的评估方式没有将主客观评价相结合，无法对可解释性技术进行综合评估，从而影响对智能模型的解释，用户不能完全信赖可解释性技术提供的结果
。
[0006]有鉴于此，如何克服现有技术所存在的缺陷，解决上述技术问题，是本
待解决的难题
。

技术实现思路

[0007]针对现有技术中的缺陷或改进需求
。
本专利技术提出结合层次分析法和模糊综合评价法的一种智能模型的可解释性技术综合评估方法和装置，该可解释性技术综合评估方法主要为可解释性技术评估提供综合评估的整体思路，该方法对可解释性技术模型整个生命周期进行全方位评估，发现并及时反馈可解释性技术的漏洞缺陷，促进可解释性技术对模型更好的解释，使用户能够更加理解信赖可解释性技术提供的结果
。
[0008]本专利技术采用如下技术方案：
[0009]第一方面，本专利技术提供了一种智能模型的可解释性技术综合评估方法，包括：
[0010]根据任务需求构建初始模型并选取可解释性技术进行结果解释；
[0011]进行客观评估，对可解释性技术和其可解释性结果进行指标计算；
[0012]进行主观评估，通过问卷得到调查表，结合层次分析法和模糊综合评价法将调查表进行数据转化；
[0013]汇总主客观评估结果，得到最终评估结果
。
[0014]进一步的，所述进行客观评估，对可解释性技术和其可解释性结果进行指标计算具体包括：
[0015]计算可解释性技术的稳定性，所述稳定性表示可解释性技术对相似或临近样本生成解释的相似性；
[0016]计算可解释性技术的敏感性，所述敏感性表示在一定范围内，改变输入样本对输出结果的影响程度；
[0017]计算可解释性技术的保真度，所述保真度表示可解释性技术对模型解释的准确程度；
[0018]计算可解释性技术的复杂度，所述复杂度表示可解释性技术的复杂程度，包括时间复杂度和空间复杂度；
[0019]计算可解释性技术的因果性，所述因果性表示可解释性技术与初始模型预测的因果关系水平
。
[0020]进一步的，所述计算可解释性技术的稳定性具体包括：用相对离散利普希茨常数表示稳定性，相对离散利普希茨常数越小则算法越稳定；相对离散利普希茨常数的计算包括：
[0021][0022]其中，为计算的相对离散利普希茨常数，
x
i
为取的第
i
个样本点，
g
为解释方法，
B
ε
为邻近样本集合，
h
为聚合函数
。
[0023]进一步的，所述计算可解释性技术的敏感性具体包括：计算最大敏感性指标；最大敏感性指标的计算包括：
[0024][0025]选取与输入样本预测结果相同的邻近样本，其中，
D
为距离函数，
f
表示黑盒模型，
g
表示解释方法，
x
为输入样本，
N
r
表示与
x
距离为
r
下的样本集合中与
x
预测结果相同的所有样本
。
[0026]进一步的，所述计算可解释性技术的保真度具体包括：选用模型评估指标
AUC
分数表示保真度，
AUC
范围在
0.5
到
1.0
之间，越接近
1.0
表示保真度越高，反之，保真度越低；
AUC
分数的计算包括：
[0027][0028]其中，
positiveClass
为正确的例子类别，对所有的预测样本的分数进行从小到大的排序，然后从1进行标号，
rank
i
是第
i
个样本的序号，
M
是正样本的个数，
N
是负样本的个数
。
[0029]进一步的，所述计算可解释性技术的复杂度具体包括：计算时间复杂度和空间复杂度，时间复杂度用于度量算法执行的时间长短，时间复杂度越低，算法的效率越高；空间复杂度是用于度量算法所需存储空间的大小，存储空间包括输入数据所占用的存储空间
、
指令常数变量所占用的存储空间以及辅助存储空间；时间复杂度和空间复杂度的计算包括：
[0030]T(n)
＝
O(f(n))
[0031]S(n)
＝
O(f(n))
[0032]其中，
T(n)
表示时间复杂度，
S(n)
表示空间复杂度，
f(n)
表示算法的基本操作重复执行的模块代码，
O
表示正比例关系
。
[0033]进一步的，所述计算可解释性技术的因果性具体包括：使用平均处理效应
ATE
表示因果性，
ATE
越大，表示因果关系水平越高；
ATE
的计算包括：
[0034]Δ
＝
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种智能模型的可解释性技术综合评估方法，其特征在于，包括：根据任务需求构建初始模型并选取可解释性技术进行结果解释；进行客观评估，对可解释性技术和其可解释性结果进行指标计算；进行主观评估，通过问卷得到调查表，结合层次分析法和模糊综合评价法将调查表进行数据转化；汇总主客观评估结果，得到最终评估结果
。2.
根据权利要求1所述的智能模型的可解释性技术综合评估方法，其特征在于，所述进行客观评估，对可解释性技术和其可解释性结果进行指标计算具体包括：计算可解释性技术的稳定性，所述稳定性表示可解释性技术对相似或临近样本生成解释的相似性；计算可解释性技术的敏感性，所述敏感性表示在一定范围内，改变输入样本对输出结果的影响程度；计算可解释性技术的保真度，所述保真度表示可解释性技术对模型解释的准确程度；计算可解释性技术的复杂度，所述复杂度表示可解释性技术的复杂程度，包括时间复杂度和空间复杂度；计算可解释性技术的因果性，所述因果性表示可解释性技术与初始模型预测的因果关系水平
。3.
根据权利要求2所述的智能模型的可解释性技术综合评估方法，其特征在于，所述计算可解释性技术的稳定性具体包括：用相对离散利普希茨常数表示稳定性，相对离散利普希茨常数越小则算法越稳定；相对离散利普希茨常数的计算包括：其中，为计算的相对离散利普希茨常数，
x
i
为取的第
i
个样本点，
g
为解释方法，
B
ε
为邻近样本集合，
h
为聚合函数
。4.
根据权利要求2所述的智能模型的可解释性技术综合评估方法，其特征在于，所述计算可解释性技术的敏感性具体包括：计算最大敏感性指标；最大敏感性指标的计算包括：选取与输入样本预测结果相同的邻近样本，其中，
D
为距离函数，
f
表示黑盒模型，
g
表示解释方法，
x
为输入样本，
N
r
表示与
x
距离为
r
下的样本集合中与
x
预测结果相同的所有样本
。5.
根据权利要求2所述的智能模型的可解释性技术综合评估方法，其特征在于，所述计算可解释性技术的保真度具体包括：选用模型评估指标
AUC
分数表示保真度，
AUC
范围在
0.5
到
1.0
之间，越接近
1.0
表示保真度越高，反之，保真度越低；
AUC
分数的计算包括：其中，
positiveClass
为正确的例子类别，对所有的预测样本的分数进行从小到大的排序，然后从1进行标号，
rank
i
是第
i
个样本的序号，
M
是正样本的个数，
N
是负样本的个数
。
6.
根据权利要求2所述的智能模型的可解释性技术综合评估方法，其特征在于，所述计算可解释性技术的复杂度具体包括：计算时间复杂度和空间复杂度，时间复杂度用于度量算法执行的时间长短，时间复杂度越低，算法的效率越高；空间复杂度是用于度量算法所需存储空间的...

【专利技术属性】
技术研发人员：张一然，张剑，李宁安，
申请(专利权)人：中国船舶集团有限公司第七，
类型：发明
国别省市：