基于合作博弈论的卷积神经网络神经元可解释性评估方法技术

本发明专利技术提供了一种基于合作博弈论的卷积神经网络神经元可解释性评估方法，通过量化单个神经元的可解释性度和单层神经元的可解释性度量实现对卷积神经网络神经元可解释性评估

【技术实现步骤摘要】
基于合作博弈论的卷积神经网络神经元可解释性评估方法


[0001]本专利技术属于卷积神经网络
，特别是涉及一种基于合作博弈论的卷积神经网络神经元可解释性评估方法
。

技术介绍

[0002]卷积神经网络广泛应用于计算机视觉领域，如图片分类，物体探测，语义分割等
。
和传统神经网络模型相比，它利用卷积核对输入图像进行局部特征提取，减少了参数数量从而避免过拟合，拥有更强的泛化能力；对于图像数据，它能够提取并整合数据的空间信息，做出具有更高可信度的决策
。
[0003]现阶段，卷积神经网络可解释性的相关研究旨在揭示卷积神经网络模型的工作机理，从而达到区分模型优劣和指导模型优化目的
。
由于神经网络无法分解成单独的功能组件，对复杂庞大的模型进行的整体直观解释极为困难
。
针对上述难题，神经元特征可视化技术立足单个神经元或单个神经元层级，利用梯度和神经元的激活状态等信息生成特征可视化图像，建立了输入图像
、
输出结果和局部神经元之间的联系，为模型的决策依据的提供了直观的视觉解释
。
[0004]现有的神经元特征可视化技术主要通过人眼来比较原始输入图像和神经元特征图像进行模式匹配，视觉上判断神经元特征图像和原始输入图像的相似程度，如果相似程度较高，则说明该神经元特征学习能力较高且具备较强的可解释性；与原始图像不相似，则说明该神经元特征学习能力较差且可解释性较差
。
但这种使用人眼进行判断的方法效率低下，当我们面对海量的神经元特征可视化图像时，难以穷举式地观察所有神经元的特征可视化结果，导致基于神经元特征可视化的模型可解释性探索效率较低
。
且随着卷积神经网络在各种应用场景下性能需求越来越高，神经网络层数不断加深，从最初的7层
AlexNet
到
16
层
VGG
，到
GoogLeNet
的
22
层，再到
152
层的
ResNet
，如今更有上千层的
ResNet
和
DenseNet。
神经网络参数规模的增大是不可避免的趋势，而试图人工逐神经元完成对动辄包含万级亿级神经元的卷积神经网络的可解释性评估即使耗费巨大的成本也难以实现
。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种基于合作博弈论的卷积神经网络神经元可解释性评估方法，以大幅提高卷积神经网络神经元可解释性评估效率，并实现卷积神经网络神经元可解释性量化
。
[0006]为解决上述技术问题，本专利技术所采用的技术方案是一种基于合作博弈论的卷积神经网络神经元可解释性评估方法，包括以下步骤：
[0007]S1、
确定输入图像和卷积神经网络模型；输入图像包括尺寸
、
三通道像素值构成的三维矩阵，所述卷积神经网络模型包括模型的层数
、
各层参数；
[0008]S2、
根据输入图像在模型中传播执行的计算，获取模型中不同层
、
不同神经元处的
GBP
图像；
[0009]S3、
根据输入图像输入模型后得到的预测结果，计算对应的
Shapley
值数据，并根据
Shapley
值获得
SHAP
图像；
[0010]S4、
将特征可视化图像和
SHAP
图像进行归一化处理；
[0011]S5、
确定不同神经元的量化可解释性；
[0012]S6、
根据神经元的量化可解释性确定神经元所在层的可解释性
。
[0013]进一步的，所述
S1
中输入图像是三通道
RGB
图像，卷积神经网络模型包括可以利用反向传播算法求解梯度的模型
。
[0014]进一步的，所述
S2
具体包括以下步骤：
[0015]S21、
对于一张
RGB
三通道输入图像，神经网络模型前向计算得到第
l
层第
i
个神经元生成的一张特征图，记为
f
；
[0016]S22、
将神经元
N
所在层除
f
以外的得到的所有特征图置为零，将神经元
N
所在层通过导向反向传播得到的梯度矩阵作为该神经元的
GBP
图像
。
[0017]进一步的，所述
S22
中，卷积神经网络的
Relu
层反向传播时，要忽略负梯度
。
[0018]进一步的，神经网络模型处理的输入图像
P
的尺寸为
m
×
n
，令
M
＝
m
×
n
，所述
S3
具体包括以下步骤：
[0019]S31、
对输入图像
P
像素从零开始从左到右
、
从上到下依次编号；初始化由
M
个二进制元素
(0
和
1)
组成的一维数据
z'
来表示输入变量的不同组合，其中0表示对应位置像素不存在，1表示对应位置像素存在；总共得到
M
个数据
z
’
；
[0020]S32、
保留
S31
得到的数据
z
’
中为1的位置对应的像素值，将为0的位置对应的像素值修改为周围8个像素的平均值，得到映射
h
x
(z')
；然后将
h
x
(z')
输入卷积神经网络模型得到预测结果
f(h
x
(z'))
；
[0021]S33、
计算每一个数据
z'
对应的权重
π
x
(z')
：
[0022][0023]其中，
|z'|
表示数据
z'
中0的个数，
π
x
表示权重计算函数，表示从
M
个不同的数中取
|Z'|
个数的方案数，
[0024]S34、
拟合线性模型：线性回归模型
g(z')
如下：
[0025][0026]其中，
z
’
∈{0,1}
M
，
i
对应输入图像
P
的像素编号，表示
z
i
'
的权值，表示需要拟合的线性回归模型的系数；通过损失函数...

【技术保护点】

【技术特征摘要】
1.
一种基于合作博弈论的卷积神经网络神经元可解释性评估方法，其特征在于，包括以下步骤：
S1、
确定输入图像和卷积神经网络模型；输入图像包括尺寸
、
三通道像素值构成的三维矩阵，所述卷积神经网络模型包括模型的层数
、
各层参数；
S2、
根据输入图像在模型中传播执行的计算，获取模型中不同层
、
不同神经元处的
GBP
图像；
S3、
根据输入图像输入模型后得到的预测结果，计算对应的
Shapley
值数据，并根据
Shapley
值获得
SHAP
图像；
S4、
将特征可视化图像和
SHAP
图像进行归一化处理；
S5、
确定不同神经元的量化可解释性；
S6、
根据神经元的量化可解释性确定神经元所在层的可解释性
。2.
根据权利要求1所述的一种基于合作博弈论的卷积神经网络神经元可解释性评估方法，其特征在于，所述
S1
中输入图像是三通道
RGB
图像，卷积神经网络模型包括可以利用反向传播算法求解梯度的模型
。3.
根据权利要求1所述的一种基于合作博弈论的卷积神经网络神经元可解释性评估方法，所述
S2
具体包括以下步骤：
S21、
对于一张
RGB
三通道输入图像，神经网络模型前向计算得到第
l
层第
i
个神经元生成的一张特征图，记为
f
；
S22、
将神经元
N
所在层除
f
以外的得到的所有特征图置为零，将神经元
N
所在层通过导向反向传播得到的梯度矩阵作为该神经元的
GBP
图像
。4.
根据权利要求3所述的一种基于合作博弈论的卷积神经网络神经元可解释性评估方法，其特征在于，所述
S22
中，卷积神经网络的
Relu
层反向传播时，要忽略负梯度
。5.
根据权利要求1所述的一种基于合作博弈论的卷积神经网络神经元可解释性评估方法，其特征在于，神经网络模型处理的输入图像
P
的尺寸为
m
×
n
，令
M
＝
m
×
n
，所述
S3
具体包括以下步骤：
S31、
对输入图像
P
像素从零开始从左到右
、
从上到下依次编号；初始化由
M
个二进制元素
(0
和
1)
组成的一维数据
z'
来表示输入变量的不同组合，其中0表示对应位置像素不存在，1表示对应位置像素存在；总共得到
M
个数据
z
’
；
S32、
保留
S31
得到的数据
z
’
中为1的位置对应的像素值，将为0的位置对应的像素值修改为周围8个像素的平均值，得到映射
h
x
(z')
；然后将
h
x
(z')
输入卷积神经网络模型得到预测...

【专利技术属性】
技术研发人员：周芳芳，沈海誉，刘志鹏，杨雷，张睿晨，谭依静，张健，郭克华，赵颖，
申请(专利权)人：中南大学，
类型：发明
国别省市：