一种为卷积神经网络生成图像分类反例的求解方法技术

本发明专利技术公开一种为卷积神经网络生成图像分类反例的自动求解方法，首先是将训练后承担分类任务的目标卷积网络模型f(X)与负责构造反向特征的形态扰动网络模型g(X)分别转为一个等价的可进行满足性求解的模型f

【技术实现步骤摘要】
一种为卷积神经网络生成图像分类反例的求解方法


[0001]本专利技术涉及深度学习
，具体涉及一种为卷积神经网络生成图像分类反例的求解方法。

技术介绍

[0002]随着计算机硬件性能的不断提升和计算方式的持续创新，卷积神经网络(Convolutional Neural Networks,CNN)经过数十年的不断进化，目前作为一种卓越的具有自学习特征的网络结构已经被广泛应用于图像分类、目标检测等智能识别及决策领域。使用卷积神经网络模型对图像进行分类，当网络模型结构确定后，首先需要借助一个训练样本驱动训练算法如反向传播(Back Propagation,BP)算法对网络中的权值和偏置量(bias)如卷积核(Convolutional Kernel)与全连接层(Fully Connected Layer)的权值以及偏置量(bias)进行迭代求精计算，如果权值与偏置量趋于稳定并且网络的拟合输出值与预期值的误差收敛为一个较小的值则训练结束。一般而言，训练后的网络模型的性能如分类准确度及泛化能力的优劣除网络模型的结构及卷积核尺寸等超参数的影响之外，主要由训练样本的质量决定。而训练样本质量与样本数量、样本准确性以及样本覆盖度三个要素密切相关，表现的关系为：样本的数量越多，样本蕴涵的内在规律特征越准确，并且能够覆盖的可能情形越全面，则训练后的网络模型性能越优异，尤其在处理具有相似形态分类对象时其效果越明显。对于样本数量与样本准确性两个要素，由于分类任务明确，通过人工采集、网络搜集以及借助自动生成技术等方式，常常能够构建一个数目众多的、类别鲜明的训练集，并以此可以实现扩展样本数量和提高样本特征规律准确性的目的。然而，相对于样本数量和样本准确性所呈现出的直观可知属性，覆盖度隐含未知属性，通过直观的方法例如提高训练样本数量，常常难以使得覆盖度得到有效提升，本质原因为：训练样本难以涵盖未来可能发生的所有情形，即便使用一个大规模的样本进行训练，训练后的网络模型蕴涵的分类映射关系常常难以区分训练样本之外的所有特征。
[0003]关于如何提升训练样本质量，一个经验方法为：使用反例(Counterexample)图像作为训练样本的一个补充，通过反例的提前展露，能够有效提升样本的覆盖度进而获得更加优质的训练样本。当前，如何获取分类反例图像，已成为解决卷积神经网络在图像分类领域提升分类可靠性及优化性能的核心问题。
[0004]近年来，随着转置卷积(Transposed Convolution)及生成对抗网络(Generative Adversarial Network,GAN)等理论方法的不断突破，已有很多自动化图像生成技术被提出并被成功应用于各种图像生成场景如图像还原(Image Restoration)、风格迁移(Style Transfer)等。然而，此类技术借助简单的技术革新都难以胜任自动生成反例样本的任务，原因在于：此类技术经过训练样本学习后，生成的图像与训练样本特征相似且呈正相关性，难以实现生成的图像既要满足目标卷积神经网络模型的分类基线，又要从形态上更具有其他类别特征的要求。实际应用中，对于可靠性要求不高的智能系统，在使用过程中如果遇到识别有误的图像，可以将此图像作为反例样本，通过继续学习的方式进一步地提高模型的
性能。然而，如果训练学习后的卷积神经网络模型是在可靠性要求比较高的系统(自动驾驶系统)中承担分类任务，则必须在使用之前对其性能尽可能完成评估以期望达到最优可靠度。为获得最佳性能，常用一个蛮力方法：在分类目标域内，通过人工持续不断地采集样本，尽可能实现反例图像的提前展露，然后一次次地驱动学习，并且反复地迭代整个过程，最终累积出一个较为理想的模型。尽管蛮力法能够有效地提高卷积神经网络模型的可靠性，但此方法需要耗费大量的成本，效率低下。因此，如何设计及实现一种为卷积神经网络模型自动生成反例样本的方法，已成为优化卷积神经网络性能及提高其可靠性亟待解决的问题。

技术实现思路

[0005]本专利技术基于可满足性模理论提出一种生成图像分类反例的求解方法，以解决卷积神经网络模型反例样本生成问题。
[0006]为实现上述目的，本专利技术采用如下技术方案：
[0007]一种为卷积神经网络生成图像分类反例的求解方法，首先是将训练后承担分类任务的目标卷积网络模型f(X)转化为等价的可进行满足性求解的模型f
’
(X)、负责构造反向特征的形态扰动网络模型g(X)转化为等价的可进行满足性求解的模型g
’
(X)；然后将f
’
(X)和g
’
(X)通过逻辑操作符“∧”联立构成一个合取范式形式的求解模型f
’
(X)≥y1∧g
’
(X)≥y2，y1与y2为f(X)与g(X)的分类基线，动态设定y1与y2的值控制样本X的形态特征；最后，调用SMT求解器对构建的求解模型进行动态推理计算，求解得到的样本X即为反例样本。
[0008]卷积神经网络模型(CNN)到可满足性求解模型(SMT)的转化
[0009]所述目标卷积网络模型f(X)由输入层(Input Layer)、卷积层(Convolutional Layer)、ReLU层(Rectified Linear Unit Layer)、池化层(Pooling Layer)、全连接层(Fully Connected Layer)和输出层(Output Layer)构成。各层计算原理及可满足性模型转化方式论述如下：
[0010](1)输入层的模型转换
[0011]首先将输入图像也即待求反例定义为X，X是基于SMT理论定义的以变量为基础构建的一个具有多个通道且不同尺寸的待求解图像，变量的含义为：第k个通道内第i行第j列的像素x；像素x的值在RGB图像模式中为正整数N
+
且范围为x∈[0,255]，使用转换表达式(1)可对定义的每一个像素变量进行类型及范围的约束，并使用转换表达式(2)完成可满足性模型的归一化转换；例如，对于图2所示卷积神经网络模型，可以用3*6*6个变量表示具有3个通道的尺寸大小为6乘6的一个输入图像，并且使用表达式(2)可完成归一化处理。
[0012][0013][0014](2)卷积层的模型转换
[0015]卷积层的功能是进行特征提取，其输入为待求解反例X，输出为多个特征矩阵D，为了提取到丰富的特征信息，常常使用多个带有偏置量b的卷积核K参与卷积运算，并且卷积
核的权值和偏置量在未被训练之前为待求变量，经过训练样本驱动学习后其值得以确定。基于已知卷积神经网络模型的卷积核、步长以及卷积运算方式，通过变量的符号化执行，可将卷积运算转换为可满足性模型。如图2所示，假设卷积核某一个特征提取通道C中的元素c与特征提取通道C感受野对应的图像也即待求反例X的变量x具有对等下标，利用表达式(3)可完成第m个特征矩阵D
m
的模型转换，其中：为第m个卷积核内第k个通道中第i行第j列的一个已知权值；b
m
...

【技术保护点】

【技术特征摘要】
1.一种为卷积神经网络生成图像分类反例的求解方法，首先是将训练后承担分类任务的目标卷积网络模型f(X)与负责构造反向特征的形态扰动网络模型g(X)分别转为一个等价的可进行满足性求解的模型f
’
(X)和g
’
(X)；然后将f
’
(X)和g
’
(X)通过逻辑操作符“∧”联立构成一个合取范式形式的求解模型f
’
(X)≥y1∧g
’
(X)≥y2，y1与y2为f(X)与g(X)的分类基线，动态设定y1与y2的值控制样本X的形态特征；最后，调用SMT求解器对构建的求解模型进行动态推理计算，求解得到的样本X即为反例样本。2.如权利要求1所述一种为卷积神经网络生成图像分类反例的求解方法，其特征在于，所述目标卷积网络模型f(X)由输入层、卷积层、ReLU层、池化层、全连接层和输出层构成，各层计算原理及可满足性模型转化方式论述如下：1)输入层的模型转换首先将输入图像也即待求反例定义为X，X是基于SMT理论定义的以变量为基础构建的一个具有多个通道且不同尺寸的待求解图像，变量的含义为：第k个通道内第i行第j列的像素x；像素x的值在RGB图像模式中为正整数N
+
且范围为x∈[0,255]，使用转换表达式(1)可对定义的每一个像素变量进行类型及范围的约束，并使用转换表达式(2)完成可满足性模型的归一化转换；足性模型的归一化转换；2)卷积层的模型转换卷积层的功能是进行特征提取，其输入为上述待求解反例X，输出为多个特征矩阵D，基于已知目标卷积网络模型f(X)的卷积核、步长以及卷积运算方式，使用表达式(3)完成第m个卷积核所对应的特征矩阵D
m
的可满足性模型转换；其中：为第m个卷积核内第k个通道中第i行第j列的一个已知权值；b
m
为第m个卷积核的已知偏置量；变量d
m
为卷积运算后第m个卷积核所对应的特征矩阵D
m
的一个元素，由于卷积核权值c∈R，故d
m
∈R；3)ReLU层的模型转换：激活函数ReLU是一种代数非线性斜坡函数，其输入为特征矩阵D，输出为激活特征矩阵R；目标卷积神经网络模型f(X)利用ReLU函数具有的稀疏特性实现对第m个特征矩阵D
m
中的所有特征元素c的非线性激活运算，基于SMT理论将ReLU函数的非线性激活运算转换为一个等价的可满足性逻辑运算表达式：其中，变量为第m个特征矩阵D
m
经过ReLU运算后对应的激活特征矩阵R
m
的一个元素，其取值范围为其...

【专利技术属性】
技术研发人员：张海涛，张鸿瑜，
申请(专利权)人：兰州大学，
类型：发明
国别省市：