【技术实现步骤摘要】
本专利技术属于人工智能安全领域，具体地说，是指一种基于区间传播的神经网络鲁棒性下边界确定方法，可用于生成对抗样本。
技术介绍
1、神经网络近年来发展飞快，已经在多个领域得到大量应用。鲁棒性是指神经网络对噪声、干扰和攻击的抵抗能力。提高神经网络的鲁棒性非常重要。可以在训练阶段进行样本增强或对抗训练提升网络的防御能力。
2、当将深度学习模型部署到安全攸关型应用中时，需要为模型的鲁棒性提供理论上的安全保证，即计算模型的鲁棒性边界。对于某一特定的输入样本，对其添加扰动大小为∈的扰动，若经过神经网络模型的预测，预测结果不会发生改变，则可以称该神经网络模型在∈的扰动范围内是鲁棒的。因此，对神经网络模型的鲁棒性研究通常限定在一定的样本空间内，样本空间的大小通常是由基于lp范数的扰动大小来确定。一般的，会考虑将人工智能的鲁棒性研究放在一个与样本点相关的lp球空间内考虑，若在扰动大小为∈的lp球空间内所有样本的预测结果一致，则可以称该样本在对应的lp球空间内是鲁棒的。神经网络模型的鲁棒性通常可以用最小扰动大小来评估，即存在一个最小的扰动大小∈，使得在∈的扰动范围内是鲁棒的，这一最小扰动大小也被称为对抗距离。
3、通过对抗距离的定义可以得到，如果一个模型的对抗距离越大，那么这个模型的鲁棒性就越好，反之，则说明模型的鲁棒性越差。但是在先前的研究中已经证明，对抗距离的计算是一个np完全问题，因此，寻找更快更精准的方法去得到对抗距离是一个具有很大研究价值的内容，这就需要对神经网络模型的鲁棒性边界计算方法展开具体的研究。本专利技术对
4、神经网络模型的鲁棒性边界计算方法可以依据是否依赖于具体的攻击方法进行分类，分为与攻击方法相关的鲁棒性边界计算方法和与攻击方法无关的鲁棒性边界计算方法两大类。与攻击方法相关的鲁棒性边界计算方法依赖于特定的攻击算法，得到的是在特定攻击算法下的神经网络模型鲁棒性上边界计算结果，因此，当出现新的对抗攻击算法时，之前得到的鲁棒性边界计算结果可能难以确保模型的安全。因此，更多的研究者将目光聚焦于与攻击方法无关的鲁棒性下边界计算方法上，这类方法通过分析模型自身的网络结构进行神经网络模型的鲁棒性下边界计算，不再依赖于特定的对抗攻击算法，适用性更广，有着更大的实际应用价值。
5、crown方法(参考文献：zhang h,*tsui-wei weng,pin-yu chen.efficientneural network robustness certification with general activation functions[j].2018.)是针对前馈神经网络模型的鲁棒性下边界计算方法，支持常见的激活函数类型。该方法是基于区间传播思想，在一样本点的给定输入邻域内，输出边界随着神经网络正向传播，由于激活函数的非线性特征，最后的输出边界趋向于一个非凸的，难以线性求解的边界。该方法用线性和二次函数包围给定的激活函数，从而形成了激活函数的线性上边界和下边界。用激活函数的上下边界代替原有的激活函数，逐层计算经过激活函数后的中间层输出上下界，计算的过程涉及到在神经网络模型上进行反向线性推导，最终可以求得神经网络对某一输入样本点的输出层上下界，再进一步结合二分法，计算得到神经网络模型的鲁棒性下边界。
6、基于区间传播的crown方法，首先从前往后依次计算中间层上下界，再得到输出层上下界，接着使用二分法多次迭代，得到鲁棒性边界的上下界。其在分析计算神经网络模型的鲁棒性下边界过程中，由于采用线性和二次函数包围激活函数并推导，对神经网络的激活函数不做任何限制，且不依赖于特定的攻击算法，适用范围较广。但其在计算中间层上下界时，涉及到在神经网络模型上进行反向线性推导，这一步骤所需的计算开销大，且需要多次进行，导致神经网络模型的鲁棒性下边界运算效率低。
技术实现思路
1、在研究神经网络鲁棒性的技术中，目前基于区间传播的crown方法存在如下问题：在计算输出层上下界时，需要先计算神经网络之前每一中间层的上下界，计算开销较大；计算得到的鲁棒性下边界过于保守，当网络规模较大时，得到的鲁棒性下边界过于保守，则实际意义不大。因此，本专利技术提供了一种基于区间传播的神经网络鲁棒性下边界确定方法，以解决上述问题，提高神经网络鲁棒性边界计算效率，所获得的下边界能更好的指导对抗样本生成。
2、本专利技术提供的一种基于区间传播的神经网络鲁棒性下边界确定方法，对应实现为由计算机可执行指令形成的计算模块，针对当前所要研究的神经网络模型，首先获取神经网络的每一层的系数矩阵和系数矩阵，然后调用该计算模块，确定鲁棒性下边界，以用于对抗样本生成。本专利技术方法执行如下步骤，包括：
3、(1)计算神经网络输出层的上下界和
4、设待测神经网络中间第k层的激活函数为φk(x)，k>1，推导待测神经网络输出层上下界函数，该函数以φk(x)为自变量；由已确定的待测神经网络中间第k层的预激活输入的上下界，确定第k层激活函数输出的扰动大小由输出层上下界函数计算输出层的上下界；
5、(2)基于确定的神经网络输出层上下界，使用二分法确定输入样本的鲁棒性下边界；其中对输入样本的鲁棒性下边界的确定过程进行优化，包括：当判断下一轮迭代为减小输入样本扰动大小的操作时，以预设概率将减小扰动大小的操作改为增大扰动大小的操作；并对确定的鲁棒性下边界计算置信度。
6、用户根据获得的置信度决定是否采用对应的鲁棒性下边界，根据采用的鲁棒性下边界进行样本生成。
7、本专利技术的优点与积极效果在于：
8、(1)本专利技术方法在计算神经网络输出层上下界时，通过减少反向线性推导的层数，给出中间层k经激活函数后的输出φk(x)的扰动大小的表达式，提高了神经网络中间层k上下界uk、lk和输出层上下界的计算效率，使得可以应用于更大的神经网络模型上。
9、(2)本专利技术方法通过优化二分法过程，以一定概率增大下一轮迭代的扰动大小∈，可以最终得到更大的鲁棒性下边界，更具有实际应用价值，解决原有方案得到的鲁棒性下边界过于保守的问题。此外，本专利技术方法提出鲁棒性置信度的概念，可以量化得到的鲁棒性下边界的可靠程度，在实际应用中可以供使用者参考是否采纳该下边界。
本文档来自技高网...【技术保护点】
1.一种基于区间传播的神经网络鲁棒性下边界确定方法，实现为由计算机可执行指令形成的计算模块，其特征在于，获取待测神经网络的每一层的系数矩阵和系数矩阵，然后调用该计算模块确定鲁棒性下边界，以用于对抗样本生成；该计算模块实现如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述的步骤1包括如下子步骤：
3.根据权利要求1或2所述的方法，其特征在于，所述的步骤1.1中，设待测神经网络第k层第r个神经元的激活函数为σ(z)，定义σ(z)的线性上、下界函数分别为和如下：
4.根据权利要求1或2所述的方法，其特征在于，所述的步骤1中，第k层的预激活输入的上下界与输出层上下界的计算方式类似，是将第k层看作输出层，使用步骤1.3的计算方式，使用已经计算的之前某一层预激活输入的上下界来计算第k层的预激活输入的上下界。
5.根据权利要求1所述的方法，其特征在于，所述的步骤2中，使用二分法调整下一轮迭代的输入样本的扰动大小∈，若真实类别c的输出层下界大于目标攻击类别t的输出层上界时，则对输入样本的扰动大小∈进行增大操作后，进入下一轮迭代；否则，以预设
6.根据权利要求1所述的方法，其特征在于，所述的步骤2中，对确定的鲁棒性下边界计算鲁棒性置信度，包括：利用所确定的鲁棒性下边界，使用对抗攻击算法和随机噪声生成对抗样本，计算对抗样本能被神经网络正确分类的概率，作为该鲁棒性下边界的置信度。
...【技术特征摘要】
1.一种基于区间传播的神经网络鲁棒性下边界确定方法，实现为由计算机可执行指令形成的计算模块，其特征在于，获取待测神经网络的每一层的系数矩阵和系数矩阵，然后调用该计算模块确定鲁棒性下边界，以用于对抗样本生成；该计算模块实现如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述的步骤1包括如下子步骤：
3.根据权利要求1或2所述的方法，其特征在于，所述的步骤1.1中，设待测神经网络第k层第r个神经元的激活函数为σ(z)，定义σ(z)的线性上、下界函数分别为和如下：
4.根据权利要求1或2所述的方法，其特征在于，所述的步骤1中，第k层的预激活输入的上下界与输出层上下界的计算方式类似，是将第k层看作输出层，使用步骤1.3的计算方式，使用已经计算的之前某一层预激活输入的...
【专利技术属性】
技术研发人员：左兴权，丁忆宁，黄海，李金峰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。