可解释性深度学习的差分隐私保护方法技术

本发明专利技术公开一种可解释性深度学习的差分隐私保护方法，通过在FF‑CNN的第一层卷积层加入差分隐私保护以及在模型的输出层的损失函数中加入差分隐私，保证了模型的输入与输出端的安全，从而保护了模型数据提供者的个人隐私，并且通过在第二次采样层得到的数据特征利用k‑means++算法进行聚类后，进行mixup插值法进行数据增强，提升整个模型的鲁棒性。本发明专利技术基于可解释性深度学习模型的隐私保护策略，使得模型使用者可以利用深度学习模型得到具有可解释性的结果并且不泄露个人的隐私信息。

Differential privacy protection based on interpretable deep learning

【技术实现步骤摘要】
可解释性深度学习的差分隐私保护方法
本专利技术涉及深度学习与隐私保护
，具体涉及一种可解释性深度学习的差分隐私保护方法。
技术介绍
近年来，深度学习是机器学习研究的一个新领域。它就像人类大脑一样，有能力学习和处理复杂的数据，并尝试解决负责的任务。由于这种能力，它被用于各种领域内，例如文本提取，声音识别，图像分类与识别等。卷积神经网络(CNN)作为深度学习的一种具有代表性的网络结构，广泛被应用于各类图像识别，语义分割的场景，卷积神经网络从宏观的概念上来讲，可以分为特征提取和特征识别两大部分，通过卷积(convolution)操作与采样(pooling)操作对原始图像进行有效的特征提取，然后通过全连接层(fullconnection)的变换对提取出来的有效特征进行精准识别。然而，卷积神经网络的训练需要大量的数据，这些数据中包含着用户个人的敏感信息，如果卷积神经网络模型不加以保护直接发布出来的话，将会对数据提供者的隐私造成一定的泄露，那么数据提供者的利益也将受到损害，导致不愿再提供数据的结果，从而影响模型的训练。对于深度学习的模型来说，就是一个黑盒子，数据拥有者看不到模型是通过什么动作或者原因得出这样一个判断结果，这样对于深度神经网络模型做出的决策，使用者常常会持有怀疑的态度。即使，模型的预测精度已经达到很高的程度。所以，可解释性的深度神经网络对于深度学习的发展具有很大的促进作用，然而可解释性的深度神经网络仍然存在隐私泄露的问题，需要采取一定的隐私保护手段来保证数据提供者的隐私。目前，在机器学习隐私保护方面，差分隐私已经成为最有发展潜力的隐私保护技术之一。差分隐私是保证相邻数据集相差一条记录对于两个数据集的输出几乎没有影响，其保护方式是通过在查询函数的返回值中加入适量的噪声来实现的，攻击者无法通过设计的攻击模型来窃取模型的原始数据。然而，现有满足差分隐私的卷积神经网络模型都是对于普通的卷积神经网络结构的，对于可解释性卷积神经网络模型的隐私保护手段几乎没有，可解释性卷积神经网络对于模型的参数更加依赖，这样对于白盒或者黑盒的攻击手段，更加容易泄露数据提供者的隐私。可解释性卷积神经网络的隐私保护更加具有意义和挑战性，主要体现在以下几个方面：(1)可解释性与隐私性的结合，既可以给数据提供者带来对模型决策结果的解释，又可以在不失去解释性的前提下对提供者的隐私足够的保障，使用数据提供者实用性和安全性上都有足够的保障。(2)在保证卷积神经网络模型的精度不降低以及可解释性的清晰度不减弱的前提下，如何精准加噪，减少噪声对于模型的影响十分关键。
技术实现思路
本专利技术针对可解释性卷积神经网络模型在训练以及推理过程中产生的隐私泄露问题，提供一种可解释性深度学习的差分隐私保护方法。为解决上述问题，本专利技术是通过以下技术方案实现的：可解释性深度学习的差分隐私保护方法，包括步骤如下：步骤1、初始化可解释性深度学习模型，该可解释性深度学习模型基于前向传播的可解释性卷积神经网络，并依次包括输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第一全连接层、第二全连接层和输出层；步骤2、将给定的数据集进行归一化处理后，作为可解释性深度学习模型的训练数据集；步骤3、利用步骤2的训练数据集对步骤1所得的可解释性深度学习模型的第一卷积层进行训练，以更新可解释性深度学习模型；即：步骤3.1、对训练数据集进行主成分分析，得到各个主成分的特征值和特征向量；步骤3.2、对各个主成分的特征值进行降序排序，并选出特征值排在前6位的主成分所对应的特征向量；步骤3.3、基于所分配的第一隐私预算ε1对步骤3.2所选出的特征向量即初始特征向量进行拉普拉斯加噪，得到满足差分隐私的特征向量；步骤3.4、对步骤3.3所得的满足差分隐私的特征向量进行截断操作，得到最终特征向量，并将最终特征向量作为可解释性深度学习模型的第一卷积层的6个卷积核，以更新可解释性深度学习模型；步骤4、将步骤2的训练数据集从步骤3所得的可解释性深度学习模型的第一卷积层的输入输入，第二采样层的输出输出，得到第一特征数据集；步骤5、先采用k-menas++算法对步骤4所得的第一特征数据集中的样本数据进行聚类，得到第一带标签的特征数据集；再利用Mixup算法对第一带标签的特征数据集进行增强操作，得到第一增强数据集；步骤6、对第一增强数据集进行最小二乘回归计算，并将计算所得的映射系数向量作为可解释性深度学习模型的第二采样层与第一全连接层的连接参数，以更新可解释性深度学习模型；步骤7、将步骤5所得的第一增强数据集从步骤6所得的可解释性深度学习模型的第一全连接层的输入输入，第一全连接层的输出输出，得到第二特征数据集；步骤8、先采用k-menas++算法对步骤7所得的第二特征数据集中的样本数据进行聚类，得到第二带标签的特征数据集；再利用Mixup算法对第二带标签的特征数据集进行增强操作，得到第二增强数据集；步骤9、对第二增强数据集进行最小二乘回归计算，并将计算所得的映射系数向量作为可解释性深度学习模型的第一全连接层与第二全连接层的连接参数，以更新可解释性深度学习模型；步骤10、基于所分配的第二隐私预算ε2对步骤9所得的可解释性深度学习模型的输出层的平方误差损失函数的展开式的系数进行拉普拉斯加噪，得到加噪后的平方误差损失函数，并将加噪后的平方误差损失函数作为可解释性深度学习模型的的输出层的平方误差损失函数，以更新可解释性深度学习模型；步骤11、将步骤8所得的第二增强数据集从步骤10所得的可解释性深度学习模型的第二全连接层的输入输入，第二全连接层的输出输出，得到第三特征数据集；步骤12、将步骤12所得的第三特征数据集输入到步骤10所得的加噪后的平方误差损失函数中，通过最小化加噪后的平方误差损失函数求得第二全连接层和输出层的连接参数，以更新可解释性深度学习模型；步骤13、将当前可解释性深度学习模型作为最终的可解释性深度学习模型；步骤14、将待保护的数据输入到步骤13所得到的最终的可解释性深度学习模型中，最终的可解释性深度学习模型的输出即为隐私保护后的数据。上述步骤3.3中，第j个初始特征向量的隐私预算εj为：其中，ε1为给定的第一隐私预算，λj为第j个初始特征向量所对应的特征值，j＝1,2,...,6。上述步骤3.3中，在进行拉普拉斯加噪时，其第j个初始特征向量的全局敏感度Δfj为：其中，为第j个初始特征向量的所有元素中的数值最大值，为第j个初始特征向量的所有元素中的数值最小值，||·||1为L-1范数，j＝1,2,...,6。上述步骤3.4中，对满足差分隐私的特征向量进行截断操作的过程如下：遍历第j个满足差分隐私的特征向量中的各个元素：若该元素大于第j个初始特征向量的所有元素中的数值最大值则令该该元素值为若该元素小于第j个初始特征向量的所有元素中的数值最大值则令该该元素值为否则，保持该元素值不变。其中本文档来自技高网...

【技术保护点】
1.可解释性深度学习的差分隐私保护方法，其特征是，包括步骤如下：/n步骤1、初始化可解释性深度学习模型，该可解释性深度学习模型基于前向传播的可解释性卷积神经网络，并依次包括输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第一全连接层、第二全连接层和输出层；/n步骤2、将给定的数据集进行归一化处理后，作为可解释性深度学习模型的训练数据集；/n步骤3、利用步骤2的训练数据集对步骤1所得的可解释性深度学习模型的第一卷积层进行训练，以更新可解释性深度学习模型；即：/n步骤3.1、对训练数据集进行主成分分析，得到各个主成分的特征值和特征向量；/n步骤3.2、对各个主成分的特征值进行降序排序，并选出特征值排在前6位的主成分所对应的特征向量；/n步骤3.3、基于所分配的第一隐私预算ε

【技术特征摘要】
1.可解释性深度学习的差分隐私保护方法，其特征是，包括步骤如下：
步骤1、初始化可解释性深度学习模型，该可解释性深度学习模型基于前向传播的可解释性卷积神经网络，并依次包括输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第一全连接层、第二全连接层和输出层；
步骤2、将给定的数据集进行归一化处理后，作为可解释性深度学习模型的训练数据集；
步骤3、利用步骤2的训练数据集对步骤1所得的可解释性深度学习模型的第一卷积层进行训练，以更新可解释性深度学习模型；即：
步骤3.1、对训练数据集进行主成分分析，得到各个主成分的特征值和特征向量；
步骤3.2、对各个主成分的特征值进行降序排序，并选出特征值排在前6位的主成分所对应的特征向量；
步骤3.3、基于所分配的第一隐私预算ε1对步骤3.2所选出的特征向量即初始特征向量进行拉普拉斯加噪，得到满足差分隐私的特征向量；
步骤3.4、对步骤3.3所得的满足差分隐私的特征向量进行截断操作，得到最终特征向量，并将最终特征向量作为可解释性深度学习模型的第一卷积层的6个卷积核，以更新可解释性深度学习模型；
步骤4、将步骤2的训练数据集从步骤3所得的可解释性深度学习模型的第一卷积层的输入输入，第二采样层的输出输出，得到第一特征数据集；
步骤5、先采用k-menas++算法对步骤4所得的第一特征数据集中的样本数据进行聚类，得到第一带标签的特征数据集；再利用Mixup算法对第一带标签的特征数据集进行增强操作，得到第一增强数据集；
步骤6、对第一增强数据集进行最小二乘回归计算，并将计算所得的映射系数向量作为可解释性深度学习模型的第二采样层与第一全连接层的连接参数，以更新可解释性深度学习模型；
步骤7、将步骤5所得的第一增强数据集从步骤6所得的可解释性深度学习模型的第一全连接层的输入输入，第一全连接层的输出输出，得到第二特征数据集；
步骤8、先采用k-menas++算法对步骤7所得的第二特征数据集中的样本数据进行聚类，得到第二带标签的特征数据集；再利用Mixup算法对第二带标签的特征数据集进行增强操作，得到第二增强数据集；
步骤9、对第二增强数据集进行最小二乘回归计算，并将计算所得的映射系数向量作为可解释性深度学习模型的第一全连接层与第二全连接层的连接参数，以更新可解释性深度学习模型；
步骤10、基于所分配的第二隐私预算ε2对步骤9所得的可解释性深度学习模型的输出层的平方误差损失函数的展开式的系数进行...

【专利技术属性】
技术研发人员：王金艳，李德，胡宇航，李先贤，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：广西;45