【技术实现步骤摘要】
本专利技术属于隐私计算领域，具体涉及一种基于安全差分隐私随机梯度下降的隐私计算方法及系统。
技术介绍
1、海量数据及强大的计算资源已经成为当经智能技术发展对的主要驱动力。随着大规模机器学习算法与大数据处理技术的日益成熟，以及计算机硬件性能的不断提升，人们收集到的海量数据能够更高效地用于实际问题的建模和计算过程。然而，近年来越来越多的数据滥用和隐私泄露事件提醒着人们，不恰当使用大数据会带来灾难性的后果。
2、基于安全多方计算的机器学习，简称多方机器学习，已成为利用多方数据并保护隐私的重要技术。虽然多方机器学习为计算过程提供了严格的安全保证，但多方机器学习训练的模型仍然容易受到仅依赖于模型访问的攻击。差异隐私可以帮助防御此类攻击。然而，差分隐私带来的准确性损失以及安全多方计算协议的巨大通信开销使得平衡隐私、效率和准确性之间的三向权衡变得极具挑战性。
3、因此，我们提出了一种安全差分隐私梯度下降算法。另外，为了减少差分隐私噪声导致的精度损失和多方机器学习巨大的通信开销，我们提出了特征提取和基于局部数据的全局模型初始化方法，前者旨在简化训练模型结构，后者目的是加快模型训练的收敛速度。
技术实现思路
1、本专利技术基于上述背景和现有技术所存在的问题，本专利技术采用了如下技术方案：第一方面，提供了一种基于安全差分隐私随机梯度下降的隐私计算方法，其能够通过安全差分隐私梯度下降算法利用多方数据并在保护隐私的前提下高效、准确地完成机器学习计算任务。
2、一种基于安
3、对本地数据使用核主成分分析进行特征提取，得到本地数据的特征向量，其中，所述本地数据来源于各参与方；
4、将所述特征向量输入至安全差分隐私梯度下降模型进行训练，得到各参与方本地模型；
5、将所述各参与方本地模型进行聚合，得到初始化全局模型；
6、在区块链可信环境下，随机采样多个参与方的本地数据，得到全局数据集；
7、将所述初始化全局模型和所述全局数据集输入至差分隐私梯度下降模型进行训练，得到全局模型；
8、通过所述全局模型进行基于安全多方计算的机器学习任务，输出计算结果。
9、作为一种可实施方式，所述对本地数据使用核主成分分析进行特征提取，得到本地数据的特征向量，包括如下步骤：
10、使用高斯核函数将各自本地数据的每个样本点映射到高维特征空间中，得到一个核矩阵；
11、将所述核矩阵中的每个元素减去对应行和对应列的均值，得到中心化的核矩阵；
12、对所述中心化后的核矩阵进行特征值分解，得到特征向量和特征值；
13、根据特征值的大小，选取其中最大的k个特征向量，作为降维后的新特征空间；
14、将本地数据样本点映射到所述新特征空间，即将核矩阵每个样本点对应的行向量，与选取的k个特征空间做内积运算，得到一个新特征空间的矩阵；
15、将所述新特征空间的矩阵反向映射回本地数据的特征空间，得到本地数据的特征向量。
16、作为一种可实施方式，所述本地数据的特征向量输入至安全差分隐私梯度下降模型进行预训练，得到各参与方本地模型，包括如下步骤：
17、通过所述特征向量计算梯度向量；
18、通过平方根倒数协议计算所述梯度向量的范数的倒数，并根据所述梯度向量的范数的倒数与1之间的比较结果来裁剪梯度向量的范数，使得所述梯度向量的范数均小于或等于给定常数；
19、根据各参与方所述梯度向量的范数的倒数与1之间的比较结果的值更新梯度向量；
20、各参与方生成均值为0和标准差为σ的高斯噪声，并将所述高斯噪声应用于扰动所述梯度向量；
21、各参与方按照梯度下降过程更新模型参数，得到各参与方本地模型。
22、作为一种可实施方式，所述通过平方根倒数协议计算所述梯度向量的范数的倒数，包括如下步骤：
23、将本地数据x用二进制编码形式表示，然后将本地数据x变换为x'，使得x'∈[0.5,1)且x＝x'*2exp；
24、计算的定点表示形式，即
25、通过近似多项式计算近似值；
26、通过所述近似值与相乘获得输出结果。
27、作为一种可实施方式，所述各参与方本地模型进行聚合，得到初始化全局模型，包括如下步骤：
28、各参与方生成本地模型，并分别评估每个本地模型的准确性；
29、使用不同的聚合策略对所述本地模型进行聚合，得到初始全局模型，
30、其中，聚合策略包括平均策略和准确性策略，
31、平均策略是将本地模型参数平均作为初始全局模型的参数；
32、准确性策略是选择最准确的本地模型作为初始全局模型。
33、一种基于安全差分隐私随机梯度下降的隐私计算系统，包括特征提取模块、预训练模块、安全差分隐私梯度下降模块及输出模块：
34、所述特征提取模块，对本地数据使用核主成分分析进行特征提取，得到本地数据的特征向量，其中，所述本地数据来源于各参与方；
35、所述预训练模块，本地数据的特征向量输入至安全差分隐私梯度下降模型进行预训练，得到各参与方本地模型；
36、将所述各参与方本地模型进行聚合，得到初始化全局模型；
37、所述安全差分隐私梯度下降模块，在区块链可信环境下，随机采样多个参与方的本地数据，得到全局数据集；
38、将所述初始化全局模型和所述全局数据集输入至差分隐私梯度下降模型进行训练，得到全局模型；
39、所述输出模块，通过全局模型进行基于安全多方计算的机器学习任务，输出计算结果。
40、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下所述的方法：
41、对本地数据使用核主成分分析进行特征提取，得到本地数据的特征向量，其中，所述本地数据来源于各参与方；
42、将所述特征向量输入至安全差分隐私梯度下降模型进行训练，得到各参与方本地模型；
43、将所述各参与方本地模型进行聚合，得到初始化全局模型；
44、在区块链可信环境下，随机采样多个参与方的本地数据，得到全局数据集；
45、将所述初始化全局模型和所述全局数据集输入至差分隐私梯度下降模型进行训练，得到全局模型；
46、通过全局模型进行基于安全多方计算的机器学习任务，输出计算结果。
47、一种基于安全差分隐私随机梯度下降的隐私计算装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下所述的方法：
48、对本地数据使用核主成分分析进行特征提取，得到本地数据的特征向量，其中，所述本地数据来源于各参与方；
49、将所述特征向量输入本文档来自技高网...
【技术保护点】
1.一种基于安全差分隐私随机梯度下降的隐私计算方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于安全差分隐私随机梯度下降的隐私计算方法，其特征在于，所述对本地数据使用核主成分分析进行特征提取，得到本地数据的特征向量，包括如下步骤：
3.根据权利要求1所述的基于安全差分隐私随机梯度下降的隐私计算方法，其特征在于，所述本地数据的特征向量输入至安全差分隐私梯度下降模型进行训练，得到各参与方本地模型，包括如下步骤：
4.根据权利要求3所述的基于安全差分隐私随机梯度下降的隐私计算方法，其特征在于，所述通过平方根倒数协议计算所述梯度向量的范数的倒数，包括如下步骤：
5.根据权利要求1所述的基于安全差分隐私随机梯度下降的隐私计算方法，其特征在于，将所述各参与方本地模型进行聚合，得到初始化全局模型，包括如下步骤：
6.一种基于安全差分隐私随机梯度下降的隐私计算系统，其特征在于，包括特征提取模块、预训练模块、安全差分隐私梯度下降模块及输出模块：
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其
8.一种基于安全差分隐私随机梯度下降的隐私计算装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任意一项所述的方法。
...【技术特征摘要】
1.一种基于安全差分隐私随机梯度下降的隐私计算方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于安全差分隐私随机梯度下降的隐私计算方法，其特征在于，所述对本地数据使用核主成分分析进行特征提取，得到本地数据的特征向量，包括如下步骤：
3.根据权利要求1所述的基于安全差分隐私随机梯度下降的隐私计算方法，其特征在于，所述本地数据的特征向量输入至安全差分隐私梯度下降模型进行训练，得到各参与方本地模型，包括如下步骤：
4.根据权利要求3所述的基于安全差分隐私随机梯度下降的隐私计算方法，其特征在于，所述通过平方根倒数协议计算所述梯度向量的范数的倒数，包括如下步骤：
5.根据权利要求1所述的基于...
【专利技术属性】
技术研发人员：黄步添，李琳，沈玮，毛澄宇，刘健，苏奎，
申请(专利权)人：杭州云象网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。