【技术实现步骤摘要】
本专利技术涉及神经网络模型，更具体的，涉及一种利用差分隐私的图神经网络训练方法、系统和存储介质。
技术介绍
1、图神经网络是一种新颖的神经网络结构，可以针对很广泛的实体间的拓扑近邻关系进行建模。计算机视觉中广泛应用的卷积神经网络(cnn)考虑到图片中像素的平面排布及近邻关系，自然语言处理中的transformer结构考虑到每个字符之间的一维布局及近邻关系，这两种网络结构都可以看作图神经网络的特例。除此之外，在很多更复杂的拓扑关系下，图神经网络也有很多应用。
2、比如，社交网络中的成员关系就可以用图神经网络建模，从而判断虚假成员账户。此外，小分子药物中原子连接情况也可以使用图神经网络来处理，预测小分子和目标蛋白质的聚合情况。一般神经网络进行联邦学习的情况下，对于不同训练参与方之间进行模型聚合时，攻击方可以通过明文传输的梯度信息，构建出训练样本。
3、其中，差分隐私技术对于训练参与方上传梯度注入噪声，从而达到保护数据隐私的目的：在给定隐私预算(∈,δ)的情况下，注入强度大小合适的噪声。但是对于图神经网络联邦学习，由于数据节点可能分布在不同训练参与方，数据的独立性无法保证，如何在聚合模型参数时加入噪声，还没有好的解决方案，特别是对于节点层面的神经网络的联邦学习，当图节点分布在不同训练参与方时，由于各个训练参与方的数据是互相关联的，不同参与方的节点需要互相传递信息，简单的噪声注入会严重影响训练后的模型表现。
技术实现思路
1、本专利技术的目的是提供一种利用差分隐私的
2、本专利技术第一方面提供了一种利用差分隐私的图神经网络训练方法，包括以下步骤：
3、确定网络模型训练超参，并初始化网络模型参数；
4、对各训练参与方的本地子图数据进行随机采样得到随机子图；
5、根据所述随机子图计算损失函数进而计算模型参数梯度；
6、基于所述模型参数梯度进行聚合训练并添加随机噪声，从而利用添加噪声后的目标梯度对所述网络模型参数进行迭代训练。
7、本方案中，所述确定网络模型训练超参，并初始化网络模型参数，具体包括：
8、确定网络模型训练超参，其中，所述网络模型训练超参至少包括迭代次数t，梯度下降学习率η，噪声标准差σ，基础采样率q，基本近邻乘数m；
9、初始化网络模型参数w0，并下发所述网络模型参数到各训练参与方。
10、本方案中，所述对各训练参与方的本地子图数据进行随机采样得到随机子图，具体包括：
11、获取各训练参与方的子图数据gi＝(vi,ei,xi,yi)，i＝1,2,…,p，其中，v为节点，e为边缘，x为节点特征，y为节点标签；
12、对随机子图进行空初始化以使
13、对子图数据gi中的每个节点ui采样随机变量pi～u(0,1)，其中，如果pi<q，则把ui添加到中去，并针对ui的近邻节点n(ui)随机采样得到期望为近邻采样均值的节点，同步添加到中去以得到所述随机子图其中，q为基础采样率。
14、本方案中，所述根据所述随机子图计算损失函数进而计算模型参数梯度，具体包括：
15、基于随机子图计算损失函数
16、基于自动微分计算模型参数梯度
17、本方案中，所述方法还包括对参数梯度gi进行归一化，其中，计算式如下：
18、本方案中，所述基于所述模型参数梯度进行聚合训练并添加随机噪声，从而利用添加噪声后的目标梯度对所述网络模型参数进行迭代训练，具体包括：
19、基于所述模型参数梯度进行聚合训练得到最终梯度
20、对所述最终梯度添加随机噪声zw得到添加噪声后的目标梯度其中z～n(0,σ2)，w～exp(1)；
21、基于所述目标梯度对所述网络模型参数进行迭代训练，直到网络模型收敛或者迭代次数耗尽时停止训练。
22、本专利技术第二方面还提供一种利用差分隐私的图神经网络训练系统，包括存储器和处理器，所述存储器中包括利用差分隐私的图神经网络训练方法程序，所述利用差分隐私的图神经网络训练方法程序被所述处理器执行时实现如下步骤：
23、确定网络模型训练超参，并初始化网络模型参数；
24、对各训练参与方的本地子图数据进行随机采样得到随机子图；
25、根据所述随机子图计算损失函数进而计算模型参数梯度；
26、基于所述模型参数梯度进行聚合训练并添加随机噪声，从而利用添加噪声后的目标梯度对所述网络模型参数进行迭代训练。
27、本方案中，所述确定网络模型训练超参，并初始化网络模型参数，具体包括：
28、确定网络模型训练超参，其中，所述网络模型训练超参至少包括迭代次数t，梯度下降学习率η，噪声标准差σ，基础采样率q，基本近邻乘数m；
29、初始化网络模型参数w0，并下发所述网络模型参数到各训练参与方。
30、本方案中，所述对各训练参与方的本地子图数据进行随机采样得到随机子图，具体包括：
31、获取各训练参与方的子图数据gi＝(vi,ei,xi,yi)，i＝1,2,…,p，其中，v为节点，e为边缘，x为节点特征，y为节点标签；
32、对随机子图进行空初始化以使
33、对子图数据gi中的每个节点ui采样随机变量pi～u(0,1)，其中，如果pi<q，则把ui添加到中去，并针对ui的近邻节点n(ui)随机采样得到期望为近邻采样均值的节点，同步添加到中去以得到所述随机子图其中，q为基础采样率。
34、本方案中，所述根据所述随机子图计算损失函数进而计算模型参数梯度，具体包括：
35、基于随机子图计算损失函数
36、基于自动微分计算模型参数梯度
37、本方案中，所述方法还包括对参数梯度gi进行归一化，其中，计算式如下：
38、本方案中，所述基于所述模型参数梯度进行聚合训练并添加随机噪声，从而利用添加噪声后的目标梯度对所述网络模型参数进行迭代训练，具体包括：
39、基于所述模型参数梯度进行聚合训练得到最终梯度
40、对所述最终梯度添加随机噪声zw得到添加噪声后的目标梯度其中z～n(0,σ2)，w～exp(1)；
41、基于所述目标梯度对所述网络模型参数进行迭代训练，直到网络模型收敛或者迭代次数耗尽时停止训练。
42、本专利技术第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种利用差分隐私的图神经网络训练方法程序，所述利用差分隐私的图神经网络训练方法程序被处理器执行时，实现如上述任一项所述的一种利用差分隐私的图神经网络训练方法的步骤。
43、本专利技术公开的一种利用差分隐私的图神本文档来自技高网...
【技术保护点】
1.一种利用差分隐私的图神经网络训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述确定网络模型训练超参，并初始化网络模型参数，具体包括：
3.根据权利要求2所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述对各训练参与方的本地子图数据进行随机采样得到随机子图，具体包括：
4.根据权利要求3所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述根据所述随机子图计算损失函数进而计算模型参数梯度，具体包括：
5.根据权利要求4所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述方法还包括对参数梯度gi进行归一化，其中，计算式如下：
6.根据权利要求5所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述基于所述模型参数梯度进行聚合训练并添加随机噪声，从而利用添加噪声后的目标梯度对所述网络模型参数进行迭代训练，具体包括：
7.一种利用差分隐私的图神经网络训练系统，其特征在于，包括存储器和处理器，所述存储器中包括利用差分隐私
8.根据权利要求7所述的一种利用差分隐私的图神经网络训练系统，其特征在于，所述确定网络模型训练超参，并初始化网络模型参数，具体包括：
9.根据权利要求8所述的一种利用差分隐私的图神经网络训练系统，其特征在于，所述对各训练参与方的本地子图数据进行随机采样得到随机子图，具体包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种利用差分隐私的图神经网络训练方法程序，所述利用差分隐私的图神经网络训练方法程序被处理器执行时，实现如权利要求1至6中任一项所述的一种利用差分隐私的图神经网络训练方法的步骤。
...【技术特征摘要】
1.一种利用差分隐私的图神经网络训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述确定网络模型训练超参，并初始化网络模型参数，具体包括：
3.根据权利要求2所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述对各训练参与方的本地子图数据进行随机采样得到随机子图，具体包括：
4.根据权利要求3所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述根据所述随机子图计算损失函数进而计算模型参数梯度，具体包括：
5.根据权利要求4所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述方法还包括对参数梯度gi进行归一化，其中，计算式如下：
6.根据权利要求5所述的一种利用差分隐私的图神经网络训练方法，其特征在于，所述基于所述模型参数梯度进行聚合训练并添加随机噪声，从而利用添加噪声后的...
【专利技术属性】
技术研发人员：柳翼，
申请(专利权)人：翼健上海信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。