【技术实现步骤摘要】
本专利技术属于联邦学习与隐私保护，特别是涉及基于验证集精度优化的图联邦学习方法、系统及存储介质。
技术介绍
1、联邦学习(federated learning,fl)是一种新兴的分布式机器学习范式，它允许客户端协作训练共享的全局或个性化模型，而无需共享客户端的原始训练数据。在fl过程中，每个客户端在每一轮中只将自己的模型参数或模型梯度上传到服务器，并在服务器进行平均和聚合后更新本地模型，在此期间不会交换原始数据。
2、图神经网络(graph neural networks,gnns)的新方法被用于处理图数据在许多基于图的任务中取得了先进的性能，如链接预测、节点分类、社区检测和图分类。但由于隐私和大量数据收集问题，最近的研究利用图结构数据上的联邦学习来共享潜在知识并解决知识稀缺问题，称为图联邦学习(graph federated learning，fgl)，如federated scopegnn和fedsage。
3、但是上述图联邦学习方法在处理非欧式数据时都没有考虑全局模型的统计异质性和个性化，并忽略了模型、数据和设备内部固有的结构异质性，这导致模型的整体性能下降，并恶化了全局fl模型在单个客户端上的性能。
4、为了提高非欧式数据(例如图数据)的泛化能力和提升模型性能，提出一种基于验证集精度优化的图联邦学习方法、系统及存储介质。
技术实现思路
1、本专利技术实施例提出一种基于验证集精度优化的图联邦学习方法、系统及存储介质，以至少解决相关技术中缺乏
2、根据本专利技术的一个实施例，提出一种基于验证集精度优化的图联邦学习方法，包括：
3、利用vgae生成基础训练模型；
4、根据模型相似度评估方法约束局部模型靠近全局模型及远离上一轮局部模型；
5、计算新的本地局部模型参数并根据本地验证集进行微调；
6、服务器收集各客户端局部模型参数进行全局聚合与更新。
7、在一个示例性实施例中，所述利用vgae生成基础训练模型，包括步骤：
8、选择vgac作为基础模型并构造三层图卷积网络编码器；
9、采用高斯分布计算节点潜在表示的概率分布；
10、通过优化变分下界训练自身；
11、对于链接预测任务和节点分类任务分别计算损失函数构成基础训练模型。
12、在一个示例性实施例中，所述根据模型相似度评估方法约束局部模型靠近全局模型及远离上一轮局部模型，包括步骤：
13、根据模型相似度评估方法计算本轮局部模型与全局模型的相似度函数；
14、根据模型相似度评估方法计算本轮局部模型与上一轮模型的相似度函数；
15、根据本轮局部模型与全局模型的相似度函数和本轮局部模型与上一轮局部模型的相似度函数计算模型对比损失函数；
16、根据模型对比损失函数计算局部模型约束损失函数；
17、根据局部模型约束损失函数进行局部模型训练。
18、在一个示例性实施例中，所述模型相似度评估方法，包括步骤：
19、根据模型向量之间的夹角余弦值计算余弦相似度；
20、根据模型向量之间的距离计算欧式距离；
21、根据模型之间邻域的重叠比例计算邻域重叠率；
22、根据模型向量的线性相关性计算皮尔逊相关系数；
23、根据余弦相似度和/或欧式距离和/或邻域重叠率和/或皮尔逊相关系数计算模型之间的相似度函数。
24、在一个示例性实施例中，所述计算新的本地局部模型参数并根据本地验证集进行微调，包括步骤：
25、将局部模型参数和全局模型参数按照比例叠加得到本地聚合后的新局部模型参数；
26、基于本地验证集数据对本地聚合后的新局部模型参数进行验证；
27、当满足预设的调整条件时调整全局模型的比例并重新计算本地聚合后的新局部模型参数。
28、在一个示例性实施例中，所述对本地聚合后的新局部模型参数进行验证是在开始时对一批数据进行采样并在模型训练过程中用采样数据对模型进行验证；所述预设的调整条件是低于预设的模型测试精度和/或低于预设的模型收敛速度。
29、在一个示例性实施例中，所述服务器收集各客户端局部模型参数进行全局聚合与更新，包括步骤：
30、服务器收集训练完成的各客户端局部模型参数；
31、根据各局部模型参数的变化情况计算变化权重值；
32、根据变化权重值对各局部模型参数进行整合形成新的全局模型；
33、将全局模型发送到各客户端并继续下一轮训练，直到模型收敛。
34、在一个示例性实施例中，所述根据各局部模型参数的变化情况计算变化权重值，包括步骤：
35、根据局部模型参数与上一轮局部模型参数的参数变化量和/或参数变化比例计算参数变化率；
36、根据局部模型参数与上一轮局部模型参数和上两轮局部模型参数的参数变化加速度计算参数变化加速率；
37、根据参数变化率和/或参数变化加速率计算局部模型的变化权重值。
38、一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使计算机执行上述的方法。
39、根据本专利技术的另一个实施例，提供了一种基于验证集精度优化的图联邦学习系统，包括：
40、处理器；
41、存储器；
42、以及
43、一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述处理器执行，所述程序使计算机执行上述方法。
44、本专利技术的基于验证集精度优化的图联邦学习方法、系统及存储介质具有的优点是：
45、(1)采用自监督学习中对比学习的方法，对比全局模型和历史本地模型，相比传统的本地局部模型训练方法，降低了gnns模型过拟合的程度，提高gnns模型在联邦场景下的性能。
46、(2)根据余弦相似度和/或欧式距离和/或邻域重叠率和/或皮尔逊相关系数计算模型之间的相似度函数，相比传统的仅根据预先相似度评估模型相似度的技术方案，可以有效提高模型对比训练的精准度。
47、(3)通过基于本地验证集数据的模型聚合调优，相比传统的局部模型优化方法，可以有效解决模型分散聚合的现象，使得整个全局模型能进一步地向全局最优的目标进行优化，提升全局模型的性能。
48、(4)在本地保留各个gnns的解码器，并将其作为模型的个性化层，根据局部模型的参数变化率和/或参数变化加速率计算各局部模型的变化权重值并以此更新全局模型，相比传统的联邦学习方法，在保留全局知识的同时，提升了本地模型的个性化能力。
本文档来自技高网...【技术保护点】
1.一种基于验证集精度优化的图联邦学习方法，其特征在于，包括：
2.根据权利要求1所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述利用VGAE生成基础训练模型，包括步骤：
3.根据权利要求1所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述根据模型相似度评估方法约束局部模型靠近全局模型及远离上一轮局部模型，包括步骤：
4.根据权利要求3所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述模型相似度评估方法，包括步骤：
5.根据权利要求1所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述计算新的本地局部模型参数并根据本地验证集进行微调，包括步骤：
6.根据权利要求5所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述对本地聚合后的新局部模型参数进行验证是在开始时对一批数据进行采样并在模型训练过程中用采样数据对模型进行验证；所述预设的调整条件是低于预设的模型测试精度和/或低于预设的模型收敛速度。
7.根据权利要求1所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述服务
8.根据权利要求7所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述根据各局部模型参数的变化情况计算变化权重值，包括步骤：
9.一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使计算机执行如权利要求1-8任一项所述的方法。
10.一种基于验证集精度优化的图联邦学习系统，其特征在于包括：
...【技术特征摘要】
1.一种基于验证集精度优化的图联邦学习方法，其特征在于，包括：
2.根据权利要求1所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述利用vgae生成基础训练模型，包括步骤：
3.根据权利要求1所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述根据模型相似度评估方法约束局部模型靠近全局模型及远离上一轮局部模型，包括步骤：
4.根据权利要求3所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述模型相似度评估方法，包括步骤：
5.根据权利要求1所述的基于验证集精度优化的图联邦学习方法，其特征在于，所述计算新的本地局部模型参数并根据本地验证集进行微调，包括步骤：
6.根据权利要求5所述的基于验证集精度优化的图联邦学习方法，其特...
【专利技术属性】
技术研发人员：薛梅婷，苗春雨，徐龙华，严军荣，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。