一种用于分布式负荷预测的联邦学习安全聚合方法及系统技术方案

本发明专利技术提出一种用于分布式负荷预测的联邦学习安全聚合方法及系统，采用LSTM算法模型作为基础训练模型，参与者从中心服务器接收初始化的模型参数，并使用本地数据训练局部模型；参与者将训练更新后的局部模型参数上传到中央服务器；中央服务器利用基于模型参数相似度确定近似全局模型参数，并利用基于距离的加权方法进行全局模型参数的聚合，然后将全局模型参数分配给参与者局部模型进行下一轮的训练。本发明专利技术提出的方法及系统确保每个负荷参与方不必共享其本地数据，保护了敏感信息的隐私；通过消除恶意局部模型对全局模型的干扰，并且扩大每个负荷数据参与方的样本数据空间，保证了中心模型的准确性和有效性，从而提高模型预测精度。型预测精度。型预测精度。

【技术实现步骤摘要】
一种用于分布式负荷预测的联邦学习安全聚合方法及系统


[0001]本专利技术属于电网分布式预测
，尤其涉及一种用于分布式负荷预测的联邦学习安全聚合方法及系统。

技术介绍

[0002]目前，随着电网精细化以及分布式管理等趋势，电网数据呈现分布式特点。同时，不同地区、家用电表、变电站的数据样本具有较高的数据保密性要求，限制了数据共享，阻碍了数据发挥更大效用。联邦学习可以有效地平衡电力数据可用性以及数据隐私性问题之间的矛盾，使得各个参与方可以通过协同训练共享模型。但在基于联邦学习的分布式负荷预测场景中，联邦学习在聚合过程中可能存在聚合恶意模型而影响整体模型准确度的问题。在模型训练过程中，如果中心服务器不进行判定上传参数是否是恶意的情况下，直接进行聚合会影响整体模型参数准确性，并且进一步影响其他参与方使用中心服务器下发的模型参数进行本地模型训练的模型精度。
[0003]具体地来说，在当前针对联邦学习的安全聚合算法的研究中，基于验证数据集聚合算法，需要在中心服务器上设置和参与方相似的数据样本，由于负荷数据的高隐私性，服务器无法获取每一个参与方的数据，且验证过程中导致训练效率较低；一些方法依赖于模型参数的相似性或统计特征来选择本轮的模型参数。然而，这些方法需要使用上一轮的全局模型作为基准，从而导致模型参与者的选择存在一定的滞后性，对于本轮次存在的恶意模型无法及时移除训练过程，并且会干扰中心模型的收敛。另外，有些方法在选择参与方模型参数后直接进行平均聚合，而没有充分考虑不同模型参数的质量，不利于整体模型质量的提升。r/>[0004]在基于验证数据集聚合算法过程中，中央服务器需设置一个高质量的测试数据集，对于上传的模型进行验证。但对于电力系统场景中央服务器无法获得实际的能耗数据的情况下，进而进行进一步检测的场景时，无法进行有效的安全聚合检测。

技术实现思路

[0005]针对上述问题，本专利技术提出一种用于分布式负荷预测的联邦学习安全聚合方法及系统，旨在解决基于联邦学习的分布式负荷预测场景中模型安全聚合问题。
[0006]一方面，本专利技术提出一种用于分布式负荷预测的联邦学习安全聚合方法，包括：
[0007]步骤1：采用LSTM算法模型作为参与者局部模型和中央服务器全局模型的基础训练模型，中央服务器初始化该模型参数并将其分配给每个参与者；
[0008]步骤2：参与者从中心服务器接收初始化的模型参数，并根据接收的参数信息更新其局部模型参数，并使用本地数据训练局部模型；训练结束后，参与者将更新后的局部模型参数上传到中央服务器；中央服务器利用基于模型参数相似度确定近似全局模型参数，并利用基于距离的加权方法进行全局模型参数的聚合；中央服务器将得到的全局模型参数分配给参与者局部模型，进行下一轮的训练，直至训练结束。
[0009]优选地，步骤1中，初始化采用随机初始化的方法。
[0010]优选地，中央服务器利用基于模型参数相似度确定近似全局模型参数的方法包括：
[0011]采用图论知识建模方法构建图，其中每个顶点代表联邦学习过程中参与者上传的局部模型，图中的每条边为根据两个顶点上传模型参数的余弦相似度生成，公式为
[0012][0013]式中，和表示两个不同参与者上传的本轮参数；
[0014]根据上式计算出的每两个局部模型之间的相似度，相似度的阈值为β，如果两个局部模型之间的相似度值超过阈值β，则两个局部模型的相似度很大，满足要求，并在图中两顶点之间创建一条边；否则，该两定点之间不存在边；阈值β为经验值或经实验验证所确定；
[0015]使用BronKerbosch算法找到局部模型所有的簇群，其中包含最多局部模型且顶点数量大于N/2的簇群为“最大团”，N表示总的参与者数量；对该“最大团”中的局部模型参数求取均值，得到本轮近似全局模型参数，其计算公式为：
[0016][0017]更优选地，如果包含最多局部模型的簇群中的顶点数小于N/2，则随着步长减小相似性阈值β并迭代，直到找到匹配的“最大团”。
[0018]优选地，利用基于距离的加权方法进行全局模型参数的聚合为，计算每个参与者的局部模型与本轮近似全局模型之间的距离，将其与高斯分布函数方程结合，得到可表征距离与模型异常程度之间相关性的高斯分布函数，并将其输出归一化处理得出每个参与者的参与权重；最终本轮全局模型参数是每个参与者上传的局部模型参数的加权平均值。
[0019]优选地，每个参与者的局部模型与本轮近似全局模型之间的距离为欧氏距离，计算公式为
[0020][0021]式中，为本轮近似全局模型参数，为本轮中每个参与者上传的局部模型参数。
[0022]优选地，可表征距离与模型异常程度之间相关性的高斯分布函数为
[0023][0024]高斯分布函数的标准偏差为
[0025][0026]每个参与者的参与权重为
[0027][0028]优选地，在计算本轮全局模型参数时，当参与者局部模型参数权重低于设定阈值1/2N时，将其移除，剩余的参与者局部模型参数进行本轮全局模型参数的聚合，被移除的参与者不再参与下一轮的训练，N表示总的参与者数量。
[0029]优选地，训练50轮后停止训练；在每轮训练中，参与者局部模型训练6次后将其参数上传至中央服务器。
[0030]另一方面，本专利技术提出一种用于分布式负荷预测的联邦学习安全聚合系统，其用于实现上述的一种用于分布式负荷预测的联邦学习安全聚合方法，包括：
[0031]初始化模块，采用LSTM算法模型作为参与者局部模型和中央服务全局模型的基础训练模型，中央服务器初始化该模型参数并将其分配给每个参与者；
[0032]模型训练模块，参与者从中心服务器接收模型参数，并根据接收的参数信息更新其本地参数，并使用本地数据训练局部模型；训练结束后，参与者将更新后的局部模型参数上传到中央服务器；中央服务器利用基于模型参数相似度确定近似全局模型参数，并利用基于距离的加权方法进行全局模型参数的聚合，并将得到的全局模型参数分配给参与者，进行下一轮的训练，直至训练结束。
[0033]本专利技术的有益技术效果：利用本专利技术的方法，在分布式负荷预测场景中可参与方的数据隐私，使得数据拥有者的数据不出本地训练完成模型参数的聚合。将近似解的全局模型参数作为每轮选择参与者的标准，引入高斯概率密度函数，利用基于距离的加权方法计算出各个参与方的权重，对于权重低于设定阈值1/2N的进行移除，剩余的模型参数进行模型参数的聚合，及时有效的剔除恶意模型，进一步提高模型质量，提高了预测精度。
附图说明
[0034]图1是本专利技术一种用于分布式负荷预测的联邦学习安全聚合系统的架构图；
[0035]图2是本专利技术的一种用于分布式负荷预测的联邦学习安全聚合方法的流程图。
具体实施方式
[0036]下面结合附图和实施例，对本专利技术的内容作详细说明。
[0037]本专利技术提出了一种用于分布式负荷预测的联邦学习安全聚合方法及系统，其是基于相似性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于分布式负荷预测的联邦学习安全聚合方法，包括：步骤1：采用LSTM算法模型作为参与者局部模型和中央服务器全局模型的基础训练模型，中央服务器初始化该模型参数并将其分配给每个参与者；步骤2：参与者从中心服务器接收初始化的模型参数，并根据接收的参数信息更新其局部模型参数，并使用本地数据训练局部模型；训练结束后，参与者将更新后的局部模型参数上传到中央服务器；中央服务器利用基于模型参数相似度确定近似全局模型参数，并利用基于距离的加权方法进行全局模型参数的聚合；中央服务器将得到的全局模型参数分配给参与者局部模型，进行下一轮的训练，直至训练结束。2.根据权利要求1所述的一种用于分布式负荷预测的联邦学习安全聚合方法，其特征在于：所述步骤1中，初始化采用随机初始化的方法。3.根据权利要求1所述的一种用于分布式负荷预测的联邦学习安全聚合方法，其特征在于，所述步骤2中，中央服务器利用基于模型参数相似度确定近似全局模型参数的方法包括：采用图论知识建模方法构建图，其中每个顶点代表联邦学习过程中参与者上传的局部模型，图中的每条边为根据两个顶点上传模型参数的余弦相似度生成，公式为式中，和表示两个不同参与者上传的本轮参数；根据上式计算出的每两个局部模型之间的相似度，相似度的阈值为β，如果两个局部模型之间的相似度值超过阈值β，则两个局部模型的相似度很大，满足要求，并在图中两顶点之间创建一条边；否则，该两定点之间不存在边；阈值β为经验值或经实验验证所确定；使用BronKerbosch算法找到局部模型所有的簇群，其中包含最多局部模型且顶点数量大于N/2的簇群为“最大团”，N表示总的参与者数量；对该“最大团”中的局部模型参数求取均值，得到本轮近似全局模型参数，其计算公式为：4.根据权利要求3所述的一种用于分布式负荷预测的联邦学习安全聚合方法，其特征在于，如果包含最多局部模型的簇群中的顶点数小于N/2，则随着步长减小相似性阈值β并迭代，直到找到匹配的“最大团”。5.根据权利要求1所述的一种用于分布式负荷预测的联邦学习安全聚合方法，其特征在于，所述利用基于距离的加权方法进行全局模型参数的聚合为，计...

【专利技术属性】
技术研发人员：李建彬，李何筱，郭宜果，付一木，杨夯，吴思行，张务卿，
申请(专利权)人：国网山东省电力公司经济技术研究院，
类型：发明
国别省市：