一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法技术

本发明专利技术提供了一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法,该方法由模型初始化、模型训练和模型加噪以及个性化模型生成三个步骤构成。在模型初始化步骤,对各个参与者定义本地初始化模型；在模型训练和模型加噪步骤,利用本地数据集对各个参与者的模型进行训练,对训练好的模型添加满足差分隐私条件的基于高斯机制的噪声,并通过区块链交易将模型发给其余参与者；在个性化模型生成步骤,各个参与者将本地模型和其余参与者的模型通过参数相关度进行聚合,最后生成本地个性化模型。该方法表明,差分隐私能在有效防止攻击者逆向推断参与者信息,并能对去中心化的电力数据联邦学习模型实现有效的隐私保护。力数据联邦学习模型实现有效的隐私保护。力数据联邦学习模型实现有效的隐私保护。

【技术实现步骤摘要】
一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法


[0001]本专利技术涉及机器学习、分布式计算、区块链和数据隐私保护等
,尤其涉及一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法。

技术介绍

[0002]随着分布式技术和边缘计算的发展,联邦学习受到了越来越多的关注和研究。联邦学习技术是指在中央服务器的协调下,多个客户端协作解决机器学习的问题。在这一过程中,保证每个客户端的原始数据都保存在本地,不进行交换或传输。利用联邦学习技术,多个客户端可以共同训练同一模型而无需上传原始数据集。参与者通过接收当前最新的全局模型并在本地利用自身的数据集对全局模型进行迭代训练。训练完成后,将得到的本地模型参数上传给中央服务器。中央服务器对接收到的模型参数聚合得到新一轮的全局模型参数。因此联邦学习中将整个机器学习流程分解为最小的模块化单元,通过数据最小化为参与的用户提供一定程度上的隐私保护。参与者将训练完成的模型参数提交给中央服务器而不是提交原始数据。这样一来,原始数据保留在参与者本地,在最大程度上防止参与者隐私泄露。同时,利用多方协同训练模型,比单独利用本地数据集训练模型更能提升模型性能。
[0003]联邦学习通过聚合多方训练模型参数而非原始数据集的方式,在最大程度上保护了用户数据隐私安全。但即便如此,攻击者仍可能通过某些手段可以从联邦学习训练过程中传输的模型参数信息中获取某些敏感信息。攻击者可以通过逆向学习的方式推断部分甚至全部数据。有研究表明,攻击者可以在无需任何有关训练集的先验知识的前提下从共享的模型参数中推断出标签并恢复原始训练样本。因此直接传输模型参数并不能很好地保护数据隐私,仍需要一种机制对传输的模型参数进行保护。
[0004]区块链技术由中本聪在2008年提出,最初是用于加密货币,但由于其分布式、不可篡改和可溯源等属性,受到了各方面的关注。目前区块链除了在金融领域用作加密货币,还多用于供应链领域,区块链的可溯源的特性和供应链场景完美匹配,使用区块链技术,可以实现对药品、食品等物品流通过程的实时追踪。随着区块链技术的出现,研究人员开始探索将区块链和联邦学习结合的可能性。近年来有研究针对工业物联网场景下,多方协作数据共享面临的安全问题,提出了一种基于区块链的安全数据共享架构,利用区块链技术,在多方之间共享数据,降低数据泄露的风险。利用区块链技术可以实现系统去中心化,避免因中央服务器的恶意行为而导致训练受阻。
[0005]本专利技术针对联邦学习存在的问题,结合区块链技术提出了一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护,该方法与现有方法相比,通过对传输的模型参数添加一定程度上的噪声,能有效防止攻击者逆向推断参与者信息,并能对电力数据中联邦学习模型进行有效的隐私保护。

技术实现思路

[0006]专利技术目的：为了克服现有技术中存在的不足,基于差分隐私的电力数据联邦学习隐私计算保护方法,解决了联邦学习中存在的攻击者可能通过某些手段从联邦学习训练过程中传输的模型参数信息中获取某些敏感信息,甚至通过逆向学习的方式推断部分甚至全部数据的问题。有效地防止了攻击者逆向推断参与者信息,并能对电力数据中联邦学习模型进行有效的隐私保护。
[0007]技术方案：为实现上述目的,本专利技术采用的技术方案为：
[0008]一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法,该方法由模型初始化、模型训练和模型加噪以及个性化模型生成三个步骤构成。在模型初始化步骤,对各个参与者定义本地初始化模型；在模型训练和模型加噪步骤,利用本地数据集对各个参与者的模型进行训练,对训练好的模型添加噪声,并通过区块链交易将模型发给其余参与者；在个性化模型生成步骤,各个参与者将本地模型和其余参与者的模型通过参数相关度进行聚合,最后生成本地个性化模型。其具体步骤如下：
[0009]步骤1模型初始化
[0010]定义各个参与者的本地初始化模型其中,N表示参与模型训练的参与者的数目。本地初始化模型自定义即可。
[0011]步骤2模型训练和模型加噪
[0012]步骤2.1模型训练
[0013]在每轮训练的迭代过程中,各个参与者利用本地数据集对模型进行训练,对模型进行梯度裁剪,得到本地模型参数。
[0014]步骤2.2模型加噪
[0015]利用本地数据集对各个参与者的模型进行训练,对训练好的模型添加满足差分隐私条件的基于高斯机制的噪声,并通过区块链交易将模型发给其余参与者。
[0016]步骤3个性化模型生成
[0017]当区块链中新区块生成后,各个参与者计算本地模型与新区块中其余模型参数的相关度计算比重,根据不同比重对模型参数进行聚合,得到本地个性化模型。
[0018]有益效果：
[0019]本专利技术提供的一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法,与现有方法相比,通过对传输的模型参数添加一定程度上的噪声,能有效防止攻击者逆向推断参与者信息,并能对电力数据中联邦学习模型进行有效的隐私保护,适用于电力数据中联邦学习隐私计算保护。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
[0021]图1为本专利技术的基于差分隐私的电力数据联邦学习隐私计算保护方法的流程图；
[0022]通过上述附图,已示出本专利技术明确的实施例,后文中将有更详细的描述。这些附图
和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本专利技术的概念。
具体实施方式
[0023]为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0024]实施例1：一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法,图1所示为基于差分隐私的电力数据联邦学习隐私计算保护方法的流程图,包括以下步骤：
[0025]100模型初始化；
[0026]定义各个参与者的本地初始化模型其中,N表示参与模型训练的参与者的数目。本地初始化模型可以相同,也可以根据各个参与者所处场景不同而不同。
[0027]200模型训练和模型加噪；
[0028]201模型训练；
[0029]在第每轮训练的迭代过程中,各个参与者利用本地数据集对模型进行训练,对模型进行梯度裁剪,得到本地模型参数。
[0030]202模型加噪；
[0031]利用本地数据集对各个参与者的模型进行训练,对训练好的模型添加基于高斯机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法,其特征在于,包括以下步骤:步骤1本地模型初始化步骤：设有若干独立的参与者,对各个参与者定义本地初始化模型；步骤2本地模型训练和本地模型加噪步骤:各个参与者利用本地数据集对本地模型进行训练,对训练好的模型添加满足差分隐私条件的基于高斯机制的噪声,并通过区块链交易将模型发送给其余参与者；步骤3个性化模型生成步骤：当区块链中新区块生成后,参与者计算本地模型与新区块中其余模型参数的相关度计算比重,根据不同比重对模型参数进行聚合,得到本地个性化模型。2.根据权利要求1所述的一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法,其特征在于,步骤1中,本地模型初始化步骤为:定义各个参与者的本地初始化模型其中,N表示参与模型训练的参与者的数目,本地初始化模型按照各个参与者所处的场景自定义即可。3.根据权利要求1所述的一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法,其特征在于,步骤2中,本地模型训练和本地模型加噪步骤包含以下子步骤:步骤2.1本地模型训练:在每轮迭代训练过程中,每个参与者利用本地数据集对模型进行训练,对模型进行梯度裁剪,得到本地模型参数,步骤2.2本地模型加噪:各个参与者对训练结束得到的本地模型参数,往本地模型参数中添加满足基于差分隐私条件的基于高斯机制的噪声得到加噪模型,并通过区块链交易的方式发送给其余参与者。4.根据权利要求1所述的一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法,其特征在于,步骤3中,个性化模型生成步骤为:当区块链中新区块生成后,各个参与者根据本地模型与新区块中其余模型参数的相关度计算比重,根据不同比重对模型参数进行聚合,得到本地个性化模型。5.根据权利要求3所述的一种去中心化的基于差分隐私的电力数据联邦学习隐私计算保护方法,其特征在于,步骤2.2本地模型加噪,具体如下：首先,对相邻数据集的定义如下,如果有两个数据集D和D',其中D是D'的真子集,且D'仅比D多一条数据,则称D和D'为相邻数据集；其次,差分隐私定义如下,对于任意两个相邻数据集D和D',给定某种随机化算法F,将其分别作用于相邻数据集D和D',对如下公式Pr[F(D)∈S]≤e
ε
×
Pr[F(D')∈S]其中,S为F所有可能输出结果的集合,Pr[D]表示数据集D中的数据被推测得到的概率,ε称为差分隐私预算,该参数用于衡量差...

【专利技术属性】
技术研发人员：胡聪，张翠翠，王双，孙佳丽，刘翠玲，张庭曾，
申请(专利权)人：国网安徽省电力有限公司信息通信分公司，
类型：发明
国别省市：