【技术实现步骤摘要】
本专利技术涉及线性回归模型联邦学习训练方法，尤其涉及基于同态加密的线性回归模型联邦学习训练方法，属于隐私数据加密计算。
技术介绍
1、传统的机器学习模型训练通常是集中式的，即所有数据被集中到一个中心节点进行训练，然而，其可能存在数据隐私泄露的风险，尤其是在涉及多个数据持有方的联合学习场景下；为解决数据孤岛问题对机器学习模型的影响，联邦学习应运而生，其最根本的功能便是在各个数据参与方不共享己方隐私数据的情况下共同训练一个机器学习模型，且在多数情况下模型准确率较之集中式机器学习没有明显下降。
2、现有技术中，联邦学习主要分为三种，分别是横向联邦学习、纵向联邦学习和迁移联邦学习，三者分别针对不同的应用场景，使用的安全技术与算法也有较大差异，横向联邦学习，也被称为特征对齐的联邦学习，主要应用于参与者数据特征的重叠较多，而样本id重叠较少的场景，本质上是样本的联合；纵向联邦学习主要应用于样本id重叠较多而特征重叠度不高的场景，与横向相比其核心是如何加密实现样本对齐，即在加密状态下将不同样本id的不同特征与标签结合为一条数据，本质是特征的联合；联邦迁移学习则更加新颖，当参与方的特征与样本id重叠都很少时，联邦迁移学习便能派上用场，通过寻找源域与目标域之间的相似性来实现模型的迁移能力；fate框架(federatedai technology enabler)是全球首个联邦学习工业级开源框架，其主要使用的安全协议为安全多方计算以及同态加密技术，至今已在上千家企业与高校中有了实际落地应用，fate传统的机器学习模型作为一款较为成熟的
3、常见的基于密码学技术的隐私保护机器学习模型训练方法如下：(1)差分隐私：在神经网络训练中，通过在梯度计算过程中添加噪声来实现差分隐私，从而保护每个参与方的输入数据隐私，为了保证差分隐私，需要对联邦学习每个参与方的本地模型更新添加噪声，添加的噪声通常与参与方的数据量、数据分布以及隐私参数等有关，差分隐私能够在一定程度上能够保护数据隐私，但其缺点在于向梯度添加噪声时，由于添加的噪声可能会干扰真实梯度信号，可能会导致模型性能下降，从而影响模型的学习效果，此外，为了确保足够的隐私保护，需要添加的噪声可能会较大，进而影响模型的准确性和性能；(2)安全多方计算：神经网络训练可以利用同态加密技术对线性层实现加密，秘密分享实现安全非线性层，从而在保护数据隐私的同时进行模型更新和计算，安全多方计算的缺点在于计算开销较大且实现复杂，同态加密和秘密分享等技术在实践中可能会导致大量的计算成本和通信开销，特别是在处理大规模数据的场景中，部署需要复杂的配置和管理，增加了系统的维护成本和风险。
4、综上所述，针对机器学习模型推理中的隐私问题和部署挑战，需要一种安全性强、计算量小的隐私保护机器学习模型训练方法。
技术实现思路
1、在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
2、鉴于此，为解决现有技术中传统的隐私保护机器学习模型训练方法在同态加密阶段通讯量较大的问题，本专利技术提供基于同态加密的线性回归模型联邦学习训练方法。
3、技术方案如下：基于同态加密的线性回归模型联邦学习训练方法，具体包括以下步骤：
4、s1.构建线性回归模型及其损失函数，用户方持有数据特征，服务方持有初始参数，对线性回归模型输入的数据特征进行加密，得到输入编码；
5、s2.在纵向联邦学习场景下，用户方和服务方采用叠加矩阵乘法协议的加性同态加密算法对线性回归模型进行训练即对初始参数和输入编码更新，得到更新后的密文多项式；
6、s3.通过协调方解密更新后的密文多项式，并发送给服务方和用户方根据线性回归模型选用的梯度下降方法更新梯度和损失函数，根据判定条件决定是否结束训练，重复上述步骤直到线性回归模型训练结束。
7、进一步地，所述s1中，线性回归模型中，客户端c持有隐私数据x，服务器s持有线性回归模型参数w，θj∈w，客户端c即用户方ci＝{c1,c2,…,cn}，服务器s即服务方si＝{s1,s2,…,sn}，x＝(x1,y1),(x2,y2),…,(xn,yn)；
8、线性回归模型表示为：
9、
10、其中，为第一参与方a的数据特征，为第二参与方b的数据特征，a,b∈c，xi为数据特征，θa为第一参与方a的初始参数，θb为第二参与方b的初始参数，θa,θb∈θj，θj为参与方的初始参数，θj∈w，yi为数据标签，i＝1,2,...n，n为两方拥有的样本数；
11、损失函数表示为：
12、
13、其中，λ为归一化参数；
14、通过功能函数fix(x)将数据特征xi转为定点数表示，通过二进制截断位的长度参数s'确定截断准确后，将定点数嵌入秘密共享环中，当数据特征xi为非负数时，嵌入秘密共享环的定点数即输入编码a表示为否则其中，表示模数为2l的环即秘密共享环，l为正整数，其表示秘密共享环的比特宽度。
15、进一步地，所述s2中，矩阵乘法协议定义的参数包括多项式环的阶数n、大质数q和模数p，定义叠加矩阵乘法协议的加性同态加密算法ahe，ahe＝(keygen；enc；dec；eval)；
16、在线性回归模型输入安全参数key，通过密钥生成器keygen得到公钥pk和私钥sk，即keygen(1key)→(pk,sk)，其中，表示工作在大质数q上的环，xin+1为阶数n的多项式，表示商环；
17、在线性回归模型输入明文多项式和公钥pk，通过同态加密算法enc得到密文多项式即加密算法enc包括同态加法、基于多项式的同态乘法和安全矩阵乘法；
18、所述同态加法过程具体如下：用户方c对输入编码a进行同态加密，并将得到的第一密文发送给对应服务方s，服务方s对输入的数据标签yi进行同态加密得到第二密文计算第一密文和第二密文的加法，得到密文加法结果...
【技术保护点】
1.基于同态加密的线性回归模型联邦学习训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于同态加密的线性回归模型联邦学习训练方法，其特征在于，所述S1中，线性回归模型中，客户端C持有隐私数据X，服务器S持有线性回归模型参数W，Θj∈W，客户端C即用户方Ci＝{C1,C2,…,Cn}，服务器S即服务方Si＝{S1,S2,…,Sn}，X＝(x1,y1),(x2,y2),…,(xn,yn)；
3.根据权利要求2所述的基于同态加密的线性回归模型联邦学习训练方法，其特征在于，所述S2中，矩阵乘法协议定义的参数包括多项式环的阶数N、大质数q和模数p，定义叠加矩阵乘法协议的加性同态加密算法AHE，AHE＝(KeyGen；Enc；Dec；Eval)；
4.根据权利要求2所述的基于同态加密的线性回归模型联邦学习训练方法，其特征在于，所述S3中，判定条件表示为：通过设置阈值，协调方将更新后的损失函数的近两轮损失函数差值与阈值进行比较，如果损失函数变化值小于阈值，说明线性回归模型收敛，则判断线性回归模型停止训练，否则继续新的训练周期。
【技术特征摘要】
1.基于同态加密的线性回归模型联邦学习训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于同态加密的线性回归模型联邦学习训练方法，其特征在于，所述s1中，线性回归模型中，客户端c持有隐私数据x，服务器s持有线性回归模型参数w，θj∈w，客户端c即用户方ci＝{c1,c2,…,cn}，服务器s即服务方si＝{s1,s2,…,sn}，x＝(x1,y1),(x2,y2),…,(xn,yn)；
3.根据权利要求2所述的基于同态加密的线性回归模型联邦学习训...
【专利技术属性】
技术研发人员：蒋琳，周骏，沈博文，冯云青，陈宇月，李丽，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。