本发明专利技术提供了一种模型的训练方法、装置、电子设备及存储介质，该方法应用于联邦学习，包括：确定联邦学习模型的初始权重向量以及训练样本集；获取所述初始权重向量对应的第一加密密文以及所述训练样本集对应的编码矩阵；利用所述第一加密密文和所述编码矩阵进行梯度计算，得到目标权重向量；利用所述目标权重向量更新所述联邦学习模型，以完成模型训练任务。通过本发明专利技术提供的方案，能够对逻辑回归模型训练过程中的梯度下降同态计算的流程进行优化。优化。优化。
【技术实现步骤摘要】
模型的训练方法、装置、电子设备及存储介质
[0001]本专利技术涉及大数据处理领域，具体而言，涉及一种模型的训练方法、装置、电子设备及存储介质。
技术介绍
[0002]目前，基于全同态加密算法的LR(逻辑回归)模型训练方法Kim等人在2018年于文献中提出了一种基于全同态加密CKKS算法来训练逻辑回归(LR)模型的方法，并设计了一种新的编码方式来减少加密数据集的存储。在该算法中，设计者通过使用密文加法、密文乘法和密文移位计算完成了逻辑回归的模型训练任务，但算法仍存在运行效率不高，参数规模较大等缺点；其中，密文乘法运算的效率是算法整体效率的主要瓶颈，同时密文乘法的数量影响参数规模的选取。
技术实现思路
[0003]鉴于上述问题，本专利技术提出了一种模型的训练方法、装置、电子设备及存储介质，以至少解决相关技术中训练逻辑回归模型的效率低的技术问题。
[0004]根据本专利技术的第一方面，提供了一种模型的训练方法，应用于联邦学习，所述方法包括：确定联邦学习模型的初始权重向量以及训练样本集；获取所述初始权重向量对应的第一加密密文以及所述训练样本集对应的编码矩阵；利用所述第一加密密文和所述编码矩阵进行梯度计算，得到目标权重向量；利用所述目标权重向量更新所述联邦学习模型，以完成模型训练任务。
[0005]可选地，当所述联邦学习模型为横向联邦学习模型时，所述获取所述初始权重向量对应的第一加密密文以及所述训练样本集对应的编码矩阵包括：从模型拥有方获取所述横向联邦学习模型的初始权重向量，以及从数据拥有方获取所述训练样本集；确定所述训练样本集的训练样本数量n以及每个训练样本对应的特征数量f；将所述训练样本集编码为n*(f+1)的矩阵，得到所述编码矩阵，以及将所述初始权重向量编码为n*(f+1)的矩阵，得到编码权重；采用全同态加密算法，对所述编码权重进行加密，得到所述第一加密密文。
[0006]可选地，当所述联邦学习模型为纵向联邦学习模型时，所述获取所述初始权重向量对应的第一加密密文以及所述训练样本集对应的编码矩阵包括：从模型拥有方获取第一训练样本和所述联邦学习模型的初始权重向量，以及从数据拥有方获取第二训练样本；确定所述第一训练样本和所述第二训练样本的数量总和m，以及特征数量k；将所述第一训练样本编码为m*(k+1)的矩阵，得到第一编码矩阵，将所述第二训练样本编码为m*(k+1)的矩阵，得到第二编码矩阵，以及将所述初始权重向量编码为m*(k+1)的矩阵，得到所述第一加密密文；分别对所述第一编码矩阵进行加密，得到第二加密密文，以及对所述第二编码矩阵进行加密，得到第三加密密文；将所述第二加密密文和所述第三加密密文进行拼接，得到所述编码矩阵。
[0007]可选地，所述利用所述第一加密密文和所述编码矩阵进行梯度计算，得到目标权
重向量包括：通过梯度下降算法，对所述第一加密密文和所述编码矩阵进行迭代运算，得到当前权重向量；对所述当前权重向量与上一轮迭代得到的上一权重向量进行求和，得到所述目标权重向量。
[0008]可选地，梯度下降算法使用的损失梯度函数如下：
[0009][0010]其中，α(t)为第t次迭代时的学习速率，β
t+1
为模型的目标权重向量，β
t
为上一权重向量，i指代样本中的第i个，σ表示标准差，n为样本数量，Z
i
指代编码矩阵中的第i个样本。
[0011]可选地，所述通过梯度下降算法，对所述第一加密密文和所述编码矩阵进行迭代运算，得到当前权重向量，包括：通过对所述编码矩阵进行预处理，得到第一矩阵，以及对所述第一加密密文进行转置并填满明文槽，得到第二矩阵，其中，预处理包括以下至少之一操作：转置，编码，加密，合并；对所述第一矩阵和所述第二矩阵进行密文乘法运算，得到第三矩阵；对所述第三矩阵进行移位并求列和运算，得到第四矩阵；利用sigmoid函数计算所述第四矩阵的近似函数，得到第五矩阵；对所述编码矩阵与所述第五矩阵进行乘法运算，得到第六矩阵；对所述第六矩阵进行移位并求和运算，得到第七矩阵，其中，所述第七矩阵的第一列元素为有效数据，其他列元素均为无效数据；通过计算所述第七矩阵和当前次迭代时的学习速率之间的乘法，并去除所述无效数据，得到第八矩阵；将所述第八矩阵的第一列元素按列复制并填满密文槽，得到目标梯度，并将所述目标梯度作为所述当前权重向量。
[0012]可选地，所述利用所述目标权重向量更新所述联邦学习模型，以完成模型训练任务包括：将所述目标权重向量发送至模型拥有方；由所述模型拥有方采用全同态加密算法对所述目标权重向量进行解密，并更新所述联邦学习的权重向量。
[0013]根据本专利技术的第二方面，还提供一种模型的训练装置，应用于联邦学习，所述装置包括：确定模块，用于确定联邦学习模型的初始权重向量以及训练样本集；获取模块，用于获取所述初始权重向量对应的第一加密密文以及所述训练样本集对应的编码矩阵；计算模块，用于利用所述第一加密密文和所述编码矩阵进行梯度计算，得到目标权重向量；更新模块，用于利用所述目标权重向量更新所述联邦学习模型的权重向量，以完成模型训练任务。
[0014]可选地，当所述联邦学习模型为横向联邦学习模型时，所述获取模块包括：第一获取单元，用于从模型拥有方获取所述横向联邦学习模型的初始权重向量，以及从数据拥有方获取所述训练样本集；第一确定单元，用于确定所述训练样本集的训练样本数量n以及每个训练样本对的特征数量f；第一编码单元，用于将所述训练样本集编码为n*(f+1)的矩阵，得到所述编码矩阵，以及将所述初始权重向量编码为n*(f+1)的矩阵，得到编码权重；第一加密单元，用于采用全同态加密算法，对所述编码权重进行加密，得到所述第一加密密文。
[0015]可选地，当所述联邦学习模型为纵向联邦学习模型时，所述获取模块包括：第二获取单元，用于从模型拥有方获取第一训练样本和所述联邦学习模型的初始权重向量，以及从数据拥有方获取第二训练样本；第二确定单元，用于确定所述第一训练样本和所述第二训练样本的数量总和m，以及特征数量k；第二编码单元，用于将所述第一训练样本编码为m*(k+1)的矩阵，得到第一编码矩阵，将所述第二训练样本编码为m*(k+1)的矩阵，得到第二编码矩阵，以及将所述初始权重向量编码为m*(k+1)的矩阵，得到所述第一加密密文；第二加
密单元，用于分别对所述第一编码矩阵进行加密，得到第二加密密文，以及对所述第二编码矩阵进行加密，得到第三加密密文；拼接单元，用于将所述第二加密密文和所述第三加密密文进行拼接，得到所述编码矩阵。
[0016]可选地，所述计算模块包括：第一计算单元，用于通过梯度下降算法，对所述第一加密密文和所述编码矩阵进行迭代运算，得到当前权重向量；第二计算单元，用于对所述当前权重向量与上一轮迭代得到的上一权重向量进行求和，得到所述目标权重向量。
[0017]可选地，梯度下降算法使用的损失梯度函数如下：
[0018][0019]其中，α(t)为第t次迭代时的学习速率，β
...
【技术保护点】
【技术特征摘要】
1.一种模型的训练方法，其特征在于，应用于联邦学习，所述方法包括：确定联邦学习模型的初始权重向量以及训练样本集；获取所述初始权重向量对应的第一加密密文以及所述训练样本集对应的编码矩阵；利用所述第一加密密文和所述编码矩阵进行梯度计算，得到目标权重向量；利用所述目标权重向量更新所述联邦学习模型，以完成模型训练任务。2.根据权利要求1所述的方法，其特征在于，当所述联邦学习模型为横向联邦学习模型时，所述获取所述初始权重向量对应的第一加密密文以及所述训练样本集对应的编码矩阵包括：从模型拥有方获取所述横向联邦学习模型的初始权重向量，以及从数据拥有方获取所述训练样本集；确定所述训练样本集的训练样本数量n以及每个训练样本对应的特征数量f；将所述训练样本集编码为n*(f+1)的矩阵，得到所述编码矩阵，以及将所述初始权重向量编码为n*(f+1)的矩阵，得到编码权重；采用全同态加密算法，对所述编码权重进行加密，得到所述第一加密密文。3.根据权利要求1所述的方法，其特征在于，当所述联邦学习模型为纵向联邦学习模型时，所述获取所述初始权重向量对应的第一加密密文以及所述训练样本集对应的编码矩阵包括：从模型拥有方获取第一训练样本和所述联邦学习模型的初始权重向量，以及从数据拥有方获取第二训练样本；确定所述第一训练样本和所述第二训练样本的数量总和m，以及特征数量k；将所述第一训练样本编码为m*(k+1)的矩阵，得到第一编码矩阵，将所述第二训练样本编码为m*(k+1)的矩阵，得到第二编码矩阵，以及将所述初始权重向量编码为m*(k+1)的矩阵，得到所述第一加密密文；分别对所述第一编码矩阵进行加密，得到第二加密密文，以及对所述第二编码矩阵进行加密，得到第三加密密文；将所述第二加密密文和所述第三加密密文进行拼接，得到所述编码矩阵。4.根据权利要求1所述的方法，其特征在于，所述利用所述第一加密密文和所述编码矩阵进行梯度计算，得到目标权重向量包括：通过梯度下降算法，对所述第一加密密文和所述编码矩阵进行迭代运算，得到当前权重向量；对所述当前权重向量与上一轮迭代得到的上一权重向量进行求和，得到所述目标权重向量。5.根据权利要求4所述的方法，其特征在于，梯度下降算法使用的损失梯度函数如下：其中，α(t)为第t次迭代时的学习速率，β
t+1
...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京绪方科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。