保护数据隐私的业务预测模型训练方法及装置制造方法及图纸

本说明书实施例提供了一种保护数据隐私的业务预测模型训练方法及装置。在训练过程中，成员设备利用自身持有的对象特征数据，通过业务预测模型进行预测，利用预测结果确定用于更新模型参数的更新参量，其中包括针对业务预测模型的多个计算层的多个子参量；利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，第一类计算层的子参量值在指定范围以内；对第一类计算层的子参量进行隐私处理，并输出处理后子参量。多个成员设备的处理后子参量可以被聚合成聚合子参量。成员设备可以获取第一类计算层的聚合子参量，并利用聚合子参量和第二类计算层的子参量，对模型参数进行更新。行更新。行更新。

【技术实现步骤摘要】
保护数据隐私的业务预测模型训练方法及装置


[0001]本说明书一个或多个实施例涉及隐私保护
，尤其涉及一种保护数据隐私的业务预测模型训练方法及装置。

技术介绍

[0002]随着人工智能技术的发展，神经网络已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等领域。不同应用场景下的神经网络结构已经相对固定，为了实现更好的模型性能，需要更多的训练数据。在医疗、金融等领域，不同的企业或机构拥有不同的数据样本，一旦将这些数据进行联合训练，将极大提升模型精度。然而，不同企业或机构拥有的数据样本通常包含大量的隐私数据，一旦信息泄露，将导致不可挽回的负面影响。因此，在多方联合训练解决数据孤岛问题的场景下，保护数据隐私成为近年来研究的重点。
[0003]因此，希望能有改进的方案，可以在多方联合训练的场景下，尽可能提高对各方隐私数据的保护。

技术实现思路

[0004]本说明书一个或多个实施例描述了保护数据隐私的业务预测模型训练方法及装置，以在多方联合训练的场景下，尽可能提高对各方隐私数据的保护。具体的技术方案如下。
[0005]第一方面，实施例提供了一种保护数据隐私的业务预测模型训练方法，通过服务器和多个成员设备联合训练，所述业务预测模型包括多个计算层，所述方法通过任意一个成员设备执行，包括：
[0006]利用所述成员设备持有的多个对象的对象特征数据，通过业务预测模型进行预测，利用对象的预测结果确定与对象特征数据关联的更新参量，所述更新参量用于更新模型参数，并包括针对多个计算层的多个子参量；
[0007]利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，所述第一类计算层的子参量值在指定范围以内，所述第二类计算层的子参量值在所述指定范围之外；
[0008]对第一类计算层的子参量进行隐私处理，并输出处理后子参量；
[0009]获取所述第一类计算层的聚合子参量，所述聚合子参量是基于两个以上成员设备的处理后子参量进行聚合而得到，并与两个以上成员设备的对象特征数据相关联；
[0010]利用所述聚合子参量和所述第二类计算层的子参量，对模型参数进行更新。
[0011]在一种实施方式中，所述更新参量采用模型参数梯度或者模型参数差值实现；其中，所述模型参数梯度基于本次训练中得到的预测损失确定；
[0012]所述模型参数差值采用以下方式确定：
[0013]获取本次训练的初始模型参数以及本次训练中得到的模型参数梯度；
[0014]利用所述模型参数梯度对所述初始模型参数进行更新，得到模拟更新参数；
[0015]基于所述初始模型参数与所述模拟更新参数的差值，确定模型参数差值。
[0016]在一种实施方式中，所述通过业务预测模型进行预测，利用对象的预测结果确定与对象特征数据关联的更新参量的步骤，包括：
[0017]将对象的对象特征数据输入所述业务预测模型，通过所述业务预测模型中包含模型参数的多个计算层对对象特征数据的处理，得到该对象的预测结果；
[0018]基于该对象的预测结果与该对象的标注信息之间的差值，确定预测损失；
[0019]基于所述预测损失确定与该对象特征数据关联的更新参量。
[0020]在一种实施方式中，所述将多个计算层划分成第一类计算层和第二类计算层的步骤，包括：
[0021]利用子参量包含的向量元素，确定多个子参量分别对应的子参量表征值，所述子参量表征值用于表征对应的子参量的数值大小；
[0022]利用多个子参量表征值，将多个计算层划分成第一类计算层和第二类计算层。
[0023]在一种实施方式中，所述子参量表征值采用以下中的一种实现：范数值、均值、方差值、标准差值、最大值、最小值或者最大值与最小值的差值。
[0024]在一种实施方式中，第一类计算层的子参量表征值大于第二类计算层的所述子参量表征值。
[0025]在一种实施方式中，所述指定范围包括：多个子参量值的数量级在预设量级范围内。
[0026]在一种实施方式中，所述对所述第一类计算层的子参量进行隐私处理的步骤，包括：
[0027]基于(ε,δ)
‑
差分隐私算法，确定针对所述第一类计算层的子参量的噪声数据；
[0028]将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加，得到对应的处理后子参量。
[0029]在一种实施方式中，所述确定针对第一类计算层的子参量的噪声数据的步骤，包括：
[0030]利用差分隐私参数ε和δ，计算高斯噪声的噪声方差值；
[0031]基于所述噪声方差值，针对第一类计算层的子参量包含的向量元素生成对应的噪声数据。
[0032]在一种实施方式中，在将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加之前，还包括：
[0033]利用所述第一类计算层对应的若干个子参量，确定用于标识所述第一类计算层的子参量的总体表征值；
[0034]利用所述总体表征值和预设的裁剪参数，对所述第一类计算层的子参量进行数值裁剪，得到对应的裁剪后子参量；
[0035]所述将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加的步骤，包括：
[0036]将所述噪声数据分别与所述第一类计算层的对应裁剪后子参量进行叠加。
[0037]在一种实施方式中，所述对所述模型参数进行更新的步骤，包括：
[0038]利用所述总体表征值和预设的裁剪参数，对所述第二类计算层的子参量进行数值
裁剪，得到对应的裁剪后子参量；
[0039]利用所述聚合子参量和所述第二类计算层的裁剪后子参量，对所述模型参数进行更新。
[0040]在一种实施方式中，该方法还包括：
[0041]在所述业务预测模型经过训练后，获取待预测对象的对象特征数据；
[0042]利用所述待预测对象的对象特征数据，通过训练后的业务预测模型，确定所述待预测对象的预测结果。
[0043]在一种实施方式中，所述成员设备中训练的多个计算层，是所述业务预测模型的所有计算层，或者部分计算层。
[0044]在一种实施方式中，所述对象包括用户、商品、交易、事件中的一种；所述对象特征数据包括以下特征组中的至少一个：对象的基本属性特征、对象的历史行为特征、对象的关联关系特征、对象的交互特征、对象的身体指标。
[0045]在一种实施方式中，所述业务预测模型采用深度神经网络DNN、卷积神经网络CNN、循环神经网络RNN或图神经网络GNN实现。
[0046]第二方面，实施例提供了一种保护数据隐私的业务预测模型训练方法，通过服务器和多个成员设备联合训练，所述业务预测模型包括多个计算层，所述方法包括：
[0047]多个成员设备，分别利用各自持有的多个对象的对象特征数据，通过业务预测模型进行预测，利用对象的预测结果确定与对象特征数据关联的更新参量，所述更新参量用于更新模型参数，并包括针对多个计算层的多个子参量；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种保护数据隐私的业务预测模型训练方法，通过多个成员设备联合训练，所述业务预测模型包括多个计算层，所述方法通过任意一个成员设备执行，包括：利用所述成员设备持有的多个对象的对象特征数据，通过业务预测模型进行预测，利用对象的预测结果确定与对象特征数据关联的更新参量，所述更新参量用于更新模型参数，并包括针对多个计算层的多个子参量；利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，所述第一类计算层的子参量值在指定范围以内，所述第二类计算层的子参量值在所述指定范围之外；对所述第一类计算层的子参量进行隐私处理，并输出处理后子参量；获取所述第一类计算层的聚合子参量，所述聚合子参量是基于两个以上成员设备的处理后子参量进行聚合而得到，并与两个以上成员设备的对象特征数据相关联；利用所述聚合子参量和所述第二类计算层的子参量，对模型参数进行更新。2.根据权利要求1所述的方法，所述更新参量采用模型参数梯度或者模型参数差值实现；其中，所述模型参数梯度基于本次训练中得到的预测损失确定；所述模型参数差值采用以下方式确定：获取本次训练的初始模型参数以及本次训练中得到的模型参数梯度；利用所述模型参数梯度对所述初始模型参数进行更新，得到模拟更新参数；基于所述初始模型参数与所述模拟更新参数的差值，确定模型参数差值。3.根据权利要求1所述的方法，所述将多个计算层划分成第一类计算层和第二类计算层的步骤，包括：利用子参量包含的向量元素，确定多个子参量分别对应的子参量表征值，所述子参量表征值用于表征对应的子参量的数值大小；利用多个子参量表征值，将多个计算层划分成第一类计算层和第二类计算层。4.根据权利要求3所述的方法，所述子参量表征值采用以下中的一种实现：范数值、均值、方差值、标准差值、最大值、最小值或者最大值与最小值的差值。5.根据权利要求3所述的方法，所述第一类计算层的所述子参量表征值大于所述第二类计算层的所述子参量表征值。6.根据权利要求1所述的方法，所述指定范围包括：多个子参量值的数量级在预设量级范围内。7.根据权利要求1所述的方法，所述对所述第一类计算层的子参量进行隐私处理的步骤，包括：基于(ε,δ)
‑
差分隐私算法，确定针对所述第一类计算层的子参量的噪声数据；将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加，得到对应的处理后子参量。8.根据权利要求7所述的方法，所述确定针对所述第一类计算层的子参量的噪声数据的步骤，包括：利用差分隐私参数ε和δ，计算高斯噪声的噪声方差值；基于所述噪声方差值，针对所述第一类计算层的子参量包含的向量元素生成对应的噪声数据。9.根据权利要求7所述的方法，在将所述噪声数据分别与所述第一类计算层的对应子
参量进行叠加之前，还包括：利用所述第一类计算层对应的若干个子参量，确定用于标识所述第一类计算层的子参量的总体表征值；利用所述总体表征值和预设的裁剪参数，对所述第一类计算层的子参量进行数值裁剪，得到对应的裁剪后子参量；所述将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加的步骤，包括：将所述噪声数据分别与所述第一类计算层的对应裁剪后子参量进行叠加。10.根据权利要求9所述的方法，所述对所述模型参数进行更新的步骤，包括：利用所述总体表征值和预设的裁剪参数，对所述第二类计算层的子参量进行数值裁剪，得到对应的裁剪后子参量；利用所述聚合子参量和所述第二类计算层的裁剪后子参量，对所述模型参数进行更新。11.一种保护数据隐私的业务预测模型训练方法，通过服务器和多个成员设备联合训练，所述业务预测模型包括多个计算层，所述方法包括：多个成员设备，分别利用各自持有的多个对象的对象特征数据，通过业务预测模型进行预测，利用对象的预测结果确定与对象特征数据关联的更新参量，所述更新参量用于更新模型参数，并包括针对多个计算层的多个子参量；多个成员设备，分别利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，所述第一类计算...

【专利技术属性】
技术研发人员：郑龙飞，陈超超，王力，张本宇，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：