模型参数确定方法、装置和电子设备制造方法及图纸

本说明书实施例提供一种模型参数确定方法、装置和电子设备。所述方法包括：使用牛顿法，根据特征数据和第一模型参数的份额，采用秘密分享的方式，确定新的第一模型参数的份额；进而，使用梯度下降法，根据特征数据和新的第一模型参数的份额，采用秘密分享和混淆电路相结合的方式，确定第二模型参数的份额。

Model parameter determination method, device and electronic equipment

The embodiment of the specification provides a method, device and electronic device for determining model parameters. The method includes: using Newton method, according to the share of the characteristic data and the first model parameter, using the secret sharing method to determine the share of the new first model parameter; and then using the gradient descent method, according to the share of the characteristic data and the new first model parameter, the share of the second model parameters is determined by the combination of secret sharing and confusion circuit.

【技术实现步骤摘要】
模型参数确定方法、装置和电子设备
本说明书实施例涉及计算机
，特别涉及一种模型参数确定方法、装置和电子设备。
技术介绍
大数据时代，存在非常多的数据孤岛。数据通常分散存于不同的企业中，企业与企业之间由于竞争关系和隐私保护的考虑，并不是完全的互相信任。在一些情况下，企业与企业之间需要进行合作安全建模，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练。在对数据处理模型进行协作训练的过程中，可以使用模型参数优化方法对数据处理模型的模型参数进行多次优化调整。由于用于对数据处理模型进行训练的数据是分散在合作建模的各方的，因此如何在保护数据隐私的条件下，协作确定数据处理模型的模型参数，是当前亟需解决的技术问题。
技术实现思路
本说明书实施例的目的是提供一种模型参数确定方法、装置和电子设备，以在保护数据隐私的前提下，由多方协作确定数据处理模型的模型参数。为实现上述目的，本说明书中一个或多个实施例提供的技术方案如下。根据本说明书一个或多个实施例的第一方面，提供了一种模型参数确定方法，应用于第一数据方，包括：根据特征数据和第一模型参数的份额与合作方秘密分享第一乘积，得到第一乘积的份额，所述第一乘积为特征数据和第一模型参数的乘积；根据第一乘积的份额与合作方秘密分享激励函数的取值，得到激励函数取值的份额；根据特征数据和激励函数取值的份额与合作方秘密分享损失函数的梯度和海森矩阵，分别得到损失函数梯度的份额和海森矩阵的份额；根据随机正交矩阵的份额和海森矩阵的份额与合作方秘密分享第二乘积，得到第二乘积的份额，所述第二乘积为随机正交矩阵和海森矩阵之间的乘积；在第二乘积的条件数满足预设条件时，根据海森矩阵的份额与合作方秘密分享第一逆矩阵，得到第一逆矩阵的份额，所述第一逆矩阵为海森矩阵的逆矩阵；根据第一逆矩阵的份额、损失函数梯度的份额和第一模型参数的份额与合作方秘密分享新的第一模型参数，得到新的第一模型参数的份额；重复执行所述秘密分享第一乘积的步骤；根据新的第一乘积的份额和激励函数对应的混淆电路与合作方进行通信，得到新的激励函数取值的份额；重复执行所述秘密分享损失函数的梯度和海森矩阵的步骤、以及所述秘密分享第二乘积的步骤；在新的第二乘积的条件数不满足所述预设条件时，根据新的第一模型参数的份额、新的损失函数梯度的份额和预设步长，计算第二模型参数的份额。根据本说明书一个或多个实施例的第二方面，提供了一种模型参数确定方法，应用于第二数据方，包括：根据第一模型参数的份额与合作方秘密分享第一乘积，得到第一乘积的份额，所述第一乘积为特征数据和第一模型参数的乘积；根据第一乘积的份额与合作方秘密分享激励函数的取值，得到激励函数取值的份额；根据标签和激励函数取值的份额与合作方秘密分享损失函数的梯度，得到损失函数梯度的份额；根据激励函数取值的份额与合作方秘密分享海森矩阵，得到海森矩阵的份额；根据随机正交矩阵的份额和海森矩阵的份额与合作方秘密分享第二乘积，得到第二乘积的份额，所述第二乘积为随机正交矩阵和海森矩阵之间的乘积；在第二乘积的条件数满足预设条件时，根据海森矩阵的份额与合作方秘密分享第一逆矩阵，得到第一逆矩阵的份额，所述第一逆矩阵为海森矩阵的逆矩阵；根据第一逆矩阵的份额、损失函数梯度的份额和第一模型参数的份额与合作方秘密分享新的第一模型参数，得到新的第一模型参数的份额；重复执行所述秘密分享第一乘积的步骤；根据新的第一乘积的份额和激励函数对应的混淆电路与合作方进行通信，得到新的激励函数取值的份额；重复执行所述秘密分享损失函数的梯度的步骤、所述秘密分享海森矩阵的步骤、以及所述秘密分享第二乘积的步骤；在新的第二乘积的条件数不满足所述预设条件时，根据新的第一模型参数的份额、新的损失函数梯度的份额和预设步长，计算第二模型参数的份额。根据本说明书一个或多个实施例的第三方面，提供了一种模型参数确定装置，应用于第一数据方，包括：第一秘密分享单元，用于根据特征数据和第一模型参数的份额与合作方秘密分享第一乘积，得到第一乘积的份额，所述第一乘积为特征数据和第一模型参数的乘积；第二秘密分享单元，用于根据第一乘积的份额与合作方秘密分享激励函数的取值，得到激励函数取值的份额；第三秘密分享单元，用于根据特征数据和激励函数取值的份额与合作方秘密分享损失函数的梯度和海森矩阵，分别得到损失函数梯度的份额和海森矩阵的份额；第四秘密分享单元，用于根据随机正交矩阵的份额和海森矩阵的份额与合作方秘密分享第二乘积，得到第二乘积的份额，所述第二乘积为随机正交矩阵和海森矩阵之间的乘积；第五秘密分享单元，用于在第二乘积的条件数满足预设条件时，根据海森矩阵的份额与合作方秘密分享第一逆矩阵，得到第一逆矩阵的份额，所述第一逆矩阵为海森矩阵的逆矩阵；第六秘密分享单元，用于根据第一逆矩阵的份额、损失函数梯度的份额和第一模型参数的份额与合作方秘密分享新的第一模型参数，得到新的第一模型参数的份额；混淆电路单元，用于重复执行所述秘密分享第一乘积的步骤；根据新的第一乘积的份额和激励函数对应的混淆电路与合作方进行通信，得到新的激励函数取值的份额；重复执行所述秘密分享损失函数的梯度和海森矩阵的步骤、以及所述秘密分享第二乘积的步骤；计算单元，用于在新的第二乘积的条件数不满足所述预设条件时，根据新的第一模型参数的份额、新的损失函数梯度的份额和预设步长，计算第二模型参数的份额。根据本说明书一个或多个实施例的第四方面，提供了一种模型参数确定装置，应用于第二数据方，包括：第一秘密分享单元，用于根据第一模型参数的份额与合作方秘密分享第一乘积，得到第一乘积的份额，所述第一乘积为特征数据和第一模型参数的乘积；第二秘密分享单元，用于根据第一乘积的份额与合作方秘密分享激励函数的取值，得到激励函数取值的份额；第三秘密分享单元，用于根据标签和激励函数取值的份额与合作方秘密分享损失函数的梯度，得到损失函数梯度的份额；根据激励函数取值的份额与合作方秘密分享海森矩阵，得到海森矩阵的份额；第四秘密分享单元，用于根据随机正交矩阵的份额和海森矩阵的份额与合作方秘密分享第二乘积，得到第二乘积的份额，所述第二乘积为随机正交矩阵和海森矩阵之间的乘积；第五秘密分享单元，用于在第二乘积的条件数满足预设条件时，根据海森矩阵的份额与合作方秘密分享第一逆矩阵，得到第一逆矩阵的份额，所述第一逆矩阵为海森矩阵的逆矩阵；第六秘密分享单元，用于根据第一逆矩阵的份额、损失函数梯度的份额和第一模型参数的份额与合作方秘密分享新的第一模型参数，得到新的第一模型参数的份额；混淆电路单元，用于重复执行所述秘密分享第一乘积的步骤；根据新的第一乘积的份额和激励函数对应的混淆电路与合作方进行通信，得到新的激励函数取值的份额；重复执行所述秘密分享损失函数的梯度的步骤、所述秘密分享海森矩阵的步骤、以及所述秘密分享第二乘积的步骤；计算单元，用于在新的第二乘积的条件数不满足所述预设条件时，根据新的第一模型参数的份额、新的损失函数梯度的份额和预设步长，计算第二模型参数的份额。根据本说明书一个或多个实施例的第五方面，提供了一种电子设备，包括：存储器，本文档来自技高网...

【技术保护点】
1.一种模型参数确定方法，应用于第一数据方，包括：/n根据特征数据和第一模型参数的份额与合作方秘密分享第一乘积，得到第一乘积的份额，所述第一乘积为特征数据和第一模型参数的乘积；/n根据第一乘积的份额与合作方秘密分享激励函数的取值，得到激励函数取值的份额；/n根据特征数据和激励函数取值的份额与合作方秘密分享损失函数的梯度和海森矩阵，分别得到损失函数梯度的份额和海森矩阵的份额；/n根据随机正交矩阵的份额和海森矩阵的份额与合作方秘密分享第二乘积，得到第二乘积的份额，所述第二乘积为随机正交矩阵和海森矩阵之间的乘积；/n在第二乘积的条件数满足预设条件时，根据海森矩阵的份额与合作方秘密分享第一逆矩阵，得到第一逆矩阵的份额，所述第一逆矩阵为海森矩阵的逆矩阵；/n根据第一逆矩阵的份额、损失函数梯度的份额和第一模型参数的份额与合作方秘密分享新的第一模型参数，得到新的第一模型参数的份额；/n重复执行所述秘密分享第一乘积的步骤；根据新的第一乘积的份额和激励函数对应的混淆电路与合作方进行通信，得到新的激励函数取值的份额；重复执行所述秘密分享损失函数的梯度和海森矩阵的步骤、以及所述秘密分享第二乘积的步骤；/n在新的第二乘积的条件数不满足所述预设条件时，根据新的第一模型参数的份额、新的损失函数梯度的份额和预设步长，计算第二模型参数的份额。/n...

【技术特征摘要】
1.一种模型参数确定方法，应用于第一数据方，包括：
根据特征数据和第一模型参数的份额与合作方秘密分享第一乘积，得到第一乘积的份额，所述第一乘积为特征数据和第一模型参数的乘积；
根据第一乘积的份额与合作方秘密分享激励函数的取值，得到激励函数取值的份额；
根据特征数据和激励函数取值的份额与合作方秘密分享损失函数的梯度和海森矩阵，分别得到损失函数梯度的份额和海森矩阵的份额；
根据随机正交矩阵的份额和海森矩阵的份额与合作方秘密分享第二乘积，得到第二乘积的份额，所述第二乘积为随机正交矩阵和海森矩阵之间的乘积；
在第二乘积的条件数满足预设条件时，根据海森矩阵的份额与合作方秘密分享第一逆矩阵，得到第一逆矩阵的份额，所述第一逆矩阵为海森矩阵的逆矩阵；
根据第一逆矩阵的份额、损失函数梯度的份额和第一模型参数的份额与合作方秘密分享新的第一模型参数，得到新的第一模型参数的份额；
重复执行所述秘密分享第一乘积的步骤；根据新的第一乘积的份额和激励函数对应的混淆电路与合作方进行通信，得到新的激励函数取值的份额；重复执行所述秘密分享损失函数的梯度和海森矩阵的步骤、以及所述秘密分享第二乘积的步骤；
在新的第二乘积的条件数不满足所述预设条件时，根据新的第一模型参数的份额、新的损失函数梯度的份额和预设步长，计算第二模型参数的份额。


2.如权利要求1所述的方法，还包括：
在第二乘积的条件数不满足预设条件时，根据第一模型参数的份额、损失函数梯度的份额和预设步长，计算新的第一模型参数的份额。


3.如权利要求1所述的方法，所述根据第一乘积的份额与合作方秘密分享激励函数的取值，得到激励函数取值的份额，包括：
根据第一乘积的份额与合作方秘密分享多项式的取值，得到多项式取值的份额作为激励函数取值的份额，所述多项式用于拟合所述激励函数。


4.如权利要求1所述的方法，还包括：
接收合作方发来的第二乘积的份额；
将自身的第二乘积的份额与接收的第二乘积的份额相加，得到第二乘积；
计算第二乘积的条件数。


5.如权利要求1所述的方法，还包括：
向合作方发送第二乘积的份额，以便合作方计算第二乘积的条件数。


6.如权利要求1所述的方法，所述根据海森矩阵的份额与合作方秘密分享第一逆矩阵，得到第一逆矩阵的份额，包括：
接收合作方发来的第二乘积的份额；
将自身的第二乘积的份额与接收的第二乘积的份额相加，得到第二乘积；
计算第二乘积的逆矩阵作为第二逆矩阵；
将第二逆矩阵与随机正交矩阵的份额相乘，得到第一逆矩阵的份额。


7.如权利要求1所述的方法，所述根据海森矩阵的份额与合作方秘密分享第一逆矩阵，得到第一逆矩阵的份额，包括：
向合作方发送第二乘积的份额；
接收合作方发来的第二乘积的逆矩阵作为第二逆矩阵；
将第二逆矩阵与随机正交矩阵的份额相乘，得到第一逆矩阵的份额。


8.如权利要求1所述的方法，所述根据第一逆矩阵的份额、损失函数梯度的份额和第一模型参数的份额与合作方秘密分享新的第一模型参数，得到新的第一模型参数的份额，包括：
根据第一逆矩阵的份额和损失函数梯度的份额与合作方秘密分享第三乘积，得到第三乘积的份额，所述第三乘积为第一逆矩阵和损失函数梯度之间的乘积；
将第一模型参数的份额与第三乘积的份额相减，得到新的第一模型参数的份额。


9.如权利要求1所述的方法，所述根据新的第一乘积的份额和激励函数对应的混淆电路与合作方进行通信，得到新的激励函数取值的份额，包括：
根据新的第一乘积的份额和分段线性函数对应的混淆电路与合作方进行通信，得到分段线性函数取值的份额作为新的激励函数取值的份额，所述分段线性函数用于拟合所述激励函数。


10.如权利要求1所述的方法，所述根据新的第一模型参数的份额、新的损失函数梯度的份额和预设步长，计算第二模型参数的份额，包括：
将新的损失函数梯度的份额与预设步长相乘，得到第四乘积；
将新的第一模型参数的份额与第四乘积相减，得到第二模型参数的份额。


11.一种模型参数确定方法，应用于第二数据方，包括：
根据第一模型参数的份额与合作方秘密分享第一乘积，得到第一乘积的份额，所述第一乘积为特征数据和第一模型参数的乘积；
根据第一乘积的份额与合作方秘密分享激励函数的取值，得到激励函数取值的份额；
根据标签和激励函数取值的份额与合作方秘密分享损失函数的梯度，得到损失函数梯度的份额；根据激励函数取值的份额与合作方秘密分享海森矩阵，得到海森矩阵的份额；
根据随机正交矩阵的份额和海森矩阵的份额与合作方秘密分享第二乘积，得到第二乘积的份额，所述第二乘积为随机正交矩阵和海森矩阵之间的乘积；
在第二乘积的条件数满足预设条件时，根据海森矩阵的份额与合作方秘密分享第一逆矩阵，得到第一逆矩阵的份额，所述第一逆矩阵为海森矩阵的逆矩阵；
根据第一逆矩阵的份额、损失函数梯度的份额和第一模型参数的份额与合作方秘密分享新的第一模型参数，得到新的第一模型参数的份额；
重复执行所述秘密分享第一乘积的步骤；根据新的第一乘积的份额和激励函数对应的混淆电路与合作方进行通信，得到新的激励函数取值的份额；重复执行所述秘密分享损失函数的梯度的步骤、所述秘密分享海森矩阵的步骤、以及所述秘密分享第二乘积的步骤；
在新的第二乘积的条件数不满足所述预设条件时，根据新的第一模型参数的份额、新的损失函数梯度的份额和预设步长，计算第二模型参数的份额。


12.如权利要求11所述的方法，还包括：
在第二乘积的条件数不满足预设条件时，根据第一模型参数的份额、损失函数梯度的份额和预设步长，计算新的第一模型参数的份额。


13.如权利要求11所述的方法，所述根据第一乘积的份额与合作方秘密分享激励函数的取值，得到激励函数取值的份额，包括：
根据第一乘积的份额与合作方秘...

【专利技术属性】
技术研发人员：周亚顺，李漓春，殷山，王华忠，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY