多方联合训练模型的方法及装置制造方法及图纸

本说明书实施例提供一种联合更新模型的方法及装置，适用于纵向联邦学习架构，基于特征成员的乱序处理和标签成员对标签数据、预测数据的隐藏处理的技术构思，进行适当的数据交互。具体而言，由单个特征成员将各个特征成员的中间结果的融合张量在样本维度乱序，标签成员使用乱序的融合张量进行预测。标签成员将乱序的融合张量和正常顺序的标签数据隐藏在扰乱数据中提供给该单个特征成员，由其反馈乱序情况下预测结果的梯度数据，从而标签成员更新全局模型，并经由梯度的反向传递确定乱序情况下的融合数据的梯度信息传递给该特征成员，由其更新本地局部模型。如此可以使得标签明文传输，避免标签成员恶意标记数据，更有效保护数据隐私。据隐私。据隐私。

【技术实现步骤摘要】
多方联合训练模型的方法及装置


[0001]本说明书一个或多个实施例涉及安全计算
，尤其涉及多方联合训练模型的方法及装置。

技术介绍

[0002]随着深度学习的飞速发展，人工智能技术正在几乎每个行业中展示其优势。然而大数据驱动的人工智能在现实情况中存在很多困难。例如数据孤岛现象严重，利用率低且成本一直居高不下。一些行业的单一训练成员还可能存在数据有限或数据质量较差的问题。另外，由于行业竞争，隐私安全和复杂的管理程序，即使同一公司的不同部门之间的数据集成也可能面临着巨大的阻力，数据整合成本较高。
[0003]联邦学习正是在这样的背景下提出的。联邦学习是一种基于分布式机器学习的框架，主要思想是基于分布在多个设备上的数据集构建机器学习模型，同时防止数据泄露。在这种框架下，客户端(例如移动设备)在服务器的协调下协作地训练模型，同时训练数据可保留在客户端本地，无需像传统机器学习方法将数据上传至数据中心。在联邦学习过程中，为了保证数据隐私，通常需要引入数据保密方式，并基于相应数据保密方式进行合理的数据处理及通信，则各个训练成员之间如何处理和交互数据，在保护数据隐私和降低通信量之间进行平衡，是联邦学习过程中的重要问题。

技术实现思路

[0004]本说明书一个或多个实施例描述了一种多方联合训练模型的方法、装置及系统，用以解决
技术介绍
提到的一个或多个问题。
[0005]根据第一方面，提供一种多方联合训练模型的方法，适用于多个训练成员利用各自的本地隐私数据进行纵向联邦学习的场景，所述多个训练成员包括持有标签数据的第一成员及至少一个特征成员，所述模型包括各个特征成员分别对应的各个局部模型，以及第一成员对应的全局模型，所述至少一个特征成员包括第二成员；所述方法由第二成员执行，在所述模型的当前更新周期，针对当前批次的样本，所述方法包括：对各个特征成员分别对应的各个中间结果密文进行融合得到融合张量密文，其中，单个中间结果密文由第一密钥加密相应中间结果得到，单个中间结果为单个特征成员通过本地局部模型处理本地特征数据的处理结果，所述第一密钥由第一成员提供；经由乱序规则f将所述融合张量密文在样本维度乱序得到乱序融合密文，并提供给第一成员，以供第一成员利用与所述第一密钥对应的第二密钥对所述乱序融合密文解密为乱序融合张量后，基于所述全局模型对所述乱序融合张量的处理得到乱序预测张量；从第一成员获取乱序扰动预测张量和扰动标签张量，其中，所述乱序扰动预测张量、所述扰动标签张量分别为针对所述乱序预测张量在预测维度、针对所述标签数据在标签维度扩展得到，且所述乱序预测张量在预测维度的位置k和所述标签数据在标签维度的位置k对应一致；基于所述乱序规则f、所述扰动标签张量、所述乱序扰动预测张量，对比确定所述乱序扰动预测张量对应的全局乱序梯度；与第一成员执行不
经意传输协议，由第一成员从所述全局乱序梯度中安全选择位置k处的第一子乱序梯度，以供第一成员利用所述第一子乱序梯度的反向传递更新所述全局模型，并反馈所述乱序融合密文对应的第二子乱序梯度；利用基于所述乱序规则f对所述第二子乱序梯度在样本维度进行顺序恢复得到的第二子梯度，更新本地的第二局部模型。
[0006]在一个实施例中，所述至少一个特征成员包括对应有第三局部模型的第三成员，所述方法还包括：基于所述第二子梯度以及各个中间结果密文的融合方式，确定第三成员对应的中间张量的第三子梯度；向第三成员提供所述第三子梯度，以供第三成员利用所述第三子梯度更新所述第三局部模型。
[0007]在一个实施例中，所述对各个特征成员分别对应的各个中间结果密文进行融合的融合方式包括以下之一：加和、加权平均。
[0008]在一个实施例中，所述基于所述乱序规则f、所述扰动标签张量、所述乱序扰动预测张量，对比确定所述乱序扰动预测张量对应的全局乱序梯度包括：基于所述乱序规则f对所述扰动标签张量进行乱序，得到乱序扰动标签张量；对比所述乱序扰动标签张量与所述扰动标签张量，获取模型损失；根据所述模型损失针对所述乱序扰动预测张量中各个元素的偏导数确定所述全局乱序梯度。
[0009]在一个实施例中，所述基于所述乱序规则f对所述第二子乱序梯度在样本维度进行顺序恢复包括：确定所述乱序规则f的逆乱序规则f
‑1；用所述逆乱序规则f
‑1对所述第二子乱序梯度在样本维度进行顺序调整。
[0010]在一个实施例中，所述与第一成员执行不经意传输协议，由第一成员从所述全局乱序梯度中安全选择位置k处的第一子乱序梯度包括：按照预测张量在预测维度所占维数，将所述全局乱序梯度依次分割为P个消息；与第一成员执行不经意传输协议，由第一成员从所述P个消息选择第k个消息。
[0011]根据第二方面，提供一种多方联合训练模型的方法，适用于多个训练成员利用各自的本地隐私数据进行纵向联邦学习的场景，所述多个训练成员包括持有标签数据的第一成员及至少一个特征成员，所述模型包括各个特征成员分别对应的各个局部模型，以及第一成员对应的全局模型，所述至少一个特征成员包括第二成员；所述方法由第一成员执行，在所述模型的当前更新周期，针对当前批次的样本，所述方法包括：从第二成员获取乱序融合密文，其中，所述乱序融合密文经由第二成员对各个特征成员分别对应的各个中间结果密文进行融合后由乱序规则f乱序得到，单个中间结果为单个特征成员通过本地局部模型处理本地特征数据的处理结果，单个中间结果密文由第一密钥加密相应中间结果得到，所述第一密钥由第一成员提供；利用第二密钥将所述乱序融合密文解密为乱序融合张量，所述第二密钥用于解密所述第一密钥加密的数据；基于所述全局模型对所述乱序融合张量的处理得到乱序预测张量；分别对所述乱序预测张量在预测维度、所述标签数据在标签维度各自扩展得到乱序扰动预测张量和扰动标签张量提供给第二成员，其中，所述乱序预测张量在所述乱序扰动预测张量中的位置k和所述标签数据在所述扰动标签张量中的位置k对应一致，以供第二成员基于乱序规则f、所述乱序扰动预测张量、所述扰动标签张量反馈针对所述乱序扰动标签张量的全局乱序梯度；与第二成员执行不经意传输协议，从所述全局乱序梯度中安全选择位置k处的第一子乱序梯度；利用所述第一子乱序梯度的反向传递，更新所述全局模型并确定所述乱序融合密文对应的第二子乱序梯度；向第二成员提供所述第
二子乱序梯度，以供第二成员基于所述乱序规则f及所述第二子乱序梯度更新本地的第二局部模型。
[0012]在一个实施例中，所述第一成员还对应有第一特征数据和第一局部模型，所述方法还包括：利用所述第一局部模型及更新后的全局模型依次处理第一批次样本的所述第一特征数据，得到第一预测张量；基于所述第一批次样本对应的第一标签数据与所述第一预测张量的对比，确定本地模型损失；向所述本地模型损失减小的方向调整所述第一局部模型中的待定参数，从而更新所述第一局部模型。
[0013]在一个进一步的实施例中，所述第一批次样本与所述当前批次的样本一致，所述第一局部模型处理所述当前批次的第一特征数据得到的中间结果为第一中间结果，所述利用所述第一局部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多方联合训练模型的方法，适用于多个训练成员利用各自的本地隐私数据进行纵向联邦学习的场景，所述多个训练成员包括持有标签数据的第一成员及至少一个特征成员，所述模型包括各个特征成员分别对应的各个局部模型，以及第一成员对应的全局模型，所述至少一个特征成员包括第二成员；所述方法由第二成员执行，在所述模型的当前更新周期，针对当前批次的样本，所述方法包括：对各个特征成员分别对应的各个中间结果密文进行融合得到融合张量密文，其中，单个中间结果密文由第一密钥加密相应中间结果得到，单个中间结果为单个特征成员通过本地局部模型处理本地特征数据的处理结果，所述第一密钥由第一成员提供；经由乱序规则f将所述融合张量密文在样本维度乱序得到乱序融合密文，并提供给第一成员，以供第一成员利用与所述第一密钥对应的第二密钥对所述乱序融合密文解密为乱序融合张量后，基于所述全局模型对所述乱序融合张量的处理得到乱序预测张量；从第一成员获取乱序扰动预测张量和扰动标签张量，其中，所述乱序扰动预测张量、所述扰动标签张量分别为针对所述乱序预测张量在预测维度、针对所述标签数据在标签维度扩展得到，且所述乱序预测张量在预测维度的位置k和所述标签数据在标签维度的位置k对应一致；基于所述乱序规则f、所述扰动标签张量、所述乱序扰动预测张量，对比确定所述乱序扰动预测张量对应的全局乱序梯度；与第一成员执行不经意传输协议，由第一成员从所述全局乱序梯度中安全选择位置k处的第一子乱序梯度，以供第一成员利用所述第一子乱序梯度的反向传递更新所述全局模型，并反馈所述乱序融合密文对应的第二子乱序梯度；利用基于所述乱序规则f对所述第二子乱序梯度在样本维度进行顺序恢复得到的第二子梯度，更新本地的第二局部模型。2.如权利要求1所述的方法，其中，所述至少一个特征成员包括对应有第三局部模型的第三成员，所述方法还包括：基于所述第二子梯度以及各个中间结果密文的融合方式，确定第三成员对应的中间张量的第三子梯度；向第三成员提供所述第三子梯度，以供第三成员利用所述第三子梯度更新所述第三局部模型。3.如权利要求1所述的方法，其中，所述对各个特征成员分别对应的各个中间结果密文进行融合的融合方式包括以下之一：加和、加权平均。4.如权利要求1所述的方法，其中，所述基于所述乱序规则f、所述扰动标签张量、所述乱序扰动预测张量，对比确定所述乱序扰动预测张量对应的全局乱序梯度包括：基于所述乱序规则f对所述扰动标签张量进行乱序，得到乱序扰动标签张量；对比所述乱序扰动标签张量与所述扰动标签张量，获取模型损失；根据所述模型损失针对所述乱序扰动预测张量中各个元素的偏导数确定所述全局乱序梯度。5.如权利要求1所述的方法，其中，所述基于所述乱序规则f对所述第二子乱序梯度在样本维度进行顺序恢复包括：确定所述乱序规则f的逆乱序规则f
‑1；
用所述逆乱序规则f
‑1对所述第二子乱序梯度在样本维度进行顺序调整。6.如权利要求1所述的方法，其中，所述与第一成员执行不经意传输协议，由第一成员从所述全局乱序梯度中安全选择位置k处的第一子乱序梯度包括：按照预测张量在预测维度所占维数，将所述全局乱序梯度依次分割为P个消息；与第一成员执行不经意传输协议，由第一成员从所述P个消息选择第k个消息。7.一种多方联合训练模型的方法，适用于多个训练成员利用各自的本地隐私数据进行纵向联邦学习的场景，所述多个训练成员包括持有标签数据的第一成员及至少一个特征成员，所述模型包括各个特征成员分别对应的各个局部模型，以及第一成员对应的全局模型，所述至少一个特征成员包括第二成员；所述方法由第一成员执行，在所述模型的当前更新周期，针对当前批次的样本，所述方法包括：从第二成员获取乱序融合密文，其中，所述乱序融合密文经由第二成员对各个特征成员分别对应的各个中间结果密文进行融合后由乱序规则f乱序得到，单个中间结果为单个特征成员通过本地局部模型处理本地特征数据的处理结果，单个中间结果密文由第一密钥加密相应中间结果得到，所述第一密钥由第一成员提供；利用第二密钥将所述乱序融合密文解密为乱序融合张量，所述第二密钥用于解密所述第一密钥加密的数据；基于所述全局模型对所述乱序融合张量的处理得到乱序预测张量；分别对所述乱序预测张量在预测维度、所述标签数据在标签维度各自扩展得到乱序扰动预测张量和扰动标签张量提供给第二成员，其中，所述乱序预测张量在所述乱序扰动预测张量中的位置k和所述标签数据在所述扰动标签张量中的位置k对应一致，以供第二成员基于乱序规则f、所述乱序扰动预测张量、所述扰动标签张量反馈针对所述乱序扰动标签张量的全局乱序梯度；与第二成员执行不经意传输协议，从所述全局乱序梯度中安全选择位置k处的第一子乱序梯度；利用所述第一子乱序梯度的反向传递，更新所述全局模型并确定所述乱序融合密文对应的第二子乱序梯度；向第二成员提供所述第二子乱序梯度，以供第二成员基于所述乱序规则f及所述第二子乱序梯度更新本地的第二局部模型。8.如权利要求7所述的方法，其中，所述第一成员还对应有第一特征数据和第一局部模型，所述方法还包括：利用所述第一局部模型及更新后的全局模型依次处理第一批次样本的所述第一特征数据，得到第一预测张量；基于所述第一批次样本对应的第一标签数据与所述第一预测张量的对比，确定本地模型损失；向所述本地模型损失减小的方向调整所述第一局部模型中的待定参数，从而更新所述第一局部模型。9.如权利要求8所述的方法，其中，所述第一批次样本与所述当前批次的样本一致，所述第一局部模型处理所述当前批次的第一特征数据得到的中间结果为第一中间结果，所述利用所述第一局部模型及更新后的全局模型依次处理第一批次样本的所述第一特征数据，
得到第一预测张量为：利用更新后的全局模型处理所述第一中间结果得到所述第一预测张量。10.如权利要求7所述的方法，其中，第二成员对各个特征成员分别对应的各个中间结果密文进行融合的融合方式包括以下之一：加和、加权平均。11.如权利要求7所述的方法，其中，乱序扰...

【专利技术属性】
技术研发人员：郑龙飞，王磊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：