公开了使用对等网络进行联合学习的系统和方法。一种方法可以包括：使用一致性算法选举参与者节点作为协作者节点；协作者节点生成并广播公钥/私钥对；参与者节点针对与协作者节点的每次通信生成公钥/私钥对，利用协作者节点的公钥加密并广播包括用于参与者节点的本地机器学习模型的参数及其公钥的消息，协作者节点解密经加密的消息，利用解密后的参数更新聚合的机器学习模型，利用每个参与者节点的公钥加密并广播更新消息，每个更新消息包括更新；参与者节点利用它们的私钥解密消息中的一个，并且参与者节点利用更新来更新它们的本地机器学习模型。机器学习模型。机器学习模型。
【技术实现步骤摘要】
【国外来华专利技术】使用对等网络进行联合学习的系统和方法
[0001]各实施例总体涉及使用对等网络进行联合学习的系统和方法。
技术介绍
[0002]在分布式计算时代，数据和计算资源的规模通常是通过在水平方向上跨多个系统分配工作负荷来处理的。分布式计算，特别是分布式机器学习，带来了许多令人兴奋的机会。它还在数据隐私和数据安全非常重要的领域提出了新的挑战。为机器学习设计有弹性、高可用性和稳健的生态系统同样具有挑战性。联合学习为在分布式环境中实施机器学习奠定了基础，在该环境中，异构机器可以以协作的方式参与其中。
[0003]联合学习通常涉及联合网络中的“聚合器节点”和一组“参与者节点”。当前可用的实施方式具有聚合器节点和各种参与者节点的集中式设计，并且它们形成用于通信的星形拓扑。参与者节点将其本地模型梯度发送到聚合器节点，并且聚合器节点将所有接收到的模型一起组成奇异(singular)全局模型。然后将该奇异全局模型发送回所有参与者节点。在这种设置中，参与者在不了解所有基础数据的情况下，从共同学习中受益。
[0004]虽然联合学习确实考虑到了隐私、安全和匿名性，但聚合器节点成为了联合网络中的单一故障点。在出现不想要的故障时，这会带来停机风险，这可能会导致网络上的关键进程停止。
技术实现思路
[0005]公开了使用对等网络进行联合学习的系统和方法。根据一个实施例，一种使用对等网络进行联合学习的方法可以包括：(1)由对等网络中的多个参与者节点使用一致性算法来选举参与者节点中的一个作为协作者节点；(2)由协作者节点生成协作者节点公钥和协作者节点私钥；(3)由协作者节点并且向多个参与者节点广播协作者节点公钥；(4)由每个参与者节点生成参与者节点公钥和参与者节点私钥，其中，每个参与者节点针对与协作者节点的每次通信生成新的参与者节点公钥以及新的参与者节点私钥；(5)由每个参与者节点利用协作者节点公钥加密消息，该消息包括用于参与者节点的本地机器学习模型的参数和参与者节点公钥；(6)由每个参与者节点在对等网络上广播经加密的消息；(7)由协作者节点利用协作者节点私钥解密经加密的消息中的每一个；(8)由协作者节点利用本地机器学习模型的解密后的参数来更新聚合的机器学习模型；(9)由协作者节点利用每个参与者节点的公钥加密多个更新消息，每个更新消息包括来自聚合的机器学习模型的更新；(10)由协作者节点在对等网络上广播多个消息；(11)由参与者节点中的每一个，利用参与者节点的参与者节点私钥来解密多个消息中的一个；并且(12)由参与者节点中的每一个利用该更新来更新参与者节点的本地机器学习模型。
[0006]在一个实施例中，一致性算法可以是Raft一致性算法。
[0007]在一个实施例中，参数可以包括与模型交换有关的信息、本地机器学习模型权重和/或本地机器学习模型。
[0008]在一个实施例中，参数可以包括清晰数据和/或合成数据。
[0009]在一个实施例中，协作者节点可以使用解密后的参数来执行模型聚合。
[0010]在一个实施例中，协作者节点可以使用解密后的参数来训练聚合的机器学习模型。
[0011]在一个实施例中，参与者节点在有限的时间段内是协作者节点。
[0012]在一个实施例中，协作者节点可以向参与者节点广播心跳。
[0013]在一个实施例中，参与者节点可以响应于协作者节点不活动而选举新的协作者节点。
[0014]根据另一个实施例，一种系统可以包括多个参与者节点以及对等网络，每个参与者节点与本地机器学习模型相关联，该对等网络连接多个参与者节点。多个参与者节点可以使用一致性算法来选举多个参与者节点中的一个作为协作者节点；协作者节点可以生成协作者节点公钥和协作者节点私钥，并且可以向多个参与者节点广播协作者节点公钥；每个参与者节点可以生成参与者节点公钥和参与者节点私钥，其中，每个参与者节点针对与协作者节点的每次通信，生成新的参与者节点公钥和新的参与者节点私钥，可以利用协作者节点公钥加密包括用于参与者节点的本地机器学习模型的参数和参与者节点公钥的消息，并且可以在对等网络上广播经加密的消息；协作者节点可以利用协作者节点私钥解密经加密的消息中的每一个，可以利用本地机器学习模型的解密后的参数更新聚合的机器学习模型，可以利用每个参与者节点的公钥加密各自包括来自聚合的机器学习模型的更新的多个更新消息，并且可以在对等网络上广播多个消息；参与者节点中的每一个可以利用其用于参与者节点的参与者节点私钥来解密多个消息中的一个，并且可以利用该更新来更新其本地机器学习模型。
[0015]在一个实施例中，一致性算法是Raft一致性算法。
[0016]在一个实施例中，参数可以包括与模型交换有关的信息、本地机器学习模型权重和/或本地机器学习模型。
[0017]在一个实施例中，参数可以包括清晰数据和/或合成数据。
[0018]在一个实施例中，协作者节点可以使用解密后的参数来执行模型聚合。
[0019]在一个实施例中，协作者节点可以使用解密后的参数来训练聚合的机器学习模型。
[0020]在一个实施例中，参与者节点可以在有限的时间段内是协作者节点。
[0021]在一个实施例中，协作者节点可以向参与者节点广播心跳。
[0022]在一个实施例中，参与者节点可以响应于协作者节点不活动而选举新的协作者节点。
附图说明
[0023]为了更完整地理解本专利技术、其目的和优点，现在参考以下结合附图的描述，其中：
[0024]图1描绘了根据一个实施例的使用对等网络进行联合学习的系统；
[0025]图2描绘了根据一个实施例的使用对等网络进行联合学习的方法；
[0026]图3描绘了根据一个实施例的对等网络中的参与者节点的状态图。
具体实施方式
[0027]各实施例涉及使用对等网络进行模型权重的去中心化编排的联合学习的系统和方法。
[0028]2020年11月20日提交的印度专利申请No.202011050561的公开内容通过引用整体并入本文。
[0029]各实施例总体涉及通过使用联合网络中的参与者节点之间的对等通信利用联合学习去中心化来提供有弹性且高度可用的聚合器服务。所有参与者节点可以在网络上具有等效的能力，并且所有参与者节点都能够彼此通信。在任何给定的时间点，网络中可能只有一个参与者节点充当“领导者”(或协作者节点)，而其他参与者节点则充当“跟随者节点”。在领导者节点变得不可用或无响应(例如，它崩溃)的情况下，网络进行新的领导者选举，以在剩余的参与者节点中选择领导者节点。这可遵循Raft一致性算法来进行选举和指定领导者。
[0030]领导者节点可以负责充当网络的瞬时聚合器。在各实施例中，为了在参与者节点之间分配工作负荷，并给网络中的每个参与者节点公平的机会来承担“领导者节点”的角色，可以在经过预定义的时间间隔之后选举新的领导者节点。
[0031]参考图1，根据一个实施例，公开了一种使用对等网络进行联合学习的系统本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种使用对等网络进行联合学习的方法，包括：由对等网络中的多个参与者节点使用一致性算法来选举所述参与者节点中的一个作为协作者节点；由所述协作者节点生成协作者节点公钥和协作者节点私钥；由所述协作者节点并且向所述多个参与者节点广播所述协作者节点公钥；由每个参与者节点生成参与者节点公钥和参与者节点私钥，其中，每个参与者节点针对与所述协作者节点的每次通信生成新的参与者节点公钥以及新的参与者节点私钥；由每个参与者节点利用所述协作者节点公钥加密包括用于所述参与者节点的本地机器学习模型的参数和所述参与者节点公钥的消息；由每个参与者节点在所述对等网络上广播经加密的消息；由所述协作者节点利用所述协作者节点私钥解密所述经加密的消息中的每一个；由所述协作者节点利用所述本地机器学习模型的解密后的参数来更新聚合的机器学习模型；由所述协作者节点利用每个参与者节点的公钥加密多个更新消息，每个更新消息包括来自所述聚合的机器学习模型的更新；由所述协作者节点在所述对等网络上广播所述多个消息；由所述参与者节点中的每一个，利用所述参与者节点的所述参与者节点私钥来解密所述多个消息中的一个；并且由所述参与者节点中的每一个，利用所述更新来更新所述参与者节点的所述本地机器学习模型。2.根据权利要求1所述的方法，其中，所述一致性算法是Raft一致性算法。3.根据权利要求1所述的方法，其中，所述参数包括与模型交换有关的信息、本地机器学习模型权重和/或所述本地机器学习模型。4.根据权利要求1所述的方法，其中，所述参数包括清晰数据和/或合成数据。5.根据权利要求1所述的方法，其中，所述协作者节点使用所述解密后的参数执行模型聚合。6.根据权利要求1所述的方法，其中，所述协作者节点使用所述解密后的参数来训练所述聚合的机器学习模型。7.根据权利要求1所述的方法，其中，所述参与者节点在有限的时间段内是所述协作者节点。8.根据权利要求1所述的方法，其中，所述协作者节点向所述参与者节点广播心跳。9.根据权利要求1所述的方法，其中，所述参与者节点响应于所述协作者节点不活动而选举新的协作者节点。10.一种系统，包括：多个参与者节点，每个参与者...
【专利技术属性】
技术研发人员：M，
申请(专利权)人：摩根大通国家银行，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。