分布式分散化机器学习模型训练制造技术

本发明专利技术公开了用于分布式分散化机器学习模型训练的系统和方法。在某些实施方案中，网络中的第一节点可包括电路，所述电路被配置为接收具有初始参数集的初始机器学习模型，应用所述本地数据来更新所述初始计算机学习模型的参数以生成更新的机器学习模型，经由网络接口将所述更新的机器学习模型的副本从所述第一节点传输至所述网络中的多个相邻节点，经由所述网络接口从第一相邻节点接收修改的机器学习模型，所述修改的机器学习模型具有基于所述第一相邻节点的本地数据设置的参数，基于所述修改的机器学习模型来修改所述更新的机器学习模型，并且将所述更新的机器学习模型应用于控制所述第一节点处的操作。于控制所述第一节点处的操作。于控制所述第一节点处的操作。

【技术实现步骤摘要】
分布式分散化机器学习模型训练

技术实现思路

[0001]在某些实施方案中，一种方法可包括在网络中的第一节点处接收具有初始参数集的初始机器学习模型，应用第一节点的本地数据来更新初始机器学习模型的参数以生成更新的机器学习模型，将更新的机器学习模型的副本从第一节点传输到网络中的第一邻居节点，在第一节点处从第一相邻节点接收修改的机器学习模型，该修改的机器学习模型具有基于第一相邻节点的本地数据设置的参数，在该第一节点处基于修改的机器学习模型来修改更新的机器学习模型，并且应用更新的机器学习模型来执行第一节点处的操作。
[0002]在某些实施方案中，存储器装置可存储指令，所述指令在被执行时使处理器执行一种方法，该方法包括：在网络中的包括处理器的节点处接收具有初始参数集的初始机器学习模型，应用第一节点的本地数据来更新初始机器学习模型的参数以生成更新的机器学习模型，将更新的机器学习模型的副本从第一节点传输到网络中的第一相邻节点，在第一节点处从第一相邻节点接收修改的机器学习模型，该修改的机器学习模型具有基于第一相邻节点的本地数据设置的参数，在该第一节点处基于修改的机器学习模型来修改更新的机器学习模型，并且应用更新的机器学习模型来执行第一节点处的操作。
[0003]在某些实施方案中，设备可包括网络中的第一节点，该第一节点包括具有被配置为将该第一节点连接至网络的网络接口的计算系统、被配置为存储本地数据的非易失性存储器，以及电路。该电路可被配置为执行分布式机器学习模型训练过程，包括：接收具有初始参数集的初始机器学习模型，应用本地数据来更新初始机器学习模型的参数以生成更新的机器学习模型，经由网络接口将更新的机器学习模型的副本从第一节点传输到网络中的多个相邻节点，经由网络接口从第一相邻节点接收修改的机器学习模型，该修改的机器学习模型具有基于第一相邻节点的本地数据设置的参数，基于修改的机器学习模型来修改更新的机器学习模型，并且应用更新的机器学习模型来控制第一节点处的操作。
附图说明
[0004]图1是根据本公开的某些实施方案的用于分布式分散化机器学习模型训练的系统的图；
[0005]图2是根据本公开的某些实施方案的用于分布式分散化机器学习模型训练的系统的图；
[0006]图3是根据本公开的某些实施方案的用于分布式分散化机器学习模型训练的方法的流程图；
[0007]图4是根据本公开的某些实施方案的用于分布式分散化机器学习模型训练的系统的图；并且
[0008]图5是根据本公开的某些实施方案的用于分布式分散化机器学习模型训练的系统的图。
具体实施方式
[0009]在以下对某些实施方案的详细描述中，参考形成其一部分的附图，在附图中以示例性实施方案的图示示出。还应当理解，可以组合、交换或移除本文的实施方案和示例的特征，可以利用或创建其他实施方案，并且可在不脱离本公开的范围的情况下进行结构上的改变。
[0010]根据各种实施方案，本文所述的方法和功能可被实现为在计算机处理器或控制器上运行的一个或多个软件程序。同样可以构造专用硬件具体实施，包括但不限于专用集成电路、可编程逻辑阵列和其他硬件装置，以实现本文所述的方法和功能。方法和功能可由模块或节点执行，所述模块或节点可包括被配置为执行特定任务或作业的一个或多个计算装置(例如，逻辑、电路、处理器等)的一个或多个物理部件，或者可包括指令，所述指令在被执行时可使一个或多个处理器执行特定任务或作业，或者它们的任何组合。此外，本文所述的方法可被实现为计算机可读存储介质或存储器装置，所述存储器装置包括指令，所述指令在被执行时使一个或多个处理器执行方法。
[0011]图1为根据本公开的某些实施方案的用于分布式分散化机器学习模型训练的一般表示为100的系统的图。机器学习或计算机学习可以指人工智能的一个分支，其中计算机系统可执行数据分析来标识模式，作出决策，并且基于数据来执行任务，而不需要明确的指令或人为干预。机器学习算法可应用于在称为训练模型的过程中使用样本数据(也可以称为“训练数据”)来构建数学模型。基于训练数据生成或更新的模型可由计算机系统使用，以便对执行任务进行预测或决策，而无需显式编程来执行任务。机器学习可应用于各种任务和应用，包括营销、欺诈检测或电子邮件过滤、健康诊断、计算机视觉或可能难以编写传统的计算机程序来执行任务的其他应用。机器学习和模型训练可以是迭代过程，其中随着接收到更多的数据，可对模型进行更新。
[0012]更多的数据可构建更准确或更有效的模型。机器学习的一种方法可以是在可以处理数据来更新自身的数据模型的中央计算机系统处聚合可能来自各种分布式源的大量数据。然而，这些各种分布式数据源可能不希望将其私有或专有数据公开到外部聚合器。数据可包括来自个人的敏感信息或私有信息，诸如数据源可能不希望共享的财务或医疗记录，或者有价值的公司记录诸如客户清单。擦除个人标识信息或敏感信息的数据可能是时间密集且造成浪费的，并且敏感信息可能仍然会与非敏感数据一起流失。擦除数据也可能会移除可提高模型准确度的可能有用的信息。此外，集中式系统可能需要大量的计算资源来存储和处理数据。
[0013]对机器学习的另一种方法可包括使用联合学习，其中中央处理机构将机器学习模型分发给网络中的各种边缘装置或节点。这些节点可基于节点处的本地数据来更新模型，从而减轻中央处理机构的一些处理和数据存储负担。然后，中央机构从节点收集更新的模型并且将这些模型整合在一起以生成单个全局模型。该过程可基于具体实施来保护私有数据，但仍然由中央服务器控制，该中央服务器分发然后组合并且控制来自所有节点的模型信息。
[0014]本文描述了一种改进的系统，其中分布式分散化过程可应用于机器学习模型训练。分布式分散化模型训练方法可在分配工作负荷和数据存储时提供差异化的数据隐私，并且还避免了集中机构控制或拥有模型。利用一些实施方式，可生成模型的局部特定版本，
从而为每个局部提供改进的结果。
[0015]可经由网络110执行模型训练，诸如分布式节点102a、102b的对等网络。网络110可由多个节点102a、102b和边缘104构成。
[0016]节点102a、102b可包括使用本文所述的机器学习模型的计算系统或组，并且有时可被描述为“用户”。用户可参考计算系统或参考计算系统的人类用户，所述人类用户的个人兴趣和数据可影响机器学习模型。节点102a、102b可包括个人或私人计算装置，诸如膝上型电脑、台式机或智能电话；后端系统，诸如一个或多个服务器计算系统；子网络，诸如大学、医学校区或企业内部网；其他计算系统安排；或它们的任何组合。每个节点102a、102b可存储可用于更新或调整机器学习模型的本地数据。
[0017]边缘104可表示节点102a、102b之间的物理连接，或者可表示节点之间的一个或多个其他连接，诸如表示各种节点在特定方面的相似程度的相似度值。例如，相似度值可表示两个节点之间的地理接近度。在另一个示例中，相似度值可指示两种类型的节点的相似程度，其中表示医疗机构的节点彼此可具有较高的相似度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，所述方法包括：在包括一组节点的网络中的第一节点处接收初始机器学习模型；应用所述第一节点的本地数据来更新所述初始机器学习模型的参数以生成更新的机器学习模型；将所述更新的机器学习模型从所述第一节点传输到所述网络中的第一相邻节点；在所述第一节点处从所述第一相邻节点接收修改的机器学习模型，所述修改的机器学习模型具有基于所述第一相邻节点的本地数据设置的参数；在所述第一节点处基于所述修改的机器学习模型来修改所述更新的机器学习模型，以及应用所述更新的机器学习模型以在所述第一节点处执行操作。2.如权利要求1所述的方法，还包括：从所述网络中的所述组节点确定包括所述第一相邻节点的多个相邻节点；以及将所述更新的机器学习模型的所述副本从所述第一节点传输到所述多个相邻节点。3.如权利要求2所述的方法，还包括：确定所述多个相邻节点包括确定在所述第一节点的所选择数量的分离度内的节点；以及分离度包括由所述网络的单个边缘分开的两个节点。4.如权利要求3所述的方法，还包括：将所述更新的机器学习模型的所述副本从所述第一节点传输到所述多个相邻节点包括：将所述更新的机器学习模型的所述副本和所选择数量的分离度从所述第一节点传输到所述第一节点的一度邻居；以及指示所述第一度邻居将所述更新的机器学习模型转发给所述一度邻居的各个邻居，同时减少对应于所选择数量的分离度的计数器。5.如权利要求1所述的方法，还包括：在所述第一节点处访问具有所述网络中不同节点之间的相似度值的数值表示的相似度矩阵数据结构；以及将所述第一相邻节点确定为与所述第一节点共享大于所选择的阈值的相似度值的节点。6.如权利要求5所述的方法，还包括：在所述第一节点处基于所述修改的机器学习模型来修改所述更新的机器学习模型，包括：基于所述第一相邻节点与所述第一节点的所述相似度值，将加权因子应用于所述修改的机器学习模型；以及基于所述加权因子来聚合所述更新的机器学习模型和所述修改的机器学习模型。7.如权利要求1所述的方法，还包括：应用...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：希捷科技有限公司，
类型：发明
国别省市：