本申请公开了一种模型训练中的权重聚合方法、装置及系统，涉及多方安全计算技术领域和隐私计算技术领域，包括：分片聚合设备接收模型训练设备发送的梯度分片，该梯度分片为该模型训练设备将模型训练得到的梯度进行拆分得到的多个梯度分片之一，该多个梯度分片的数量与多个分片聚合设备的数量相同，该多个梯度分片中的其他梯度分片分别由该模型训练设备一一对应的发送给其他分片聚合设备；当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片；向模型训练设备发送权重分片。采用本方案，实现了采用多方安全技术对机器学习模型的联合训练。对机器学习模型的联合训练。对机器学习模型的联合训练。
【技术实现步骤摘要】
一种模型训练中的权重聚合方法、装置及系统
[0001]本申请涉及多方安全计算
和隐私计算
，尤其涉及一种模型训练中的权重聚合方法、装置及系统。
技术介绍
[0002]在机器学习
，可以使用历史数据进行机器学习模型的训练，其训练过程往往是一个迭代的过程，通过迭代不断优化机器学习模型的参数。例如，在逻辑回归模型中，模型的参数可以称作权重，每个迭代过程的训练中，使用训练数据和当前权重进行计算，并基于计算结果和模型的标签计算出用于调整权重的梯度，并使用梯度调整当前权重得到新的权重，用于下一次迭代过程的训练。
[0003]在机器学习技术的实际应用中，为了提高训练效率，提出了异步机器学习的训练方式，利用分布式数据和计算资源实现机器学习模型的联合训练。
[0004]如图1所示，全部的训练数据分布在多个模型训练设备，每个模型训练设备持有一部分训练数据，在完成一次训练后，向中心化权重聚合节点发送本次训练得到的梯度，例如，模型训练设备1向中心化权重聚合节点发送梯度g1，中心化权重聚合节点将接收的梯度与当前权重进行聚合，得到最新的权重w，并在模型训练设备请求权重时，将最新的权重返回给模型训练设备，供模型训练设备使用最新的权重进行训练。
[0005]在异步机器学习的训练方式，不需要各模型训练设备同步上传各自训练得到的梯度，各模型训练设备又可以同步执行训练过程，因此，提高了训练效率，并且能够更有效的利用计算资源。
[0006]多方安全计算（MPC）可以在保护个人隐私信息的前提下，实现隐私数据共享。MPC是指某一组互相不信任的参与者在保护个人隐私的同时，还可以进行协同计算。MPC需要确保输入数据的独立性、传递数据的准确性、计算过程的正确性，同时不能将个人的隐私数据泄露给其他参与者。
[0007]隐私保护计算（Privacy
‑
Preserving Computing）是指在保护隐私信息的前提下，实现数据价值的分析和挖掘，即实现数据在加密的、非透明的状态下的计算，以保护计算各参与方的隐私信息安全。隐私保护计算的技术，可应用于多方安全计算。
[0008]目前，在机器学习技术的一些应用场景中，当多个训练设备基于各自持有的训练数据进行联合训练时，为了保护各自训练数据的安全，防止数据泄露，在训练过程中需要引入多方安全计算技术和隐私保护计算技术。
技术实现思路
[0009]本申请实施例提供一种模型训练中的权重聚合方法、装置及系统，用以解决现有技术中存在的如何采用多方安全技术实现对机器学习模型的联合训练的问题。
[0010]本申请实施例提供一种模型训练中的权重聚合方法，应用于模型训练系统中的每个分片聚合设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，所述方
法，包括：接收模型训练设备发送的梯度分片，该梯度分片为该模型训练设备将模型训练得到的梯度进行拆分得到的多个梯度分片之一，该多个梯度分片的数量与所述多个分片聚合设备的数量相同，该多个梯度分片中的其他梯度分片分别由该模型训练设备一一对应的发送给其他分片聚合设备，其他每个分片聚合设备接收到其中一个梯度分片；当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片；向模型训练设备发送所述权重分片。
[0011]进一步的，所述当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片，包括：当需要进行梯度聚合时，针对本次聚合所接收到的来自各模型训练设备的各梯度分片，确定其中是否存在不参与聚合的梯度分片，当一个梯度分片的其他属于同一梯度的梯度分片未全部被其他分片聚合设备接收到时，该梯度分片为不参与聚合的梯度分片；将本次聚合所接收到的来自各模型训练设备的各梯度分片中需要参与聚合的梯度分片进行聚合，得到本次聚合的权重分片。
[0012]进一步的，所述当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，包括：当聚合周期到达时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合。
[0013]进一步的，所述当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，包括：当接收到模型训练设备发送的权重请求时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合；所述向模型训练设备发送所述权重分片，包括：向发送所述权重请求的该模型训练设备发送所述权重分片。
[0014]本申请实施例提供一种模型训练中的权重聚合方法，应用于模型训练系统中的每个模型训练设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，所述方法，包括：将本次模型训练得到的梯度拆分为多个梯度分片，该多个梯度分片的数量与所述多个分片聚合设备的数量相同；向所述多个分片聚合设备一一对应的发送所述多个梯度分片，每个分片聚合设备接收到其中一个梯度分片，使得分片聚合设备在接收到梯度分片后，当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片。
[0015]进一步的，还包括：接收所述多个分片聚合设备发送的本次聚合的权重分片；将属于本次聚合的多个权重分片进行聚合，得到用于下次训练的权重。
[0016]进一步的，在所述接收所述多个分片聚合设备发送的本次聚合的权重分片之前，还包括：
向所述多个分片聚合设备发送权重请求。
[0017]本申请实施例提供一种模型训练中的权重聚合装置，应用于模型训练系统中的每个分片聚合设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，所述装置，包括：梯度分片接收模块，用于接收模型训练设备发送的梯度分片，该梯度分片为该模型训练设备将模型训练得到的梯度进行拆分得到的多个梯度分片之一，该多个梯度分片的数量与所述多个分片聚合设备的数量相同，该多个梯度分片中的其他梯度分片分别由该模型训练设备一一对应的发送给其他分片聚合设备，其他每个分片聚合设备接收到其中一个梯度分片；梯度聚合模块，用于当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片；权重分片发送模块，用于向模型训练设备发送所述权重分片。
[0018]进一步的，所述梯度聚合模块，具体用于当需要进行梯度聚合时，针对本次聚合所接收到的来自各模型训练设备的各梯度分片，确定其中是否存在不参与聚合的梯度分片，当一个梯度分片的其他属于同一梯度的梯度分片未全部被其他分片聚合设备接收到时，该梯度分片为不参与聚合的梯度分片；将本次聚合所接收到的来自各模型训练设备的各梯度分片中需要参与聚合的梯度分片进行聚合，得到本次聚合的权重分片。
[0019]进一步的，所述梯度聚合模块，具体用于当聚合周期到达时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合。
[0020]进一步的，所述梯度聚合模块，具体本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练中的权重聚合方法，其特征在于，应用于模型训练系统中的每个分片聚合设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，所述方法，包括：接收模型训练设备发送的梯度分片，该梯度分片为该模型训练设备将模型训练得到的梯度进行拆分得到的多个梯度分片之一，该多个梯度分片的数量与所述多个分片聚合设备的数量相同，该多个梯度分片中的其他梯度分片分别由该模型训练设备一一对应的发送给其他分片聚合设备，其他每个分片聚合设备接收到其中一个梯度分片；当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片；向模型训练设备发送所述权重分片。2.如权利要求1所述的方法，其特征在于，所述当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片，包括：当需要进行梯度聚合时，针对本次聚合所接收到的来自各模型训练设备的各梯度分片，确定其中是否存在不参与聚合的梯度分片，当一个梯度分片的其他属于同一梯度的梯度分片未全部被其他分片聚合设备接收到时，该梯度分片为不参与聚合的梯度分片；将本次聚合所接收到的来自各模型训练设备的各梯度分片中需要参与聚合的梯度分片进行聚合，得到本次聚合的权重分片。3.如权利要求1所述的方法，其特征在于，所述当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，包括：当聚合周期到达时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合。4.如权利要求1所述的方法，其特征在于，所述当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，包括：当接收到模型训练设备发送的权重请求时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合；所述向模型训练设备发送所述权重分片，包括：向发送所述权重请求的该模型训练设备发送所述权重分片。5.一种模型训练中的权重聚合方法，其特征在于，应用于模型训练系统中的每个模型训练设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，所述方法，包括：将本次模型训练得到的梯度拆分为多个梯度分片，该多个梯度分片的数量与所述多个分片聚合设备的数量相同；向所述多个分片聚合设备一一对应的发送所述多个梯度分片，每个分片聚合设备接收到其中一个梯度分片，使得分片聚合设备在接收到梯度分片后，当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片。6.如权利要求5所述的方法，其特征...
【专利技术属性】
技术研发人员：陈智隆，陈琨，苏乐，
申请(专利权)人：华控清交信息科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。