一种联邦学习的模型参数更新方法及装置制造方法及图纸

本发明专利技术实施例涉及机器学习领域，尤其涉及一种联邦学习的模型参数更新方法及装置，用以降低模型参数有损压缩带来的误差，提高联邦学习模型的准确性。本发明专利技术实施例包括：第一端接收第二端发送的第一联邦模型参数，对第一联邦模型参数进行更新得到第二联邦模型参数；第一端将第二联邦模型参数有损压缩得到压缩模型参数，并将压缩模型参数解压缩得到有损模型参数；第一端根据有损模型参数与第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；第一端将压缩模型参数、有损压缩误差以及抖动参数向第二端发送，以使第二端将压缩模型参数解压缩得到有损模型参数，并根据有损压缩误差、抖动参数以及有损模型参数确定第三联邦模型参数。

A Method and Device for Updating Model Parameters in Federal Learning

【技术实现步骤摘要】
一种联邦学习的模型参数更新方法及装置
本专利技术涉及机器学习领域，尤其涉及一种联邦学习的模型参数更新方法及装置。
技术介绍
联邦学习是一个机器学习框架，能帮助不同机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据联合使用和建模。具体地说，联邦学习要解决这样一个问题：在企业各自数据不出本地的前提下，通过加密机制下的参数交换与优化，建立一个虚拟的共有模型。这个共有模型的性能类似于将各方数据聚合到一块训练出来的模型。该数据联合建模方案不泄露用户隐私且符合数据安全保护的原则。当前联邦学习对模型进行建模训练时，主要是采用客户端-服务器的架构方案。服务器负责初始化模型参数，然后将模型参数下发到客户端。客户端对接收到的模型参数在本地进行参数更新，再返回给服务器。服务器之后做参数的聚合，通常是进行平均运算。更新后的模型重新下发到客户端，循环往复，直到收敛为止。客户端在本地进行参数更新后，通常会将参数有损压缩后再传输，以节约返回给服务器时占用的带宽。当模型参数经过压缩传输回服务器后，服务器使用这些模型参数的均值或者是加权平均值作为聚合模型的参数。然而，模型参数进行有损压缩后通常会损失一部分信息，直接将参数平均或加权平均并不会消除这部分损失带来的影响，会给模型计算带来较大的误差。
技术实现思路
本申请提供一种联邦学习的模型参数更新方法及装置，用以降低模型参数有损压缩带来的误差，提高联邦学习模型的准确性。本专利技术实施例提供的一种联邦学习的模型参数更新方法，包括：第一端接收第二端发送的第一联邦模型参数，对所述第一联邦模型参数进行更新得到第二联邦模型参数；所述第一端将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；所述第一端将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差以及所述抖动参数确定第三联邦模型参数。一种可选的实施例中，所述第一端根据所述有损模型参数与所述联邦模型参数之间的差距，确定有损压缩误差，包括：所述第一端将所述第二联邦模型参数按照联邦模型的结构分为L个向量化集合；针对一个向量化集合，根据将所述向量化集合有损压缩并解压缩后得到的有损集合与所述向量化集合之间的差距，确定所述向量化集合的有损压缩误差；将所有L个向量化集合的有损压缩误差组合为所述第二联邦模型参数的有损压缩误差。一种可选的实施例中，所述向量化集合的有损压缩误差根据以下公式确定：其中，ei为第i个向量化集合的有损压缩误差，mi为第i个向量化集合，ni为第i个向量化集合中参数的数目，φ(mi)为将第i个向量化集合有损压缩并解压缩后得到的有损集合。一种可选的实施例中，所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定抖动参数，包括：所述第一端将所述有损压缩误差作为随机噪声的标准差；所述第一端选取N个数量的待选参数，并针对任一待选参数，结合所述有损模型参数以及所述随机噪声，确定修正的有损模型参数；所述第一端将所有修正的有损模型参数与所述第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数；所述第一端将所述准确度最高的修正的有损模型参数对应的待选参数作为所述抖动参数。本专利技术实施例还提供一种联邦学习的模型参数更新装置，包括：收发单元，用于接收第二端发送的第一联邦模型参数；更新单元，用于对所述第一联邦模型参数进行更新得到第二联邦模型参数；抖动单元，用于将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；所述收发单元，还用于将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差、所述抖动参数以及所述有损模型参数确定第三联邦模型参数。一种可选的实施例中，所述抖动单元，具体用于：将所述第二联邦模型参数按照联邦模型的结构分为L个向量化集合；针对一个向量化集合，根据将所述向量化集合有损压缩并解压缩后得到的有损集合与所述向量化集合之间的差距，确定所述向量化集合的有损压缩误差；将所有L个向量化集合的有损压缩误差组合为所述第二联邦模型参数的有损压缩误差。一种可选的实施例中，所述抖动单元，具体用于根据以下公式确定所述向量化集合的有损压缩误差：其中，ei为第i个向量化集合的有损压缩误差，mi为第i个向量化集合，ni为第i个向量化集合中参数的数目，φ(mi)为将第i个向量化集合有损压缩并解压缩后得到的有损集合。一种可选的实施例中，所述抖动单元，具体用于：将所述有损压缩误差作为随机噪声的标准差；选取N个数量的待选参数，并针对任一待选参数，结合所述有损模型参数以及所述随机噪声，确定修正的有损模型参数；将所有修正的有损模型参数与所述第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数；将所述准确度最高的修正的有损模型参数对应的待选参数作为所述抖动参数。本专利技术实施例还提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。本专利技术实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上所述的方法。本专利技术实施例中，第一端接收第二端发送的第一联邦模型参数，并对第一联邦模型参数进行更新得到第二联邦模型参数。第一端将更新后的第二联邦模型参数进行有损压缩得到压缩模型参数，再将压缩模型参数解压缩得到有损模型参数。第一端根据有损模型参数与第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数，并将有损压损误差以及抖动参数与压缩模型参数一起向第二端发送。第二端将接收到的压缩模型参数解压缩得到有损模型参数，并根据有损压缩误差以及抖动参数确定第三联邦模型参数。本专利技术实施例中第二端在对压缩模型解压后，利用抖动参数来抵消有损压缩带来的误差，从而降低有损压缩对模型训练造成的不利影响，降低了误差率，提高了联邦学习模型的准确性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种可能的系统构架的结构示意图；图2为本专利技术实施例提供的一种联邦学习的模型参数更新方法的流程示意图；图3为本专利技术具体实施例提供的联邦学习的模型参数更新方法的流程示意图；图4为本专利技术实施例提供的一种区块链中投票装置的结构示意图；图5为本专利技术实施例提供的电子设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部份实施例，而本文档来自技高网...

【技术保护点】
1.一种联邦学习的模型参数更新方法，其特征在于，包括：第一端接收第二端发送的第一联邦模型参数，对所述第一联邦模型参数进行更新得到第二联邦模型参数；所述第一端将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；所述第一端将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差、所述抖动参数以及所述有损模型参数确定第三联邦模型参数。

【技术特征摘要】
1.一种联邦学习的模型参数更新方法，其特征在于，包括：第一端接收第二端发送的第一联邦模型参数，对所述第一联邦模型参数进行更新得到第二联邦模型参数；所述第一端将所述第二联邦模型参数有损压缩得到压缩模型参数，并将所述压缩模型参数解压缩得到有损模型参数；所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定有损压缩误差以及抖动参数；所述第一端将所述压缩模型参数、所述有损压缩误差以及所述抖动参数向所述第二端发送，以使所述第二端将所述压缩模型参数解压缩得到所述有损模型参数，并根据所述有损压缩误差、所述抖动参数以及所述有损模型参数确定第三联邦模型参数。2.如权利要求1所述的方法，其特征在于，所述第一端根据所述有损模型参数与所述联邦模型参数之间的差距，确定有损压缩误差，包括：所述第一端将所述第二联邦模型参数按照联邦模型的结构分为L个向量化集合；针对一个向量化集合，根据将所述向量化集合有损压缩并解压缩后得到的有损集合与所述向量化集合之间的差距，确定所述向量化集合的有损压缩误差；将所有L个向量化集合的有损压缩误差组合为所述第二联邦模型参数的有损压缩误差。3.如权利要求2所述的方法，其特征在于，所述向量化集合的有损压缩误差根据以下公式确定：其中，ei为第i个向量化集合的有损压缩误差，mi为第i个向量化集合，ni为第i个向量化集合中参数的数目，φ(mi)为将第i个向量化集合有损压缩并解压缩后得到的有损集合。4.如权利要求1所述的方法，其特征在于，所述第一端根据所述有损模型参数与所述第二联邦模型参数之间的差距，确定抖动参数，包括：所述第一端将所述有损压缩误差作为随机噪声的标准差；所述第一端选取N个数量的待选参数，并针对任一待选参数，结合所述有损模型参数以及所述随机噪声，确定修正的有损模型参数；所述第一端将所有修正的有损模型参数与所述第二联邦模型参数相对比，确定准确度最高的修正的有损模型参数；所述第一端将所述准确度最高的修正的有损模型参数对应的待选参数作为所述抖动参数。5.一种联邦学习的模型参数更新装置，其特征在于，包括：收发单元，用于接收第二端发送的第一联邦模型参数；更新单元，用于对所述第一联邦模型参数...

【专利技术属性】
技术研发人员：魏锡光，刘洋，陈天健，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44