基于联邦学习的训练方法、装置、电子设备及存储介质制造方法及图纸

本公开提供一种基于联邦学习的训练方法、装置、电子设备及存储介质，包括：确定公共数据集和M个训练参与方；其中，每个训练参与方分别对应一个私有模型；按照预定排序方式对M个训练参与方进行排序；利用预先获取的训练集对全部私有模型进行循环训练；其中，每轮训练中，利用M个私有模型对公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将M个预测结果按序传递至下一个训练参与方对应的私有模型，并将公共数据集和传递后的M个预测结果作为下一个训练参与方对应的私有模型的训练集，将预测结果作为公共数据集的样本软标签；响应于全部私有模型满足预设终止条件，完成私有模型的训练。

【技术实现步骤摘要】
基于联邦学习的训练方法、装置、电子设备及存储介质
本公开涉及人工智能
，尤其涉及一种基于联邦学习的训练方法、装置、电子设备及存储介质。
技术介绍
相关技术中通常需要各个参与方将部分本地无标签数据上传至第三方服务器，汇总后作为公共数据集用于训练中心模型，并且利用第三方服务器对模型的预测结果进行融合。当公共数据集不充分或不存在时，相关技术中的方法无法对本地模型进行训练，并且对于实际应用中常见的数据类别不平衡的问题，相关技术中的联邦学习算法的训练性能较低。
技术实现思路
有鉴于此，本公开提出了一种基于联邦学习的训练方法、装置、电子设备及存储介质。基于上述目的，本公开提供了一种基于联邦学习的训练方法，包括：确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；按照预定排序方式对所述M个训练参与方进行排序；利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；以及，响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。可选的，每个所述训练参与方，包括：私有数据集；所述公共数据集，包括：伪样本公共数据集；所述确定公共数据集和M个训练参与方，进一步包括：根据M个所述训练参与方随机生成与所述私有数据集统计特性相同的伪样本；根据所述伪样本生成所述伪样本公共数据集以确定所述公共数据集。可选的，所述确定公共数据集和M个训练参与方，之后还包括：利用M个所述训练参与方分别对与其对应的M个所述私有模型进行初始化操作。可选的，所述利用预先获取的训练集对全部所述私有模型进行循环训练，之前还包括：利用M个所述训练参与方的所述私有数据集分别训练与所述M个所述训练参与方对应的M个所述私有模型。可选的，所述利用预先获取的训练集对全部所述私有模型进行循环训练，进一步包括：在第一轮训练中，通过利用所述私有数据集预先训练好的M个所述私有模型对所述公共数据集进行预测以确定M个第一轮的预测结果；按序依次将每个所述第一轮的预测结果传递至下一个所述训练参与方对应的所述私有模型；将所述公共数据集和传递后的所述M个第一轮的预测结果作为下一个训练参与方对应的所述私有模型的所述训练集；利用所述训练集对所述M个私有模型进行训练以得到与M个私有模型对应的M个第一轮模型更新参数；利用所述M个第一轮模型更新参数分别更新所述M个私有模型。可选的，所述按序依次将每个所述第一轮的预测结果传递至下一个所述训练参与方对应的所述私有模型，进一步包括：将根据第M个训练参与方对应的所述私有模型确定的所述第一轮的预测结果传递至第1个训练参与方对应的所述私有模型。可选的，所述利用预先获取的训练集对全部所述私有模型进行循环训练，进一步包括：所述利用预先获取的训练集对全部所述私有模型进行循环训练，进一步包括：在第i-1轮训练中，利用第i-1轮模型更新参数分别更新M个私有模型；在第i轮训练中，通过利用更新后的M个所述私有模型对所述公共数据集的样本进行预测，并将样本的预测概率作为预测结果；按序依次将每个训练参与方对应的私有模型的所述第i轮的预测结果传递至下一个训练参与方；将所述公共数据集和传递后的所述M个第i轮的预测结果作为下一个训练参与方对应的所述私有模型的所述训练集；利用所述训练集对所述M个私有模型进行训练以得到与M个私有模型对应的M个第i轮模型更新参数；利用所述M个第i轮模型更新参数分别更新所述M个私有模型。基于同一专利技术构思，本公开还提供了一种基于联邦学习的训练装置，包括：确定模块，被配置为确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；排序模块，被配置为按照预定排序方式对所述M个训练参与方进行排序；训练模块，被配置为利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；执行模块，被配置为响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。基于同一专利技术构思，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述的基于联邦学习的训练方法。基于同一专利技术构思，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储电子装置的一组指令，该组指令用于使所述电子装置执行上述任意一项所述的基于联邦学习的训练方法。从上面所述可以看出，本公开提供的一种基于联邦学习的训练方法、装置、电子设备及存储介质，包括：确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；按照预定排序方式对所述M个训练参与方进行排序；利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；以及，响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。本公开提供的方法针对实际应用中常见的数据样本类型不平衡问题，确定多个各自拥有私有数据集的训练参与方，且各个训练参与方的私有数据集不共享，保证了数据的安全；多个训练参与方相互独立的本地模型通过协作，进行预测结果的传递，考虑了多个训练参与方拥有的私有数据集不仅样本数量少从而不足以单独训练本地模型收敛，同时私有数据集之间的样本类型可能极端不平衡，不同的私有数据集中包含的数据类型存在不重合、不完整情况，克服数据不平衡带来的模型性能下降的问题，模型性能逼近集中式机器学习的性能。且多个训练参与方的地位相同，无需第三方服务器或中心处理单元对预测结果进行整合，可实现无中心化的联邦学习，通过多个训练参与方的本地模型的预测结果的传递共享，进行多方协同的循环训练，减少数据样本类型极端不平衡带来的性能下降，大大提高了训练机器学习模型时的性能。附图说明为了更清楚地说明本说明书一个或多个实施例或相关本文档来自技高网...

【技术保护点】
1.一种基于联邦学习的训练方法，包括：/n确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；/n按照预定排序方式对所述M个训练参与方进行排序；/n利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；以及，/n响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。/n

【技术特征摘要】
1.一种基于联邦学习的训练方法，包括：
确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；
按照预定排序方式对所述M个训练参与方进行排序；
利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；以及，
响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。


2.根据权利要求1所述的方法，其中，每个所述训练参与方，包括：私有数据集；所述公共数据集，包括：伪样本公共数据集；
所述确定公共数据集和M个训练参与方，进一步包括：
根据M个所述训练参与方随机生成与所述私有数据集统计特性相同的伪样本；
根据所述伪样本生成所述伪样本公共数据集以确定所述公共数据集。


3.根据权利要求1所述的方法，其中，所述确定公共数据集和M个训练参与方，之后还包括：
利用M个所述训练参与方分别对与其对应的M个所述私有模型进行初始化操作。


4.根据权利要求2所述的方法，其中，所述利用预先获取的训练集对全部所述私有模型进行循环训练，之前还包括：
利用M个所述训练参与方的所述私有数据集分别训练与所述M个所述训练参与方对应的M个所述私有模型。


5.根据权利要求4所述的方法，其中，所述利用预先获取的训练集对全部所述私有模型进行循环训练，进一步包括：
在第一轮训练中，通过利用所述私有数据集预先训练好的M个所述私有模型对所述公共数据集进行预测以确定M个第一轮的预测结果；
按序依次将每个所述第一轮的预测结果传递至下一个所述训练参与方对应的所述私有模型；
将所述公共数据集和传递后的所述M个第一轮的预测结果作为下一个训练参与方对应的所述私有模型的所述训练集；
利用所述训练集对所述M个私有模型进行训练以得到与M个私有模型对应的M个第一轮模型更新参数；
利用所述M个第一轮模型更新参数分别更新所述M个私有模型。

【专利技术属性】
技术研发人员：彭岳星，刘叶，张迎冰，
申请(专利权)人：睿蜂群北京科技有限公司，
类型：发明
国别省市：北京;11