联邦学习模型训练方法、客户端、服务器及存储介质技术

本发明专利技术涉及人工智能算法技术领域，具体提供一种基于知识蒸馏的联邦学习模型训练方法，包括：接收来自服务器的用于模型训练的控制参数；根据控制参数以及本地数据样本对初始的第一神经网络模型进行训练，得到第一模型参数；将第一模型参数发送至服务器；接收来自服务器的第二神经网络模型的第二模型参数；利用知识蒸馏方法使第一神经网络模型学习到第二神经网络模型的知识，训练得到更新的第一神经网络模型。使用本发明专利技术的方法通过构建联邦学习系统有效解决目前存在的数据孤岛问题，同时在联邦学习框架系统中增加知识蒸馏模块，使得算法模型可以同时在所有训练数据的知识基础上进行训练优化，进一步提升联邦学习框架系统的训练效果。

【技术实现步骤摘要】
联邦学习模型训练方法、客户端、服务器及存储介质
本专利技术涉及人工智能
，具体涉及一种基于知识蒸馏的联邦学习模型训练方法、客户端、服务器及计算机可读存储介质。
技术介绍
目前多家单位若合作利用人工智能算法在某一业务场景中进行落地，会遇到一些问题，例如，由于数据安全与数据隐私要求，各家单位的数据不能在各单位之间进行有效流通和使用，从而造成数据孤岛问题。传统的算法训练框架强调数据的多样性和完整性，从而进一步放大数据孤岛问题给算法能力带来的影响。因此传统的算法训练框架和数据孤岛问题会使得人工智能算法能力陷入瓶颈，并进一步限制算法在实际应用场景中的使用和落地。因此，本领域仍然需要一种新的方法来解决由于数据孤岛无法提高算法能力，限制算法落地应用的问题。
技术实现思路
为了解决现有技术中的上述问题，即，为了解决现有方案由于数据孤岛无法提高算法能力，限制算法落地应用的问题，一方面，一种基于知识蒸馏的联邦学习模型训练方法，包括：接收服务器获取的用于模型训练的控制参数；根据所述控制参数以及本地数据样本对初始的第一神经网络模型进行训练，得到第一模型参数；将所述第一模型参数发送至所述服务器；接收所述服务器获取的第二神经网络模型的第二模型参数；利用知识蒸馏方法使所述第一神经网络模型学习到所述第二神经网络模型的知识，训练得到更新的第一神经网络模型，其中，所述第一神经网络模型是学生网络模型。在上述联邦学习模型训练方法的优选实施方式中，所述控制参数至少包括训练次数n，n大于等于2，还可以包括：将所述更新的第一神经网络模型的第一模型参数发送至所述服务器；接收所述服务器获取的更新后的第二模型参数；根据所述更新后的第二模型参数得到更新后的第二神经网络模型；利用知识蒸馏方法使所述更新后的第二神经网络模型学习到所述更新的第一神经网络模型的知识，训练得到二次训练后的第二神经网络模型，其中，所述更新后的第二神经网络模型是学生网络模型；将所述二次训练后的第二神经网络模型的第二模型参数发送至所述服务器；如此循环，直至所述n次训练结束。在上述联邦学习模型训练方法的优选实施方式中，所述第一模型参数和所述第二模型参数至少包括神经网络的权重参数。在上述联邦学习模型训练方法的优选实施方式中，还可以包括：所述知识蒸馏方法所采用的损失函数包括以下任意一种：均方误差损失函数、平均绝对误差损失函数。根据本专利技术的另一方面，还提供了一种联邦学习模型训练方法，包括：向第一客户端和第二客户端分别发送用于模型训练的控制参数；接收来自第一客户端的经过更新的第一神经网络模型的第一模型参数；接收来自第二客户端的经过更新的第二神经网络模型的第二模型参数；将所述第一模型参数发送至所述第二客户端，将所述第二模型参数发送至所述第一客户端；保存所述第一模型参数和所述第二模型参数。在上述联邦学习模型训练方法的优选实施方式中，包括：所述控制参数至少包括训练次数n，n大于等于2；将更新后的第一模型参数发送至所述第二客户端；将更新后的第二模型参数发送至所述第一客户端；接收并保存来自所述第二客户端的经过二次训练的第一模型参数；接收并保存来自所述第一客户端的经过二次训练的第二模型参数；如此循环，直至所述n次训练结束。在上述联邦学习模型训练方法的优选实施方式中，在保存第一模型参数和第二模型参数时，利用指标评估方法选取一个或多个第一模型参数和第二模型参数进行保存更新；将选取保存的模型参数发送至对应客户端。根据本专利技术的再一方面，还提供了一种基于知识蒸馏的联邦学习模型训练客户端，包括：通讯模块，接收来自服务器的用于模型训练的控制参数，以及接收来自所述服务器的第二神经网络模型的第二模型参数；算法训练模块，与所述通讯模块连接，根据所述控制参数以及本地数据样本对初始的第一神经网络模型进行训练，得到第一模型参数，根据所述第二模型参数得到所述第二神经网络模型，以及利用知识蒸馏方法使所述第一神经网络模型学习到所述第二神经网络模型的知识，训练得到更新的第一神经网络模型，其中，所述第一神经网络模型是学生网络模型。在上述客户端的优选实施方式中，所述控制参数至少包括训练次数n，n大于等于2，所述通讯模块还将得到的第一神经网络模型的模型参数发送至所述服务器进行更新，以及接收来自所述服务器的更新后的第二模型参数，以及将所二次训练后的第二神经网络模型的第二模型参数发送至所述服务器；所述算法训练模块还根据所述更新后的第二模型参数得到更新后的第二神经网络模型，以及利用知识蒸馏方法使所述更新后的第二神经网络模型学习到所述更新的第一神经网络模型的知识，训练得到二次训练后的第二神经网络模型，其中，所述更新后的第二神经网络模型是学生网络模型，如此循环，直至所述n次训练结束。根据本专利技术的又一方面，还提供了一种服务器，包括：训练控制模块，生成用于模型训练的控制参数；通讯模块，向第一客户端和第二客户端分别发送所述控制参数，接收来自第一客户端的经过更新的第一神经网络模型的第一模型参数，以及接收来自第二客户端的经过更新的第二神经网络模型的第二模型参数；参数更新模块，保存所述第一模型参数和所述第二模型参数。在上述服务器的优选实施方式中，包括：所述控制参数至少包括训练次数n，n大于等于2；所述通讯模块还用于将更新后的第一模型参数发送至所述第二客户端，将更新后的第二模型参数发送至所述第一客户端，接收并保存来自所述第二客户端的经过二次训练的第一模型参数，以及接收来自所述第一客户端的经过二次训练的第二模型参数，如此循环，直至所述n次训练结束；所述参数更新模块保存所述经过二次训练的第二模型参数。在上述服务器的优选实施方式中，还可以包括：模型优选模块，与所述参数更新模块和通讯模块连接，在保存第一模型参数和第二模型参数时，利用指标评估方法选取一个或多个第一模型参数和第二模型参数进行保存更新；所述通讯模块将选取保存的模型参数发送至对应客户端。本专利技术进一步还提供了一种基于知识蒸馏的联邦学习模型训练系统，包括多个如上述任一技术方案中所述的基于知识蒸馏的联邦学习模型训练客户端和如上述任一技术方案中所述的服务器。本专利技术进一步还提供了一种计算机可读存储介质，所述存储介质中存储有多条程序代码，所述程序代码适用于由处理器加载并运行以执行如上述任一技术方案中所述的基于知识蒸馏的联邦学习模型训练方法和上述任一技术方案中所述的联邦学习模型训练方法。本专利技术将模型训练设置在本地，并通过中心服务器完成模型参数交互，解决了数据孤岛和数据隐私的问题，可在数据不离本地的情况下完成算法模型的训练及优化。能够支持双模型之间的相互蒸馏，充分利用全部数据的知识，提高算法模型在联邦框架下的训练效果，同时一次训练过程可以完成两个神经网络模型的训练，打破数据孤岛和传统训练框架对算法能力造成的瓶颈。附图说明下面结合附图来描述本专利技术的优选实施方式，附图中：图1为根据本专利技术实施例的基于知识蒸馏的联邦学习模型训练方法的流程图；图2为根据本专利技术实施例的联邦学习模型训练方法的流程图；图3为根据本文档来自技高网...

【技术保护点】
1.一种基于知识蒸馏的联邦学习模型训练方法，其特征在于，包括：/n接收服务器获取的用于模型训练的控制参数；/n根据所述控制参数以及本地数据样本对初始的第一神经网络模型进行训练，得到第一模型参数；/n将所述第一模型参数发送至所述服务器；/n接收所述服务器获取的第二神经网络模型的第二模型参数；/n利用知识蒸馏方法使所述第一神经网络模型学习到所述第二神经网络模型的知识，训练得到更新的第一神经网络模型，其中，所述第一神经网络模型是学生网络模型。/n

【技术特征摘要】
1.一种基于知识蒸馏的联邦学习模型训练方法，其特征在于，包括：
接收服务器获取的用于模型训练的控制参数；
根据所述控制参数以及本地数据样本对初始的第一神经网络模型进行训练，得到第一模型参数；
将所述第一模型参数发送至所述服务器；
接收所述服务器获取的第二神经网络模型的第二模型参数；
利用知识蒸馏方法使所述第一神经网络模型学习到所述第二神经网络模型的知识，训练得到更新的第一神经网络模型，其中，所述第一神经网络模型是学生网络模型。


2.根据权利要求1所述的基于知识蒸馏的联邦学习模型训练方法，其特征在于，所述控制参数至少包括训练次数n，n大于等于2，还包括：
将所述更新的第一神经网络模型的第一模型参数发送至所述服务器；
接收所述服务器获取的更新后的第二模型参数；
根据所述更新后的第二模型参数得到更新后的第二神经网络模型；
利用知识蒸馏方法使所述更新后的第二神经网络模型学习到所述更新的第一神经网络模型的知识，训练得到二次训练后的第二神经网络模型，其中，所述更新后的第二神经网络模型是学生网络模型；
将所述二次训练后的第二神经网络模型的第二模型参数发送至所述服务器；
如此循环，直至所述n次训练结束。


3.根据权利要求1或2所述的基于知识蒸馏的联邦学习模型训练方法，其特征在于，所述第一模型参数和所述第二模型参数至少包括神经网络的权重参数。


4.根据权利要求1或2所述的基于知识蒸馏的联邦学习模型训练方法，其特征在于，还包括：所述知识蒸馏方法所采用的损失函数包括以下任意一种：均方误差损失函数、平均绝对误差损失函数。


5.一种联邦学习模型训练方法，其特征在于，包括：
向第一客户端和第二客户端分别发送用于模型训练的控制参数；
接收来自第一客户端的经过更新的第一神经网络模型的第一模型参数；
接收来自第二客户端的经过更新的第二神经网络模型的第二模型参数；
将所述第一模型参数发送至所述第二客户端，将所述第二模型参数发送至所述第一客户端；
保存所述第一模型参数和所述第二模型参数。


6.根据权利要求5所述的联邦学习模型训练方法，其特征在于，包括：所述控制参数至少包括训练次数n，n大于等于2；
将更新后的第一模型参数发送至所述第二客户端；
将更新后的第二模型参数发送至所述第一客户端；
接收并保存来自所述第二客户端的经过二次训练的第一模型参数；
接收并保存来自所述第一客户端的经过二次训练的第二模型参数；
如此循环，直至所述n次训练结束。


7.根据权利要求6所述的联邦学习模型训练方法，其特征在于，在保存第一模型参数和第二模型参数时，利用指标评估方法选取一个或多个第一模型参数和第二模型参数进行保存更新；
将选取保存的模型参数发送至对应客户端。


8.一种基于知识蒸馏的联邦学习模型训练客户端，其特征在于，包括：
通讯模...

【专利技术属性】
技术研发人员：夏伯谦，钟南昌，
申请(专利权)人：云从科技集团股份有限公司，
类型：发明
国别省市：广东;44