基于横向联邦学习的数据分类模型训练方法及其相关组件技术

本申请公开了一种基于横向联邦学习的数据分类模型训练方法及其相关组件，涉及模型训练技术领域，包括：获取赋权模型的初始超参数和包含数据分类模型参数优化目标的待训练数据分类模型；利用数据训练集对待训练数据分类模型进行训练，得到包含目标数据分类模型参数的数据分类模型，将目标数据分类模型参数上传至服务器端，以便服务器端根据目标数据分类模型参数更新赋权模型的超参数，得到过程超参数并发送至客户端；利用过程超参数更新初次训练后的数据分类模型的数据分类模型参数，重复执行训练的步骤，直至获取最优数据分类模型参数。通过计算数据分类模型训练过程中涉及到的两个参数，解决数据非独立同分布问题，并且实现过程简单便捷。现过程简单便捷。现过程简单便捷。

【技术实现步骤摘要】
基于横向联邦学习的数据分类模型训练方法及其相关组件


[0001]本专利技术涉及模型训练
，特别涉及基于横向联邦学习的数据分类模型训练方法及其相关组件。

技术介绍

[0002]因为数据具有资产的属性，政府、企业乃至个人都越来越重视数据，但由于相互之间的竞争，各方的数据很难进行共享；此外，人们对于用户隐私和数据安全的关注度也在不断提高。许多互联网企业由于泄露用户数据而被重罚。在法律法规层面，各国也相继发布数据保护条例、网络安全法等。由于上述各方面原因，使得在使用数据时面临严重的数据割裂问题，并呈现出“数据孤岛”的情况，导致无法利用详尽的数据进行模型训练时，得不到效果最好的模型。基于此，联邦学习应运而生，拥有“数据不动模型动，数据可用不可见”的核心理念，通过在各个设备、客户端之间传递参数、梯度来实现共同建模。但在实际的横向联邦学习应用中，各个设备、客户端之间数据差异较大，会产生多种数据非独立同分布的情况，此情况极大影响了训练出来的预测模型的准确度，导致预测模型无法正常使用。
[0003]现有技术中为了解决非独立同分布问题也提出了一些解决方案，如：基于数据的方法，具体包括：对数据进行增强、挑选包含数据类均衡的客户端；该方法存在隐私漏洞，会极大增加计算开销，并且模型过于单一。
[0004]综上，如何实现准确简单的训练数据分类模型，减少模型训练过程的计算开销、避免模型单一，解决非独立同分布的数据导致的训练模型不准确是本领域有待解决的技术问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供基于横向联邦学习的数据分类模型训练方法及其相关组件，能够实现准确简单的训练数据分类模型，减少模型训练过程的计算开销、避免模型单一，解决非独立同分布的数据导致的训练模型不准确。其具体方案如下：
[0006]第一方面，本申请公开了一种基于横向联邦学习的数据分类模型训练方法，应用于客户端，包括：
[0007]获取服务器端发送的赋权模型的初始超参数和包含数据分类模型参数优化目标的待训练数据分类模型；
[0008]利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型，并将所述目标数据分类模型参数上传至所述服务器端，以便所述服务器端根据所述目标数据分类模型参数更新所述赋权模型的超参数，以得到过程超参数并发送至所述客户端；
[0009]利用所述过程超参数更新所述初次训练后的数据分类模型的数据分类模型参数，重复执行利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练的步骤，直至获取最优数据分类模型参数，完成对所述待训练数据分类模型的训练目标。
[0010]可选的，所述获取服务器端发送的赋权模型的初始超参数和包含数据分类模型参数优化目标的待训练数据分类模型，包括：
[0011]通过服务器端构建包含权重关系的损失函数，并基于所述损失函数构建待训练数据分类模型；
[0012]通过服务器端赋权学习后产生赋权模型的初始超参数。
[0013]可选的，所述利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型，包括：
[0014]利用预设数量个客户端的数据训练集对所述待训练数据分类模型的所述损失函数进行优化训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型。
[0015]可选的，所述利用预设数量个客户端的数据训练集对所述待训练数据分类模型的所述损失函数进行优化训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型，包括：
[0016]利用预设数量个客户端自身的数据训练集并采用预设梯度下降法训练所述损失函数，以生成对应的目标数据分类模型参数，并生成相应的初次训练后的数据分类模型。
[0017]可选的，所述利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型，包括：
[0018]利用携带数据特征和数据标签的训练数据对所述待训练数据分类模型进行训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型。
[0019]第二方面，本申请公开了一种基于横向联邦学习的数据分类模型训练方法，应用于服务器端，包括：
[0020]构建包含超参数优化目标的赋权模型和数据分类模型参数优化目标的待训练数据分类模型；
[0021]将所述赋权模型的初始超参数和所述待训练数据分类模型发送至客户端，以便所述客户端利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练，得到包含目标数据分类模型参数的初次训练后的数据分类模型，并将所述目标数据分类模型参数上传至所述服务器端；
[0022]根据所述目标数据分类模型参数更新所述赋权模型的超参数，以得到过程超参数并发送至所述客户端，以便利用所述过程超参数更新所述初次训练后的数据分类模型的数据分类模型参数，重复执行利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练的步骤，直至获取最优数据分类模型参数，完成对所述待训练数据分类模型的训练目标。
[0023]可选的，所述根据所述目标数据分类模型参数更新所述赋权模型的超参数，包括：
[0024]对所述目标数据分类模型参数进行合并，并对所述目标数据分类模型参数进行取平均操作，获取目标数据分类模型参数平均值；
[0025]利用所述预设梯度下降法并根据所述目标数据分类模型参数平均值更新所述赋权模型的超参数。
[0026]第三方面，本申请公开了一种基于横向联邦学习的数据分类模型训练装置，应用于客户端，包括：
[0027]第一模型获取模块，用于获取服务器端发送的赋权模型的初始超参数和包含数据
分类模型参数优化目标的待训练数据分类模型；
[0028]第一模型训练模块，用于利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型，并将所述目标数据分类模型参数上传至所述服务器端，以便所述服务器端根据所述目标数据分类模型参数更新所述赋权模型的超参数，以得到过程超参数并发送至所述客户端；
[0029]迭代训练模块，用于利用所述过程超参数更新所述初次训练后的数据分类模型的数据分类模型参数，重复执行利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练的步骤，直至获取最优数据分类模型参数，完成对所述待训练数据分类模型的训练目标。
[0030]第四方面，本申请公开了一种电子设备，包括：
[0031]存储器，用于保存计算机程序；
[0032]处理器，用于执行所述计算机程序，以实现前述公开的基于横向联邦学习的数据分类模型训练方法的步骤。
[0033]第五方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于横向联邦学习的数据分类模型训练方法的步骤。...

【技术保护点】

【技术特征摘要】
1.一种基于横向联邦学习的数据分类模型训练方法，其特征在于，应用于客户端，包括：获取服务器端发送的赋权模型的初始超参数和包含数据分类模型参数优化目标的待训练数据分类模型；利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型，并将所述目标数据分类模型参数上传至所述服务器端，以便所述服务器端根据所述目标数据分类模型参数更新所述赋权模型的超参数，以得到过程超参数并发送至所述客户端；利用所述过程超参数更新所述初次训练后的数据分类模型的数据分类模型参数，重复执行利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练的步骤，直至获取最优数据分类模型参数，完成对所述待训练数据分类模型的训练目标。2.根据权利要求1所述的基于横向联邦学习的数据分类模型训练方法，其特征在于，所述获取服务器端发送的赋权模型的初始超参数和包含数据分类模型参数优化目标的待训练数据分类模型之前，还包括：通过服务器端构建包含权重关系的损失函数，并基于所述损失函数构建待训练数据分类模型；通过服务器端赋权学习后产生赋权模型的初始超参数。3.根据权利要求2所述的基于横向联邦学习的数据分类模型训练方法，其特征在于，所述利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型，包括：利用预设数量个客户端的数据训练集对所述待训练数据分类模型的所述损失函数进行优化训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型。4.根据权利要求3所述的基于横向联邦学习的数据分类模型训练方法，其特征在于，所述利用预设数量个客户端的数据训练集对所述待训练数据分类模型的所述损失函数进行优化训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型，包括：利用预设数量个客户端自身的数据训练集并采用预设梯度下降法训练所述损失函数，以生成对应的目标数据分类模型参数，并生成相应的初次训练后的数据分类模型。5.根据权利要求1所述的基于横向联邦学习的数据分类模型训练方法，其特征在于，所述利用非独立同分布的数据训练集对所述待训练数据分类模型进行训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型，包括：利用携带数据特征和数据标签的训练数据对所述待训练数据分类模型进行训练，以得到包含目标数据分类模型参数的初次训练后的数据分类模型。6.一种基于横向联邦学习的数据分类模型训练方法，其特征在于，应...

【专利技术属性】
技术研发人员：孙英博，于昇，陈邦道，周胜平，裴阳，
申请(专利权)人：云海链控股股份有限公司，
类型：发明
国别省市：