【技术实现步骤摘要】
本专利技术涉及人工智能领域，尤其是涉及一种用于缺类联邦学习的双边分类器调整方法、设备及介质。
技术介绍
1、随着大数据时代的到来，用户数据隐私安全问题越来越受到重视，比如传感器捕获到的数据，手机中的拍摄或者存储的数据以及医院诊疗数据等。传统中心化训练的深度学习技术大多将所有来源的数据都汇集在一个中心服务器进行训练，但是很难保证在传输过程、存储过程以及训练过程中数据的安全。联邦学习框架的提出，确保了拥有数据的终端不会将原始数据外传，比传统的训练范式更加安全。联邦学习框架允许一个中心服务器以及多个用户节点。数据存储在用户节点上，不会泄露给其他节点，也不需要传输给中心服务器。中心服务器只负责在本地训练完成的模型的传输以及聚合。最终中心服务器上的聚合模型在各个终端数据上训练收敛，得到一个收敛的全局模型。
2、由于不同终端之间的数据分布存在差异，甚至本地类别会出现缺类情况，不同节点训练的模型存在较大差异，产生了联邦学习的缺类异构问题。国内外针对本地缺类的联邦学习问题的研究处在早期阶段。已有的解决方案均着眼在提高全局任务的性能，例如在中心服务器约束分类器针对不同类别的向量分散(发表在2020年国际机器学习会议(icml)上的论文：federated learning with only positive labels)或者在本地更新时约束缺失类别对应的分类器向量的更新(发表在2021年国际数据挖掘会议(kdd)上的论文：fedrs:federated learning with restricted softmax for la
3、现有技术的缺点是在全局优化目标上没有考虑不同终端会存在缺失类别的情况，依然采用了传统的独立同分布数据假设，将本地目标和全局目标视为一致。在这种假设下设计出的算法，从原理上无法同时兼顾全局和本地的性能。
4、现有的技术方案均是设计一个带有参数模型(h,w)，设置分类损失函数lce。假设第k个节点有nk个样本，有ck个类别的样本，且对于第c个类别有nk,c个样本。
5、共有n个节点，c个样本类别。此时全局优化目标可以写成:
6、
7、将全局优化目标通过类别拆开改写为：
8、
9、同时，定义本地的优化目标为：
10、
11、可以看出，当类别缺失时(c≠ck)，全局优化目标和本地优化目标存在冲突。基于全局优化目标的算法技术，强迫本地模型一味向理想模型靠近会严重约束了本地任务的性能。现有技术由于忽略了对缺失类别的本地任务的深入研究，产生了不可消除的算法偏见。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种用于缺类联邦学习的双边分类器调整方法、设备及介质。
2、本专利技术的目的可以通过以下技术方案来实现：
3、根据本专利技术的第一方面，提供了一种用于缺类联邦学习的双边分类器调整方法，该方法通过设置全局分类器为单纯形等角紧框架，并对每个本地节点的数据分布做分析，调整本地分类器来适应私有数据的特征。
4、作为优选的技术方案，所述单纯形等角紧框架具体为：
5、
6、其中m为单纯形等角紧矩阵，ew为超参数，用来约束分类器长度，wl为全局分类器。
7、作为优选的技术方案，所述单纯形等角紧矩阵m满足以下条件：
8、
9、其中c为类别数量，u为任意旋转矩阵，ic为行列均为c的单位矩阵，1c为行为c的全1向量。
10、作为优选的技术方案，所述调整本地分类器来适应私有数据的特征具体为：
11、利用节点所特有的数据分布来计算私有分布矩阵，第k个节点的私有分布矩阵的第c行的转置表示为：
12、
13、其中nk,c为k节点对于c类别的样本数量，γ为样本数量的倒数，1为全一向量，nk为k节点的样本数量；
14、基于私有分布矩阵，调整本地的私有分类器为：
15、
16、其中m为单纯形等角紧矩阵，ew为超参数，wl为全局分类器，为k节点的分类器，φk为k节点的私有分布矩阵。
17、作为优选的技术方案，所述本地节点训练的目标更新为：
18、
19、其中nk,c为k节点对于c类别的样本数量，hk为k节点的样本特征，nk为k节点的样本数量，φk,c'为k节点的私有分布矩阵的第c行，为该节点的本地分类器，为k节点c类别的第i个样本的特征，ck为第k个类别，hi为第i个样本的特征。
20、作为优选的技术方案，该方法全局初始化一个单纯形等角紧框架作为全局分类器并下发给每一个本地节点，本地节点根据自身的数据分布计算私有分布矩阵，并调整单纯形等角紧框架为私有分类器。
21、作为优选的技术方案，该方法在训练时，本地节点使用固定的私有分类器进行训练。
22、作为优选的技术方案，该方法在测试时，本地节点使用私有分类器，而服务器端使用标准的单纯形等角紧框架作为全局分类器。
23、根据本专利技术的第二方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现所述的方法。
24、根据本专利技术的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现所述的方法。
25、与现有技术相比，本专利技术具有以下优点：
26、1)本专利技术从本地缺类的场景下，通过约束全局分类器为理论最优分类器即单纯形等角紧框架，同时让本地用户节点根据自身数据分布对全局分类器做调整，同时达到双边性能最优。
27、2)本专利技术适用范围广泛，不仅可以提升缺类联邦学习的全局性能，还可以解决缺类情况下的本地性能。
28、3)本专利技术部署简单，成本低，几乎对服务器端和终端层面没有任何额外开销，并且由于本专利技术不需要互相传递分类器，从隐私角度也有所升级。
29、4)本专利技术的解决方案同时具有全局和本地的理论保证。
本文档来自技高网...【技术保护点】
1.一种用于缺类联邦学习的双边分类器调整方法，其特征在于，该方法通过设置全局分类器为单纯形等角紧框架，并对每个本地节点的数据分布做分析，调整本地分类器来适应私有数据的特征。
2.根据权利要求1所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，所述单纯形等角紧框架具体为：
3.根据权利要求2所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，所述单纯形等角紧矩阵M满足以下条件：
4.根据权利要求1所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，所述调整本地分类器来适应私有数据的特征具体为：
5.根据权利要求4所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，所述本地节点训练的目标更新为：
6.根据权利要求1所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，该方法全局初始化一个单纯形等角紧框架作为全局分类器并下发给每一个本地节点，本地节点根据自身的数据分布计算私有分布矩阵，并调整单纯形等角紧框架为私有分类器。
7.根据权利要求6所述的一种用于缺类联邦学习的双边分类
8.根据权利要求6所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，该方法在测试时，本地节点使用私有分类器，而服务器端使用标准的单纯形等角紧框架作为全局分类器。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。
...【技术特征摘要】
1.一种用于缺类联邦学习的双边分类器调整方法，其特征在于，该方法通过设置全局分类器为单纯形等角紧框架，并对每个本地节点的数据分布做分析，调整本地分类器来适应私有数据的特征。
2.根据权利要求1所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，所述单纯形等角紧框架具体为：
3.根据权利要求2所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，所述单纯形等角紧矩阵m满足以下条件：
4.根据权利要求1所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，所述调整本地分类器来适应私有数据的特征具体为：
5.根据权利要求4所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，所述本地节点训练的目标更新为：
6.根据权利要求1所述的一种用于缺类联邦学习的双边分类器调整方法，其特征在于，该方法...
【专利技术属性】
技术研发人员：王延峰，樊子卿，张瑞鹏，姚江超，张娅，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。