System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于合成伪特征的联邦长尾学习方法和数据处理系统技术方案_技高网
当前位置: 首页 > 专利查询>浙江大学专利>正文

基于合成伪特征的联邦长尾学习方法和数据处理系统技术方案

技术编号:44337813 阅读:1 留言:0更新日期:2025-02-18 20:48
本说明书提供基于合成伪特征的联邦长尾学习方法和数据处理系统,所述数据处理系统中包含服务器和至少两个客户端,其中:服务器,拆分业务处理模型获得编码器,并将编码器的编码器参数发送至各客户端;至少两个客户端,基于编码器参数对本地业务数据进行处理获得本地业务特征统计量,并将本地业务特征统计量发送至服务器;服务器,将各客户端的本地业务特征统计量聚合为全局业务特征统计量,基于全局业务特征统计量和初始伪特征确定目标伪特征,并根据目标伪特征对业务处理模型中的分类器进行调整,获得目标业务处理模型,其中,目标业务处理模型用以对目标对象进行分类。通过目标伪特征调整分类器,提升了业务处理模型对目标对象的分类准确度。

【技术实现步骤摘要】

本说明书涉及计算机,特别涉及基于合成伪特征的联邦长尾学习方法。本说明书同时涉及数据处理系统,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品。


技术介绍

1、随着机器学习和人工智能技术的不断进步,处理类别不平衡问题,特别是长尾数据现象,已经成为提升模型性能的关键挑战之一。在联邦学习环境下,由于其分布式特性及对隐私保护的需求,解决长尾数据问题显得尤为复杂且重要。

2、目前针对长尾数据的处理,主要集中在调整损失函数、重采样策略(如过采样少数类或欠采样多数类)、使用成本敏感的学习算法等方法来改善模型的泛化能力。在联邦学习中,研究者们探索了诸如个性化学习、迁移学习、以及设计新的聚合机制来适应non-iid数据分布,尝试缓解全局和本地的类别不平衡问题。

3、尽管有上述努力,现有技术仍存在一些局限性。在联邦学习环境中,由于数据的非独立同分布(non-iid)和隐私保护限制,传统的集中式长尾学习解决方案难以直接应用。此外,现有的方法往往未能充分考虑联邦学习中的全局与本地不平衡并存的问题,以及失配不平衡带来的额外挑战,导致了全局模型收敛困难、偏差增加和性能下降。因此,如何提升联邦学习下业务处理模型的处理性能,进而提升业务处理模型的分类准确率,成为本领域技术人员亟待解决的问题。


技术实现思路

1、有鉴于此,本说明书实施例提供了一种基于合成伪特征的联邦长尾学习方法。本说明书一个或者多个实施例同时涉及一种数据处理系统,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面,提供了一种基于合成伪特征的联邦长尾学习方法,应用于数据处理系统,所述数据处理系统中包含服务器和至少两个客户端,其中:

3、所述服务器,拆分业务处理模型获得编码器,并将所述编码器的编码器参数发送至各客户端;

4、所述至少两个客户端,基于所述编码器参数对本地业务数据进行处理获得本地业务特征统计量,并将所述本地业务特征统计量发送至所述服务器;

5、所述服务器,将各客户端的本地业务特征统计量聚合为全局业务特征统计量,基于所述全局业务特征统计量和初始伪特征确定目标伪特征,并根据所述目标伪特征对所述业务处理模型中的分类器进行调整,获得目标业务处理模型,其中,所述目标业务处理模型用以对目标对象进行分类。

6、根据本说明书实施例的第二方面,提供了一种数据处理系统,所述数据处理系统中包含服务器和至少两个客户端,其中:

7、所述服务器,被配置为拆分业务处理模型获得编码器,并将所述编码器的编码器参数发送至各客户端;

8、所述至少两个客户端,被配置为基于所述编码器参数对本地业务数据进行处理获得本地业务特征统计量,并将所述本地业务特征统计量发送至所述服务器;

9、所述服务器,被配置为将各客户端的本地业务特征统计量聚合为全局业务特征统计量,基于所述全局业务特征统计量和初始伪特征确定目标伪特征,并根据所述目标伪特征对所述业务处理模型中的分类器进行调整,获得目标业务处理模型,其中,所述目标业务处理模型用以对目标对象进行分类。

10、根据本说明书实施例的第三方面,提供了一种计算设备,包括:

11、存储器和处理器;

12、所述存储器用于存储计算机程序/指令,所述处理器用于执行所述计算机程序/指令,该计算机程序/指令被处理器执行时实现上述基于合成伪特征的联邦长尾学习方法的步骤。

13、根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述基于合成伪特征的联邦长尾学习方法的步骤。

14、根据本说明书实施例的第五方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述基于合成伪特征的联邦长尾学习方法的步骤。

15、本说明书一实施例实现了由服务器,拆分业务处理模型获得编码器,并将所述编码器的编码器参数发送至各客户端;至少两个客户端,基于所述编码器参数对本地业务数据进行处理获得本地业务特征统计量,并将所述本地业务特征统计量发送至所述服务器;再由服务器,将各客户端的本地业务特征统计量聚合为全局业务特征统计量,基于所述全局业务特征统计量和初始伪特征确定目标伪特征,并根据所述目标伪特征对所述业务处理模型中的分类器进行调整,获得目标业务处理模型,其中,所述目标业务处理模型用以对目标对象进行分类。通过全局业务特征统计量和初始伪特征确定目标伪特征,将初始伪特征的分布向真实全局业务特征的分布对齐,从而提升合成伪特征的准确度,基于确定的目标伪特征对业务处理模型的分类器进行调整,即利用分布近似于真实全局业务特征分布的伪特征对分类器进行训练,服务器无需获取客户端的真实业务特征,从而在保护隐私的情况下提升了业务处理模型的分类准确度,进而可以提升对目标对象进行分类的准确度。

本文档来自技高网...

【技术保护点】

1.一种基于合成伪特征的联邦长尾学习方法,应用于数据处理系统,其特征在于,所述数据处理系统中包含服务器和至少两个客户端,其中:

2.如权利要求1所述的方法,其特征在于,基于所述编码器参数对本地业务数据进行处理获得本地业务特征统计量,包括:

3.如权利要求1所述的方法,其特征在于,将各客户端的本地业务特征统计量聚合为全局业务特征统计量,基于所述全局业务特征统计量和初始伪特征确定目标伪特征,包括:

4.如权利要求3所述的方法,其特征在于,基于所述全局业务特征统计量和所述初始伪特征确定目标伪特征,包括:

5.如权利要求3所述的方法,其特征在于,基于所述全局业务特征统计量和所述初始伪特征确定目标伪特征,包括:

6.如权利要求5所述的方法,其特征在于,基于所述当前伪特征,所述初始伪特征和所述全局业务特征统计量中的全局傅里叶特征均值,确定目标伪特征,包括:

7.如权利要求6所述的方法,其特征在于,基于所述总损失值确定目标伪特征,包括:

8.如权利要求7所述的方法,其特征在于,基于所述全局业务特征统计量和所述当前初始伪特征确定目标伪特征,包括:

9.一种数据处理系统,其特征在于,所述数据处理系统中包含服务器和至少两个客户端,其中:

10.一种计算设备,包括:

11.一种计算机可读存储介质,其存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1-8任意一项所述方法的步骤。

12.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。

...

【技术特征摘要】

1.一种基于合成伪特征的联邦长尾学习方法,应用于数据处理系统,其特征在于,所述数据处理系统中包含服务器和至少两个客户端,其中:

2.如权利要求1所述的方法,其特征在于,基于所述编码器参数对本地业务数据进行处理获得本地业务特征统计量,包括:

3.如权利要求1所述的方法,其特征在于,将各客户端的本地业务特征统计量聚合为全局业务特征统计量,基于所述全局业务特征统计量和初始伪特征确定目标伪特征,包括:

4.如权利要求3所述的方法,其特征在于,基于所述全局业务特征统计量和所述初始伪特征确定目标伪特征,包括:

5.如权利要求3所述的方法,其特征在于,基于所述全局业务特征统计量和所述初始伪特征确定目标伪特征,包括:

6.如权利要求5所述的方法,其特征在于,基于所述当前伪特征,所述初...

【专利技术属性】
技术研发人员:郑小林朱华彬陈超超
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1