System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种通用横纵向混合联邦学习建模方法、介质及系统技术方案_技高网

一种通用横纵向混合联邦学习建模方法、介质及系统技术方案

技术编号:42089288 阅读:7 留言:0更新日期:2024-07-19 17:03
本发明专利技术公开一种通用横纵向混合联邦学习建模方法、介质及系统,包括:分别与每一标签方进行ID的安全求交,得到数据方与每一标签方所具有的ID的交集,并得到每一交集对应的特征数据表;将所有交集对应的特征数据表按照预设标签方顺序进行横向拼接,得到第一数据表;向中心节点发送第一数据表,以使中心节点将第一数据表和第二数据表进行纵向拼接,得到用于联邦学习建模的训练数据表;其中,第二数据表为中心节点将每一标签方对应的交集中的ID匿名化后的标签数据按照预设标签方顺序进行横向拼接得到。本发明专利技术基于中心节点的安全横纵向混合联邦框架,将多方横纵向混合建模转化为纵向两方建模,可以安全处理横纵向混合的复杂场景的建模。

【技术实现步骤摘要】

本专利技术涉及联邦学习,尤其涉及一种通用横纵向混合联邦学习建模方法、介质及系统


技术介绍

1、目前工业界常见的联邦学习建模场景分为两类:横向联邦学习和纵向联邦学习。其中横向联邦学习的训练数据以横向划分,即多个参与方的数据具有相同的特征,在样本上进行联合。典型场景是银行在各省市的分公司具有不同的客户样本群体和相似的特征数据,进行联合建模。纵向联邦学习则相对应的纵向划分数据,多个参与方在相同的样本上具有不同的特征。典型场景为银行与运营商在同一个人群上,具有不同类型的特征数据(如交易数据和通信数据)。

2、从技术视角,两种场景相对割裂,现有的算法框架大都只能同时适应一种场景(横向或纵向),缺乏可以适应复杂混合场景的灵活框架。而现实场景中可能出现横纵向混合的复杂场景(如多家银行分行和运营商同时进行联合建模)。在现有算法框架下进行场景改造往往缺乏通用性,需要针对每个算法设计全新的方案并适配,工程量大且可维护性差。因此,如果能搭建一个算法框架适应这类场景,将大大提升联邦学习算法的灵活性。


技术实现思路

1、本专利技术实施例提供一种通用横纵向混合联邦学习建模方法、介质及系统,以解决现有技术缺乏通用性,导致需要针对每个算法设计全新的方案并适配,工程量大且可维护性差的问题。

2、第一方面,提供一种通用横纵向混合联邦学习建模方法,用于数据方,所述数据方存储有多个id的特征数据,所述方法包括:

3、分别与每一标签方进行id的安全求交,得到所述数据方与每一所述标签方所具有的id的交集,并得到每一所述交集对应的特征数据表;

4、将所有所述交集对应的特征数据表按照预设标签方顺序进行横向拼接,得到第一数据表;

5、向中心节点发送所述第一数据表,以使所述中心节点将所述第一数据表和第二数据表进行纵向拼接,得到用于联邦学习建模的训练数据表。

6、第二方面,提供一种通用横纵向混合联邦学习建模方法,用于每一标签方,所述标签方存储有多个id的标签数据,所述方法包括:

7、与数据方进行id的安全求交,得到所述标签方与所述数据方所具有的id的交集,并得到所述交集对应的标签数据表;

8、将所述标签数据表中的id匿名化;

9、将id匿名化后的所述标签数据表发送到中心节点,以使所述中心节点将所有所述标签方发送的id匿名化后的所述标签数据表按照预设标签方顺序进行横向拼接得到用于联邦学习建模的第二数据表。

10、第三方面,提供一种通用横纵向混合联邦学习建模方法,用于中心节点,所述中心节点为任一标签方或第三方,所述方法包括:

11、接收每一标签方发送的id匿名化后的标签数据表;

12、将每一id匿名化后的所述标签数据表按照预设标签方顺序进行横向拼接,得到第二数据表;

13、接收所述数据方发送的第一数据表,并与所述第二数据表进行纵向拼接,得到训练数据表;

14、采用所述训练数据表进行联邦学习建模。

15、第四方面,提供一种通用横纵向混合联邦学习建模方法,包括:

16、每一标签方和数据方进行安全求交,得到每一所述标签方与所述数据方所具有的id的交集,所述数据方得到每一所述交集对应的特征数据表,所述标签方得到所述标签方对应的交集对应的标签数据表;

17、所述数据方将所有所述交集对应的特征数据表按照预设标签方顺序进行横向拼接,得到第一数据表,并向中心节点发送所述第一数据表;

18、所述标签方将所述标签数据表中的id匿名化,将id匿名化后的所述标签数据表发送到所述中心节点;

19、所述中心节点接收所述数据方发送的第一数据表和每一所述标签方发送的id匿名化后的所述标签数据表;将每一id匿名化后的所述标签数据表按照所述预设标签方顺序进行横向拼接,得到第二数据表;将所述第一数据表与所述第二数据表进行纵向拼接,得到训练数据表;采用所述训练数据表进行联邦学习建模。

20、第五方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令;所述计算机程序指令被处理器执行时实现如第四方面实施例所述的通用横纵向混合联邦学习建模方法。

21、第六方面,提供一种通用横纵向混合联邦学习建模系统,包括:如第五方面实施例所述的计算机可读存储介质。

22、这样,本专利技术实施例,基于中心节点的安全横纵向混合联邦框架,将多方横纵向混合建模转化为纵向两方建模,可以安全处理横纵向混合的复杂场景的建模,使用匿名化对中心节点保护标签隐私信息,具有很强的通用性,无需对不同的联邦算法进行改造适配,能够快速适配几乎所有纵向联邦算法。

本文档来自技高网...

【技术保护点】

1.一种通用横纵向混合联邦学习建模方法,其特征在于,用于数据方,所述数据方存储有多个ID的特征数据,所述方法包括:

2.根据权利要求1所述的通用横纵向混合联邦学习建模方法,其特征在于:所述第二数据表为所述中心节点将每一所述标签方对应的所述交集中的ID匿名化后的标签数据按照所述预设标签方顺序进行横向拼接得到。

3.一种通用横纵向混合联邦学习建模方法,其特征在于,用于每一标签方,所述标签方存储有多个ID的标签数据,所述方法包括:

4.一种通用横纵向混合联邦学习建模方法,其特征在于,用于中心节点,所述中心节点为任一标签方或第三方,所述方法包括:

5.根据权利要求4所述的通用横纵向混合联邦学习建模方法,其特征在于:所述标签数据表为所述标签方与数据方进行ID的安全求交得到的所述标签方与所述数据方所具有的ID的交集对应的标签数据组成。

6.根据权利要求4所述的通用横纵向混合联邦学习建模方法,其特征在于:所述第一数据表由所述数据方将所述数据方与每一所述标签方所具有的ID的交集对应的特征数据表按照所述预设标签方顺序进行横向拼接得到。p>

7.一种通用横纵向混合联邦学习建模方法,其特征在于,包括:

8.根据权利要求7所述的通用横纵向混合联邦学习建模方法,其特征在于:所述数据方存储有多个ID的特征数据,所述标签方存储有多个ID的标签数据,所述中心节点为任一标签方或第三方。

9.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质上存储有计算机程序指令;所述计算机程序指令被处理器执行时实现如权利要求7~8中任一项所述的通用横纵向混合联邦学习建模方法。

10.一种通用横纵向混合联邦学习建模系统,其特征在于,包括:如权利要求9所述的计算机可读存储介质。

...

【技术特征摘要】

1.一种通用横纵向混合联邦学习建模方法,其特征在于,用于数据方,所述数据方存储有多个id的特征数据,所述方法包括:

2.根据权利要求1所述的通用横纵向混合联邦学习建模方法,其特征在于:所述第二数据表为所述中心节点将每一所述标签方对应的所述交集中的id匿名化后的标签数据按照所述预设标签方顺序进行横向拼接得到。

3.一种通用横纵向混合联邦学习建模方法,其特征在于,用于每一标签方,所述标签方存储有多个id的标签数据,所述方法包括:

4.一种通用横纵向混合联邦学习建模方法,其特征在于,用于中心节点,所述中心节点为任一标签方或第三方,所述方法包括:

5.根据权利要求4所述的通用横纵向混合联邦学习建模方法,其特征在于:所述标签数据表为所述标签方与数据方进行id的安全求交得到的所述标签方与所述数据方所具有的id的交集对应的标签数据组成。...

【专利技术属性】
技术研发人员:杨凯文毛仁歆任江哲马煜翔
申请(专利权)人:蓝象智联杭州科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1