基于横向联邦学习的Fisher线性判别器建模方法技术

本发明专利技术涉及机器学习技术领域，具体涉及一种基于横向联邦学习的Fisher线性判别器建模方法，包括：选定协调方，分别计算本地数据两个类别样本和；全部参与方生成随机数向量；计算向量和与随机数向量的和发送给协调方；协调方计算两类样本数据的特征值向量的平均值向量发送给各个参与方；参与方P

【技术实现步骤摘要】
基于横向联邦学习的Fisher线性判别器建模方法


[0001]本专利技术涉及机器学习
，具体涉及一种基于横向联邦学习的Fisher线性判别器建模方法。

技术介绍

[0002]分类任务是机器学习领域一种重要的有监督学习任务。它通过在带有已知标签的样本数据集上进行训练，得到一个分类模型,该样本集成为训练集；利用该模型应用在未知标签的数据样本，预测该样本的标签。通常一个样本可以用一个d维向量x
i
∈R
d
来表示,其中R表示实数集,一个有n个样本的集合表示为x＝(x1,x2,...,x
n
)。在训练集上每个样本带有一个用整数标签y
i
，用来指示该样本属于那个类别。在二分类任务中，y
i
有0，1两种可能的标签。某一主体，企业或个人，在应用Fisher判别器进行训练建模时，首先需要收集用于训练的数据。经常这些数据来源于不同的数据拥有者手中。这些数据有可能是敏感的数据。出于隐私方面的考虑，这些数据拥有者可能不愿意或者法律不允许对外提供这些敏感数据。在这种情况下，训练模型的主体可能收集不到足够用来训练的数据，从而影响了模型的准确度，甚至无法完整模型的训练。为此，有必要研究能够兼顾数据隐私的Fisher线性判别器建模方法。
[0003]如中国专利CN113469262A，公开日2021年10月1日，一种基于Fisher信息矩阵的增量学习方法。该方法通过计算Fisher信息矩阵判定神经网络各层参数的重要性；通过分离层间参数和层内参数，大大提升Fisher信息矩阵的计算效率；通过引入新的车辆增量数据，迭代训练模型，避免了全量数据训练的庞大计算量；对不同重要性的参数设置相应的权重系数，使得先验模型和后验模型具有最大的相似度；将Fisher信息矩阵和经典的KL散度相关联，给予神经网络的流形假设更有力的支撑。其技术方案引入正则项可以有效控制神经网络的先验模型和后验模型之间的距离，使其尽可能小。但其技术方案并没有接近多数据主体时，数据的隐私保护问题。

技术实现思路

[0004]本专利技术所要解决的技术问题：多数据主体进行Fisher线性判别器建模时，存在数据隐私泄露风险的技术问题。提出了一种基于横向联邦学习的Fisher线性判别器建模方法，能够在建模过程中保护数据主体的数据隐私安全。
[0005]解决上述技术问题，本专利技术采用如下技术方案：基于横向联邦学习的Fisher线性判别器建模方法，包括：
[0006]参与方P
k
选定协调方，参与方P
k
分别计算本地数据两个类别样本和分别计算本地数据两个类别样本和其中W
k,0
为第一类样本的和，W
k,1
为第二类样本的和，x
k,i
为样本数据的特征值向量，y
k,i
为样本数据的标签值；
[0007]全部参与方P
k
生成随机数向量R
k,0
和R
k,1
，满足以及
[0008]参与方P
k
计算向量T
k,0
＝W
k,0
+R
k,0
和向量T
k,1
＝W
k,1
+R
k,1
，把T
k,0
、T
k,1
、N
k,0
及N
k,1
发送
给协调方，N
k,0
及N
k,1
分别为本地数量标签值为0及1的样本数据的数量；
[0009]协调方计算两类样本数据的特征值向量的平均值向量m0和m1，并发送给各个参与方P
k
；
[0010]参与方P
k
各自计算(x
k,i
‑
m0)
T
，而后计算U
k
＝U
k,0
+U
k,1
；
[0011]全部参与方P
k
重新生成随机数向量R
k,0
和R
k,1
，满足以及
[0012]参与方P
k
各自计算V
k
＝U
k
+R
k
，把V
k
发送给协调方；
[0013]协调方计算令S
B
＝(m0‑
m1)*(m0‑
m1)
T
，协调方计算方程(S
B
‑
γS
in
)w＝0的特征根w，将特征根w发送给各个参与方P
k
，参与方P
k
根据特征根w建立Fisher线性判别器模型。
[0014]作为优选，全部参与方P
k
生成随机数向量R
k,0
和R
k,1
的方法包括：
[0015]赋予全部参与方P
k
排序，参与方之间两两配对；
[0016]配对的参与方P
k
和参与方P
j
交换相同的秘钥，记为C
k,j
，根据C
k,j
生成随机数；
[0017]参与方P
k
和参与方P
j
约定随机数的正负属性；
[0018]获得随机数向量R
k,0
和R
k,1
的元素数量，重复前述步骤获得与元素数量相符的多个秘钥，按获得顺序排序获得随机数向量R
k,0
和R
k,1
。
[0019]作为优选，配对的参与方P
k
和参与方P
j
采用密码交换协议获得相同的交换秘钥C
k,j
。
[0020]作为优选，所述密码交换协议为Diffe
‑
Hellman密钥交换协议。
[0021]作为优选，根据C
k,j
生成随机数的方法为：计算r
k,j
＝PRNG(C
k,j
),其中PRNG()为伪随机生成函数，计算r
k
＝
‑
∑
j<k
r
k,j
+∑
k<j
r
k,j
作为本次获得的随机数。
[0022]作为优选，参与方P
k
根据特征根w建立Fisher线性判别器模型的方法包括：
[0023]计算判别阈值：
[0024][0025]其中μ0＝W
k,0
/N
k,0
，μ1＝W
k,1
/N
k,1
，
[0026]对于新的特征向量x
*
，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于横向联邦学习的Fisher线性判别器建模方法，其特征在于，包括：参与方Pk选定协调方，参与方Pk分别计算本地数据两个类别样本和参与方Pk选定协调方，参与方Pk分别计算本地数据两个类别样本和其中W
k，0
为第一类样本的和，W
k，1
为第二类样本的和，x
k，i
为样本数据的特征值向量，y
k，i
为样本数据的标签值；全部参与方Pk生成随机数向量R
k，0
和R
k，1
，满足以及参与方Pk计算向量T
k，0
＝W
k，0
+R
k，0
和向量T
k，1
＝W
k，1
+R
k，1
，把T
k，0
、T
k，1
、N
k，0
及N
k，1
发送给协调方，N
k，0
及N
k，1
分别为本地数量标签值为0及1的样本数据的数量；协调方计算两类样本数据的特征值向量的平均值向量m0和m1，并发送给各个参与方Pk；参与方Pk各自计算参与方Pk各自计算而后计算U
k
＝U
k，0
+U
k，1
；全部参与方P
k
生成随机数向量R
k，0
和R
k，1
，满足以及参与方P
k
各自计算V
k
＝U
k
+R
k
，把V
k
发送给协调方；协调方计算令S
B
＝(m0‑
m1)*(m0‑
m1)
T
，协调方计算方程(S
B
‑
γS
in
)w＝0的特征根w，将特征根w发送给各个参与方P
k
，参与方P
k
根据特征根w建立Fisher线性判别器模型。2.根据权利要求1所述的基于横向联邦学习的Fisher线性判别器建模方法，其特征在于，全部参与方Pk生成随机数向量R
k，0
和R
k，1
的方法包括：赋予全部参与方Pk排序，参与方之间两两配对；配对的参与方Pk和参与方Pi交换相同的秘钥，记为C
k，j
，根据C
k，j
生成随机数；参与方Pk和参与方Pi约定随机...

【专利技术属性】
技术研发人员：阮安邦，袁凯，林振民，
申请(专利权)人：北京八分量信息科技有限公司，
类型：发明
国别省市：