一种基于异构混合数据的全局梯度双追踪分布式方法技术

本发明专利技术涉及一种基于异构混合数据的全局梯度双追踪分布式方法，设置各节点的数据总和为全局数据，且每个节点只能与邻居节点交互与原始数据相差甚远的相关信息。通过引入两个辅助变量，包括全局线性组合追踪变量和全局梯度追踪变量，分别估计数据与变量的线性耦合全局和，以及基于全局数据变量的梯度。其中每个节点在本地进行多步随机梯度下降，既降低了计算复杂度又节省了通信开销。各节点与邻居相互交互信息，最终收敛一致，获得全局模型。本发明专利技术基于异构混合数据提出的全局梯度双追踪分布式算法可以有效地解决最复杂的非均匀混合学习(Hybrid learning,HBL)问题。learning,HBL)问题。learning,HBL)问题。

【技术实现步骤摘要】
一种基于异构混合数据的全局梯度双追踪分布式方法


[0001]本专利技术涉及人工智能
，尤其涉及一种基于异构混合数据的全局梯度双追踪分布式方法。

技术介绍

[0002]随着人类社会数字化进程的不断加快，海量数据呈爆炸式增长，这种现象导致难以将所有数据存储在一个设备或处理器中，并进一步使集中式算法逐渐不再适用。鉴于此，分布式优化在各种信号处理领域引起了极大的关注。并且人们对数据隐私和安全越来越重视，这要求分布式优化算法不能直接交换原始数据。为应对上述挑战，各类分布式学习方法应运而生。
[0003]根据数据在网络节点处的分布情况，分布式学习任务可分为三类，即横向学习(Horizontal learning,HL)问题、纵向学习(Vertical learning,VL)问题，以及混合学习(Hybrid learning,HBL)问题；在HL框架下，研究者通常将其构建成一个有限平均和的问题，其中每一个网络节点都有部分的样本，却有全部的特征集。在VL系统中，每个节点可观察到所有的样本，但只能得到部分的特征子集；相较于HL和VL系统，HBL场景最为复杂，其中每个网络节点只有部分样本子集和数据特征子集，如图1所示，以综合医院、牙科诊所、骨科专科医院、研究机构四个组织为例。四者都为了分析患者寿命而研究基因多组学数据，但是每个组织都有部分的组学样本或部分的组学特征。另外，HBL可以进一步分为均匀和非均匀的模式，对于均匀模式，客户拥有的数据样本具有相同的特征，而在非均匀模式下它们具有不同的特征子集。
[0004]针对非凸联邦学习(Federated learning,FL)问题，现有技术提出随机梯度追踪算法，利用辅助变量估计全局平均梯度，但是现有的这种分布式方法只适用于FL问题，都是分别针对HL、VL和均匀模式下的HBL场景，无法求解包含以上所有场景在内的最广义的非均匀HBL问题，因此，如何既能克服本地数据的不完整性，又能降低通信开销，是分布式HBL问题亟需应对的挑战。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的缺点，提供了一种基于异构混合数据的全局梯度双追踪分布式方法，解决了传统分布式方法无法求解包含以上所有场景在内的最广义的非均匀HBL问题。
[0007]本专利技术的目的通过以下技术方案来实现：一种基于异构混合数据的全局梯度双追踪分布式方法，所述分布式方法包括：
[0008]构建本地数据矩阵，进而确定全局数据矩阵B
i
，并确定系统优化目标；
[0009]系统网络环境配置：考虑多节点分布式网络场景，设置N个网络节点，各节点之间
服从某种连通的拓扑结构，且每个节点与邻近节点交互信息，并选取分布式节点之间的连接关系；
[0010]构建网络模型：将多节点网络建模为一个无向图，构建双随机的交互矩阵；
[0011]构建非均匀的HBL问题，确定与数据耦合的本地优化变量x
n
和普通优化变量θ
n
，还有用来优化它们的损失函数f，接着引入两个追踪变量分别估计损失函数f关于每个节点n的参数x
n
和θ
n
的梯度，即每个节点n引入全局线性组合追踪变量z
n，i
，i∈[S](其中i∈[S]为i＝1，...，S的简略表示)，估计全局线性组合B
i
x
n
；基于追踪变量z
n，i
，i∈[S]，每个节点n继续引入全局梯度追踪变量u
n
，估计全局梯度其中表示B
i
的转置，表示函数对z
n，i
，i∈[S]的梯度；
[0012]将每个节点分别在本地更新Q次，完成模型参数的选取，并实现分布式节点之间的信息交互；
[0013]本地模型更新：在第r＝1，
…
，T轮迭代时，每个节点n＝1，
…
，N分别进行Q步本地更新，设每个节点的初始变量都相同，并随机初始为：与数据耦合的参数其他的网络参数全局线性组合追踪变量全局梯度追踪变量其中对于任意的节点m≠n；
[0014]重复T轮分布式节点之间的信息交互和本地模型更新步骤，使得每个分布式网络节点都获得基于第T轮获得的参数θ和x的一致模型；
[0015]每个节点将含有整个特征集的样本数据输入收敛一致的分布式模型，从而获取高准确率的医疗诊断结果。
[0016]所述构建本地数据矩阵的步骤包括以下内容：
[0017]获取有用数据：获取综合医院、专科医院、科研结构中记录患者的病历信息，并对获取的数据信息进行处理，筛选得到患者有用的就医记录；
[0018]构建数据矩阵：将每个包括医院在内的机构作为一个分布式节点，每个患者作为一个样本，患者的每项就医记录作为一个特征，构建一个以样本为行，特征为列的数据矩阵，且每个节点的特征集互不重叠；
[0019]将全局数据矩阵表示为其中，S和J是分别是样本数和特征总数，设置节点n拥有本地数据矩阵将其中不能被观察到的数据设置为零，进而全局数据矩阵表示为
[0020]所述构建网络模型的步骤具体包括以下内容：
[0021]将多节点网络建模为一个无向图其中ε表示连接节点的边的集合，则表示节点的集合，如果(m，n)∈ε，那么节点m和n可以交互信息；
[0022]构建交互矩阵：设置交互矩阵为其中，对于任意的(m，n)∈ε，W
n，m
＞0，否则W
n，m
＝0，且交互矩阵W满足双随机条件W1＝1，1
T
W＝1，其中1表示全1的向量，λ
w
表示W的第二大特征值，且
[0023]所述构建非均匀的HBL问题具体包括以下内容：
[0024]设置多节点网络的收敛一致问题为：
[0025][0026][0027]其中，x
n
表示与数据耦合的本地优化变量，θ
n
表示普通优化变量，表示节点n的所有邻居节点的集合。
[0028]所述引入两个追踪变量估计损失函数f的参数x和θ具体包括以下内容：
[0029]预先确定所选取的损失函数f关于x和θ的梯度形式分别为和
[0030]每个节点n引入全局线性组合追踪变量z
n，i
，i∈[S]，其中i∈[S]表示i＝1，...，S，估计全局线性组合B
i
x
n
；基于追踪变量z
n，i
，i∈[S]，每个节点n继续引入全局梯度追踪变量u
n
，估计全局梯度
[0031]所述将每个节点分别在本地更新Q次，完成模型参数的选取具体包括以下内容：
[0032]设置初始时为第0轮迭代，各节点随机初始变量为和每个节点n初始追踪变量为计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构混合数据的全局梯度双追踪分布式方法，其特征在于：所述分布式方法包括：构建本地数据矩阵，进而确定全局数据矩阵B
i
，并确定系统优化目标；系统网络环境配置：考虑多节点分布式网络场景，设置N个网络节点，各节点之间服从某种连通的拓扑结构，且每个节点与邻近节点交互信息，并选取分布式节点之间的连接关系；构建网络模型：将多节点网络建模为一个无向图，构建双随机的交互矩阵；构建非均匀的HBL问题，确定与数据耦合的本地优化变量x
n
和普通优化变量θ
n
，还有用来优化它们的损失函数f，接着引入两个追踪变量分别估计损失函数f关于每个节点n的参数x
n
和θ
n
的梯度,即每个节点n引入全局线性组合追踪变量z
n，i
，i∈[S](其中i∈[S]为i＝1，...，S的简略表示)，估计全局线性组合B
i
x
n
；基于追踪变量z
n，i
，i∈[S]，每个节点n继续引入全局梯度追踪变量u
n
，估计全局梯度其中表示B
i
的转置，表示函数对z
n，i
，i∈[S]的梯度；将每个节点分别在本地更新Q次，完成模型参数的选取，并实现分布式节点之间的信息交互；本地模型更新：在第r＝1,
…
,T轮迭代时，每个节点n＝1,
…
,N分别进行Q步本地更新，设每个节点的初始变量都相同，并随机初始为：与数据耦合的参数其他的网络参数全局线性组合追踪变量全局梯度追踪变量其中对于任意的节点m≠n；重复T轮分布式节点之间的信息交互和本地模型更新步骤，使得每个分布式网络节点都获得基于第T轮获得的参数θ和x的一致模型；每个节点将含有整个特征集的样本数据输入收敛一致的分布式模型，从而获取高准确率的医疗诊断结果。2.根据权利要求1所述的一种基于异构混合数据的全局梯度双追踪分布式方法，其特征在于：所述构建本地数据矩阵的步骤包括以下内容：获取有用数据：获取综合医院、专科医院、科研结构中记录患者的病历信息，并对获取的数据信息进行处理，筛选得到患者有用的就医记录；构建数据矩阵：将每个包括医院在内的机构作为一个分布式节点，每个患者作为一个样本，患者的每项就医记录作为一个特征，构建一个以样本为行，特征为列的数据矩阵，且每个节点的特征集互不重叠；将全局数据矩阵表示为其中，S和J是分别是样本数和特征总数，设置节点n拥有本地数据矩阵将其中不能被观察到的数据设置为零，进而全局数据矩阵表示为3.根据权利要求2所述的一种基于异构混合数据的全局梯度双追踪分布式方法，其特征在于：所述构建网络模型的步骤具体包括以下内容：将多节点网络建模为一个无向图其中ε表示连接节点的边的集合，
则表示节点的集合，如果(m，n)∈ε，那么节点m和n可以交互信息；构建交互矩阵：设置交互矩阵为其中，对于任意的(m，n)∈ε，W
n，m
＞0，否则W
n,m
＝0，且交互矩阵W满足双随机条件其中1表示全1的向量，λ
w
表示W的第二大特征值，且4.根据权利要求2所述的一种基于异构混合数据的全局梯度双追踪分布式方法，其特征在于：所述构建非均匀的HBL问题具体包括以下内容：设置多节点网络的收敛一致问题为：设置多节点网络的收敛一致问题为：其中，x
n
表示与数据耦合的本地优化变量，θ
n
表示普通优化变量，表示节点n的所有邻居节点的集合。5.根据权利要求4所述的一种基于异构混合数据的全局梯度双追踪分布式方法，其特征在于：所述引...

【专利技术属性】
技术研发人员：葛颂阳，张纵辉，
申请(专利权)人：深圳市大数据研究院，
类型：发明
国别省市：