一种基于聚类的自组织联邦学习方法技术

本发明专利技术公开了一种聚类的自组织联邦学习方法，属于联邦学习领域；本发明专利技术基于聚类的自组织联邦学习方法的研究及应用，主要包括节点设备聚类、中心节点选取、联邦学习全局损失函数定义、联邦学习目标优化条件。一方面通过对参与联邦学习的节点设备进行聚类，减少了本地客户端节点上传模型参数的通信延迟，提升了联邦学习的收敛时间。另一方面，借助联邦学习可以保证客户端的用户数据在不出本地的情形下，避免用户的隐私数据被窃取和攻击，极大程度上提升了联邦学习的安全性和有效性。提升了联邦学习的安全性和有效性。提升了联邦学习的安全性和有效性。

【技术实现步骤摘要】
一种基于聚类的自组织联邦学习方法


[0001]本专利技术涉及一种基于聚类的自组织联邦学习方法，属于联邦学习领域，涉及聚类算法和联邦学习的结合及使用。

技术介绍

[0002]随着物联网技术的快速发展，越来越多的智能设备被设计和使用，如智能交通中的路网调度、交通信号控制仪等；智慧森林中的温湿度传感器、烟雾报警器、森林防火智能语音警示器等；智慧城市中的停车场车辆识别系统、垃圾分拣设备、天眼监控摄像机等；智能家居中的扫地机器人、智能音箱等，这无疑不使用户的生活更加舒适和便捷。同样地，当越来越多的设备接入网络势必会产生大量的用户数据，怎样通过用户的使用数据为用户提供更好的服务成为目前需要解决的主要问题。一般采用机器学习对设备中采集的数据进行处理，即预先将物理网中各节点设备间产生的数据汇聚至云服务器端进行处理，然后运用匹配的模型算法对数据进行训练，最后借助训练好的模型对未知状态进行预测或监测，实时提供智能服务。
[0003]然而，在将物联网中各节点设备的数据从本地上传至云服务器端的过程中，可能会引发严重的数据隐私安全问题，如数据被第三方截取进行篡改，服务器端擅自使用用户数据等。针对这一问题，可以使用联邦学习对所采集的数据进行学习，进而保护本地节点设备的用户数据不被他人违法使用。联邦学习作为一种新型的机器学习方法，并不需要将各节点设备的本地数据传输至中心服务器，而是各节点设备将自己本地训练的模型参数传输至中心服务器，由中心服务器对全局训练的模型进行更新，然后由中心服务器将更新的模型参数反馈至本地节点设备，最后由本地设备根据更新的模型参数继续更新其本地局部训练模型。基于上述迭代更新过程，直至模型的参数达到指定的模型精确性要求或者设定的迭代次数为止，结束联邦学习的训练过程。
[0004]当然，针对物联网节点中所采集数据的联邦学习，也面临一些巨大挑战，例如，云服务器或者边缘服务器会因为一些不可抗的物理原因引发设备故障，或者在模型参数传输过程中由于网络中通信资源匮乏，参与联邦学习的本地客户端可能无法对云服务器或者边缘服务器进行访问，从而导致联邦学习失败。
[0005]基于以上挑战，本专利技术提出了一种基于聚类的自组织联邦学习方法。首先，本地的客户端可以根据节点设备的关键参数，如，电池寿命、设备的连接性、计算资源等运用聚类算法预先选择一个中心节点。然后，各个客户端节点依次将自己的本地模型参数上传至中心节点，由中心节点将各节点的模型参数传输至云服务器端，再由云服务器端对中心节点对所提交的本地模型参数进行聚合。最后，云服务器端依次将更新后的模型参数经由中心节点返回给本地客户端进行学习，迭代至联邦学习目标函数收敛或者预设的学习次数达到最大值后，停止联邦学习过程。
[0006]上述这种基于聚类的自组织联邦学习方法的主要机制在于：在保护节点设备数据隐私方面，可以借助联邦学习数据不出本地即可进行机器学习的性质来避免用户的数据被
不合法使用；在通信的消耗上，通过预先聚类的学习方法选择中心节点，避免所有节点同时通信造成网络拥堵。这种学习方法不仅确保了数据的安全性，同时借助降低网络通信的聚类算法，保证了联邦学习的收敛时间。

技术实现思路

[0007]本专利技术的主要内容是基于聚类的自组织联邦学习方法的研究及应用，主要包括节点设备聚类、中心节点选取、联邦学习全局损失函数定义、联邦学习目标优化条件。其采用的技术方案为：1)通过运用各节点间的交互频率，即社会亲密度值作为聚类的属性，依次对物联网中的各节点设备进行聚类，从而选取中心节点与云服务器端进行通信，由云服务器执行联邦学习的聚合和更新操作；2) 通过分析各参与节点的局部损失函数，构建联邦学习的全局损失函数；3)通过引入参与节点的资源配置，对联邦学习的目标函数进行优化，从而减少联邦学习的通信开销，降低目标函数的收敛时间。
[0008]本专利技术采用的技术方案为一种聚类的自组联邦学习方法，该方法的实现步骤如下：
[0009]步骤S1：参数初始化设置；
[0010]步骤S2：中心节点选取；
[0011]步骤S3：全局损失函数定义；
[0012]步骤S4：各节点依次将自己的模型参数通过中心节点传输至云服务器端，由云服务器对模型参数进行聚合和更新；
[0013]步骤S5：最后由云服务器端将更新后的模型参数通过中心节点返回给各节点设备，直到联邦学习时间收敛；
[0014]上述技术方案中，在步骤S1中，具体的初始化参数步骤为：
[0015]步骤S101：初始化各参与节点的局部模型精度θ，联邦学习全局模型精度ε，各节点工作频率f
n
，工作频率取值区间{f
min
,f
max
}，各节点设备分发的最大资源块常量α，全局资源块集合R；
[0016]上述技术方案中，在步骤S2中，中心节点选取的步骤为：
[0017]步骤S201：根据节点间互相访问关系，构建节点间社会关系矩阵V
N
；
[0018]步骤S202：当n≠m时，v
n,m
＝1；n＝m时，v
n,m
＝0；
[0019]步骤S203：根据排序算法依次对矩阵V
N
中各行数据，即{v
n,m
}集合中所有元素求和的值进行排序，选取大于预设值α的参与节点作为选定的中心节点，使{v
n,m
}≥α；
[0020]上述技术方案中，在步骤S3中，全局损失函数的定义步骤为：
[0021]步骤S301：各参与节点依次确定自己持有的数据集DS
n
，及数据集大小 D
n
；
[0022]步骤S302：各参与节点构建自己的损失函数J
n
(ω)，如下：
[0023][0024]其中，ω为各节点局部模型的权重参数，x
i
和y
i
分别代表节点设备n持有的数据集中第i个数据的输入和输出；
[0025]步骤S303：定义联邦学习的全局损失函数，如下：
[0026][0027]D＝∑
n∈N
D
n
ꢀꢀꢀꢀꢀꢀꢀ
(3c)
[0028]假设J(ω)是一个强凸函数，并且它的最小上界值定义如下：
[0029][0030]式中，θ为各节点局部模型精度，ε为联邦学习全局模型精度，通过将 log(1/ε)正则化至1，则K(ε,θ)＝1/(1
‑
θ)。
[0031]上述技术方案中，在步骤S4中，模型传输、聚合和更新的具体步骤为：
[0032]步骤S401：各参与节点依次计算模型梯度，使用差分隐私对梯度信息进行掩饰，然后将加密后的梯度借助中心节点发送给云服务器端；
[0033]步骤S402：云服务器端对各参与节点的加密梯度进行安全聚合，可采用同态加密算法对加密梯度进行加权平均，进而更新梯度信息；
[0034]上述技术方案中，在步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于聚类的自组织联邦学习方法，其特征在于，该方法的实现步骤如下：步骤S1：参数初始化设置；步骤S2：中心节点选取；步骤S3：全局损失函数定义；步骤S4：各节点依次将自己的模型参数通过中心节点传输至云服务器端，由云服务器对模型参数进行聚合和更新；步骤S5：最后由云服务器端将更新后的模型参数通过中心节点返回给各节点设备，直到联邦学习时间收敛。2.根据权利要求1中所述的一种基于聚类的自组织联邦学习方法，其特征在于，在步骤S1中，具体的初始化参数步骤为：步骤S101：初始化各参与节点的局部模型精度θ，联邦学习全局模型精度ε，各节点工作频率f
n
，工作频率取值区间{f
min
,f
max
}，各节点设备分发的最大资源块常量α，全局资源块集合R。3.根据权利要求1中所述的一种基于聚类的自组织联邦学习方法，其特征在于，在步骤S2中，中心节点选取的步骤为：步骤S201：根据节点间互相访问关系，构建节点间社会关系矩阵V
N
；步骤S202：当n≠m时，v
n,m
＝1；n＝m时，v
n,m
＝0；步骤S203：根据排序算法依次对矩阵V
N
中各行数据，即{v
n,m
}集合中所有元素求和的值进行排序，选取大于预设值α的参与节点作为选定的中心节点，使{v
n,m
}≥α。4.根据权利要求1中所述的一种基于聚类的自组织联邦学习方法，其特征在于，在步骤S3中，全局损失函数的定义步骤为：步骤S301：各参与节点依次确定自己持有的数据集DS
n
，及数据集大小D
n
；步骤S302：各参与节点构建自己的损失函数J
n
(ω)，如下：其中，ω为各节点局部模型的权重参数，x
i
和y
i
分别代表节点设备n持有的数据集中第i个数据的输入和输出；步骤S303：定义联邦学习的全局损失函数，如下：D＝∑
n∈N
D
n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)假设J(ω)是一个强凸函数，并且它的最小上界值定义如下：式中，θ为各节点局部模型精度，ε为联邦学习全局模型精度，通过将log(1/ε)正则化至1，则K(ε,θ)＝1/(1
‑
θ)。5.根据权利要求1中所述的一种基于聚类的自组织联邦学习方法，其特征在于，在步骤
S4中，模型传输、聚合和更新的具体步骤为：步骤S401：各参与节点依次计算模型梯度，使用差分隐私对梯度信息进行掩饰，然后将加...

【专利技术属性】
技术研发人员：张晓琴，邓小科，熊涛，李园，
申请(专利权)人：张晓琴，
类型：发明
国别省市：