本发明专利技术涉及数据处理技术领域，特别涉及一种基于联邦学习模型的帕金森疾病智能评估方法与系统，从三个角度测量客户端贡献，并受启发于经典博弈合作中的贡献计算方式Shapley Value，大大简化了客户端贡献估计的复杂度，在保护隐私的同时，激励多个医疗机构协同训练帕金森疾病诊断模型。本发明专利技术一种基于联邦学习模型的帕金森疾病智能评估方法与系统，从梯度下降速率、梯度多样性、数据多样性三个维度估计各个医疗机构的贡献，并在中心服务器聚合模型时，使用此贡献对各个客户端模型加权得到中心模型，实现公平，增加了医疗机构参与训练的意愿，激励各个医疗机构进行联合学习，得到一个更好的帕金森疾病分类模型。
【技术实现步骤摘要】
本专利技术涉及数据处理，特别涉及一种基于联邦学习模型的帕金森疾病智能评估方法与系统。
技术介绍
1、帕金森病是一种常见的神经退行性疾病，通常出现在中老年人中，特别是60岁以上的人群，该病主要由于大脑中负责运动控制的多巴胺神经元的退化而引起，导致运动功能受损。其症状主要分为运动症状和非运动症状。运动症状包括静止性震颤、运动迟缓、肌肉僵硬、手臂摆动减少和姿势不稳，严重影响患者的活动能力；非运动性症状则包括痴呆、流涎、出汗、情绪障碍和睡眠障碍，对患者的生活产生严重负面影响。然而帕金森病目前无法治愈，只能通过药物和物理治疗缓解症状，使患者的生活质量得到改善。但若能及早诊断和综合治疗，可以帮助患者减轻症状并延缓病情进展。
2、为了尽早诊断帕金森病，同时降低诊断成本和提高准确率，许多研究利用面部表情结合深度学习技术进行帕金森病的诊断，但这同样面临着多重挑战。要构建一个高效的深度学习模型，单个医院的数据往往是不足以支撑的，这是因为深度学习模型通常需要大量的数据进行训练，以获得准确性和可靠性。这意味着我们需要合并多个医疗机构的数据以扩大数据样本，确保模型具有足够的多样性和代表性。然而，这也带来了隐私性的挑战，医疗数据涉及个人隐私，在数据共享和收集过程中必须严格遵守相关法律法规和伦理标准。此时单个医疗机构的帕金森病例数据的稀少和隐私性，与深度学习模型需要大量数据训练的矛盾，为我们利用深度学习模型进行帕金森疾病诊断带来了巨大挑战。解决这一问题需要在数据共享和隐私保护之间找到平衡，以推动面部表情诊断技术在帕金森领域的应用和发展。
<
p>3、联邦学习是近些年新兴的基于隐私保护的分布式深度学习技术，其可以在保护数据不外泄的情况下，协同多个机构共同训练模型，有效缓解客户端本地数据不足的问题。传统方案中多方提供数据并在中心服务器上融合数据，其存在着数据隐私安全和参与方权益保护等问题，为了解决这些挑战，“数据不动模型动”的联邦学习框架逐渐成为多方合作训练模型的新范式。在联邦学习中，各参与方通过传递隐私安全的模型梯度更新来合作训练联邦模型，同时保证各参与方的数据不离开本地，从而确保了数据隐私安全。但由于参与的客户端是自私的，彼此之间存在计算通信资源、数据等差异，如何最大程度激励客户端参与训练，合理分配奖励，提高联邦参与者的积极性，对联邦学习的可持续发展非常重要。4、现有联邦学习的公平性实现主要是通过合理的贡献估计，并根据贡献估计的结果分配效益。贡献评估首先需要明确如何度量数据价值,然而数据估值存在主观性与依赖于实际任务场景的特点,如何设计有效、可靠并对恶意数据鲁棒的数据估值指标是第一大挑战。其次,联邦学习合作中的参与方贡献评估是经典的合作博弈问题,如何制定公平合理的参与方贡献评估方案,实现参与方一致认可的博弈平衡是第二大挑战。最后,参与方贡献评估往往计算复杂度高,同时,联邦学习中围绕模型的数据估值时间开销大,因此,在实践中如何设计高效且准确的近似算法是第三大挑战。目前，在如何同时解决这三大问题上的研究还不足，特别是在医学领域。
5、为了激励各个医疗机构参与训练，本专利技术提出了一种公平的联邦学习算法，并在帕金森病诊断上取得了良好的效果。
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供了一种基于联邦学习模型的帕金森疾病智能评估方法与系统，提供一种基于贡献估计的联邦学习技术，在保护隐私的同时，激励多个医疗机构协同训练帕金森疾病诊断模型。
2、一种基于联邦学习模型的帕金森疾病智能评估方法，包括以下步骤：
3、s1、贡献评估方式：
4、将每个参与方的夏普利值视为该参与方的贡献：
5、
6、其中d表示数据分布，n表示参与的客户端数，使表示所有子集长度为n的数据分布集合，s表示客户端集合，若s集合元素有m个，则其所有可能的情况对应的数据分布表示为dm，即s～dm，|s|＝m；u表示效用函数，用以计算集合s的贡献值；
7、通过分析夏普利值的定义，其计算贡献的核心方式是计算某个客户端i对某个集合的边际效益，也就是确定一个客户端是否会对现存的客户端集合做出贡献；因此我们使用一个近似估计直接测量某个客户端的贡献：
8、
9、其中γi是我们提出的同时从梯度多样性、梯度下降速率和数据多样性三个维度测量客户端价值的效用函数，n\{i}表示从全体n个客户端中去掉客户端i；
10、中心服务器下发全局模型：
11、在进行联邦学习时，首先需要对全局模型进行初始化，通常情况下，将全局模型表示为w0，并确定通信轮次为k；联邦学习的核心在于客户端设备的参与；为了确保对所有客户端的贡献进行准确评估，规定：在每次下发全模型时，所有客户端都必须参与更新；这意味着每个客户端都有机会贡献其本地数据的信息，进而可以准确评估每个客户端的贡献，促进全局模型的收敛和优化；这一规定确保了每个客户端都能够对最终的全局模型产生影响，而不会因为随机抽取而被忽视：
12、
13、s2、本地训练：
14、各个客户端的本地模型结构需要保持一致，本地模型可以根据任务进行选择；为了实现高效的帕金森疾病检测，选择swin_transformer_base模型，该模型的架构包括了patchembedding层、四个stage层以及最终的输出层；帕金森疾病检测是一个分类任务，采用交叉熵损失函数作为训练过程中的优化目标；
15、s3、客户端贡献参数计算：
16、在模型训练阶段，通过三个维度估计客户端的贡献，分别是梯度多样性、梯度下降速率和数据多样性；
17、在梯度空间中，计算一个客户端和所有其他客户端之间的梯度方向差；捕获联邦学习中的数据多样性和异质性对于训练一个稳健且可推广的全局模型非常重要，因此为呈现不同梯度方向的客户端分配了更多的权重；对于在第k轮中客户端i的梯度多样性贡献计算如下：
18、
19、其中表示客户端本地训练后的累计梯度，表示在聚合所有客户端梯度时排除客户端i梯度的梯度聚合值：
20、在梯度空间中，通过分析各个客户端的梯度下降速度，可以实现更精准的权重分配，这有助于提高整体模型的性能和效率；在权重分配时，对数据质量高的客户端给予更高的权重，以提升整体模型的性能：
21、
22、在数据空间中，使用辅助模型来测量客户端数据的准确率，该辅助模型模型是通过全局模型排除客户端自身的参数来计算的；对于在第k轮中客户端i的数据贡献计算如公式(6)：
23、
24、其中表示在聚合所有客户端模型参数时排除客户端i的聚合值；
25、s4、中心服务器聚合模型：
26、在经过一轮本地客户端训练后，中心服务器收到各个客户端的本地模型和相应的贡献估计，首先对三个贡献进行归一化处理，以梯度贡献为例，如公式(7)所示，其他同理：
27、
28、使各个贡献标准化后，确保了每类贡献本文档来自技高网
...
【技术保护点】
1.一种基于联邦学习模型的帕金森疾病智能评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于联邦学习模型的帕金森疾病智能评估方法，其特征在于：步骤S2中，PatchEmbedding层由卷积层和LayerNorm层组成，其主要功能在于调整图像的宽度、高度和通道尺寸，以便进一步的处理；接下来，每个Stage层都包括一个堆叠的Block层和一个PatchMerging层，这些层的作用类似于PatchEmbedding层，但在不同阶段对输入进行更深层次的处理；最后一层由LayerNorm层、平均池化层和全连接层组成，这一层在整个模型中扮演着整合和提取特征的重要角色。
3.根据权利要求1所述的一种基于联邦学习模型的帕金森疾病智能评估方法，其特征在于：步骤S3中，计算客户端本地梯度与全局梯度的余弦相似度得到本地的梯度多样性贡献、计算本地梯度的L2范式得到本地梯度的下降速率和计算辅助模型在本地数据集上的准确率来得到本地的数据多样性贡献，再结合本地的梯度多样性贡献、梯度下降速率贡献和数据多样性贡献得到客户端的真实贡献值。
4.一种基于联邦学习模型的帕金森疾病智能评估系统，其特征在于：该系统包括实现如权利要求1-3任一项所述方法的控制器、服务器和终端设备。
...
【技术特征摘要】
1.一种基于联邦学习模型的帕金森疾病智能评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于联邦学习模型的帕金森疾病智能评估方法，其特征在于：步骤s2中，patchembedding层由卷积层和layernorm层组成，其主要功能在于调整图像的宽度、高度和通道尺寸，以便进一步的处理；接下来，每个stage层都包括一个堆叠的block层和一个patchmerging层，这些层的作用类似于patchembedding层，但在不同阶段对输入进行更深层次的处理；最后一层由layernorm层、平均池化层和全连接层组成，这一层在整...
【专利技术属性】
技术研发人员：庞孟，徐后炜，周崟涛，张蓉，黄伟，李正宇，
申请(专利权)人：南昌大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。