【技术实现步骤摘要】
本专利技术属于联邦学习，具体涉及一种基于原型引导的联邦一致性表示学习系统及方法。
技术介绍
1、联邦学习支持使用来自不同来源的数据进行协作建模，它在数据源之间共享模型参数而不是原始数据，以确保隐私和安全。这显著提高了孤立数据的有效利用，使它们能够为合作决策做出贡献，并学习一个普遍的模型。然而，现有的研究强调，客户之间的数据分布异构性可能导致协作建模的有效性降低。这主要是因为在处理客户端内部不平衡且客户端之间分布不一致的数据时，学习一致的特征空间变得具有挑战性，这使得将目标不一致的多个学习者集成到一个显著的模型中非常困难。
2、专利技术人发现，现有技术存在以下技术缺陷：现有的联邦学习方法，无法在不共享用户隐私数据的前提下，指导客户端模型利用私有数据学习一致的特征空间，并忽略了训练数据的不平衡，这可能会阻碍对有限样本大小的类别进行有效的表征学习和校准，导致聚合后模型的图像分类准确度不高，缺乏普适性。
技术实现思路
1、针对上述现有技术中存在的问题，本专利技术提供了一种基于原型引导的联邦一致性表示学习系统及方法，显著改善了现有方法在联邦学习场景中的图像分类效果。
2、为了解决以上技术问题，本专利技术的技术方案为：
3、第一方面，本专利技术提供了一种基于原型引导的联邦一致性表示学习系统，包括：源内表征校准模块，用于对客户端的表示分布进行建模，改进局部训练，对不平衡数据上的特征分布进行校正；同时，它向服务器提供原型信息，包括集群原型、集群方差和注意力分数；
4、跨源一致表征学习模块，用于学习泛化投影和分类器，它首先利用统计知识生成增强特征，细化特征空间，提高多样性；随后，将不同来源的特征映射到统一的空间进行比对和分类，并根据注意力得分消除异常点的干扰。
5、在一种典型实施方式中，所述源内表征校准模块包括两个过程：知识引导的表征校准和聚类驱动的类模式建模。
6、进一步，知识引导的表征校准具体为：使用从预先训练的clip（contrastivelanguage-image pre-training）中学习的固定的类别感知文本特征作为局部特征学习的优化目标，以规范客户端的特征学习。它执行有监督的原型对比学习，以最大化保证潜在空间中图像特征和文本原型之间的一致性，目标损失被定义为：
7、，
8、其中，表示客户端中类的图像特征，，是文本编码器，表示类的数量，为图像特征的标签，为指示函数，，，为客户端中的训练数据的数量，表示温度参数。
9、同时，使用经验损失来进一步确保模型的分类能力，即，
10、，
11、其中，表示模型输出向量中的第个元素，是图像的标签。
12、在一种典型实施方式中，所述聚类驱动的类模式建模具体为：利用从源内表征校准模块学习的固定模型从所有训练数据中提取特征，并使用k-均值聚类方法来挖掘潜在空间中的不同模式，即，
13、，
14、其中，表示客户端中类别的数据，是一个超级参数，它表示簇的数量。此外，为了在特征空间中获得更精确的分布，该模块计算簇内的特征的平均值和方差，即，
15、，
16、，
17、其中，表示集群的大小。
18、此外，考虑到数据分布的不平衡导致了有限的能力，为了学习少数样本类别的判别表示，源内表征校准模块进一步评估所有聚类的重要性，以减少异常特征对模型校准的干扰，它包含三个因素，包括聚类大小、聚类紧凑度和到其他类别聚类中心的最小距离。对于簇，，，，其中，是与簇不同类别的簇中心，表示属于簇的数据特征。从本质上讲，一个簇越大、越紧密，离其他簇的中心越远，它就越重要。因此，簇的重要度分数可以表示为。最后，客户端将三元组和本地模型上载到服务器，其中是客户端中的簇数。值得注意的是，簇中心也被称为本地原型。
19、在一种典型实施方式中，跨源一致表征学习模块获得从客户端上传的所有局部模型和局部原型集合，将来自异构空间的原型特征对齐，主要包括两个过程：类感知区域校准和跨源特征对齐。
20、进一步，类感知区域校准具体为：利用知识转移技术校准类感知区域，使用高斯模型基于方差来生成扩展特征。将具有高重要性分数的方差和其他方差融合，以将重要知识传递到客户端中的其他类别特征，即，
21、，
22、其中，是本地原型，是增强特征的数量，表示融合方差，表示对应客户端得分最高的聚类方差。
23、值得注意的是，与现有方法中的点对点方法相比，所生成的一组增强特征形成区域，这有助于跨源特征对齐模块实现区域对区域对齐。
24、进一步，跨源特征对齐具体为：对于原始的全局模型，全局特征提取器不需要重新训练，而投影头和分类器需要校准，即，。将本地学习的原型和来自类感知区域校准模块的增强特征映射到为跨源协作分类而设计的新空间。与此同时，它采用两级正则化方法对表示学习进行精化，包括局部一致性匹配和互补一致性匹配，能够更有效地强调类内特征的共性和类间特征的差异性，消除了特定于客户的信息。
25、对于局部一致性匹配级别，它通过对局部表示之间相互关系的一致性施加约束来促进学习过程，从而引导模型获取在不同客户端保持不变的特征。这可以用以下方式来表达：
26、，
27、其中，是经过校准的投影头映射后的特征，如果是客户端中类的本地原型，则；如果是增强特征，则，，表示点积。
28、，其中，是欧几里得距离。
29、总体而言，局部匹配损耗定义为：
30、。
31、对于互补一致性匹配级别，它利用来自不同来源的特征的互补性，促进模型跨客户学习一致性特征，使模型超越单一视角的限制，实现更全面的学习水平。这可以定义为：
32、。
33、此外，为了增强模型校正的稳健性并保持清晰的决策边界，该模块以加权的方式利用所有特征的重要性得分来将模型的焦点从质量较低的特征上转移出来，从而设计了加权监督分类损失，定义如下：
34、，
35、其中，是从源内表征校准模块学习的注意力分数，是经过分类器学习到的预测。
36、更进一步地，跨源一致表征学习模块将校准的全局模型发送给所有客户端。
37、第二方面，本专利技术提供了一种基于原型引导的联邦一致性表示学习方法，包括：利用客户端中的私有数据对私有模型进行训练，并利用预训练的clip模型输出的类感知文本表征约束局部模型的表征学习，所述客户端中存储有私有数据集和私有模型，训练结束后，使用训练好的私有模型对私有数据集进行特征提取，将提取的特征进行聚类，簇内的特征均值被视为原型，并计算簇内特征在各个维度上的方差和簇原型的重要性分数。客户端将私有模型和原型相关信息发送至服务端；服务端接收客户端上传的私有模型和原型，对私有模型的参数进行求和，然后取平均值得到全局模型；服务端利用各方原型校准全局模型中的全局投影头和全局分类器，将校准后的全局模型发送给本文档来自技高网...
【技术保护点】
1.一种基于原型引导的联邦一致性表示学习系统，其特征在于，包括：源内表征校准模块，用于对客户端的表示分布进行建模，改进局部训练，对不平衡数据上的特征分布进行校正；同时，它向服务器提供原型信息，包括集群原型、集群方差和注意力分数；
2.根据权利要求1所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述源内表征校准模块包括两个过程：知识引导的表征校准和聚类驱动的类模式建模。
3.根据权利要求2所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述知识引导的表征校准具体为：使用从预先训练的CLIP中学习的固定的类别感知文本特征作为局部特征学习的优化目标，以规范客户端的特征学习；它执行有监督的原型对比学习，以最大化保证潜在空间中图像特征和文本原型之间的一致性，目标损失被定义为：
4.根据权利要求2所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述聚类驱动的类模式建模具体为：利用从源内表征校准模块学习的固定模型从所有训练数据中提取特征，并使用k-均值聚类方法来挖掘潜在空间中的不同模式，即，
5.根据权利要求
6.根据权利要求5所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述类感知区域校准具体为：利用知识转移技术来校准类感知区域，使用高斯模型基于方差来生成扩展特征，将具有高重要性分数的方差和其他方差融合，以将重要知识传递到客户端中的其他类别特征，即，
7.根据权利要求5所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述跨源特征对齐具体为：对于原始的全局模型，全局特征提取器不需要重新训练，而投影头和分类器需要校准，即，。
8.根据权利要求7所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述跨源特征对齐采用两级正则化方法对表示学习进行精化，包括局部一致性匹配和互补一致性匹配。
9.根据权利要求8所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述局部一致性匹配用以下方式来表达：
10.一种基于原型引导的联邦一致性表示学习方法，其特征在于，采用权利要求1-9任一项所述的系统，包括：利用客户端中的私有数据对私有模型进行训练，并利用预训练的CLIP模型输出的类感知文本表征约束局部模型的表征学习，所述客户端中存储有私有数据集和私有模型，训练结束后，使用训练好的私有模型对私有数据集进行特征提取，将提取的特征进行聚类，簇内的特征均值被视为原型，并计算簇内特征在各个维度上的方差和簇原型的重要性分数；客户端将私有模型和原型相关信息发送至服务端；服务端接收客户端上传的私有模型和原型，对私有模型的参数进行求和，然后取平均值得到全局模型；服务端利用各方原型校准全局模型中的全局投影头和全局分类器，将校准后的全局模型发送给客户端。
...【技术特征摘要】
1.一种基于原型引导的联邦一致性表示学习系统，其特征在于，包括：源内表征校准模块，用于对客户端的表示分布进行建模，改进局部训练，对不平衡数据上的特征分布进行校正；同时，它向服务器提供原型信息，包括集群原型、集群方差和注意力分数；
2.根据权利要求1所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述源内表征校准模块包括两个过程：知识引导的表征校准和聚类驱动的类模式建模。
3.根据权利要求2所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述知识引导的表征校准具体为：使用从预先训练的clip中学习的固定的类别感知文本特征作为局部特征学习的优化目标，以规范客户端的特征学习；它执行有监督的原型对比学习，以最大化保证潜在空间中图像特征和文本原型之间的一致性，目标损失被定义为：
4.根据权利要求2所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述聚类驱动的类模式建模具体为：利用从源内表征校准模块学习的固定模型从所有训练数据中提取特征，并使用k-均值聚类方法来挖掘潜在空间中的不同模式，即，
5.根据权利要求1所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，跨源一致表征学习模块获得从客户端上传的所有局部模型和局部原型集合，将来自异构空间的原型特征对齐，主要包括两个过程：类感知区域校准和跨源特征对齐。
6.根据权利要求5所述的一种基于原型引导的联邦一致性表示学习系统，其特征在于，所述类感知区域校准具体为：...
【专利技术属性】
技术研发人员：孟雷，齐壮，王宇，张若涵，李照川，孟祥旭，
申请(专利权)人：山东省工业技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。