【技术实现步骤摘要】
本专利技术涉及联邦学习技术与大模型，具体来说，涉及一种基于联邦软聚类的大模型人员属性识别方法及设备。
技术介绍
1、人员属性识别是一种利用多目标检测方法获取图像中人员的性别、衣着、携带物品等细化属性的技术。目前人员属性识别的基本方法是将图片作为网络的输入，输出多个代表属性的标签及其位置。在人员属性识别中，如何对不同粒度、不同规模的属性进行识别，通过提取场景中的上下文信息辅助属性的识别，以及如何提取不同属性间的相关性信息是研究的重要方向。然而传统的目标检测网络在面对多目标属性时无法保证较高的准确率，同时面对海量监控数据，传统的规模较小模型难以充分提取其中的重要信息，并且训练时间耗费较长。随着大模型的出现，其强大的推理能力与良好的泛化水平已经在自然语言处理与计算机视觉领域的多种任务中得到了体现，因此将大模型应用于属性识别对于该任务的性能提升具有重要意义。
2、在人员属性识别的实际场景中，数据集的采集往往会设计到隐私问题，传统的深度学习方法收集各方的人员数据集中使用，这存在隐私泄露风险，对于人民的隐私安全和管理方的稳定持续工作是巨大的挑战。联邦学习可以在保护数据隐私的前提下协同训练多端模型，但由于数据异构性，现有技术得到的融合模型在客户端上表现不佳。如何将大模型应用于人员属性识别的场景中，并在保证人民隐私数据安全的前提下高效获得准确率高的模型，是在当前数据要素保护机制日益完善、大模型技术发展突飞猛进的背景下亟待解决的问题。
技术实现思路
1、针对上述存在的问题，本专利技术提供
2、s1:获取人员图像与外在属性文本，通过语言模型生成人员属性识别的描述；
3、s2：通过自适应参数分解，将客户端大模型划分为基础模块与微调模块，将微调模块用于参数更新；
4、s3：客户端上传微调模块参数，用于构建客户端相似度矩阵；
5、s4：服务器基于相似度矩阵，使用软聚类对客户端进行集群划分；
6、s5：服务器根据集群划分结果，对集群内的参数进行加权平均，将融合后的参数下发给客户端；
7、s6：客户端将基础模块与微调模块拼接，获得人员属性识别的大模型。
8、本专利技术所述的基于联邦软聚类的大模型人员属性识别方法，其中获取人员图像与外在属性文本，通过语言模型生成人员属性识别的描述的具体步骤包括：使用基于草稿的文本生成模型，以人员的多项外在特征属性为输入，填充并根据逻辑顺序调整为对人员图像的语句描述，对应图片获得人员属性识别数据集。
9、本专利技术所述的基于联邦软聚类的大模型人员属性识别方法，其中通过自适应参数分解，将客户端大模型划分为基础模块与微调模块，将微调模块用于参数更新的具体步骤包括：加载大模型预训练参数，对于预训练的满秩权重w0，使用自适应低秩分解w0+δw＝w0+θ，其中w0为基础模块，θ为微调模块，训练过程中w0冻结不变，θ迭代更新，大模型训练优化目标函数其中p为学习器，z＝{x，y}为输入的人员图像文本对，客户端在进行大模型训练时只对参数量较少的θ进行优化。
10、本专利技术所述的基于联邦软聚类的大模型人员属性识别方法，其中客户端上传微调模块参数，用于构建客户端相似度矩阵的具体步骤包括：当客户端x的达到一定训练轮数后，上传模型参数服务器从客户端接收到后，根据其相似度构建相似度矩阵a＝{axy}，axy表示客户端x和y之间的相似度，通过计算得到，其中表示客户端x与上一轮相比的参数变化量。
11、本专利技术所述的基于联邦软聚类的大模型人员属性识别方法，其中服务器基于相似度矩阵，使用软聚类对客户端进行集群划分的具体步骤包括：使用局部随机游走算法处理相似度矩阵a，获得距离矩阵d＝{dxy}，从节点x出发到达节点y的随机游走指数通过计算得到，其中kx表示节点x的度数，vxy表示从节点x到y的概率，w(x)表示节点所有邻居的边的权重之和，节点x与节点y之间的归一化距离dxy＝1-sxy，距离矩阵d经降维映射后用于软聚类计算隶属度矩阵u，软聚类的最小化目标是其中uij是第i个节点与第j个聚类的隶属度，xi-cj是第i个节点与第j个聚类中心的距离，通过更新隶属度uij和聚类中心cj，迭代优化软聚类。
12、本专利技术所述的基于联邦软聚类的大模型人员属性识别方法，其中服务器根据集群划分结果，对集群内的参数进行加权平均，将融合后的参数下发给客户端的具体步骤包括：根据软聚类后的隶属度矩阵u，使用客户端对应集群的隶属度作为加权值，融合同一集群内的客户端模型参数，并将融合后得到的参数下发给集群中对应的客户端。
13、一种基于联邦软聚类的大模型人员属性识别的设备，包括存储器、处理器与网络通信模块，存储器用于存储处理器可执行的数据和指令，存储任意一项基于联邦软聚类的大模型人员属性识别的指令和数据；处理器用于读取存储器中的数据并执行指令，用于实现基于联邦软聚类的大模型人员属性识别；网络通信模块用于客户端与服务器之间接收与发送数据，实现联邦学习中的模型参数传递与迭代更新。
14、本专利技术基于联邦软聚类的大模型人员属性识别方法，通过使用联邦学习保护数据隐私，使用微调模块实现大模型的高效训练，通过联邦软聚类提升联邦学习的效率与聚合模型的性能，提升人员属性识别模型的准确率。
本文档来自技高网...【技术保护点】
1.一种基于联邦软聚类的大模型人员属性识别方法，其特征在于：
2.根据权利要求1所述的基于联邦软聚类的大模型人员属性识别方法，其特征在于所述S1中获取人员图像与外在属性文本，通过语言模型生成人员属性识别的描述；包括：
3.根据权利要求1所述的基于联邦软聚类的大模型人员属性识别方法，其特征在于所述S2中通过自适应参数分解，将客户端大模型划分为基础模块与微调模块，将微调模块用于参数更新；包括：
4.根据权利要求1所述的基于联邦软聚类的大模型人员属性识别方法，其特征在于所述S3中客户端上传微调模块参数，用于构建客户端相似度矩阵；包括：
5.根据权利要求1所述的基于联邦软聚类的大模型人员属性识别方法，其特征在于所述S4中服务器基于相似度矩阵，使用软聚类对客户端进行集群划分；包括：
6.根据权利要求1所述的基于联邦软聚类的大模型人员属性识别方法，其特征在于所述S5中服务器根据集群划分结果，对集群内的参数进行加权平均，将融合后的参数下发给客户端；包括：
7.一种基于联邦软聚类的大模型人员属性识别的设备，其特征在于，包括：
...【技术特征摘要】
1.一种基于联邦软聚类的大模型人员属性识别方法，其特征在于：
2.根据权利要求1所述的基于联邦软聚类的大模型人员属性识别方法，其特征在于所述s1中获取人员图像与外在属性文本，通过语言模型生成人员属性识别的描述；包括：
3.根据权利要求1所述的基于联邦软聚类的大模型人员属性识别方法，其特征在于所述s2中通过自适应参数分解，将客户端大模型划分为基础模块与微调模块，将微调模块用于参数更新；包括：
4.根据权利要求1所述的基于联邦软聚类的大模型人员属性识别方法，其特...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。