【技术实现步骤摘要】
技术介绍
1、随着移动设备和物联网的迅猛发展，从智能手机到传感器装置，各种设备无时无刻不在产生着海量的数据。在这些数据的支持下，深度学习得以快速发展。多样化、多模态的数据也极大地促进了多模态技术的发展。相比于单模态数据，多种模态可以为模型提供更多、更全面的信息，以此来取长补短，进一步提升模型的性能。
2、传统的多模态研究大多以集中式学习为前提，模型训练之前需要将数据集中收集。由于多模态数据集的数据量庞大，集中式学习可能会带来巨大的传输和存储开销。更重要的是，数据在传输和处理的过程中都存在隐私泄露的风险。由于近年来隐私泄露事件频发，为了保护数据隐私安全，各国也在不断完善相应的法律法规。相关法律法规的出台有助于减少数据隐私泄露的问题，但同时也给数据收集增加了难度。以上种种因素使得许多场景中的数据以孤岛的形式分散在各处，无法被有效地利用，而单一数据源的数据难以训练出优秀的模型。
3、联邦学习为此提供了一种有效的解决方案。联邦学习作为一种分布式学习范式，被用来解决模型训练过程中的隐私保护问题。联邦学习允许多个参与方在不上传本地私有数据的情况下共同训练一个模型，这样既保护了参与方数据的隐私，又能使模型从多个参与方的数据中学习到更全面、多样化的特征和知识。以往联邦学习的方法主要针对的是单一模态的数据，很少关注多模态场景下的联邦学习任务。此外，在现实场景中，模态缺失是一个不容忽视的问题。通常情况下，对于不完整的样本有两种处理方法，第一种是直接丢弃该样本以保证所有样本都拥有完整模态。这种方法会导致可用数据量下降，尽管样
技术实现思路
1、本专利提出了一种面向多模态数据的联邦学习方法，该方法可以用于多模态数据场景中的联邦学习任务，在保护参与方数据隐私的情况下使用分散的多模态数据进行模型训练。
2、本专利所述多模态联邦学习方法架构图如图1所示，整体分为客户端与服务端两部分：
3、(1)客户端：利用多种模态的信息训练本地模型，包含混合注意力网络与分类器，混合注意力网络在transformer编码器-解码器架构的基础上移除了解码器部分，同时根据场景需求对编码器部分进行了调整。具体来说，混合注意力网络中包含了两种注意力模块，分别是局部注意力模块和跨模态注意力模块。局部注意力模块的采用的是transformer中的多头注意力机制，用于学习模态内的重要信息，而跨模态注意力模块的采用的是跨模态注意力机制，用于学习模态之间的互补信息。混合注意力网络由这两种注意力模块堆叠而成，不同模态的特征经过若干个局部注意力模块与跨模态注意力模块后进行拼接然后输入分类器得到最终的预测结果。
4、(2)服务端：聚合客户端上传的本地模型，为了降低模态缺失客户端给全局模型带来的影响，服务端采用一种基于模态贡献量化的联邦学习聚合算法。如果所有客户端都不存在模态缺失的情况，服务端会根据客户端所拥有的数据量为客户端分配权重。如果部分客户端存在模态缺失的问题，服务端会采用一种基于模态贡献量化的联邦学习聚合算法，该方法使用夏普利值作为模态贡献的评价标准。服务端会根据包括客户端数据量、客户端模态缺失比例以及缺失模态对任务的贡献在内的三个因素分配客户端的权重。
5、本专利所述的多模态联邦学习方法步骤如下：
6、step1：在任务开始前，服务端选择参与联邦学习任务的客户端，客户端拥有相同的模态组合，但样本中可能存在模态缺失的情况，客户端需要将本地数据中各种模态的缺失比例上传至服务端。
7、step 2：与传统联邦学习类似，服务端需要选择参与本轮训练的客户端，并将全局模型参数发送给所有参与训练的客户端。
8、step 3：每个参与训练的客户端使用本地的多模态数据集训练模型，通过混合注意力网络学习不同模态中模态内与模态之间的重要信息，客户端训练过程采用常规的优化方法。
9、step 4：客户端将本地训练得到的模型参数发送回服务端，服务器根据接收到的模型参数进行模型聚合。如果客户端的部分模态数据缺失，服务端首先计算出不同模态对任务的贡献，然后根据每个客户端数据量、客户端缺失数据的比例以及模态的贡献度为每个客户端计算出新的权重。全局模型由不同客户端的模型参数加权平均得到。
10、step 5：当服务端完成全局模型的聚合后，将新的全局模型重新下发给各个客户端，然后服务端与客户端重复进行本地训练和模型聚合的步骤，直到达到指定训练轮数。
11、本专利所述的方法能够在联邦学习隐私保护的特性下使用分散的多模态数据进行模型训练。此外，在服务端的模型聚合过程中还引入了夏普利值作为模态贡献量化的标准。相比于传统的联邦学习方法，该方法在聚合时同时考虑了包括客户端数据量、客户端模态缺失比例以及缺失模态对任务的贡献在内的三个因素。如果客户端存在模态缺失的情况，服务端会根据以上三个影响因素重新分配客户端的权重。该方法能够降低模态缺失客户端对全局模型带来的影响。
本文档来自技高网...【技术保护点】
1.一种面向多模态数据的联邦学习方法，其特征在于：多模态数据场景下，不同数据所有者能够在联邦学习的隐私保护特性下进行模型训练，同时服务端在模型聚合过程中对模态缺失情况具有一定鲁棒性。
2.根据权利1所要求的方法，其特征在于，客户端利用多种模态的信息训练本地模型，客户端本地模型在传统联邦学习的基础上增加了一个混合注意力网络，客户端本地模型主要包含混合注意力网络和分类器两个部分，客户端通过混合注意力网络融合不同模态的信息，融合特征经过分类器得到预测结果。
3.根据权利2所要求的混合注意力网络，其特征在于，混合注意力网络中包含了两种注意力模块，分别是局部注意力模块和跨模态注意力模块。局部注意力模块的采用的是多头注意力机制，用于学习模态内的重要信息，跨模态注意力模块的采用的是跨模态注意力机制，用于学习模态之间的互补信息。
4.根据权利2所要求的客户端本地模型，其特征在于，如果客户端不存在模态缺失情况，服务端根据客户端拥有的数据量为客户端分配权重。如果客户端部分样本存在模态缺失的情况，服务端在模型聚合过程中，需要根据每个客户端数据量、客户端缺失数据的比例
5.根据权利4所要求的模型聚合算法，其特征在于，服务端使用夏普利值作为模态贡献的标准，夏普利值越高代表模态的贡献度越高，当客户端缺失了贡献高的模态时服务端应当减少更多权重。在训练过程中，客户端的权重会发生变化，每轮训练服务端都会更新每个模态的贡献度，然后重新计算客户端的权重。
...【技术特征摘要】
1.一种面向多模态数据的联邦学习方法，其特征在于：多模态数据场景下，不同数据所有者能够在联邦学习的隐私保护特性下进行模型训练，同时服务端在模型聚合过程中对模态缺失情况具有一定鲁棒性。
2.根据权利1所要求的方法，其特征在于，客户端利用多种模态的信息训练本地模型，客户端本地模型在传统联邦学习的基础上增加了一个混合注意力网络，客户端本地模型主要包含混合注意力网络和分类器两个部分，客户端通过混合注意力网络融合不同模态的信息，融合特征经过分类器得到预测结果。
3.根据权利2所要求的混合注意力网络，其特征在于，混合注意力网络中包含了两种注意力模块，分别是局部注意力模块和跨模态注意力模块。局部注意力模块的采用的是多头注意力机制，用于学习模态内的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。