【技术实现步骤摘要】
本专利技术涉及加密数据检索，特别涉及一种基于联邦学习的跨模态加密数据检索方法、系统、介质及处理器。
技术介绍
1、随着网络和计算能力的飞速发展，以及社交软件和短视频应用的不断普及，海量的多模态数据(包括文本、图像、视频和音频等)呈现爆炸式增长的态势。这些发展对基于隐私保护和智能计算的跨模态数据检索技术提出了新的挑战和需求。首先，互联网生成的多模态数据量巨大，这不仅提供了丰富的融合信息源，也带来了数据存储、处理和检索的挑战。其次，互联网应用中用户期望得到更加个性化和精准的检索结果，这需要系统能够智能地理解和分析用户的偏好、历史行为和上下文信息。最后，互联网应用特别是社交媒体和短视频应用涉及大量个人数据，如何在保护用户隐私的同时进行有效的数据检索，是一个急需解决的重要问题。因此，我们的研究关注于提高数据检索的速度和准确性、加强个性化服务、强化数据隐私保护，以及利用先进的人工智能技术来处理和分析大规模的多模态数据。这些进展将进一步推动计算机科学、数据科学、人工智能和信息安全等领域的融合与发展，具有重要的理论意义和应用价值。
2、随着云服务概念的逐步普及和功能的不断更新，越来越多的企业和用户将本地数据存储在云服务器中，实现数据的托管和外包。用户在减轻本地存储管理负担的同时，仍可随时随地访问数据。在云存储和计算服务中，虽然其给用户带来极大的便利，但也面临着诸多挑战，例如数据的安全和隐私。
3、为了防止公共云服务器获取敏感信息，保护数据的安全和隐私，越来越多的用户选择将数据加密之后再外包给云服务器。加密可以保障数据的
4、传统的加密数据检索技术都是使用关键字搜索文档。然而在互联网中也存在着大量的多媒体数据例如语音、图像、音频和视频等。因此有研究人员提出了基于多媒体数据内容的加密数据检索，例如近些年有人提出了关于图像或视频加密搜索的方案，这些方案大多是基于标签和关键字的搜索，还不能对数据中的内容进行检索。于是，有学者提出了基于多媒体内容的加密数据检索，例如有人研究出一种对图片二元特征安全检索的方法，其提取图像的局部二值模式值，对其使用保序加密，在不降低搜索精度的情况下实现了图像的加密检索；随后有学者提出了基于图像的加密数据检索，其使用深度学习提取图片特征，再使用带误差学习的矩阵加密特征向量，在矩阵计算中加入误差值和随机数，以抵抗线性分析攻击。然而，云服务器需要进行密文下的卷积神经网络计算，开销较高。在实际应用中，有可能需要同时搜索不同类型的数据，例如使用文本查询以获得相关的图像或视频。于是，有研究人员提出了跨模态搜索，即使用一种模态的语义查询其它模态的数据。传统的跨模态搜索主要采用统计分析方法，例如典型相关分析方法和交叉模态因子分析方法，然而，传统分析方法难以对实际应用场景中的跨模态数据建模。随后，研究人员提出使用跨模态哈希的方法检索数据，其将不同模态的数据映射到一个共同的汉明空间，从而实现跨模态搜索。然而，跨模态哈希检索的搜索精度不高，效果差强人意。为了提高搜索精度，研究人员提出了基于智能计算的跨模态搜索，例如有学者提出了基于深度学习的搜索方法。他们使用高度非线性结构的深度网络，更适合对模态内特征和模态间语义关系进行关联和挖掘。然而，深度学习需要大量高质量的跨模态数据才能获得准确的搜索结果。在现实部署中，跨模态数据可能存储于各个用户中，中心服务器可能只有很少或者没有数据。受限于隐私保护和宽带速率等原因，这些数据难以聚合，因此搜索精度往往达不到预期效果。
5、比较国内外不同模态数据检索的研究工作，可以发现存在以下缺点：
6、(1)传统的数据检索技术大多基于关键字或文本，这在多格式大数据模型面前显得力不从心。
7、(2)传统的跨模态搜索采用统计分析方法，这对于实际应用场景中的跨模态数据建模显得不够有效，
8、(3)目前大多数基于智能计算的跨模态数据检索方法在明文环境下进行，这对于用户的个人隐私和数据安全可能构成威胁。
技术实现思路
1、针对现有技术中存在的问题，本专利技术提供了一种基于联邦学习的跨模态加密数据检索方法，能够通过分布式的联邦学习架构，数据得以保留在本地，减少了数据泄露的风险，大大提升了系统的安全性和隐私保护。具体技术方案如下：
2、一种基于联邦学习的跨模态加密数据检索方法，包括：
3、初始化算法，协作服务器生成paillier系统的公私钥对，每个数据所有者随机生成密钥；
4、采用联邦学习获得全局搜索模型；
5、数据所有者利用全局搜索模型生成搜索索引，所述搜索索引包括索引标识和特征密文，并发送给云服务器；
6、用户发送向数据所有者发送查询权限，并生成查询陷门发送给云服务器；
7、云服务器对查询陷门进行解析得到聚合桶值，并计算阈值且加密，并发送给协作服务器，协作服务器解密后获取对应的数据并形成集合，云服务器获得集合后对每一份数据进行升序排列并发给用户。
8、优选的，所述采用联邦学习获得全局搜索模型，具体如下：
9、本地训练，每个数据所有者使用本地数据训练本地的搜索模型，并根据数据样本数量计算训练权值，数据所有者将本地搜索模型乘上训练权值,并使用协作服务器的公钥加密上传给云服务器；
10、模型聚合，云服务器在收到参与的数据所有者上传的加密数据后，执行密文乘法计算得加密的全局搜索模型，并发送给协作服务器；
11、本地更新，协作服务器解密全局搜索模型得到wt+1，并发送给所有数据所有者，每个数据所有者将本地搜索模型w1的值设为wi+1。
12、优选的，所述数据所有者利用全局搜索模型生成搜索索引，所述搜索索引包括索引标识和特征密文，并发送给云服务器，具体如下：
13、特征提取，在使用联邦学习获得全局搜索模型之后，数据所有者使用该模型从本地数据中提取统一的特征向量；
14、生成索引标识，数据所有者根据特征向量集合生成索引标识；
15、生成特征密文，数据所有者首先将提取的数据特征扩展，数据所有者使用knn算法对扩展向量进行加密，数据所有者将其索引标记和特征密文发送给云服务。
16、优选的，所述用户发送向数据所有者发送查询权限，并生成查询陷门发送给云服务器，具体如下：
本文档来自技高网...【技术保护点】
1.一种基于联邦学习的跨模态加密数据检索方法，其特征在于，包括：
2.根据权利要求1所述的一种基于联邦学习的跨模态加密数据检索方法，其特征在于，所述采用联邦学习获得全局搜索模型，具体如下：
3.根据权利要求1所述的一种基于联邦学习的跨模态加密数据检索方法，其特征在于，所述数据所有者利用全局搜索模型生成搜索索引，所述搜索索引包括索引标识和特征密文，并发送给云服务器，具体如下：
4.根据权利要求1所述的一种基于联邦学习的跨模态加密数据检索方法，其特征在于，所述用户发送向数据所有者发送查询权限，并生成查询陷门发送给云服务器，具体如下：
5.根据权利要求1所述的一种基于联邦学习的跨模态加密数据检索方法，其特征在于，所述聚合桶值发送给协作服务器解密时，云服务器生成一个随机数，加密后乘上聚合桶值。
6.一种基于联邦学习的跨模态加密数据检索系统，其特征在于，应用于权利要求1至5任一所述的方法，包括用户模块、数据所有者模块、联邦学习模块、协作服务器模块以及云服务器模块；
7.一种计算机可读存储介质，其特征在于，所述计算机可读
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的方法。
...【技术特征摘要】
1.一种基于联邦学习的跨模态加密数据检索方法，其特征在于，包括：
2.根据权利要求1所述的一种基于联邦学习的跨模态加密数据检索方法，其特征在于，所述采用联邦学习获得全局搜索模型，具体如下：
3.根据权利要求1所述的一种基于联邦学习的跨模态加密数据检索方法，其特征在于，所述数据所有者利用全局搜索模型生成搜索索引，所述搜索索引包括索引标识和特征密文，并发送给云服务器，具体如下：
4.根据权利要求1所述的一种基于联邦学习的跨模态加密数据检索方法，其特征在于，所述用户发送向数据所有者发送查询权限，并生成查询陷门发送给云服务器，具体如下：
5.根据权利要求1所述的一种基于联邦...
【专利技术属性】
技术研发人员：李剑维，戴智鹏，黄斯暄，李炎蔓，
申请(专利权)人：南宁师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。