【技术实现步骤摘要】
本专利技术涉及数据隐私保护，特别涉及一种量子联邦协同蒸馏方法、系统、电子设备及存储介质。
技术介绍
1、联邦学习是一种新的分布式机器学习范式，它的出现突破了由于数据安全、行业竞争和用户隐私等形成的数据孤岛。联邦学习可以通过只传输模型参数的方式来整合分布式数据并用于训练机器学习模型。虽然只传输模型参数不会直接泄露本地数据隐私，但是已有研究表明：攻击者可以通过模型参数(甚至模型梯度)恢复出该模型的训练数据。由此可见，联邦学习需要额外的隐私保护技术来增强保护能力。
2、量子联邦学习(qfl)是一种结合了量子计算和联邦学习的分布式机器学习框架。在qfl中，多个客户端(如移动设备、传感器网络或边缘计算节点)在保持数据本地化的同时，共同训练一个全局的量子模型。这种方法允许模型在不直接访问原始数据的情况下进行更新，从而在保护用户隐私的同时，实现高效的模型训练。
3、然而，在现有技术中，经典的联邦学习方法被称为联邦平均，其通过上传模型参数或者更新实现信息交流，但这样会引入极大的通信开销。并且，由于各参与方所拥有的数据具有异质性(通常是非独立同分布的)，经典的联邦平均方法在异质数据下性能会大打折扣。联邦平均的另一个缺陷是：当参与训练的客户端算力不一致时，客户端无法根据自身情况选择符合算力的机器学习模型进行训练，从而导致方法的普适性降低。
技术实现思路
1、鉴于上述问题，本专利技术提供了一种量子联邦协同蒸馏方法、系统、电子设备及存储介质，以期能够解决上述问题之一。
3、联邦服务器通过无放回子采样方法对m个客户端进行随机采样，得到n个参与联邦训练的客户端，实现第一重隐私放大，其中，m和n均为正整数，n<m；
4、联邦服务器生成公共无标签数据集，并将所述公共无标签数据集发送到所述n个参与联邦训练的客户端，同时以量子密钥分发(qkd)的方式与客户端共享量子密钥；在该方案中，所述联邦服务器，用于协调串联整个联邦学习过程，通过所述无放回子采样方法选择每轮参与训练的客户端实现隐私的第一重隐私放大并提供所述公共无标签数据集以及完成软标签的聚合；
5、每个参与联邦训练的客户端利用自身的本地数据集对自身的本地量子分类器进行训练，得到n个训练完成的本地量子分类器；
6、每个训练完成的本地量子分类器对公共无标签数据集进行预测，得到预测结果，并将预测结果进行加密后上传到混淆器中；在本方案中，所述混淆器，通过所述洗牌方法对收到的信息进行匿名并混淆，从而使得所述联邦服务器无法将任意一条信息与其发送者关联起来，在不与所述联邦服务器共谋的情况下实现了差分隐私的第二重隐私放大；
7、混淆器利用洗牌(shuffle)方法对来自n个参与联邦训练的客户端的预测结果进行匿名和乱序处理，并将得到的n个处理结果上传到联邦服务器中，其中，所述洗牌方法通过将加密的消息匿名化，使得攻击者无法将任一消息与其发送者联系起来，实现了第二重隐私放大；联邦服务器将n个处理结果进行解密和聚合处理，得到软标签，并将软标签传输到下一轮参与联邦训练的客户端中，其中，软标签作为公共无标签数据集的标签；上述联邦服务器生成公共无标签数据集，并将所述公共无标签数据集发送到所述n个参与联邦训练的客户端，同时以量子密钥分发(qkd)的方式与客户端共享量子密钥包括：
8、联邦服务器对联邦训练的轮次进行判断，得到判断结果；
9、联邦服务器生成密钥和公共无标签数据集；
10、联邦服务器以量子密钥分发(qkd)的方式与客户端共享量子密钥；
11、联邦服务器对公共无标签数据集进行聚类处理，得到聚类后的无标签数据集；
12、在判断结果是首轮联邦训练的情况下，通过联邦服务器将密钥和聚类后的无标签数据集发送到n个参与联邦训练的客户端中；
13、在判断结果不是首轮联邦训练的情况下，联邦服务器将上一轮联邦训练的软标签、密钥以及聚类后的无标签数据集发送n个参与联邦训练的客户端中，所述客户端通过在所述本地数据集进行量子模型训练，对所述公共无标签数据集做预测并加噪加密上传，从而实现知识蒸馏，并通过对同一聚类样本的平滑处理实现差分隐私的第三重隐私放大。
14、上述每个参与联邦训练的客户端利用自身的本地数据集对自身的本地量子分类器进行训练，得到n个训练完成的本地量子分类器包括：
15、参与联邦训练的客户端通过联邦服务器获取联邦训练的轮次信息；
16、参与联邦训练的客户端各自维护并冷却完成一个可运行量子分类器的量子设备；
17、在轮次信息是首轮联邦训练的情况下，参与联邦训练的客户端将自身的本地数据集作为训练数据集，并用于对自身的本地量子分类器进行训练，得到训练完成的本地量子分类器；
18、在轮次信息不是首轮联邦训练的情况下，参与联邦训练的客户端将上一联邦训练轮次中从联邦服务器发送过来的软标签作为接收到的公共无标签数据集的标签，将带有软标签的公共数据集加入到本地数据集中，并利用新的本地数据集训练本地量子分类器，得到训练完成的本地量子分类器。
19、根据本专利技术的实施例，上述每个训练完成的本地量子分类器对公共无标签数据集进行预测，得到预测结果，并将预测结果进行加密后上传到混淆器中包括：
20、参与联邦训练的客户端利用自身训练完成的本地量子分类器对公共无标签数据集进行预测，得到预测结果；
21、参与联邦训练的客户端获取联邦服务器的聚类结果，并根据聚类结果对预测结果进行平滑和隐私处理，得到处理结果；
22、参与联邦训练的客户端利用密钥对处理结果进行加密，并将加密后的预测结果上传到所述混淆器中。
23、上述参与联邦训练的客户端获取联邦服务器的聚类结果，并根据聚类结果对预测结果进行平滑和隐私处理，得到处理结果包括：
24、参与联邦训练的客户端获取联邦服务器的聚类结果；
25、参与联邦训练的客户端获取属于同一个聚类结果的预测结果的平均值；
26、参与联邦训练的客户端将拉普拉斯噪声加入到平均值中，并将带噪声的平均值作为预测结果的标签，得到处理结果。
27、上述联邦服务器将所述n个处理结果进行解密和聚合处理，得到软标签包括：
28、所述联邦服务器对所述n个处理结果进行解密，得到n个解密结果；
29、根据第一预设阈值，所述联邦服务器对n个解密结果进行第一次筛选，得到筛选结果；
30、所述联邦服务器对所述筛选结果进行加权求平均，得到加权平均结果；
31、根据第二预设阈值，所述联邦服务器对所述加权平均结果进行第二次筛选，得到所述软标签。
32、根据本专利技术的第二个方面，提供了一种基于差分隐私置乱模型的联邦协同蒸馏系统，包括：
33、采样模块，用于联邦服务器通过无放回子采样方法对m个客户端进行随机采本文档来自技高网...
【技术保护点】
1.一种量子联邦协同蒸馏方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的量子联邦协同蒸馏方法，其特征在于，所述联邦服务器生成公共无标签数据集，并将所述公共无标签数据集发送到所述N个参与联邦训练的客户端，同时以量子密钥分发的方式与客户端共享量子密钥包括：
3.根据权利要求2所述的量子联邦协同蒸馏方法，其特征在于，所述联邦服务器对所述公共无标签数据集进行聚类处理，得到聚类后的无标签数据集包括：
4.根据权利要求1所述的量子联邦协同蒸馏方法，其特征在于，每个所述参与联邦训练的客户端利用自身的本地数据集对自身的本地量子分类器进行训练，得到N个训练完成的本地量子分类器，包括：
5.根据权利要求1所述的量子联邦协同蒸馏方法，其特征在于，每个所述训练完成的本地量子分类器对所述公共无标签数据集进行预测，得到预测结果，并将所述预测结果进行加密后上传到混淆器中包括：
6.根据权利要求5所述的量子联邦协同蒸馏方法，其特征在于，所述参与联邦训练的客户端获取联邦服务器的聚类结果，并根据所述聚类结果对所述预测结果进行平滑和隐私处理，得到处
7.根据权利要求1所述的量子联邦协同蒸馏方法，其特征在于，所述联邦服务器将所述N个处理结果进行解密和聚合处理，得到软标签包括：
8.一种量子联邦协同蒸馏系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，其上存储有可执行指令，该指令被执行时能够实现权利要求1～7中任一项所述的量子联邦协同蒸馏方法。
11.一种量子计算机设备，其特征在于，其上有可控制的若干个量子比特，可用于执行权利要求1～7中任一项所述的量子联邦协同蒸馏方法。
...【技术特征摘要】
1.一种量子联邦协同蒸馏方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的量子联邦协同蒸馏方法，其特征在于，所述联邦服务器生成公共无标签数据集，并将所述公共无标签数据集发送到所述n个参与联邦训练的客户端，同时以量子密钥分发的方式与客户端共享量子密钥包括：
3.根据权利要求2所述的量子联邦协同蒸馏方法，其特征在于，所述联邦服务器对所述公共无标签数据集进行聚类处理，得到聚类后的无标签数据集包括：
4.根据权利要求1所述的量子联邦协同蒸馏方法，其特征在于，每个所述参与联邦训练的客户端利用自身的本地数据集对自身的本地量子分类器进行训练，得到n个训练完成的本地量子分类器，包括：
5.根据权利要求1所述的量子联邦协同蒸馏方法，其特征在于，每个所述训练完成的本地量子分类器对所述公共无标签数据集进行预测，得到预测结果，并将所述...
【专利技术属性】
技术研发人员：杨威，汪书畅，辛邦洲，李闯，
申请(专利权)人：合肥国家实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。